用react-native开发一个IOS NBA资讯app(二) ----server探究,爬虫获取新闻数据(持续更新)

上一章节咱们建立了基本项目的构架。接下来开始,咱们就会真正进入项目中去,去一个个一探究竟。那好的,第一个咱们要深刻的即是整个app项目的后台,也就是第一章我介绍的server文件夹。由于平时项目中使用最多的是nodejs,因此我搭建后台也是用nodejs来进行的。而nodejs最简单的搭建就是使用express。好的,咱们来看一看咱们的package.json依赖模块。
图片描述前端

用了几个很是简单可是实用性强的模块。node

(1)body-paser解析post请求中上传参数。
(2)cheerio是一个专门用于解析请求来网页dom数据的。
(3)express是在nodejs的基础上封装了一层,而后可以更便捷的搭建服务层。
(4)给爬虫提供可抓取的页面,request模块能够完成更多http请求。

接下来咱们看一下咱们的项目构建:
图片描述
运用了restful的接口模式,而后我用apis来放置我app请求的接口。因此大量的逻辑处理都是在这里面。好了,了解了基础的后台项目架构,那让咱们看一下我是如何爬取虎扑新闻的数据的。
图片描述
你们能够看一下,这是我经过虎扑的手机网页爬取到当前新闻的id,标题,图片,建立时间以及来自哪一个新闻发布消息。
最重要的就是request以及cheerio的双重使用。request来load要爬取的页面,而cheerio就解析出其中你须要的数据。而cheerio很是爽的地方在于,你能够在服务器层使用和jquery相同的语法来操做dom,这样我以为比python的beatuifulsuop解析起来对前端程序员更友好。
好了,这就是server的构建,接下来,咱们就开始app之旅吧。若是仍是不太清楚,能够参考个人项目。
项目地址:https://github.com/strongwray...python

相关文章
相关标签/搜索