新闻爬虫倒腾笔记

新闻爬虫1.0 在列表页获取列表和时间

材料：Pycharm，Chrome开发人员工具，infoLite插件，bs4，request

安装包

pip install requests
pip install beautifulsoup4

使用Chrome开发人员工具分析网站

1. 右键或Ctrl+shift+I打开，F5刷新载入
2. 打开network页签，点选第二排的小漏斗（filter），点入doc页面，由于新闻都有被检索到的须要，因此通常状况下均可以在第一个doc文档中找到须要的信息。咱们如今第一个目标是获取这个页面里全部的国内新闻标题、时间、连接。选择第一个doc，经过responce看看是否有所需信息。
   3.再经过查看header页面能够看到信息被获得的方式是GET，这说明咱们能够经过get调用，而经过第一排的Request URL咱们就能够知道想要获得网站信息的目标url是什么。

使用request调用网页

request是URL的撷取套件，能够用postputgetdelete来存取网络资源

import requests
newurl = '目标网站'
res = requests.get(newurl)
res.encoding = 'utf-8'
# 申明编码避免res内容出现乱码

使用BeautifulSoup4进行加工

经过request的get获得了网页的全部内容，可是还有不少不须要用到的样式语言等，原本能够用正则表达式来进行删选，可是这里使用第三方包BeautifulSoup4对原材料进行处理。

soup = BeautifulSoup(res.text,'html.parser')
# 须要注释res的类型是HTML，使用parser对HTML进行解析。

这里须要稍微了解一点HTML/CSS里的DOM Tree知识。
（注：DOM Tree是指经过DOM将HTML页面进行解析，并生成的HTML tree树状结构和对应访问方法。）

这方面我本身是理解的，可是理解的不透彻讲不清。详参这里
总之，咱们所须要的内容是在各类各样的元素中的，它们多是含有特定标签的HTML元素，也有多是含有特定CSS属性的元素。（我所理解的是HTML元素是HTML固有的，结构层次已经划分好了的。而特定CSS属性的元素则是由于特殊的格式须要设置的灵活性的一个元素。通常是经过id和类来设置。）
select
为了获得特定的元素，使用beautifulsoup4中的select。
使用方法是：

# 含有特定标签的HTML元素
header = soup.select('h1')
# 含有特定css属性的元素 ID
header = soup.select('#title')
# 含有特定css属性的元素 class
link = soup.select('.link')

select的预设方法是传回一个list，因此用解开列表的方式解开而且取出来就能够。

使用infoLite插件获取

infoLite插件下载地址
接下来，咱们就须要知道爬取目标的元素究竟是什么。有两种方法，一是借助infoLite插件，一是借助开发工具的elements本身查找。为了保证查找的准确性，两种方法最好都掌握。
首先是使用infoLite插件，点击就能够知道元素的类型。可是有时候状况会比较复杂，好比说，会遇到css类里使用HTML元素的状况。在这种状况下先select CSS 最大共性元素再select出HTML元素。

标题

（网页其余部分也有h2,能够结合开发工具看更清晰。）

时间
.time

连接
URL连接能够从上面的DOM Tree看到URL是元素的属性，因此须要经过开发工具看。在网页的连接中一般使用a tag去连接其余网页，而href就是连结的桥梁。

列表里实际上是一个字典，利用字典的性质，用key(href)调用出连接。

完整

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/china/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('.news-item'):
if len(news.select('h2'))>0:
#保证存在，防止遍历时输出空集
h2 = news.select('h2')[0].text
#取出内容
time = news.select('.time')[0].text
a = news.select('a')[0]['href']
print (time,h2,a)

学习参考自此网站

新闻爬虫2.0 抓取新闻内页

材料：Pycharm，Chrome开发人员工具，infoLite插件，bs4，request

在前面咱们已经将新闻列表页面的全部连接都下载下来了，可是还不够，咱们但愿能够获取连接所指的各个单个新闻的标题、来源、时间以及内文。

这里咱们从特殊到通常，而用到的方法仍是笔记NO.1中对select的活用，先以一个连接为例。

取得内文页面

和抓取列表页面的初始步骤同样，咱们首先要将原材料整个的放到soup里进行一个剖析，而后再逐个提取出咱们想要的元素。取得页面的说明再也不赘述。

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/c/nd/2017-01-04/doc-ifxzczff3681310.shtml')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')

获取内文标题

经过检查工具得知标题是一个特殊的css属性标签，ID是artibodyTitle，经过soup的select传回一个list，再经过取出list里内容的方法取出来。

title= soup.select('#artibodyTitle')[0].text

取得来源和时间

原本想处理时间，时间的类是time-source，结果select回传的结果里既有时间又有来源。使用.text也没法将之分开。
select的回传列表结果：

[<span class="time-source" id="navtimeSource">2017年01月04日09:47        <span>
<span data-sudaclick="media_name">
\<a href="http://www.cma.gov.cn/2011zwxx/2
011zyjgl/2011zyjxy/2011zqxyj/201701/\t20170104_382215.html
\" rel="nofollow" target="_blank">政府网站</a></span></span>
</span>]

因此这里要采用contents将时间和来源取出来。

关于.contents的帮助文档说明

tag的.contents属性能够将tag的子节点以列表的方式输出。新闻的时间精确到日就能够了，对字符串进行切片处理。

time = soup.select('.time-source')[0].contents[:10]

接下来咱们要思考如何取出来源，经过检查工具咱们能够看到，来源是在时间的层级之下的，这也很好的解释了为何用contens处理下来，和来源有关的东西并无发生变化，由于它是附属其下，而且由一个span里的a tag控制的。

![Uploading time-source_539741.png . . .]

因此试试用这个把它select出来

medianame = soup.select('.time-source span a')[0].text

取得内文

内文位于artibody p里，一样的方法取出。观察由三个成分组成，<p>分隔符、控制符以及咱们须要的文字内容。经过strip去除控制符，再遍历输出

article = soup.select('#artibody p')[:-1]

得到编辑名称

同理，略

author = soup.select('.article-editor')[0].text.strip('责任编辑：')