Python多篇新闻自动采集

昨天用python写了一个天气预报采集，今天趁着兴头写个新闻采集的。

　　目标是，将腾讯新闻主页上全部新闻爬取下来，得到每一篇新闻的名称、时间、来源以及正文。

　　接下来分解目标，一步一步地作。

 

　　步骤1：将主页上全部连接爬取出来，写到文件里。

　　根据上一篇文章的方法，能够简单地获取到整个主页的文本内容。

　　咱们都知道html连接的标签是“a”，连接的属性是“href”，也就是要得到html中全部tag=a，attrs=href 值。

　　查阅了资料，一开始我打算用HTMLParser，并且也写出来了。可是它有一个问题，就是遇到中文字符的时候没法处理。

1 class parser(HTMLParser.HTMLParser):
2     def handle_starttag(self, tag, attrs):
3             if tag == 'a':
4             for attr, value in attrs:
5                 if attr == 'href':
6                     print value

　　后来使用了SGMLParser，它就没有这个问题。

1 class URLParser(SGMLParser):       
2         def reset(self):
3                 SGMLParser.reset(self)
4                 self.urls = []
5  
6         def start_a(self,attrs):        
7                 href = [v for k,v in attrs if k=='href']          
8                 if href:
9                         self.urls.extend(href)

　　SGMLParser针对某个标签都须要重载它的函数，这里是把全部的连接放到该类的urls里。

1 lParser = URLParser()#分析器来的
 2 socket = urllib.urlopen("http://news.qq.com/")#打开这个网页
 3 
 4 fout = file('urls.txt', 'w')#要把连接写到这个文件里
 5 lParser.feed(socket.read())#分析啦
 6 
 7 reg = 'http://news.qq.com/a/.*'#这个是用来匹配符合条件的连接，使用正则表达式匹配
 8 pattern = re.compile(reg)
 9 
10 for url in lParser.urls:#连接都存在urls里
11     if pattern.match(url):
12         fout.write(url+'\n')
13 
14 fout.close()

　　这样子就把全部符合条件的连接都保存到urls.txt文件里了。

 

　　步骤2：对于每个连接，获取它的网页内容。

　　很简单，只须要打开urls.txt文件，一行一行地读出来就能够了。

　　也许这里会显得画蛇添足，可是基于我对解耦的强烈愿望，我仍是果断地写到文件里了。后面若是采用面向对象编程，重构起来是十分方便的。

　　获取网页内容部分也是相对简单的，可是须要把网页的内容都保存到一个文件夹里。

　　这里有几个新的用法：

1 os.getcwd()#得到当前文件夹路径
 2 os.path.sep#当前系统路径分隔符（是这个叫法吗？）windows下是“\”，linux下是“/”
 3 
 4 #判断文件夹是否存在，若是不存在则新建一个文件夹
 5 if os.path.exists('newsdir') == False:
 6     os.makedirs('newsdir')
 7 
 8 #str()用来将某个数字转为字符串
 9 i = 5
10 str(i)

　　有了这些方法，将字符串保存到某个文件夹下不一样的文件就再也不是一件困难的事了。

 

　　步骤3：枚举每个网页，根据正则匹配得到目标数据。

　　下面的方法是用来遍历文件夹的。

1 #这个是用来遍历某个文件夹的
2 for parent, dirnames, filenames in os.walk(dir):
3     for dirname in dirnames
4         print parent, dirname
5     for filename in filenames:
6         print parent, filename

　　遍历，读取，匹配，结果就出来了。

　　我使用的数据提取的正则表达式是这样的：

reg = '<div class="hd">.*?<h1>(.*?)</h1>.*?<span class="pubTime">(.*?)</span>.*?<a .*?>(.*?)</a>.*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)</div>'

　　其实这个并不能匹配到腾讯网的全部新闻，由于上面的新闻有两种格式，标签有一点差异，因此只能提取出一种。

　　另一点就是经过正则表达式的提取确定不是主流的提取方法，若是须要采集其余网站，就须要变动正则表达式，这但是一件比较麻烦的事情。

　　提取以后观察可知，正文部分老是会参杂一些无关信息，好比“<script>...</script>”“<p></p>”等等。因此我再经过正则表达式将正文切片。

1 def func(str):#谁起的这个名字
2     strs = re.split("<style>.*?</style>|<script.*?>.*?</script>|&#[0-9]+;|<!--\[if !IE\]>.+?<!\[endif\]-->|<.*?>", str)#各类匹配，经过“|”分隔
3     ans = ''
4     #将切分的结果组合起来
5     for each in strs:
6         ans += each
7     return ans

　　这样腾讯网上面的正文基本所有可以提取出来。

　　到此整个采集也就结束了。

　　展现一下我提取到的结果（不使用自动换行，右边隐藏了）：

　　

　　注意：

　　一、打开某个网址的时候，若是网址是坏的（打不开），若不处理则会报错。我简单地使用处理异常的方式，估计应该有其余方式。

try:
    socket = urllib.urlopen(url)
except:
    continue

　　二、Python正则表达式中的“.”号，能够匹配任意字符，可是除了“\n”。

　　三、如何去除字符串末尾的“\n”？python的处理简直优雅到死啊！

1 if line[-1] == '\n':
2     line = line[0:-1]