芝麻HTTP：Python爬虫实战之抓取爱问知识人问题并保存至数据库
本次为你们带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法，涉及的内容包括：php
- Urllib的用法及异常处理
- Beautiful Soup的简单应用
- MySQLdb的基础用法
- 正则表达式的简单应用
环境配置
在这以前，咱们须要先配置一下环境，个人Python的版本为2.7，须要额外安装的库有两个，一个是Beautiful Soup，一个是MySQLdb，在这里附上两个库的下载地址，html
Beautiful Soup MySQLdbpython
你们能够下载以后经过以下命令安装mysql
python setup.py install
环境配置好以后，咱们即可以开心地撸爬虫了linux
框架思路
首先咱们随便找一个分类地址，外语学习 – 爱问知识人，打开以后能够看到一系列的问题列表。正则表达式
咱们在这个页面须要获取的东西有：sql
总的页码数，每一页的全部问题连接。shell
接下来咱们须要遍历全部的问题，来抓取每个详情页面，提取问题，问题内容，回答者，回答时间，回答内容。数据库
最后，咱们须要把这些内容存储到数据库中。编程
要点简析
其实大部份内容相信你们会了前面的内容，这里的爬虫思路已经融汇贯通了，这里就说一下一些扩展的功能
1.日志输出
日志输出，咱们要输出时间和爬取的状态，好比像下面这样：
[2015-08-10 03:05:20] 113011 号问题存在其余答案 我我的认为应该是樱桃沟很美的
[2015-08-10 03:05:20] 保存到数据库,此问题的ID为 113011
[2015-08-10 03:05:20] 当前爬取第 2 的内容,发现一个问题 百度有一个地方，花儿带着芳香，水儿流淌奔腾是什么意思 多多帮忙哦 回答数量 1
[2015-08-10 03:05:19] 保存到数据库,此问题的ID为 113010
因此，咱们须要引入时间函数，而后写一个获取当前时间的函数
import time
#获取当前时间
def getCurrentTime(self):
return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
#获取当前时间
def getCurrentDate(self):
return time.strftime('%Y-%m-%d',time.localtime(time.time()))
以上分别是获取带具体时间和获取日期的函数，在输出时，咱们能够在输出语句的前面调用这函数便可。
而后咱们须要将缓冲区设置输出到log中，在程序的最前面加上这两句便可
f_handler=open('out.log', 'w')
sys.stdout=f_handler
这样，全部的print语句输出的内容就会保存到out.log文件中了。
2.页码保存
爬虫爬取过程当中可能出现各类各样的错误，这样会致使爬虫的中断，若是咱们从新运行爬虫，那么就会致使爬虫从头开始运行了，这样显然是不合理的。因此，咱们须要把当前爬取的页面保存下来，好比能够保存到文本中，假如爬虫中断了，从新运行爬虫，读取文本文件的内容，接着爬取便可。
你们能够稍微参考一下函数的实现：
#主函数
def main(self):
f_handler=open('out.log', 'w')
sys.stdout=f_handler
page = open('page.txt', 'r')
content = page.readline()
start_page = int(content.strip()) - 1
page.close()
print self.getCurrentTime(),"开始页码",start_page
print self.getCurrentTime(),"爬虫正在启动,开始爬取爱问知识人问题"
self.total_num = self.getTotalPageNum()
print self.getCurrentTime(),"获取到目录页面个数",self.total_num,"个"
if not start_page:
start_page = self.total_num
for x in range(1,start_page):
print self.getCurrentTime(),"正在抓取第",start_page-x+1,"个页面"
try:
self.getQuestions(start_page-x+1)
except urllib2.URLError, e:
if hasattr(e, "reason"):
print self.getCurrentTime(),"某总页面内抓取或提取失败,错误缘由", e.reason
except Exception,e:
print self.getCurrentTime(),"某总页面内抓取或提取失败,错误缘由:",e
if start_page-x+1 < start_page:
f=open('page.txt','w')
f.write(str(start_page-x+1))
print self.getCurrentTime(),"写入新页码",start_page-x+1
f.close()
这样，无论咱们爬虫中途遇到什么错误，妈妈也不会担忧了
3.页面处理
页面处理过程当中，咱们可能遇到各类各样奇葩的HTML代码，和上一节同样，咱们沿用一个页面处理类便可。
import re
#处理页面标签类
class Tool:
#将超连接广告剔除
removeADLink = re.compile('<div class="link_layer.*?</div>')
#去除img标签,1-7位空格,
removeImg = re.compile('<img.*?>| {1,7}| ')
#删除超连接标签
removeAddr = re.compile('<a.*?>|</a>')
#把换行的标签换为\n
replaceLine = re.compile('<tr>|<div>|</div>|</p>')
#将表格制表<td>替换为\t
replaceTD= re.compile('<td>')
#将换行符或双换行符替换为\n
replaceBR = re.compile('<br><br>|<br>')
#将其他标签剔除
removeExtraTag = re.compile('<.*?>')
#将多行空行删除
removeNoneLine = re.compile('\n+')
def replace(self,x):
x = re.sub(self.removeADLink,"",x)
x = re.sub(self.removeImg,"",x)
x = re.sub(self.removeAddr,"",x)
x = re.sub(self.replaceLine,"\n",x)
x = re.sub(self.replaceTD,"\t",x)
x = re.sub(self.replaceBR,"\n",x)
x = re.sub(self.removeExtraTag,"",x)
x = re.sub(self.removeNoneLine,"\n",x)
#strip()将先后多余内容删除
return x.strip()
咱们能够用一段含有HTML代码的文字，通过调用replace方法以后，各类冗余的HTML代码就会处理好了。
好比咱们这么一段代码：
<article class="article-content"> <h2>前言</h2> <p>最近发现MySQL服务隔三差五就会挂掉，致使个人网站和爬虫都没法正常运做。本身的网站是基于MySQL，在作爬虫存取一些资料的时候也是基于MySQL，数据量一大了，MySQL它就有点受不了了，时不时会崩掉，虽然我本身有网站监控和邮件通知，可是好多时候仍是须要我来手动链接个人服务器从新启动一下个人MySQL，这样简直太不友好了，因此，我就觉定本身写个脚本，定时监控它，若是发现它挂掉了就重启它。</p> <p>好了，闲言碎语很少讲，开始咱们的配置之旅。</p> <p>运行环境：<strong>Ubuntu Linux 14.04</strong></p> <h2>编写Shell脚本</h2> <p>首先，咱们要编写一个shell脚本，脚本主要执行的逻辑以下：</p> <p>显示mysqld进程状态，若是判断进程未在运行，那么输出日志到文件，而后启动mysql服务，若是进程在运行，那么不执行任何操做，能够选择性输出监测结果。</p> <p>可能你们对于shell脚本比较陌生，在这里推荐官方的shell脚本文档来参考一下</p> <p><a href="http://wiki.ubuntu.org.cn/Shell%E7%BC%96%E7%A8%8B%E5%9F%BA%E7%A1%80" data-original-title="" title="">Ubuntu Shell 编程基础</a></p> <p>shell脚本的后缀为sh，在任何位置新建一个脚本文件，我选择在 /etc/mysql 目录下新建一个 listen.sh 文件。</p> <p>执行以下命令：</p>
通过处理后便会变成以下的样子：
前言 最近发现MySQL服务隔三差五就会挂掉，致使个人网站和爬虫都没法正常运做。本身的网站是基于MySQL，在作爬虫存取一些资料的时候也是基于MySQL，数据量一大了，MySQL它就有点受不了了，时不时会崩掉，虽然我本身有网站监控和邮件通知，可是好多时候仍是须要我来手动链接个人服务器从新启动一下个人MySQL，这样简直太不友好了，因此，我就觉定本身写个脚本，定时监控它，若是发现它挂掉了就重启它。 好了，闲言碎语很少讲，开始咱们的配置之旅。 运行环境：UbuntuLinux14.04 编写Shell脚本 首先，咱们要编写一个shell脚本，脚本主要执行的逻辑以下： 显示mysqld进程状态，若是判断进程未在运行，那么输出日志到文件，而后启动mysql服务，若是进程在运行，那么不执行任何操做，能够选择性输出监测结果。 可能你们对于shell脚本比较陌生，在这里推荐官方的shell脚本文档来参考一下 UbuntuShell编程基础 shell脚本的后缀为sh，在任何位置新建一个脚本文件，我选择在/etc/mysql目录下新建一个listen.sh文件。 执行以下命令：
通过上面的处理，全部乱乱的代码都会被处理好了。
4.保存到数据库
在这里，咱们想实现一个通用的方法，就是把存储的一个个内容变成字典的形式，而后执行插入语句的时候，自动构建对应的sql语句，插入数据。
好比咱们构造以下的字典：
#构造最佳答案的字典
good_ans_dict = {
"text": good_ans[0],
"answerer": good_ans[1],
"date": good_ans[2],
"is_good": str(good_ans[3]),
"question_id": str(insert_id)
}
构造sql语句并插入到数据库的方法以下：
#插入数据
def insertData(self, table, my_dict):
try:
self.db.set_character_set('utf8')
cols = ', '.join(my_dict.keys())
values = '"," '.join(my_dict.values())
sql = "INSERT INTO %s (%s) VALUES (%s)" % (table, cols, '"'+values+'"')
try:
result = self.cur.execute(sql)
insert_id = self.db.insert_id()
self.db.commit()
#判断是否执行成功
if result:
return insert_id
else:
return 0
except MySQLdb.Error,e:
#发生错误时回滚
self.db.rollback()
#主键惟一，没法插入
if "key 'PRIMARY'" in e.args[1]:
print self.getCurrentTime(),"数据已存在，未插入数据"
else:
print self.getCurrentTime(),"插入数据失败，缘由 %d: %s" % (e.args[0], e.args[1])
except MySQLdb.Error,e:
print self.getCurrentTime(),"数据库错误，缘由%d: %s" % (e.args[0], e.args[1])
这里咱们只须要传入那个字典，便会构建出对应字典键值和键名的sql语句，完成插入。
5.PHP读取日志
咱们将运行结果输出到了日志里，那么怎么查看日志呢？很简单，在这里提供两种方法
方法一：
PHP倒序输出全部日志内容
<html>
<head>
<meta charset="utf-8">
<meta http-equiv="refresh" content = "5">
</head>
<body>
<?php
$fp = file("out.log");
if ($fp) {
for($i = count($fp) - 1;$i >= 0; $i --)
echo $fp[$i]."<br>";
}
?>
</body>
</html>
此方法能够看到全部的输入日志，可是若是日志太大了，那么就会报耗费内存太大，没法输出。为此咱们就有了第二种方法，利用linux命令，输出后十行内容。
方法二：
<html>
<head>
<meta charset="utf-8">
<meta http-equiv="refresh" content = "5">
</head>
<body>
<?php
$ph = popen('tail -n 100 out.log','r');
while($r = fgets($ph)){
echo $r."<br>";
}
pclose($ph);
?>
</body>
</html>
上面两种方法都是5秒刷新一次网页来查看最新的日志。
源代码放送
好了，闲言碎语很少讲，直接上源码了
spider.py
spider.py
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import time
import types
import page
import mysql
import sys
from bs4 import BeautifulSoup
class Spider:
#初始化
def __init__(self):
self.page_num = 1
self.total_num = None
self.page_spider = page.Page()
self.mysql = mysql.Mysql()
#获取当前时间
def getCurrentTime(self):
return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
#获取当前时间
def getCurrentDate(self):
return time.strftime('%Y-%m-%d',time.localtime(time.time()))
#经过网页的页码数来构建网页的URL
def getPageURLByNum(self, page_num):
page_url = "http://iask.sina.com.cn/c/978-all-" + str(page_num) + ".html"
return page_url
#经过传入网页页码来获取网页的HTML
def getPageByNum(self, page_num):
request = urllib2.Request(self.getPageURLByNum(page_num))
try:
response = urllib2.urlopen(request)
except urllib2.URLError, e:
if hasattr(e, "code"):
print self.getCurrentTime(),"获取页面失败,错误代号", e.code
return None
if hasattr(e, "reason"):
print self.getCurrentTime(),"获取页面失败,缘由", e.reason
return None
else:
page = response.read().decode("utf-8")
return page
#获取全部的页码数
def getTotalPageNum(self):
print self.getCurrentTime(),"正在获取目录页面个数,请稍候"
page = self.getPageByNum(1)
#匹配全部的页码数,\u4e0b\u4e00\u9875是下一页的UTF8编码
pattern = re.compile(u'<span class="more".*?>.*?<span.*?<a href.*?class="">(.*?)</a>\s*<a.*?\u4e0b\u4e00\u9875</a>', re.S)
match = re.search(pattern, page)
if match:
return match.group(1)
else:
print self.getCurrentTime(),"获取总页码失败"
#分析问题的代码,获得问题的提问者,问题内容,回答个数,提问时间
def getQuestionInfo(self, question):
if not type(question) is types.StringType:
question = str(question)
#print question
pattern = re.compile(u'<span.*?question-face.*?>.*?<img.*?alt="(.*?)".*?</span>.*?<a href="(.*?)".*?>(.*?)</a>.*?answer_num.*?>(\d*).*?</span>.*?answer_time.*?>(.*?)</span>', re.S)
match = re.search(pattern, question)
if match:
#得到提问者
author = match.group(1)
#问题连接
href = match.group(2)
#问题详情
text = match.group(3)
#回答个数
ans_num = match.group(4)
#回答时间
time = match.group(5)
time_pattern = re.compile('\d{4}\-\d{2}\-\d{2}', re.S)
time_match = re.search(time_pattern, time)
if not time_match:
time = self.getCurrentDate()
return [author, href, text, ans_num, time]
else:
return None
#获取所有问题
def getQuestions(self, page_num):
#得到目录页面的HTML
page = self.getPageByNum(page_num)
soup = BeautifulSoup(page)
#分析得到全部问题
questions = soup.select("div.question_list ul li")
#遍历每个问题
for question in questions:
#得到问题的详情
info = self.getQuestionInfo(question)
if info:
#获得问题的URL
url = "http://iask.sina.com.cn/" + info[1]
#经过URL来获取问题的最佳答案和其余答案
ans = self.page_spider.getAnswer(url)
print self.getCurrentTime(),"当前爬取第",page_num,"的内容,发现一个问题",info[2],"回答数量",info[3]
#构造问题的字典,插入问题
ques_dict = {
"text": info[2],
"questioner": info[0],
"date": info[4],
"ans_num": info[3],
"url": url
}
#得到插入的问题的自增ID
insert_id = self.mysql.insertData("iask_questions",ques_dict)
#获得最佳答案
good_ans = ans[0]
print self.getCurrentTime(),"保存到数据库,此问题的ID为",insert_id
#若是存在最佳答案,那么就插入
if good_ans:
print self.getCurrentTime(),insert_id,"号问题存在最佳答案",good_ans[0]
#构造最佳答案的字典
good_ans_dict = {
"text": good_ans[0],
"answerer": good_ans[1],
"date": good_ans[2],
"is_good": str(good_ans[3]),
"question_id": str(insert_id)
}
#插入最佳答案
if self.mysql.insertData("iask_answers",good_ans_dict):
print self.getCurrentTime(),"保存最佳答案成功"
else:
print self.getCurrentTime(),"保存最佳答案失败"
#得到其余答案
other_anses = ans[1]
#遍历每个其余答案
for other_ans in other_anses:
#若是答案存在
if other_ans:
print self.getCurrentTime(),insert_id,"号问题存在其余答案",other_ans[0]
#构造其余答案的字典
other_ans_dict = {
"text": other_ans[0],
"answerer": other_ans[1],
"date": other_ans[2],
"is_good": str(other_ans[3]),
"question_id": str(insert_id)
}
#插入这个答案
if self.mysql.insertData("iask_answers",other_ans_dict):
print self.getCurrentTime(),"保存其余答案成功"
else:
print self.getCurrentTime(),"保存其余答案失败"
#主函数
def main(self):
f_handler=open('out.log', 'w')
sys.stdout=f_handler
page = open('page.txt', 'r')
content = page.readline()
start_page = int(content.strip()) - 1
page.close()
print self.getCurrentTime(),"开始页码",start_page
print self.getCurrentTime(),"爬虫正在启动,开始爬取爱问知识人问题"
self.total_num = self.getTotalPageNum()
print self.getCurrentTime(),"获取到目录页面个数",self.total_num,"个"
if not start_page:
start_page = self.total_num
for x in range(1,start_page):
print self.getCurrentTime(),"正在抓取第",start_page-x+1,"个页面"
try:
self.getQuestions(start_page-x+1)
except urllib2.URLError, e:
if hasattr(e, "reason"):
print self.getCurrentTime(),"某总页面内抓取或提取失败,错误缘由", e.reason
except Exception,e:
print self.getCurrentTime(),"某总页面内抓取或提取失败,错误缘由:",e
if start_page-x+1 < start_page:
f=open('page.txt','w')
f.write(str(start_page-x+1))
print self.getCurrentTime(),"写入新页码",start_page-x+1
f.close()
spider = Spider()
spider.main()
page = Page()
page.getAnswer(None)
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import time
import types
import tool
from bs4 import BeautifulSoup
#抓取分析某一问题和答案
class Page:
def __init__(self):
self.tool = tool.Tool()
#获取当前时间
def getCurrentDate(self):
return time.strftime('%Y-%m-%d',time.localtime(time.time()))
#获取当前时间
def getCurrentTime(self):
return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
#经过页面的URL来获取页面的代码
def getPageByURL(self, url):
try:
request = urllib2.Request(url)
response = urllib2.urlopen(request)
return response.read().decode("utf-8")
except urllib2.URLError, e:
tool.py
#-*- coding:utf-8 -*-
import re
#处理页面标签类
class Tool:
#将超连接广告剔除
removeADLink = re.compile('<div class="link_layer.*?</div>')
#去除img标签,1-7位空格,
removeImg = re.compile('<img.*?>| {1,7}| ')
#删除超连接标签
removeAddr = re.compile('<a.*?>|</a>')
#把换行的标签换为\n
replaceLine = re.compile('<tr>|<div>|</div>|</p>')
#将表格制表<td>替换为\t
replaceTD= re.compile('<td>')
#将换行符或双换行符替换为\n
replaceBR = re.compile('<br><br>|<br>')
#将其他标签剔除
removeExtraTag = re.compile('<.*?>')
mysql.py
# -*- coding:utf-8 -*-
import MySQLdb
import time
class Mysql:
#获取当前时间
def getCurrentTime(self):
return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
#数据库初始化
def __init__(self):
try:
self.db = MySQLdb.connect('ip','username','password','db_name')
self.cur = self.db.cursor()
except MySQLdb.Error,e:
print self.getCurrentTime(),"链接数据库错误，缘由%d: %s" % (e.args[0], e.args[1])
#插入数据
def insertData(self, table, my_dict):
try:
self.db.set_character_set('utf8')
cols = ', '.join(my_dict.keys())
values = '"," '.join(my_dict.values())
sql = "INSERT INTO %s (%s) VALUES (%s)" % (table, cols, '"'+values+'"')
try:
result = self.cur.execute(sql)
insert_id = self.db.insert_id()
self.db.commit()
#判断是否执行成功
if result:
return insert_id
else:
return 0
except MySQLdb.Error,e:
#发生错误时回滚
self.db.rollback()
#主键惟一，没法插入
if "key 'PRIMARY'" in e.args[1]:
print self.getCurrentTime(),"数据已存在，未插入数据"
else:
print self.getCurrentTime(),"插入数据失败，缘由 %d: %s" % (e.args[0], e.args[1])
except MySQLdb.Error,e:
print self.getCurrentTime(),"数据库错误，缘由%d: %s" % (e.args[0], e.args[1])
数据库建表SQL以下：
PgSQL
CREATE TABLE IF NOT EXISTS `iask_answers` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`text` text NOT NULL COMMENT '回答内容',
`question_id` int(18) NOT NULL COMMENT '问题ID',
`answerer` varchar(255) NOT NULL COMMENT '回答者',
`date` varchar(255) NOT NULL COMMENT '回答时间',
`is_good` int(11) NOT NULL COMMENT '是不是最佳答案',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE IF NOT EXISTS `iask_questions` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '问题ID',
`text` text NOT NULL COMMENT '问题内容',
`questioner` varchar(255) NOT NULL COMMENT '提问者',
`date` date NOT NULL COMMENT '提问时间',
`ans_num` int(11) NOT NULL COMMENT '回答数量',
`url` varchar(255) NOT NULL COMMENT '问题连接',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
运行的时候执行以下命令便可
nohup python spider.py &
运行结果查看
咱们把PHP文件和log文件放在同一目录下，运行PHP文件，即可以看到以下的内容：
相关文章
- 1. 芝麻HTTP：Python爬虫实战之抓取淘宝MM照片
- 2. 芝麻HTTP：Python爬虫实战之爬取糗事百科段子
- 3. 芝麻HTTP：Python爬虫入门之Urllib库的高级用法
- 4. 芝麻HTTP:Python爬虫实战之爬取百度贴吧帖子
- 5. 芝麻HTTP：Python爬虫进阶之Scrapy框架安装配置
- 6. 芝麻HTTP：Python爬虫入门之URLError异常处理
- 7. 芝麻HTTP：Python爬虫入门之Cookie的使用
- 8. 芝麻HTTP：Python爬虫利器之Xpath语法与lxml库的用法
- 9. [python爬虫] Selenium爬取内容并存储至MySQL数据库
- 10. python爬虫实战-爬取笑话大全并保存至本地（xpath）
- 更多相关文章...
- • Lua 数据库访问 - Lua 教程
- • Redis悲观锁解决高并发抢红包的问题 - 红包项目实战
- • 再有人问你分布式事务，把这篇扔给他
- • PHP Ajax 跨域问题最佳解决方案
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 芝麻HTTP：Python爬虫实战之抓取淘宝MM照片
- 2. 芝麻HTTP：Python爬虫实战之爬取糗事百科段子
- 3. 芝麻HTTP：Python爬虫入门之Urllib库的高级用法
- 4. 芝麻HTTP:Python爬虫实战之爬取百度贴吧帖子
- 5. 芝麻HTTP：Python爬虫进阶之Scrapy框架安装配置
- 6. 芝麻HTTP：Python爬虫入门之URLError异常处理
- 7. 芝麻HTTP：Python爬虫入门之Cookie的使用
- 8. 芝麻HTTP：Python爬虫利器之Xpath语法与lxml库的用法
- 9. [python爬虫] Selenium爬取内容并存储至MySQL数据库
- 10. python爬虫实战-爬取笑话大全并保存至本地（xpath）