初学Python之爬虫
爬虫学习笔记
-
什么是爬虫？
- 爬虫就是：模拟客户端（浏览器）发送网络请求，获取响应，按照规则提取数据的程序
- 模拟客户端（浏览器）发送网络请求：照着浏览器发送一模一样的请求，获取和浏览器一模一样的数据
-
爬取的数据去哪了
- 呈现出来：展示在网页上，或者是展示在app上
- 进行分析：从数据中寻找一些规律
-
需要的软件和环境
- Python3
安装Python一般有两种方法：1.去Python官网下载对应系统的安装包安装；2.通过anaconda套件安装Python环境。据说anaconda很不错，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题，所以我就选了它。 - Pycharm
估计是最受欢迎的Python的集成开发环境，专业版是收费的，试用期30天，社区版免费，对我这种初学者应该也够用了。（注意安装后要配置一下anaconda的环境） - Chrome浏览器或者Firefox
分析网络请求用的
- Python3
-
浏览器的请求
- url
在chrome中点击检查，点到network
url=请求的协议+网站的域名+资源路径+参数 - 浏览器请求url地址
当前url对应的响应+js+css+图片——>elements中的内容 - 爬虫请求url地址
当前url对应的响应
Elements的内容和爬虫获取到的url地址响应不同，爬虫中需要以当前url地址对应的响应为准提取数据 - 当前url地址对应的响应在哪里
- 从network中找到当前的url地址，点击response
- 在页面上右键点击显示网页源码
- url
-
认识HTTP、HTTPS
- HTTP：超文本传输协议
以明明的形式传输
效率更高，但是不安全 - HTTPS：HTTP+SSL（安全套接字层）
传输之前数据先加密，之后解密获取内容
效率较低，但是安全 - Get请求和post请求的区别
Get请求没有请求体，post请求有，get请求把数据放到url地址中
Post请求常用于登录注册，
Post请求携带的数据量比get请求大，多，常用于传输大文本的时候
- HTTP：超文本传输协议
-
HTTP协议之请求
- 请求行
- 请求头
User-Agent：用户代理：对方服务器能够通过User_Agent知道当前请求对方资源的是什么浏览器
如果我们需要模拟手机版的浏览器发送请求，对应的，就需要把user_agent改成手机版
Cookie：用来存储用户信息的，最终每次请求会被携带上发送给对方的浏览器
要获取登录后才能访问的页面
对方的服务器会通过Cookie来判断我们是否是一个爬虫 - 请求体
携带数据
Get请求没有请求体
Post请求有请求体
-
HTTP协议之响应
- 响应头
Set-Cookie：对方服务器通过该字段设置cookie到本地 - 响应体
url地址对应的响应
- 响应头
-
requests模块的学习
-
使用之前先安装requests模块
pip install requests -
发送get，post请求，获取响应
-
response=requests.get(url) # 发送get请求，请求url地址
response=requests.post(url,data={请求体的字典}) # 发送post请求，请求url地址对应的响应
- response的方法
- response.text
该方式往往会出现乱码，出现乱码使用
- response.text
response.encoding=“utf-8” response.content.decode()
- 把响应的二进制字节流转化为str类型
response.request.url # 发送请求的url地址 response.url # response响应的url地址 response.request.headers # 请求头 response.headers # 响应头
- 获取网页源码的正确打开方式（通过下面三种方式一定能够获取到网页正确解码之后的字符串）
- response.content.decode()
- response.content.decode(“gbk”)
- response.text
- 发送带header的请求
headers= { “User-Agent”:“ Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1” “Referer”: “https://fanyi.baidu.com/” } response=requests.get(url,headers=headers)
- 使用超时参数
# 3秒内必须返回响应，否则会报错 requests.get(url,headers=headers,timeout=3)
- retrying模块学习
首先pip install retrying
from retrying import retry @retry(stop_max_attempt_number=3) def fun1(): print(“this is func1”) raise ValueError(“this is test error”)
-
处理cookie相关的请求
- 直接携带cookie请求url地址
1.把cookie放在headers中
Headers={“User_Agent”:“……”“Cookie”:“cookie字符串”}
2.cookie字典传给cookies参数
requests.get（url，cookies=cookie_dict）
- 直接携带cookie请求url地址
-
先发送post请求，获取cookie，带上cookie请求登录后的页面
# 1.session具有的方法和requests一样 session = requests.session() # 2.服务器设置在本地的cookie会保存在session session.post(url,data,headers) # 3.会带上之前保存在session中的cookie，能够请求成功 session.get(url)
-
数据提取方法
- jison
数据交换格式，看起来像Python类型的字符串
使用json之前需要导入 - 哪里会返回json的数据
1.浏览器切换到手机版
2.抓包APP
- jison
-
Json.loads
把json字符串转化为Python类型
json.loads(json字符串) -
Json.dumps
把Python类型转化为json字符串
json.dumps({“a”=”a”,”b”=”2”}) -
json.dumps(ret1,ensure_ascii=False,indent=2)
ensure_ascii：让中文显示成中文
indent：能够让下一行在上一行的基础上空格 -
xpath和lxml
xpath
一门从html中提取数据的语言
xpath语法
Xpath helper插件：帮助我们从elements中定位数据
- 选择节点（标签）
/html/head/meta：能够选中html下的head下的所有的meta标签 - //:能够从任意节点开始选择
//li：当前页面上的所有的li标签
/html/head//link：head下的所有的link标签 - @符号的用途
选择具体某个元素：//div[@class=’feed-infinite-wrapper’]/ul/li
选择class=’feed-infinite-wrapper’的div下的ul下的li
a/@href：选择a的href的值 - 获取文本
/a/text()：获取a下的文本
/a//text()：获取a下的所有文本 - 当前
“./a”当前节点下的a标签
- lxml
安装：pip install etree
使用
from lxml import etree element = etree.HTML(“html字符串”) element.xpath(“”)
- 写爬虫的讨论
- url
知道url地址的规律和总的页码数：构造url地址的列表
star_url - 发送请求，获取响应
requests - 提取数据
返回json字符串：json模块
返回的是html字符串：lxml模块配合xpath提取数据 - 保存
- 案例（糗事百科）
# coding=utf-8 from lxml import etree import requests import json class QiuBaiSpider: def __init__(self): self.url_temp = "https://www.qiushibaike.com/8hr/page/{}/" self.headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"} def get_url_list(self):# 根据url地址的规律，构造url_list url_list = [self.url_temp.format(i) for i in range(1,14)] return url_list def parse_url(self,url): print("now parsing:",url) response = requests.get(url,headers=self.headers) return response.content.decode() def get_content_list(self,html_str): html = etree.HTML(html_str) # 1.分组 div_list = html.xpath("//div[@id='content-left']/div") content_list = [] for div in div_list: item = {} item["author_name"] = div.xpath(".//h2/text()")[0].strip() if len(div.xpath(".//h2/text()"))>0 else None item["content"] = div.xpath(".//div[@class='content']/span/text()") item["content"] = [i.strip() for i in item["content"]] item["stats_vote"] = div.xpath(".//span[@class='stats-vote']/i/text()") item["stats_vote"] = item["stats_vote"][0] if len(item["stats_vote"])>0 else None item["stats_comments"] = div.xpath(".//span[@class='stats-comments']//i/text()") item["stats_comments"] = item["stats_comments"][0] if len(item["stats_comments"]) > 0 else None item["img"] = div.xpath(".//div[@class='thumb']//img/@src") item["img"] = "https:"+item["img"][0] if len(item["img"])>0 else None content_list.append(item) return content_list def save_content_list(self,content_list): # 保存 with open("qiubai.txt","a",encoding="utf-8") as f: for content in content_list: f.write(json.dumps(content,ensure_ascii=False)) f.write("\n") print("保存成功") def run(self):# 实现主要逻辑 # 1.根据url地址的规律，构造url_list url_list = self.get_url_list() # 2.发送请求，获取响应 for url in url_list: html_str = self.parse_url(url) # 3.提取数据 content_list = self.get_content_list(html_str) # 4.保存 self.save_content_list(content_list) if __name__ == '__main__': qiubai = QiuBaiSpider() qiubai.run()
