python3编写网络爬虫13-Ajax数据爬取

时间 2020-07-16

标签 python3 python 编写网络爬虫 ajax 数据栏目 Python 繁體版

原文原文链接

1、Ajax数据爬取javascript

1. 简介：Ajax 全称Asynchronous JavaScript and XML 异步的Javascript和XML。
它不是一门编程语言，而是利用JavaScript在保证页面不被刷新，页面连接不改变的状况下与服务器交换数据，
得到数据后，再利用JavaScript改变页面。java

示例：新浪微博热门python

2. 基本原理ajax

2.1 发送请求mongodb

JavaScript能够实现页面交互功能 Ajax也不例外它是由JavaScript实现的，实际上执行了以下代码数据库

var xmlhttp; if(window.XMLHttpRequest){ 　　# code for IE7+,Firefox,Chrome,Opera,Safari 　　xmlhttp = new XMLHttpRequest();#新建对象 }else{#code for IE6,IE5 　　xmlhttp = new ActiveXObject("Microsoft.XMLHTTP"); } xmlhttp.onreadystatechange = function(){#设置监听 　　if(xmlhttp.readyState==4 && xmlhttp.status==200){ 　　　　document.getElementById("myDiv").innerHTML = xmlhttp.responseText; 　　} } xmlhttp.open("POST","/ajax/",true); xmlhttp.send();#发送请求

这是javascript对ajax最底层的实现，新建XMLHttpRequest对象调用onreadystatechange属性设置监听
调用open和send方法发送请求。编程

以前用python发送请求能够获得响应结果但这里的请求发送变成了javascript来完成，
因为设置了监听服务器响应结果时，onreadystatechange属性会被触发而后解析里面的内容。json

2.2 解析内容api

获得响应内容后，onreadystatechange属性对应的方法便会触发，利用xmlhttp的responseText属性接收。
相似python中利用requests向服务器发送请求而后获得响应结果的过程。
返回的结果多是HTML 也多是JSON 只须要在js中作进一步处理例如返回json 能够进行解析和转化。浏览器

2.3 渲染页面

js有改变网页内容的能力，解析完响应内容后调用js里面document.getElementById().innerHTML 改变某个元素内的源代码
这样网页的内容就改变了简称DOM操做

2.4 总结 3个步骤都是js完成的微博下拉实际上就是js向服务器发送一个Ajax请求而后获取服务器响应内容
解析并渲染到网页中。真实数据都是js一次次ajax请求获得的。
若是须要抓取数据就要知道请求怎么发送的？发送到哪里？发送了哪些参数？

3. Ajax分析方法

3.1 查看方法

测试地址：

https://m.weibo.cn/u/1195242865

浏览器开发者工具 ajax请求类型为xhr
Request Headers信息为 X-Requested-With: XMLHttpRequest 标记此请求为Ajax请求

3.2 过滤请求

点击开发者工具Network -> XHR 过滤为ajax请求不断滑动页面出现新的请求

发送请求地址：

https://m.weibo.cn/api/container/getIndex?type=uid&value=1195242865&containerid=1076031195242865&since_id=4311085060664535

参数：
type: uid
value: 1195242865
containerid: 1076031195242865
page:1

4. 提取结果

from urllib.parse import urlencode import requests from pyquery import PyQuery as pq base_url = 'https://m.weibo.cn/api/container/getIndex?'#请求url的前半部分
 headers = { 　　'Host':'m.weibo.cn', 　　'Referer': 'https://m.weibo.cn/u/1195242865', 　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36', 　　'X-Requested-With': 'XMLHttpRequest', } # 构造url 发送请求
def get_page(page): 　　params = { 　　　　'type': 'uid', 　　　　'value': '1195242865', 　　　　'containerid': '1076031195242865', 　　　　'page':page, 　　} 　　url = base_url + urlencode(params) 　　try: 　　　　response = requests.get(url,headers=headers) 　　　　if response.status_code == 200: 　　　　　　return response.json() 　　except requests.ConnectionError as e: 　　　　print('Error',e.args) #解析方法 提取id 正文 赞数 评论数 转发数 遍历cards 获取mblog中的各个信息

def parse_page(json): 　　if json: 　　　　items = json.get('data').get('cards') 　　　　for item in items: 　　　　# print(item)
　　　　item = item.get('mblog') 　　　　if item: 　　　　　　weibo = {} #定义空字典接收数据
　　　　　　weibo['id'] = item.get('id') 　　　　　　weibo['text'] = pq(item.get('text')).text() 　　　　　　weibo['attitudes'] = item.get('attitudes_count') 　　　　　　weibo['comments'] = item.get('comments_count') 　　　　　　weibo['reposts'] = item.get('reposts_count') 　　　　　　yield weibo #遍历page 一共10页 将提取到的结果打印输出

if __name__ == '__main__': 　　for page in range(1,3): 　　　　json = get_page(page) 　　　　results = parse_page(json) 　　　　for result in results: 　　　　　　print(result)

5. 添加到mongodb数据库中

from pymongo import MongoClient client = MongoClient() db = client['weibo'] collection = db['weibo'] def save_to_mongo(result): 　　if collection.insert(result): 　　　　print('Saved to Mongo')

查看mongo内容

启动mongo服务查看库 show dbs; 查看当前在哪一个库 db.getName(); 进入库 use dbname;
查看数据 db.dbname.find(); 删除当前所在库 db.dropDatabase();

至此分析模拟Ajax请求爬取微博列表完成爬取结果不重要还有好多地方能够完善好比动态计算页码，查看微博全文等等。
主要是让你们了解抓取原理

实例：爬取今日头条街拍图片

地址：http://www.toutiao.com 关键字：街拍

offset: 0 format: json keyword: 街拍 autoload: true count: 20 cur_tab: 1
from: search_tab pd: synthesis

基本代码

import requests import json import time import re import os from random import choice from hashlib import md5 url = "https://www.toutiao.com/search_content/?" header = { 　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36', } keyword = '街拍' has_gallery_lists = [] no_gallery_lists = [] def SearchPageParser(offset=0): 　　payload = { 　　　　'offset': offset, 　　　　'format': 'json', 　　　　'keyword': keyword, 　　　　'autoload': 'true', 　　　　'count': 30, 　　　　'cur_tab': 1, 　　　　'from': 'search_tab' 　　} 　　count = 0 　　try: 　　　　response = requests.get(url, headers=header, params=payload) 　　　　content = None 　　　　#打印拼接请求后的url 　　　　# print("Parser " + response.url)
　　　　if response.status_code == requests.codes.ok: 　　　　　　content = response.text 　　　　　　data = json.loads(content) 　　　　　　if not data: 　　　　　　　　return

　　　　　　for article in data.get('data'): 　　　　　　　　if True == article.get('has_gallery') and True == article.get('has_image'): 　　　　　　　　　　has_gallery_lists.append(article.get('article_url')) 　　　　　　　　　　count += 1

　　　　　　　　if False == article.get('has_gallery') and True == article.get('has_image'): 　　　　　　　　　　no_gallery_lists.append(article.get('article_url')) 　　　　　　　　　　count += 1

　　　　　　　　return count 　　　except Exception as e: 　　　　print(e) 　　　　return

#保存本地函数
def SaveImage(imageURL,title): #判断文件夹是否存在
　　if not os.path.exists(title): 　　　　os.mkdir(title) 　　try: 　　　　response = requests.get(imageURL) 　　　　if response.status_code == 200: 　　　　　　file_path = '{0}/{1}.{2}'.format(title, md5(response.content).hexdigest(), 'jpg') 　　　　　　# 判断是否重名
　　　　　　if not os.path.exists(file_path): 　　　　　　　　with open(file_path,'wb') as f: 　　　　　　　　f.write(response.content) 　　　　　　else: 　　　　　　　　print('Already Downloaded',file_path) 　　except: 　　　　print('Failed to Save Image') #第一种页面
def HasGalleryParser(): 　　if 0 == len(has_gallery_lists): 　　　　return

　　# 正则
　　pattern = re.compile('gallery: JSON\.parse\("(.*?)max_img', re.S) 　　pattern_t = re.compile('<title>(.*?)</title>', re.S) 　　while has_gallery_lists: 　　　　this = has_gallery_lists.pop() 　　try: 　　　　response = requests.get(this, headers=header) 　　　　content = None 　　　　if response.status_code == requests.codes.ok: 　　　　　　content = response.text 　　　　　　data = pattern.findall(content) 　　　　　　pattern_t.findall(content) 　　　　　　if data: 　　　　　　#去掉多余符号
　　　　　　　　data = data[0][:-4].replace('\\', '') + ']}' 　　　　　　　　img_urls = json.loads(data).get('sub_images') 　　　　　　　　title = "".join(pattern_t.findall(content)) 　　　　　　　　for img_url in img_urls: 　　　　　　　　#保存函数
　　　　　　　　　　SaveImage(img_url.get('url'),title) 　　　　　　else: 　　　　　　　　print("BadPageURL[GalleryParser, {0:s}]".format(this)) 　　except Exception as e: 　　　　print(e) 　　　　return 　　time.sleep(0.25) #第二种页面
def NoGalleryParser(): 　　if 0 == len(no_gallery_lists): 　　　　return

　　while no_gallery_lists: 　　　　this = no_gallery_lists.pop() 　　　　#正则匹配
　　　　pattern = re.compile('&lt;img src&#x3D;&quot;(.*?)&quot;', re.S) 　　　　pattern_t = re.compile('<title>(.*?)</title>',re.S) 　　　　try: 　　　　　　response = requests.get(this, headers=header) 　　　　　　content = None 　　　　　　if response.status_code == requests.codes.ok: 　　　　　　　　content = response.text 　　　　　　　　img_urls = pattern.findall(content) 　　　　　　　　img_title = "".join(pattern_t.findall(content)) 　　　　　　　　if img_urls: 　　　　　　　　　　for img_url in img_urls: 　　　　　　　　　　　　#保存函数
　　　　　　　　　　　　SaveImage(img_url,img_title) 　　　　　　　　else: 　　　　　　　　　　# 过滤地址
　　　　　　　　　　print("BadPageURL[NoGalleryParser, {0:s}]".format(this)) 　　　　except Exception as e: 　　　　　　print(e) 　　　　　　return 　　time.sleep(0.25) if __name__ == "__main__": 　　#计数变量
　　x, count = 0, 0 　　# 获取头条页面
　　cnt_urls = SearchPageParser(x) 　　while count < 20 and cnt_urls: 　　　　cnt_urls = SearchPageParser(x + 20) 　　　　count += cnt_urls 　　　　x += 20 　　　　time.sleep(0.55) 　　　　#打印分页地址 　　　　# print("Get {0:d} URL(s) in total.".format(count)) 　　# 分析页面
　　HasGalleryParser() 　　NoGalleryParser()