python爬虫-翻页url不变网页的爬虫探究
url随着翻页改变的爬虫已经有很是多教程啦，这里主要记录一下我对翻页url不变网页的探究过程。
学术菜鸡第一次写CSDN，请你们多多包容～ 若是对你有一点点帮助，请帮我点个赞吧！
html
翻页url不变 与 翻页url改变 有什么区别？
url其实就是连接，翻页url改变的连接就是翻页请求在url中体现的连接，比方说不少爬虫初学者的第一个爬虫实例：爬取豆瓣电影top250的信息。python
注意看这个网站的连接！！
这里能够看到控制页数的参数start直接在url中体现了，改变start=以后的数值就可以实现翻页。start=25对应的页面就是从26开始的电影，start=0对应的页面就是从1开始的电影。那么只须要控制start以后的数字以25为步长递增就能够经过for函数实现翻页。
web
可是有时候会遇到明明你点击了翻页，但url却不改变的状况，好比这个：
这种状况没有办法在python中直接经过改变url实现翻页。
json
找到翻页命令
事实上，控制网页翻页总得有一个参数，只是在翻页url改变的状况中，这个翻页参数体如今了url中，这使得咱们能够经过直接改变url的方式实现翻页。对于翻页url不变的状况，咱们其实只须要找到翻页命令所在的位置，而后控制这条命令便可。服务器
下面介绍我找到翻页命令的一种方式：app
- 打开开发者模式
- 在打开开发者模式的状况下点击翻页
- 找到翻页后返回的内容表单 （通常是XHR格式）
- 查看其headers （注意pages，start，p等字眼）
- 提取相应的部分，在python中编写语句实现控制就能够控制翻页了
爬取去哪儿酒店信息实例
-
打开开发者模式，并点击翻页
python爬虫 -
找到返回的第二页内容的表单
能够点击list-preview打开表单预览，确认这个list确实是服务器返回的第二页酒店内容
这里能够看到list里面的内容确实就是第二页的酒店内容，那么咱们就要寻找这个list是怎么返回的，即它是经过向服务器发送什么命令返回的！！
函数 -
查看list的headersoop
能够发如今Request Headers之下多了一个新的模块，叫作Request Payload
（我以前在CSDN上看到不少帖子，都是讲From Data或者Query String Parameters，可是我却一直没找到这两个模块，只有Request Payload，后来通过高人指点才知道，其实在Request Payload内也有可能隐藏着翻页的信息，因此我在想不必定要局限在具体的模块名字，关键是找到翻页以后服务器返回的信息表单，找它的headers有什么与第一页headers不一样的地方）
post
- 将Request Payload的内容打开观察
观察Request Payload里的内容，发现这条指令实际上是向服务器发送了一些要求，好比说要求了须要查找的酒店所在城市是西安，还指定了查询的日期。能够看到这里有一条start：20的命令，通过对比第一页list的同一位置（start：0）发现start：i就是控制返回不一样页面的命令。
至此咱们已经发掘到了翻页url不变网站的翻页命令，下面只须要在爬虫构造headers的时候，加上Request Payload里要求的内容，其中start控制内容由函数参数控制。这样就实现了控制爬取页数的操做。
除此以外，不难发现咱们甚至还能够控制经过控制Request Payload中的city方便地实现对不一样城市酒店的爬取。
代码
下面附上完整代码，因为去哪儿网页时常加载失败，因此若是前两次出现“No targets found”颇有多是因为连接网页失败，多试几回就行了。
- 经过修改main()里的city，能够爬取不一样城市的酒店信息。
- 经过修改getlist()里z的范围，能够改变爬取页数。
- 我没有对正则提取的内容作任何模糊处理，理论上复制这个代码就能够运行。
- 大多数城市直接输入城市拼音就能够爬到（连接失败就多试几回），可是北京得用beijing_city。若是有的城市试了不少次都连接失败，能够上去哪儿网手动搜索看看url里的city是怎样的，手动添加一下就能够了。
#-*- codeing = utf-8 -*- #@Time : 2020/8/4 9:25 上午 #@Author : Tango #@File : hotel_general.py #@Software : PyCharm import time import re import requests from bs4 import BeautifulSoup import xlwt import json findname = re.compile(r'<a class="hotel-name".*>(.*?)</a>') findgrade = re.compile(r'<span class="num">(3|4|("4))\.(.*?)</span><span class="desc">') findtotal = re.compile(r'<span class="total">共(.*)条评论</span>') findprice = re.compile(r'<span class="y rmb">¥</span>(.*)<span class="qi">起</span>') finddetail = re.compile(r'<a class="btn hotel-card-detail-btn" (.*?)" rel="noopener noreferrer" target="_blank" title=.*>查看详情</a>') def askurl(city, i, url): #获取网页内容（post） request_payload = { "b": "{bizVersion: \"17\", cityUrl:" + city + ", cityName: \"\", fromDate: \"2020-08-04\", toDate: \"2020-08-05\", q: \"\",…}", "bizVersion": "17", "channelId": 1, "cityName": "", "cityType": 1, "cityUrl": city, "comprehensiveFilter": [], "fromAction": "", "fromDate": "2020-08-04", "fromForLog": 1, "hourlyRoom": "false", "level": "", "locationAreaFilter": [], "maxPrice": -1, "minPrice": 0, "num": 20, "q": "", "qFrom": 3, "searchType": 0, "sort": 0, "start": int(i*20), "toDate": "2020-08-05", "userId": "", "userName": "", "uuid": "", "qrt": "h_hlist", "source": "website" } head = { "user-agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36" } response = requests.post(url, headers=head, data=json.dumps(request_payload)) #headers里表示这里的数据获取是post方法，因此使用requests.post函数 return response.text def getlist(city, url): hotellist = [] for z in range(0, 3): # 爬取页数设置 page = askurl(city, z, url) #爬取第z页 soup = BeautifulSoup(page, 'html.parser') #是一个树形结构了 lsts = soup.find_all('div', class_="inner clearfix" ) ##表空判断 if not lsts: print("No targets found") print("链接到网页失败") exit(0) print("连接网页成功，开始爬取数据") number = 1 #非空状况下读取 for item in lsts: hotel = [] #每一个hotel存放一个酒店的信息（列表形式） item = str(item) # 酒店名称 hotel_name = re.findall(findname, item)[0] hotel.append(hotel_name) # 酒店评分 hotel_grade = re.findall(findgrade, item) temp = list(hotel_grade) if temp: hotel.append(temp[0][0]) hotel.append(temp[0][2]) else: hotel.append(0) hotel.append(0) # 酒店总评分数 hotel_total = re.findall(findtotal, item)[0] hotel.append(hotel_total) # 酒店起步价 hotel_price = re.findall(findprice, item) if len(hotel_price): hotel_price = hotel_price[0] else: hotel_price = 0 hotel.append(hotel_price) # 详情连接 hotel_info = re.findall(finddetail, item)[0] hotel.append(hotel_info) # 写入hotellist hotellist.append(hotel) print("-----正在爬取第%d条酒店信息-----"%number) number += 1 time.sleep(1.5) time.sleep(7.5) print("第%d页爬取完成"%(z+1)) return hotellist def listToExcel(city, list): col = ['酒店名称', '酒店评分整数', '酒店评分小数', '酒店评价总数', '起步价', '详情网址'] hotelbook = xlwt.Workbook(encoding = "utf-8", style_compression = 0) hotelsheet = hotelbook.add_sheet("sheet1", cell_overwrite_ok = True) for i in range(len(col)): hotelsheet.write(0, i, col[i]) for i in range(0,len(list)): print("-----正在写入第%d条酒店信息-----"%(i+1)) item = list[i] for j in range(len(col)): hotelsheet.write(i+1, j, item[j]) hotelbook.save(city + "hotel.xls") def main(): city = "beijing_city" #基本上写入城市拼音便可，可是北京要写成beijing_city baseurl = "https://hotel.qunar.com/city/" + city + "/#fromDate=2020-01-01&cityurl=xiamen&toDate=2020-01-02&from=qunarHotel" hotellist = getlist(city, baseurl) listToExcel(city, hotellist) #askurl(baseurl) if __name__ == '__main__': main()