python爬取美团店铺的评论

目录

1.爬取前准备工作
2.分析网页
3.正式爬取网页
4.全部代码

1.爬取前准备工作

在爬取数据前，首先要安装相关的python第三方包，比如这次要用到的requests包，其次要确定爬取的数据。这次要爬取的是美团中的一个店铺评论。

店铺链接：https://www.meituan.com/meishi/194681701/

2.分析网页

检查网页，点击network，就可以找出店铺的评论位置。

找到了相应用户对店铺的评价，如下图所示：

发现这些文件地址的规律

3.正式爬取网页

（1）新建文件夹，在文件夹里使用cmd命令提示符打开jupyter notebook

然后跳转到jupyter平台

新建文件就可以开始写代码：创建新的csv文件夹，命名为美团评论—全部，这样代码爬取后，会自动保存在文件里。

4.全部代码

#导入包
import requests, csv
url = “https://www.meituan.com/meishi/api/poi/getMerchantComment? uuid=28751daefffc4ba3b0cc.1587004365.1.0.0&platform=1&partner=126&originUrl=https%3A%2F%2Fwww.meituan.com%2Fmeishi%2F194681701%2F&riskLevel=1&optimusCode=10&id=194681701&userId=&offset=0&pageSize=10&sortType=1”
headers_meituan = {
“User-Agent”:“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36”
}
#创建文件夹并打开
fp = open("./美团评论_全部.csv", ‘a’, newline=’’, encoding = ‘utf-8-sig’)
writer = csv.writer(fp) #我要写入
#写入内容
writer.writerow((“用户”, “ID”, “链接”, “评论”)) #运行一次

for num in range(0, 131, 10):
print (“正在爬取%s条…”%num)
ajax_url = “https://www.meituan.com/meishi/api/poi/getMerchantComment?uuid=28751daefffc4ba3b0cc.1587004365.1.0.0&platform=1&partner=126&originUrl=https%3A%2F%2Fwww.meituan.com%2Fmeishi%2F194681701%2F&riskLevel=1&optimusCode=10&id=194681701&userId=&offset=” + str(num) + "&pageSize=10&sortType=1 "
print (ajax_url)
reponse = requests.get(url = ajax_url, headers=headers_meituan)
# 按ctrl+},往右边回退
for item in reponse.json()[“data”][“comments”]:
name = item[“userName”]
user_id = item[“userId”]
user_url = item[“userUrl”]
comment = item[“comment”]
result = (name, user_id, user_url, comment)
writer.writerow(result)
fp.close()

爬取该店铺评论到此结束！