通过分析Ajax请求抓取【今日头条】“街拍”美图

有一些网页直接请求得到的HTML代码并没有在网页中看到的内容，因为一些信息是通过Ajax加载，并通过js渲染生成的，这时就需要通过分析网页的请求来获取想要爬取的内容。本文通过抓取今日头条街拍美图讲解一下具体操作步骤。 网络库：Requests 解析库：BeautifulSoup+正则表达式 存储数据库：MongoDB 其他库：PyMongo 请确保以上库已经正确安装。 目标站点分析 打开今日头条的

>>阅读原文<<