网站爬取思路总结

1、建议 1、简单的一些静态网站可以直接看Chrome里面的Network请求分析获得数据。 2、还有一些动态的网站ajax请求，可以借助一些工具进行分析，或者用selenium模拟浏览器行为也行。 2、爬取步骤及思路 1、确定要爬取的目标数据，逆向推理分析网站结构，选择获取页面详情的最优路径： （1）逆向推理分析网站结构：通过目标数据，逐步分析祖辈的url链接（ps:一般对首页的url进行get

>>阅读原文<<