爬虫抓取新浪微博数据

工具：云采爬虫 目标：抓取某个博主的全部微博 分析网页结构： 我们抓取的思路是模拟浏览器自动访问页面抓取。 我们来看一下页面结构，首先每个微博列表，必须进行三四次的下拉加载，然后底部有个“下一页”的按钮。 如此，不断循环。         登录的问题 抓取需要登录账号，如何登录呢？ 登录是不需要验证码的，如果你输入错了，才会叫你输入验证码，所以登录是没什么技术难度的。   流程图设计：   整个流

>>阅读原文<<