定向爬虫 - Python模拟新浪微博登录

当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户的信息。 模拟登录是定向爬虫制作中一个必须克服的问题，只有这样才能爬取到更多的内容。 实现微博登录的方法有很多，一般我们在模拟登录时首选WAP版。 因为PC版网页源码中包括很多的js代码，提交的内容也更多，不适合机器模拟登录。 我们实现微博登录的大体思路是这样的： 用抓包工具把正常登录时要提交的字段都记录下来; 模拟提交这

>>阅读原文<<