Scrapy爬虫教程三 详细的Python Scrapy模拟登录知乎

之前爬取携程和51job都是免登陆就能爬取数据的，但是今天爬取知乎的时候就需要登录后才能爬到数据，那我们只能进行模拟登录了。 知乎登录分为邮箱登录和手机登录两种方式，通过浏览器的开发者工具查看，我们通过不同方式登录时，网址是不一样的。邮箱登录的地址email_url = 'https://www.zhihu.com/login/email'，手机登录网址是phone_url = 'http://w

>>阅读原文<<