Python Scrapy Selenium整合：启动浏览器并登录

某些网站要求用户必须先登陆，而后才能获取网络数据，这样爬虫程序将没法随意爬取数据。 为了登陆该网站，一般有两种作法：html 直接用爬虫程序向网站的登陆处理程序提交请求，将用户名、密码、验证码等做为请求参数，登陆成功后记录登陆后的 Cookie 数据。 使用真正的浏览器来模拟登陆，而后记录浏览器登陆以后的 Cookie 数据。 上面两种方式的目的是同样的，都是为了登陆目标网站，记录登陆后的 Coo

>>阅读原文<<