使用cookie和session对页面进行爬取

当我们所需要爬取的数据需要验证登录时，则会用到post的请求方式来进行登录， 比如我们今天爬取开心网界面的信息 使用cookie进行抓取数据 找到对应界面，我们需要找到登录所需要的关键字段的信息，即账户和密码的字段id，name，class（优先级）等 同时因为我们提交上的信息是在一个表单中，我们还要找到对应的表单中的action 登陆成功以后  我们则需要首页，或者其他界面的信息 ，就要说使用c

>>阅读原文<<