学习网页爬虫的笔记1

最基本的两个库  requests  和  BeautifulSoup，requests主要为发送请求，BeautifulSoup为获取网页的便签。遇到问题的是requests的请求。 本想爬某求职网的一些关键词，帮助自己找工作，但无论怎么都爬不了网站的信息。后来找了很久才找到解决办法。 在requests.get里，加入headers = cookie 的内容就行了。 在谷歌浏览器F12可以查看

>>阅读原文<<