Python学习之网络爬虫(一）Requests库与Robots协议

前言 大二下学期初在中国慕课网站刷过一遍北京理工大学嵩天老师的Python网络爬虫与信息提取，当时看的仓促，没有认真的做笔记整理。今天对于这门网课的知识点做一个归纳整理，供以后爬虫参考。 一、“网络爬虫”课程内容导学 The website is the API python网络爬虫涉及的内容： Requests:自动爬取HTML页面，自动网络请求提交 robots.txt：网络爬虫排除标准 Be

>>阅读原文<<