Python网络爬虫（Day01）

Python网络爬虫（Day01） 网络爬虫 网络爬虫（Web crawler/Spider），是一种按照必定的规则，自动地抓取万维网信息的程序或者脚本，它们被普遍用于互联网搜索引擎或其余相似网站，能够自动采集全部其可以访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来说，爬虫通常分为数据采集，处理，储存三个部分。php 爬虫规则 一、Robots协议 Robots协议也称做爬虫协

>>阅读原文<<