python爬虫从入门到放弃（二）- 爬虫的深层原理

上次说到了爬虫的基本原理、这次再深入的了解学习一下深层的本质。 因为本人属于小白，这两年接触的都是ETL、数据仓库、BI 方面的东西，故这里转载以为专业人士的爬虫原理，末尾有原文地址。 爬虫就是请求网站并提取数据的自动化程序。其中请求，提取，自动化是爬虫的关键！ 爬虫的基本流程 发起请求 通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务

>>阅读原文<<