爬虫入门我的学习笔记

爬虫入门 文章目录 爬虫入门 相关注释与说明 1. 部分章节若带有“*”，说明章节选读 1. 关于爬虫 1.1 爬虫的产生背景 1.2 爬虫的概念 1.3 爬虫的分类 1.4 爬虫的工做原理 1.5 爬虫爬取相关注意事项 1.5.1 robots.txt 文件 1.5.2 Sitemap.xml 文件 1.6 应对反爬虫的策略 (1) 设置User—Agent (2) 使用代理IP (3) 下降访

>>阅读原文<<