爬虫（一）：认识爬虫+搜索引擎+爬虫分类+爬虫准备工做+http和https

文章目录 1、爬虫工程师的分类 1.初级爬虫工程师 2.中级爬虫工程师 3.高级爬虫工程师 2、认识爬虫 1.爬虫定义 2.爬虫解决的问题 3、搜索引擎 1.搜索引擎的工做流程 2.搜索引擎的局限性 4、爬虫分类 5、爬虫准备工做 1.robot协议 2.网络地图sitemap 3.估算网站大小 4.了解网站架构 五、获取网站全部者 6、http和https hash例子————给字符串和文件进行

>>阅读原文<<