python爬虫学习过程记录

1.开发轻量级爬虫 1.1爬虫简介 爬虫：一段自动抓取互联网信息的程序。 自动访问互联网并且提取数据。 价值：互联网数据为我所用。 1.2简单爬虫架构 运行流程： 1.3URL管理器 URL管理器：管理待抓取URL集合和已抓取URL集合。防止重复抓取和循环抓取。 实现方式： 一般大公司都存在缓存数据库中。 1.4网页下载器 网页下载器：将互联网上URL对应的网页下载到本地的工具。 Python有哪

>>阅读原文<<