Python3.x开发简单爬虫及案例学习

什么是爬虫 一段自动抓取互联网信息的程序，可以从一个URL出发，访问它所关联的URL,提取我们所需要的数据。也就是说爬虫是自动访问互联网并提取数据的程序。 爬虫的价值 将互联网上的数据为我所用，开发出属于自己的网站或APP 爬虫框架 爬虫调度端：用来启动、执行、停止爬虫，或者监视爬虫中的运行情况 在爬虫程序中有三个模块URL管理器：对将要爬取的URL和已经爬取过的URL这两个数据的管理 网页下载器

>>阅读原文<<