Python爬虫技术、框架、实现

1、爬虫技术概述 爬虫，即网络爬虫，是经过递归访问网络资源，抓取信息的技术。 　　互联网中也有大量的有价值的信息数据，手动下载效率很是低下，爬虫就是自动化爬取下载这些有价值的信息的技术。 　　互联网中的页面每每不是独立存在的，而是经过超连接链接成了一个网络，爬虫程序就像一只蜘蛛同样，经过访问超连接在这张网络中移动 ，并下载须要的信息，理论上能够将爬取到整个互联网的绝大部分数据。 爬虫技术最开始来源

>>阅读原文<<