基于Scrapy框架实现网络爬虫-Python

1. 网络爬虫原理 互联网上大量的信息以网页形式提供给用户，用户经过浏览器从服务器得到网页数据并通过浏览器解析后，进行网页阅读、内容复制、连接单击等操做。用户与网页服务器的通讯是经过HTTP或者HTTPS实现的,网络浏览器是用户向服务器发送请求数据、接收服务器回应数据、解析并呈现服务器回应数据的客户端软件。 用户不经过浏览器而是经过程序自动获取网页内容，有两种办法：一是当服务器提供API方法时，能

>>阅读原文<<