《从零开始学Scrapy网络爬虫》之网络爬虫基础（HTTP基本原理）1

近几年，随着人工智能呈现爆发式发展，网络爬虫也跟着火了起来，为什么？因为人工智能离不开海量数据，没有了数据，就没有所谓的人工智能，而从互联网中获取数据是最直接、最经济、最有效的方法。网络爬虫，就是用于从互联网中，以自动化的形式，获取海量数据。 网络爬虫实现的思想是模拟用户使用浏览器向网站发送请求，网站响应请求后，将HTML文档发送过来，爬虫再对网页做信息提取和存储。因此，了解浏览器与网站服务器之间

>>阅读原文<<