爬虫的原理

1 什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序 原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做 2 爬虫的本质 模拟浏览器打开网页，获取网页中想要的那部分数据 浏览器打开网页的过程如下： 请求的过程： 浏览器先向地址栏中的url发起请求，并获取相应 在返回的响应内容（html）中，会带有cs

>>阅读原文<<