为何大量网站不能抓取?爬虫突破封禁的6种常见方法

在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。   本文假定读者已经了解如何用代码来抓取一个远程的 URL，并具备表单如何提交及 JavaScript

>>阅读原文<<