在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差很少同样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最经常使用的方法是写一个自动化程序向网络服务器请求数据（一般是用HTML表单或其余网页文件），而后对数据进行解析，提取须要的信息。css
本文假定读者已经了解如何用代码来抓取一个远程的URL，并具有表单如何提交及JavaScript在浏览器如何运行的机制。想更多了解网络数据采集基础知识，能够参考文后的资料。html
在采集网站的时会遇到一些比数据显示在浏览器上却抓取不出来更使人沮丧的事情。也许是向服务器提交自认为已经处理得很好的表单却被拒绝，也许是本身的IP地址不知道什么缘由直接被网站封杀，没法继续访问。python
缘由多是一些最复杂的bug，也多是这些bug让人意想不到（程序在一个网站上能够正常使用，但在另外一个看起来彻底同样的网站上却用不了）。最有可能出现的状况是：对方有意不让爬虫抓取信息。网站已经把你定性为一个网络机器人直接拒绝了，你没法找出缘由。程序员
接下来就介绍一些网络采集的黑魔法（HTTP headers、CSS和HTML表单等），以克服网站阻止自动采集。不过，先让咱们聊聊道德问题。web
网络爬虫的道德与礼仪
说实话，从道德角度讲，写做如下文字不易。我本身的网站被网络机器人、垃圾邮件生成器、网络爬虫和其余各类不受欢迎的虚拟访问者骚扰过不少次了，你的网站可能也同样。既然如此，为何还要介绍那些更强大的网络机器人呢？有几个很重要的理由。api
- 白帽子工做。在采集那些不想被采集的网站时，其实存在一些很是符合道德和法律规范的理由。好比我以前的工做就是作网络爬虫，我曾作过一个自动信息收集器，从未经许可的网站上自动收集客户的名称、地址、电话号码和其余我的信息，而后把采集的信息提交到网站上，让服务器删除这些客户信息。为了不竞争，这些网站都会对网络爬虫严防死守。可是，个人工做要确保公司的客户们都匿名（这些人都是家庭暴力受害者，或者因其余正当理由想保持低调的人），这为网络数据采集工做创造了极其合理的条件，我很高兴本身有能力从事这项工做。
- 虽然不太可能创建一个彻底“防爬虫”的网站（最起码得让合法的用户能够方便地访问网站），但我仍是但愿如下内容能够帮助人们保护本身的网站不被恶意攻击。下文将指出每一种网络数据采集技术的缺点，你能够利用这些缺点保护本身的网站。其实，大多数网络机器人一开始都只能作一些宽泛的信息和漏洞扫描，接下来介绍的几个简单技术就能够挡住99%的机器人。可是，它们进化的速度很是快，最好时刻准备迎接新的攻击。
- 和大多数程序员同样，我历来不相信禁止某一类信息的传播就可让世界变得更和谐。
阅读以前，请牢记： 这里演示的许多程序和介绍的技术都不该该在网站上使用。数组
爬虫黑科技：网络机器人看起来像人类用户的一些方法
网站防采集的前提就是要正确地区分人类访问用户和网络机器人。虽然网站可使用不少识别技术（好比验证码）来防止爬虫，但仍是有一些十分简单的方法，可让你的网络机器人看起来更像人类访问用户。浏览器
1. 构造合理的HTTP请求头
除了处理网站表单，requests模块仍是一个设置请求头的利器。HTTP的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。HTTP定义了十几种古怪的请求头类型，不过大多数都不经常使用。只有下面的七个字段被大多数浏览器用来初始化全部网络请求（表中信息是我本身浏览器的数据）。安全
经典的Python爬虫在使用urllib标准库时，都会发送以下的请求头：服务器
若是你是一个防范爬虫的网站管理员，你会让哪一个请求头访问你的网站呢？
安装Requests
- 可在模块的网站上找到下载连接
- （http://docs.python-requests.org/en/latest/user/install/）和安装方法，或者用任意第三方Python模块安装器进行安装。
请求头能够经过requests模块进行自定义。https://www.whatismybrowser.com/网站就是一个很是棒的网站，可让服务器测试浏览器的属性。咱们用下面的程序来采集这个网站的信息，验证咱们浏览器的cookie设置：
程序输出结果中的请求头应该和程序中设置的headers是同样的。
虽然网站可能会对HTTP请求头的每一个属性进行“是否具备人性”的检查，可是我发现一般真正重要的参数就是User-Agent。不管作什么项目，必定要记得把User-Agent属性设置成不容易引发怀疑的内容，不要用Python-urllib/3.4。另外，若是你正在处理一个警觉性很是高的网站，就要注意那些常常用却不多检查的请求头，好比Accept-Language属性，也许它正是那个网站判断你是我的类访问者的关键。
请求头会改变你观看网络世界的方式
假设你想为一个机器学习的研究项目写一个语言翻译机，却没有大量的翻译文原本测试它的效果。不少大型网站都会为一样的内容提供不一样的语言翻译，根据请求头的参数响应网站不一样的语言版本。所以，你只要简单地把请求头属性从Accept-Language:en-US修改为Accept-Language:fr，就能够从网站上得到“Bonjour”（法语，你好）这些数据来改善翻译机的翻译效果了（大型跨国企业一般都是好的采集对象）。
请求头还可让网站改变内容的布局样式。例如，用移动设备浏览网站时，一般会看到一个没有广告、Flash以及其余干扰的简化的网站版本。所以，把你的请求头User-Agent改为下面这样，就能够看到一个更容易采集的网站了！
User-Agent:Mozilla/5.0 (iPhone; CPU iPhone OS 712 like Mac OS X) App leWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53
2. 设置cookie的学问
虽然cookie是一把双刃剑，但正确地处理cookie能够避免许多采集问题。网站会用cookie跟踪你的访问过程，若是发现了爬虫异常行为就会中断你的访问，好比特别快速地填写表单，或者浏览大量页面。虽然这些行为能够经过关闭并从新链接或者改变IP地址来假装，可是若是cookie暴露了你的身份，再多努力也是白费。
在采集一些网站时cookie是不可或缺的。要在一个网站上持续保持登陆状态，须要在多个页面中保存一个cookie。有些网站不要求在每次登陆时都得到一个新cookie，只要保存一个旧的“已登陆”的cookie就能够访问。
若是你在采集一个或者几个目标网站，建议你检查这些网站生成的cookie，而后想一想哪个cookie是爬虫须要处理的。有一些浏览器插件能够为你显示访问网站和离开网站时cookie是如何设置的。EditThisCookie（http://www.editthiscookie.com/）是我最喜欢的Chrome浏览器插件之一。
由于requests模块不能执行JavaScript，因此它不能处理不少新式的跟踪软件生成的cookie，好比GoogleAnalytics，只有当客户端脚本执行后才设置cookie（或者在用户浏览页面时基于网页事件产生cookie，好比点击按钮）。要处理这些动做，须要用Selenium和PhantomJS包。
Selenium与PhantomJS
Selenium（http://www.seleniumhq.org/）是一个强大的网络数据采集工具，最初是为网站自动化测试而开发的。近几年，它还被普遍用于获取精确的网站快照，由于它们能够直接运行在浏览器上。Selenium可让浏览器自动加载页面，获取须要的数据，甚至页面截屏，或者判断网站上某些动做是否发生。
Selenium本身不带浏览器，它须要与第三方浏览器结合在一块儿使用。例如，若是你在Firefox上运行Selenium，能够直接看到Firefox窗口被打开，进入网站，而后执行你在代码中设置的动做。虽然这样能够看得更清楚，可是我更喜欢让程序在后台运行，因此我PhantomJS（http://phantomjs.org/download.html）代替真实的浏览器。
PhantomJS是一个“无头”（headless）浏览器。它会把网站加载到内存并执行页面上的JavaScript，但不会向用户展现网页的图形界面。将Selenium和PhantomJS结合在一块儿，就能够运行一个很是强大的网络爬虫了，能够处理cookie、JavaScrip、header，以及任何你须要作的事情。
能够从PyPI网站（https://pypi.python.org/simple/selenium/）下载Selenium库，也能够用第三方管理器（像pip）用命令行安装。
你能够对任意网站（本例用的是http://pythonscraping.com）调用webdriver的get_cookie()方法来查看cookie：
这样就能够得到一个很是典型的Google Analytics的cookie列表：
还能够调用deletecookie()、addcookie()和deleteallcookies()方法来处理cookie。另外，还能够保存cookie以备其余网络爬虫使用。下面的例子演示了如何把这些函数组合在一块儿：
在这个例子中，第一个webdriver得到了一个网站，打印cookie并把它们保存到变量savedCookies里。第二个webdriver加载同一个网站（技术提示：必须首先加载网站，这样Selenium才能知道cookie属于哪一个网站，即便加载网站的行为对咱们没任何用处），删除全部的cookie，而后替换成第一个webdriver获得的cookie。当再次加载这个页面时，两组cookie的时间戳、源代码和其余信息应该彻底一致。从GoogleAnalytics的角度看，第二个webdriver如今和第一个webdriver彻底同样。
3. 正常的时间访问路径
有一些防御措施完备的网站可能会阻止你快速地提交表单，或者快速地与网站进行交互。即便没有这些安全措施，用一个比普通人快不少的速度从一个网站下载大量信息也可能让本身被网站封杀。
所以，虽然多线程程序多是一个快速加载页面的好办法——在一个线程中处理数据，另外一个线程中加载页面——可是这对编写好的爬虫来讲是恐怖的策略。仍是应该尽可能保证一次加载页面加载且数据请求最小化。若是条件容许，尽可能为每一个页面访问增长一点儿时间间隔，即便你要增长一行代码：
**
-
time
.sleep(3)
-
(小编：3 + 随机数 是否是更好一些？)
**
合理控制速度是你不该该破坏的规则。过分消耗别人的服务器资源会让你置身于非法境地，更严重的是这么作可能会把一个小型网站拖垮甚至下线。拖垮网站是不道德的，是彻头彻尾的错误。因此请控制采集速度！
常见表单反爬虫安全措施解密
许多像Litmus之类的测试工具已经用了不少年了，如今仍用于区分网络爬虫和使用浏览器的人类访问者，这类手段都取得了不一样程度的效果。虽然网络机器人下载一些公开的文章和博文并非什么大事，可是若是网络机器人在你的网站上创造了几千个帐号并开始向全部用户发送垃圾邮件，就是一个大问题了。网络表单，尤为是那些用于帐号建立和登陆的网站，若是被机器人肆意地滥用，网站的安全和流量费用就会面临严重威胁，所以努力限制网站的接入是最符合许多网站全部者的利益的（至少他们这么认为）。
这些集中在表单和登陆环节上的反机器人安全措施，对网络爬虫来讲确实是严重的挑战。
4. 注意隐含输入字段值
在HTML表单中，“隐含”字段可让字段的值对浏览器可见，可是对用户不可见（除非看网页源代码）。随着愈来愈多的网站开始用cookie存储状态变量来管理用户状态，在找到另外一个最佳用途以前，隐含字段主要用于阻止爬虫自动提交表单。
下图显示的例子就是Facebook登陆页面上的隐含字段。虽然表单里只有三个可见字段（username、password和一个确认按钮），可是在源代码里表单会向服务器传送大量的信息。
Facebook登陆页面上的隐含字段
用隐含字段阻止网络数据采集的方式主要有两种。第一种是表单页面上的一个字段能够用服务器生成的随机变量表示。若是提交时这个值不在表单处理页面上，服务器就有理由认为这个提交不是从原始表单页面上提交的，而是由一个网络机器人直接提交到表单处理页面的。绕开这个问题的最佳方法就是，首先采集表单所在页面上生成的随机变量，而后再提交到表单处理页面。
第二种方式是“蜜罐”（honey pot）。若是表单里包含一个具备普通名称的隐含字段（设置蜜罐圈套），好比“用户名”（username）或“邮箱地址”（email address），设计不太好的网络机器人每每无论这个字段是否是对用户可见，直接填写这个字段并向服务器提交，这样就会中服务器的蜜罐圈套。服务器会把全部隐含字段的真实值（或者与表单提交页面的默认值不一样的值）都忽略，并且填写隐含字段的访问用户也可能被网站封杀。
总之，有时检查表单所在的页面十分必要，看看有没有遗漏或弄错一些服务器预先设定好的隐含字段（蜜罐圈套）。若是你看到一些隐含字段，一般带有较大的随机字符串变量，那么极可能网络服务器会在表单提交的时候检查它们。另外，还有其余一些检查，用来保证这些当前生成的表单变量只被使用一次或是最近生成的（这样能够避免变量被简单地存储到一个程序中反复使用）。
5. 爬虫一般如何避开蜜罐
虽然在进行网络数据采集时用CSS属性区分有用信息和无用信息会很容易（好比，经过读取id和class标签获取信息），但这么作有时也会出问题。若是网络表单的一个字段经过CSS设置成对用户不可见，那么能够认为普通用户访问网站的时候不能填写这个字段，由于它没有显示在浏览器上。若是这个字段被填写了，就多是机器人干的，所以这个提交会失效。
这种手段不只能够应用在网站的表单上，还能够应用在连接、图片、文件，以及一些能够被机器人读取，但普通用户在浏览器上却看不到的任何内容上面。访问者若是访问了网站上的一个“隐含”内容，就会触发服务器脚本封杀这个用户的IP地址，把这个用户踢出网站，或者采起其余措施禁止这个用户接入网站。实际上，许多商业模式就是在干这些事情。
下面的例子所用的网页在http://pythonscraping.com/pages/itsatrap.html。这个页面包含了两个连接，一个经过CSS隐含了，另外一个是可见的。另外，页面上还包括两个隐含字段：
这三个元素经过三种不一样的方式对用户隐藏：
- 第一个连接是经过简单的CSS属性设置display:none进行隐藏
- 电话号码字段name="phone"是一个隐含的输入字段
- 邮箱地址字段name="email"是将元素向右移动50 000像素（应该会超出电脑显示器的边界）并隐藏滚动条
由于Selenium能够获取访问页面的内容，因此它能够区分页面上的可见元素与隐含元素。经过is_displayed()能够判断元素在页面上是否可见。
例如，下面的代码示例就是获取前面那个页面的内容，而后查找隐含连接和隐含输入字段：
Selenium抓取出了每一个隐含的连接和字段，结果以下所示：
虽然你不太可能会去访问你找到的那些隐含连接，可是在提交前，记得确认一下那些已经在表单中、准备提交的隐含字段的值（或者让Selenium为你自动提交）。
使用远程服务器来避免IP封锁
启用远程平台的人一般有两个目的：对更大计算能力和灵活性的需求，以及对可变IP地址的需求。
6.使用可变的远程IP地址
创建网络爬虫的第一原则是：全部信息均可以伪造。你能够用非本人的邮箱发送邮件，经过命令行自动化鼠标的行为，或者经过IE 5.0浏览器耗费网站流量来吓唬网管。
可是有一件事情是不能做假的，那就是你的IP地址。任何人均可以用这个地址给你写信：“美国华盛顿特区宾夕法尼亚大道西北1600号，总统，邮编20500。”可是，若是这封信是重新墨西哥州的阿尔伯克基市发来的，那么你确定能够确信给你写信的不是美国总统。
从技术上说，IP地址是能够经过发送数据包进行假装的，就是分布式拒绝服务攻击技术（Distributed Denial of Service，DDoS），攻击者不须要关心接收的数据包（这样发送请求的时候就可使用假IP地址）。可是网络数据采集是一种须要关心服务器响应的行为，因此咱们认为IP地址是不能造假的。
阻止网站被采集的注意力主要集中在识别人类与机器人的行为差别上面。封杀IP地址这种矫枉过正的行为，就好像是农民不靠喷农药给庄稼杀虫，而是直接用火烧完全解决问题。它是最后一步棋，不过是一种很是有效的方法，只要忽略危险IP地址发来的数据包就能够了。可是，使用这种方法会遇到如下几个问题。
- IP地址访问列表很难维护。虽然大多数大型网站都会用本身的程序自动管理IP地址访问列表（机器人封杀机器人），可是至少须要人偶尔检查一下列表，或者至少要监控问题的增加。
- 由于服务器须要根据I地址访问列表去检查每一个准备接收的数据包，因此检查接收数据包时会额外增长一些处理时间。多个IP地址乘以海量的数据包更会使检查时间指数级增加。为了下降处理时间和处理复杂度，管理员一般会对IP地址进行分组管理并制定相应的规则，好比若是这组IP中有一些危险分子就“把这个区间的全部256个地址所有封杀”。因而产生了下一个问题。
- 封杀IP地址可能会致使意外后果。例如，当我还在美国麻省欧林工程学院读本科的时候，有个同窗写了一个能够在http://digg.com/网站（在Reddit流行以前你们都用Digg）上对热门内容进行投票的软件。这个软件的服务器IP地址被Digg封杀，致使整个网站都不能访问。因而这个同窗就把软件移到了另外一个服务器上，而Digg本身却失去了许多主要目标用户的访问量。
虽然有这些缺点，但封杀IP地址依然是一种十分经常使用的手段，服务器管理员用它来阻止可疑的网络爬虫入侵服务器。
Tor代理服务器
洋葱路由（The Onion Router）网络，经常使用缩写为Tor，是一种IP地址匿名手段。由网络志愿者服务器构建的洋葱路由器网络，经过不一样服务器构成多个层（就像洋葱）把客户端包在最里面。数据进入网络以前会被加密，所以任何服务器都不能偷取通讯数据。另外，虽然每个服务器的入站和出站通讯均可以被查到，可是要想查出通讯的真正起点和终点，必须知道整个通讯链路上全部服务器的入站和出站通讯细节，而这基本是不可能实现的。
> Tor匿名的局限性
>
虽然咱们在本文中用Tor的目的是改变IP地址，而不是实现彻底匿名，但有必要关注一下Tor匿名方法的能力和不足。
虽然Tor网络可让你访问网站时显示的IP地址是一个不能跟踪到你的IP地址，可是你在网站上留给服务器的任何信息都会暴露你的身份。例如，你登陆Gmail帐号后再用Google搜索，那些搜索历史就会和你的身份绑定在一块儿。
另外，登陆Tor的行为也可能让你的匿名状态处于危险之中。2013年12月，一个哈佛大学本科生想逃避期末考试，就用一个匿名邮箱帐号经过Tor网络给学校发了一封炸弹威胁信。结果哈佛大学的IT部门经过日志查到，在炸弹威胁信发来的时候，Tor网络的流量只来自一台机器，并且是一个在校学生注册的。虽然他们不能肯定流量的最初源头（只知道是经过Tor发送的），可是做案时间和注册信息证据充分，并且那个时间段内只有一台机器是登陆状态，这就有充分理由起诉那个学生了。
登陆Tor网络不是一个自动的匿名措施，也不能让你进入互联网上任何区域。虽然它是一个实用的工具，可是用它的时候必定要谨慎、清醒，而且遵照道德规范。
在Python里使用Tor，须要先安装运行Tor，下一节将介绍。Tor服务很容易安装和开启。只要去Tor下载页面下载并安装，打开后链接就能够。不过要注意，当你用Tor的时候网速会变慢。这是由于代理有可能要先在全世界网络上转几回才到目的地！
PySocks
PySocks是一个很是简单的Python代理服务器通讯模块，它能够和Tor配合使用。你能够从它的网站（https://pypi.python.org/pypi/PySocks）上下载，或者使用任何第三方模块管理器安装。
这个模块的用法很简单。示例代码以下所示。运行的时候，Tor服务必须运行在9150端口（默认值）上：
网站http://icanhazip.com/会显示客户端链接的网站服务器的IP地址，能够用来测试Tor是否正常运行。当程序执行以后，显示的IP地址就不是你原来的IP了。
若是你想在Tor里面用Selenium和PhantomJS，不须要PySocks，只要保证Tor在运行，而后增长service_args参数设置代理端口，让Selenium经过端口9150链接网站就能够了：
和以前同样，这个程序打印的IP地址也不是你原来的，而是你经过Tor客户端得到的IP地址。
从网站主机运行
若是你拥有我的网站或公司网站，那么你可能已经知道如何使用外部服务器运行你的网络爬虫了。即便是一些相对封闭的网络服务器，没有可用的命令行接入方式，你也能够经过网页界面对程序进行控制。
若是你的网站部署在Linux服务器上，应该已经运行了Python。若是你用的是Windows服务器，可能就没那么幸运了；你须要仔细检查一下Python有没有安装，或者问问网管可不能够安装。
大多数小型网络主机都会提供一个软件叫cPanel，提供网站管理和后台服务的基本管理功能和信息。若是你接入了cPanel，就能够设置Python在服务器上运行——进入“Apache Handlers”而后增长一个handler（如尚未的话）：
这会告诉服务器全部的Python脚本都将做为一个CGI脚本运行。CGI就是通用网关接口（Common Gateway Interface），是能够在服务器上运行的任何程序，会动态地生成内容并显示在网站上。把Python脚本显式地定义成CGI脚本，就是给服务器权限去执行Python脚本，而不仅是在浏览器上显示它们或者让用户下载它们。
写完Python脚本后上传到服务器，而后把文件权限设置成755，让它可执行。经过浏览器找到程序上传的位置（也能够写一个爬虫来自动作这件事情）就能够执行程序。若是你担忧在公共领域执行脚本不安全，能够采起如下两种方法。
- 把脚本存储在一个隐晦或深层的URL里，确保其余URL连接都不能接入这个脚本，这样能够避免搜索引擎发现它。
- 用密码保护脚本，或者在执行脚本以前用密码或加密令牌进行确认。
确实，经过这些本来主要是用来显示网站的服务运行Python脚本有点儿复杂。好比，你可能会发现网络爬虫运行时网站的加载速度变慢了。其实，在整个采集任务完成以前页面都是不会加载的（得等到全部“print”语句的输出内容都显示完）。这可能会消耗几分钟，几小时，甚至永远也完成不了，要看程序的具体状况了。虽然它最终必定能完成任务，可是可能你还想看到实时的结果，这样就须要一台真正的服务器了。
从云主机运行
虽然云计算的花费多是无底洞，可是写这篇文章时，启动一个计算实例最便宜只要每小时1.3美分（亚马逊EC2的micro实例，其余实例会更贵），Google最便宜的计算实例是每小时4.5美分，最少须要用10分钟。考虑计算能力的规模效应，从大公司买一个小型的云计算实例的费用，和本身买一台专业实体机的费用应该差很少——不过用云计算不须要雇人去维护设备。
设置好计算实例以后，你就有了新IP地址、用户名，以及能够经过SSH进行实例链接的公私密钥了。后面要作的每件事情，都应该和你在实体服务器上干的事情同样了——固然，你不须要再担忧硬件维护，也不用运行复杂多余的监控工具了。
总结：爬虫被封禁常见缘由列表
若是你一直被网站封杀却找不到缘由，那么这里有个检查列表，能够帮你诊断一下问题出在哪里。
- 首先，检查JavaScript。若是你从网络服务器收到的页面是空白的，缺乏信息，或其遇到他不符合你预期的状况（或者不是你在浏览器上看到的内容），有多是由于网站建立页面的JavaScript执行有问题。
- 检查正常浏览器提交的参数。若是你准备向网站提交表单或发出POST请求，记得检查一下页面的内容，看看你想提交的每一个字段是否是都已经填好，并且格式也正确。用Chrome浏览器的网络面板（快捷键F12打开开发者控制台，而后点击“Network”便可看到）查看发送到网站的POST命令，确认你的每一个参数都是正确的。
- 是否有合法的Cookie？若是你已经登陆网站却不能保持登陆状态，或者网站上出现了其余的“登陆状态”异常，请检查你的cookie。确认在加载每一个页面时cookie都被正确调用，并且你的cookie在每次发起请求时都发送到了网站上。
- IP被封禁？若是你在客户端遇到了HTTP错误，尤为是403禁止访问错误，这可能说明网站已经把你的IP看成机器人了，再也不接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除，要么就换个IP地址（能够去星巴克上网）。若是你肯定本身并无被封杀，那么再检查下面的内容。
- 确认你的爬虫在网站上的速度不是特别快。快速采集是一种恶习，会对网管的服务器形成沉重的负担，还会让你陷入违法境地，也是IP被网站列入黑名单的首要缘由。给你的爬虫增长延迟，让它们在夜深人静的时候运行。切记：匆匆忙忙写程序或收集数据都是拙劣项目管理的表现；应该提早作好计划，避免临阵慌乱。
- 还有一件必须作的事情：修改你的请求头！有些网站会封杀任何声称本身是爬虫的访问者。若是你不肯定请求头的值怎样才算合适，就用你本身浏览器的请求头吧。
- 确认你没有点击或访问任何人类用户一般不能点击或接入的信息。
- 若是你用了一大堆复杂的手段才接入网站，考虑联系一下网管吧，告诉他们你的目的。试试发邮件到webmaster@<域名>或admin@<域名>，请求网管容许你使用爬虫采集数据。管理员也是人嘛！
【以上内容整理自《Python 网络数据采集》第十、十二、14章】
做者：Ryan Mitchell 译者：陶俊杰，陈小莉 订价：59
原书4.6星好评，一本书搞定数据采集 涵盖数据抓取、数据挖掘和数据分析 提供详细代码示例，快速解决实际问题
网络上的数据量愈来愈大，单靠浏览网页获取信息愈来愈困难，如何有效地提取并利用信息已成为一个巨大的挑战。 本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各类数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何经过更多的方式接入网络。
本文由图灵教育受权「高可用架构」发表。转载请注明来自高可用架构「ArchNotes」微信公众号。