[toc] 工欲善其事必先利其器的道理相信你们都懂。而做为常常要和各大网站作拉锯战的爬虫工程师们，则更须要利用利用好身边的一切法器，以便更快的攻破对方防线。今天我就以平常爬虫流程，给你们介绍十款工具，相信你们掌握以后，一定可以在工做效率上，提高一个量级。 ###1.Chrome Chrome属于爬虫的基础工具，通常咱们用它作初始的爬取分析，页面逻辑跳转、简单的js调试、网络请求的步骤等。咱们初期的大部分工做都在它上面完成，打个不恰当的比喻，不用Chrome，咱们就要从智能时代倒退到马车时代前端
同类工具： Firefox、Safari、Operagit
###2.Charles Charles与Chrome对应，只不过它是用来作App端的网络分析，相较于网页端，App端的网络分析较为简单，重点放在分析各个网络请求的参数。固然，若是对方在服务端作了参数加密，那就涉及逆向工程方面的知识，那一块又是一大箩筐的工具，这里暂且不谈github
同类工具：Fiddler、Wireshark、Anyproxyjson
###3.cUrl 维基百科这样介绍它后端
cURL是一个利用URL语法在命令行下工做的文件传输工具，1997年首次发行。它支持文件上传和下载，因此是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。网络
在作爬虫分析时，咱们常常要模拟一下其中的请求，这个时候若是去写一段代码，未免过小题大作了，直接经过Chrome拷贝一个cURL，在命令行中跑一下看看结果便可，步骤以下架构
###4.Postman 固然，大部分网站不是你拷贝一下cURL连接，改改其中参数就能够拿到数据的，接下来咱们作更深层次的分析，就须要用到Postman“大杀器”了。为何是“大杀器”呢？由于它着实强大。配合cURL，咱们能够将请求的内容直接移植过来，而后对其中的请求进行改造，勾选便可选择咱们想要的内容参数，很是优雅并发
###5.Online JavaScript Beautifiercurl
用了以上的工具，你基本能够解决大部分网站了，算是一个合格的初级爬虫工程师了。这个时候，咱们想要进阶就须要面对更复杂的网站爬虫了，这个阶段，你不只要会后端的知识，还须要了解一些前端的知识，由于不少网站的反爬措施是放在前端的。你须要提取对方站点的js信息，并须要理解和逆向回去，原生的js代码通常不易于阅读，这时，就要它来帮你格式化吧工具
###6.EditThisCookie 爬虫和反爬虫就是一场没有硝烟的拉锯战，你永远不知道对方会给你埋哪些坑，好比对Cookies动手脚。这个时候你就须要它来辅助你分析，经过Chrome安装EditThisCookie插件后，咱们能够经过点击右上角小图标，再对Cookies里的信息进行增删改查操做，大大提升对Cookies信息的模拟
###7.Sketch 当咱们已经肯定能爬取以后，咱们不该该着急动手写爬虫。而是应该着手设计爬虫的结构。按照业务的需求，咱们能够作一下简单的爬取分析，这有助于咱们以后开发的效率，所谓磨刀不误砍柴工就是这个道理。好比能够考虑下，是搜索爬取仍是遍历爬取？采用BFS仍是DFS？并发的请求数大概多少？考虑一下这些问题后，咱们能够经过Sketch来画一下简单的架构图
同类工具：Illustrator、 Photoshop
开始愉快的爬虫开发之旅吧 终于要进行开发了，通过上面的这些步骤，咱们到这一步，已是万事俱备只欠东风了。这个时候，咱们仅仅只须要作code和数据提取便可
###8.XPath Helper 在提取网页数据时，咱们通常须要使用xpath语法进行页面数据信息提取，通常地，但咱们只能写完语法，发送请求给对方网页，而后打印出来，才知道咱们提取的数据是否正确，这样一方面会发起不少没必要要的请求，另一方面，也浪费了咱们的时间。这个就能够用到XPath Helper了，经过Chrome安装插件后，咱们只须要点击它在对应的xpath中写入语法，而后即可以很直观地在右边看到咱们的结果，效率up+10086
###9.JSONView 咱们有时候提取的数据是Json格式的，由于它简单易用，愈来愈多的网站倾向于用Json格式进行数据传输。这个时候，咱们安装这个插件后，就能够很方便的来查看Json数据啦
###10.JSON Editor Online JSONView是直接在网页端返回的数据结果是Json，但多数时候咱们请求的结果，都是前端渲染后的HTML网页数据，咱们发起请求后获得的json数据，在终端(即terminal)中没法很好的展示怎么办？借助JSON Editor Online就能够帮你很好的格式化数据啦，一秒格式化，而且实现了贴心得折叠Json数据功能
既然看到这里，相信大家必定是真爱粉啦，送大家一个彩蛋工具。 #####关注公众号<font color='red' size='+2'>githubcn</font>，免费获取更多学习视频教程 