一、PHP：对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求较高。
二、Java：生态圈很完善。但java自己很笨重，代码量很大。重构成本比较高，任何修改会致使代码大量改动。
三、C/C++:运行效率是无敌的。但学习和开发成本高，写个小爬虫程序要大半天时间。
四、python：相关HTTP请求模块和HTML解析模块丰富，还有相关框架方便爬虫。前端
http协议，服务器端口号是80.https协议，服务器端口号是443。
url详解
一个URL由几部分组成：java
scheme://host:port/path/?query-string=xxx#anchor
scheme:访问的协议，好比http或https或ftp
host：主机名，域名，如www.baidu.com
port:端口号，默认80端口
path：查找路径。如www.jianshu.com/trending/now,trending/now就是path
query-string：查询字符串，如www.baidu.com/s?wd=python,wd=python就是查询的字符串
anchor：锚点，前端用来作页面定位。python
http协议中，定义8中请求方法，get和post是常见的两种。
一、get：只从服务器获取数据
二、post:向服务器发送数据（登陆）、上传文件等
以上是通常状况，当时有些网站或服务器作了反爬虫机制（如拉勾网），就不会按常理出牌，有可能应该用get请求要改成post请求，视状况而定。web
向服务器发送请求，数据分为三个部分，第一是把数据放在url中，第二是把数据放在body中（在post请求中），第三是放在head中。
1.user-agent：浏览器名称。请求一个网页时，服务器经过这个参数知道是哪一种浏览器发送的，若是经过爬虫发送请求，则user-agent为python，有反爬虫机制的网站就轻易判断这个请求时爬虫。
2.referer：代表当前请求时哪一个url来的，这个也能够来作反爬虫技术。若是不是从指定页面过来，就不作相关响应。
3.cookie：通常想要作登陆后才能访问的网站，就须要发送cookie信息。chrome
1.200：请求正常。（但有些反爬虫机制的网站可能会返回200，可是数据多是伪造的错误数据）
2.301：永久重定向。好比在访问www.jingdong.com时重定向到www.jd.com
3.302:临时重定向。
4.400：请求url错误
5.403：服务器拒绝访问，权限不够
6.500：服务器内部错误浏览器