Python爬虫（1）：基础知识

爬虫基础知识

1、什么是爬虫？

向网站发起请求，获取资源后分析并提取有用数据的程序。

2、爬虫的基本流程

一、发起请求

二、获取内容

三、解析内容

四、保存数据

3、Request和Response

Request：用户将本身的信息经过浏览器（socket client）发送给服务器（socket server）

Response：服务器接收请求，分析用户发来的请求信息，而后返回数据（返回的数据中可能包含其余连接，如：图片，js，css等）

注：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求而后接收Response后，是要提取其中的有用数据。

4、Request中包含什么？

一、请求方式

主要有GET、POST，还有HEAD、PUT、DELETE、POTIONS等。

二、请求URL

URL，即统一资源定位符，也就是网址，统一资源定位符是对能够从互联网上获得的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每一个文件都有一个惟一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

三、请求头

User-agent、host、cookies

User-agent：请求头中若是没有user-agent客户端配置， 服务端可能将你当作一个非法用户。

host

cookies：cookie用来保存登陆信息。

通常作爬虫都会加上请求头。

四、请求体

请求体是请求时额外携带的数据。若是是get方式，请求体没有内容；若是是post方式，请求体是format data。

5、Response中包含什么？

一、响应状态

200：表明成功

301：表明跳转

404：文件不存在

403：权限

502：服务器错误

二、响应头

响应头须要注意的参数：

(1)Set-Cookie:BDSVRTM=0; path=/：可能有多个，是来告诉浏览器，把cookie保存下来；

(2)Content-Location：服务端响应头中包含Location返回浏览器以后，浏览器就会从新访问另外一个页面。

三、响应体

6、能抓取什么数据？

一、网页文本（HTML、Json）

二、图片

三、视频

四、其余

7、网页解析的方式

一、直接处理

二、Json处理

三、正则表达式

四、BeautifulSoup

五、PyQuery

六、XPath

8、为何抓到的和浏览器看到的不同？

由于爬虫爬取的数据是Js没有渲染的数据，而浏览器中看到的是JS完成渲染后的数据。

9、怎么用JavaScript渲染？

当咱们进行网页爬虫时，咱们会利用必定的规则从返回的 HTML 数据中提取出有效的信息。可是若是网页中含有 JavaScript 代码，咱们必须通过渲染处理才能得到原始数据。

一、分析Ajax请求

二、selenium/WebDriver

10、怎么保存数据？

一、文本

二、关系型数据库

三、非关系型

四、图片音频

 

 

各位，我回来了，3月的时候自学爬虫，不过资料准备不足，加上拖延症发做，到如今爬虫都还没入门。将来会边学边更新，没有办法保证一天一更了。

文中不免有不足之处，欢迎批评指正。

 

参考资料：

一、什么是爬虫：http://www.cnblogs.com/935415150wang/p/7793306.html

二、Python2爬虫学习系列教程|静觅：https://cuiqingcai.com/1052.html

三、Python Request库Get和Post的区别：http://www.cnblogs.com/mango-lee/p/7116425.html

四、爬虫技术:(JavaScript渲染)动态页面抓取超级指南：https://blog.csdn.net/sqzhao/article/details/50853996

五、python学习之python爬虫原理 ：http://www.sohu.com/a/251575938_100120307

六、爬虫从头学之爬虫基本原理：https://blog.csdn.net/prospective0821/article/details/80630436