小白用Python玩爬虫，必须了解的一个爬虫流程!

爬虫基本流程

• 发起请求
• 经过HTTP库向目标服务器发送Request，Request内能够包含额外的headers信息。
• 获取响应内容
• 若是服务器正常响应，会返回Response， 里面包含的就是该页面的内容。
• 解析数据
• 内容或许是HTML，能够用正则表达式、网页解析库进行解析。
• 或许是Json，能够直接转换为Json对象解析。
• 保存数据
• 能够存储为文本，也能够保存至数据库，或其余特定类型文件。

 

Response中包含的内容

• 响应状态
• Status Code:200
• 即状态码，通常200表示响应成功。
• 响应头
• Response Headers
• 内容类型，内容长度，服务器信息，设置Cookie等。
• 响应体
• 请求资源的内容，如网页源代码，二进制数据等。在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 227  -435-  450能够来了解一块儿进步一块儿学习！免费分享视频资料

 

 

通常作网页请求的时候，能够先判断状态码是不是200，再取出响应体进行解析。

解析方式

• 直接处理
• Json解析
• 正则表达式
• BeautifulSoup
• PyQuery
• XPath

视状况选择合适的解析方式。

保存数据

• 文本保存
• 纯文本、Json、Xml等。
• 关系型数据库保存
• MySQL、Oracle、SQLServer等。
• 非关系型数据库保存
• MongoDB、Redis等Key-Value形式存储。
• 二进制文件
• 图片、视频、音频等特定文件。

Urllib库

Python内置的HTTP请求库

模块说明urllib.request请求模块urllib.error异常处理模块urllib.parseurl解析模块urllib.robotparserrobots.txt解析模块