Python爬虫实战之（二）| 寻找你的招聘信息

做者：xiaoyu
微信公众号：Python数据科学
知乎：Python数据分析师

---

最近总被智联招聘广发骚扰，烦死我的了简直。索性点进去看了看爬虫工程师如今市场需求到底怎么样了？发展前景如何？看完了以后感受目前还不错，根据北京来看职位需求仍是蛮多的，薪资也还行，因而就对智联招聘职位信息的爬取发起了一次小小的挑战，今天给你们分享一个爬取招聘网站的工做信息，效果图以下（部分截图）。

(更多效果图在后面)

功能需求分析

主要功能需求以下：

• 用户输入工做地点和感兴趣的职位信息；
• 根据指定输入信息进行多线程的网页爬取；
• 解析提取结构化的招聘信息；
• 将数据存入指定的数据库；

这里因为篇幅和时间缘由，功能并无那么复杂，可是博主会在后续加入更加丰富的功能，并与你们分享，包括：

• ip池的加入;
• 爬取和解析效率的优化；
• 对爬取数据进行数据分析，提供可视化的统计和简单预测；
• 其它反爬功能;

功能实现分析

明白了要完成的任务，就须要开始分析咱们的目标网站了。

1.网页爬取分析

打开智联招聘的搜索界面，输入 “爬虫” 二字为例， 以下：

而后咱们经过fiddler抓包工具抓取浏览器操做时的信息以下：

• 职位信息输入后看到这个请求是 GET 模式，GET 请求的连接是
  http://sou.zhaopin.com/jobs/s...
• 浏览器发出请求的headers头信息，copy到代码headers中。

因为浏览器正常操做下是经过点击“搜索按钮”或者“回车”来进行职位搜索的，而咱们并不但愿使用浏览器内核webdriver的使用来解决此问题。

所以，思路是：咱们须要从发出的GET请求的URL进行分析。

在浏览器中显示的URL是这样子的，有汉字。

• “北京” 和 “爬虫” 关键词都以汉字形式显示。感受这和上面蓝色的连接差很少同样啊！没错，上面的URL是北京和爬虫关键字进行编码以后的样子，而咱们向服务器提交的正是上面那个编码以后的URL。
• 后面 “p=1” 的意思是第一页，“adv=0” 经其它数字测试后没有影响，固不作改变。

好了，捋明白了。咱们须要作的其实就是将咱们输入的关键词汉字进行编码，而后替换掉上面蓝色URL的lj=“”和kw=“”中的内容，再用这个新的URL发出请求就OK了。

2.网页解析分析

这是浏览器搜索以后获得的结果，从招聘信息中咱们但愿获得一些有用的信息。博主这里定义了五个字段信息：职位名称、反馈率、公司名称、职位月薪、工做地点。这些信息关系到你如何建立数据库表单，后面会提到。

这里博主决定使用BeautifulSoup方法解决网页的解析，那么先用F12 element看看网页的结构再说。

博主经分析后发现，其它四个信息提取方式都是同样的，可是工做名称的标签结构是有所不一样的，为何呢？

来，先看一条数据的标签，它是这样的：

再看，另外一条数据的标签，是这样的：

发现有什么不一样了吗？第一个工做名称的标签里有<b></b>，而第二个标签里什么都没有。

看看上面这两个名称不难发现，致使这个问题的缘由实际上是关键字的存在（第一个标签中有红色关键字）。

而又想到，咱们正常搜索的时候通常不会输入完整的工做名称，好比我只输入 “爬虫” 二字，因为可能存在以上关键字的问题，那么标签的结果就会不一样。所以，咱们须要在代码解析的时候进行特殊处理，下面进行代码实现分析。

代码实现分析

因为须要将解析后的数据存入数据库，所以须要先在命令窗口建立一个数据库（也能够在Python中完成），这里简单提一下所需的操做。

• 使用了MySQL数据库进行储存
• 数据库表单包含了以前提到的五个字段信息

下面是具体代码的实现。

1.URL的重组实现

• 使用了property修饰器定了函数来接收用户信息
• 将输入信息用quote进行编码重组，生成爬取所需的目标URL

2.html下载

• 将从新生成的URL放入函数中进行html的下载。

3.html解析

• 使用BeautifulSoup和正则表达式从网页解析五个字段信息。

4. 储存解析数据

以上是代码的核心内容，完整源码博主已经上传到Github上了，可供参考，连接https://github.com/xiaoyusmd/...

更多效果图展现

展现效果图均为部分截图，用于示意。

（搜索关键词：广告策划，地理位置：北京）

（搜索关键词：电子工程师，地理位置：上海）

（搜索关键词：会计，地理位置：深圳）

（搜索关键词：客户经理，地理位置：广州）

总结

• 本篇分享了一个从智联招聘网站爬取工做信息的实战内容，完成了需求的基本功能。
• 在此实战内容基础上，更多复杂和精彩功能会在后续陆续分享

欢迎关注微信公众号Python数据科学。