Python爬虫实战之（二）| 寻找你的招聘信息

时间 2019-11-24

原文原文链接

做者：xiaoyuhtml

微信公众号：Python数据科学git

最近总被智联招聘广发骚扰，烦死我的了简直。索性点进去看了看爬虫工程师如今市场需求到底怎么样了？发展前景如何？看完了以后感受目前还不错，根据北京来看职位需求仍是蛮多的，薪资也还行，因而就对智联招聘职位信息的爬取发起了一次小小的挑战，今天给你们分享一个爬取招聘网站的工做信息，效果图以下（部分截图）。web

(更多效果图在后面)正则表达式

功能需求分析

主要功能需求以下：数据库

用户输入工做地点和感兴趣的职位信息；
根据指定输入信息进行多线程的网页爬取；
解析提取结构化的招聘信息；
将数据存入指定的数据库；

这里因为篇幅和时间缘由，功能并无那么复杂，可是博主会在后续加入更加丰富的功能，并与你们分享，包括：浏览器

ip池的加入;
爬取和解析效率的优化；
对爬取数据进行数据分析，提供可视化的统计和简单预测；
其它反爬功能;

功能实现分析

明白了要完成的任务，就须要开始分析咱们的目标网站了。bash

1.网页爬取分析

打开智联招聘的搜索界面，输入 “爬虫” 二字为例，以下：服务器

而后咱们经过fiddler抓包工具抓取浏览器操做时的信息以下：微信

职位信息输入后看到这个请求是 GET 模式，GET 请求的连接是 sou.zhaopin.com/jobs/search…
浏览器发出请求的headers头信息，copy到代码headers中。

因为浏览器正常操做下是经过点击“搜索按钮”或者“回车”来进行职位搜索的，而咱们并不但愿使用浏览器内核webdriver的使用来解决此问题。

所以，思路是：咱们须要从发出的GET请求的URL进行分析。

在浏览器中显示的URL是这样子的，有汉字。

“北京” 和 “爬虫” 关键词都以汉字形式显示。感受这和上面蓝色的连接差很少同样啊！没错，上面的URL是北京和爬虫关键字进行编码以后的样子，而咱们向服务器提交的正是上面那个编码以后的URL。
后面 “p=1” 的意思是第一页，“adv=0” 经其它数字测试后没有影响，固不作改变。

好了，捋明白了。咱们须要作的其实就是将咱们输入的关键词汉字进行编码，而后替换掉上面蓝色URL的lj=“”和kw=“”中的内容，再用这个新的URL发出请求就OK了。

2.网页解析分析

这是浏览器搜索以后获得的结果，从招聘信息中咱们但愿获得一些有用的信息。博主这里定义了五个字段信息：职位名称、反馈率、公司名称、职位月薪、工做地点。这些信息关系到你如何建立数据库表单，后面会提到。

这里博主决定使用BeautifulSoup方法解决网页的解析，那么先用F12 element看看网页的结构再说。

博主经分析后发现，其它四个信息提取方式都是同样的，可是工做名称的标签结构是有所不一样的，为何呢？

来，先看一条数据的标签，它是这样的：

再看，另外一条数据的标签，是这样的：

发现有什么不一样了吗？第一个工做名称的标签里有<b></b>，而第二个标签里什么都没有。

看看上面这两个名称不难发现，致使这个问题的缘由实际上是关键字的存在（第一个标签中有红色关键字）。

而又想到，咱们正常搜索的时候通常不会输入完整的工做名称，好比我只输入 “爬虫” 二字，因为可能存在以上关键字的问题，那么标签的结果就会不一样。所以，咱们须要在代码解析的时候进行特殊处理，下面进行代码实现分析。

代码实现分析

因为须要将解析后的数据存入数据库，所以须要先在命令窗口建立一个数据库（也能够在Python中完成），这里简单提一下所需的操做。

使用了MySQL数据库进行储存
数据库表单包含了以前提到的五个字段信息

下面是具体代码的实现。

1.URL的重组实现

# 接收工做名称关键字
    @property
    def job_name_cmd_get(self):
        return self._job_name

    @job_name_cmd_get.setter
    def job_name_cmd_get(self, job_name_input):
        if not isinstance(job_name_input, str):
            raise ValueError('请输入正确的关键词字符串')
        self._job_name = job_name_input

    # 接收输入的工做地点
    @property
    def job_loc_cmd_get(self):
        return self._job_loc

    @job_loc_cmd_get.setter
    def job_loc_cmd_get(self, job_loc_input):
            if not isinstance(job_loc_input, str):
                raise ValueError('请输入正确的关键词字符串')
            if job_loc_input not in job_loc_list:
                print('请输入主要的城市。')
            self._job_loc = job_loc_input

    def url_cook(self):
        """ 根据输入工做信息拼接url :return: """
        url_crawl = self.url_base + 'jl=' + parse.quote(self._job_loc) \
                    + '&kw=' + parse.quote(self._job_name) + '&p={}&isadv=0'
        return url_crawl
复制代码

使用了property修饰器定了函数来接收用户信息
将输入信息用quote进行编码重组，生成爬取所需的目标URL

2.html下载

def html_crawl(self, url_crawl):
        """ 根据url下载网页 :param url_crawl: :return: """
        try:
            response = request.Request(url_crawl, headers=headers)
            html_requested = request.urlopen(response)
            html_decoded = html_requested.read().decode('utf-8')
            self.html_pool.append(html_decoded)
            print('-----正在下载-----')
            sleep(3)
        except error.HTTPError as e:
            if hasattr(e, 'code'):
                print(e.code)
复制代码

将从新生成的URL放入函数中进行html的下载。

3.html解析

def html_parse(self, html_docoded):
        """ 解析下载的html信息 :param html_docoded: :return: """
        job_fb = []
        job_name = []
        soup = BeautifulSoup(html_docoded, 'lxml')
        # 提取工做名称
        for td_tag in soup.find_all('td', class_='zwmc')[1:]:
            sub_soup = BeautifulSoup(str(td_tag), 'lxml')
            if '</b>' in str(sub_soup.a):
                raw_name = re.findall(r'<a.+?>(.+?)?<b>(.+?)</b>(.+?)?</a>', str(td_tag.a))[0]
                job_name_fill = ''
                for name in raw_name:
                    if isinstance(name, str):
                        job_name_fill += name.strip()
                job_name.append(job_name_fill)
            else:
                job_name.append(sub_soup.a.string)
                # job_href.append(sub_soup.a.get('href'))
        # 提取反馈率
        for td_tag in soup.find_all('td', class_='fk_lv')[1:]:
            sub_soup = BeautifulSoup(str(td_tag), 'lxml')
            job_fb.append(sub_soup.span.string)
        # 提取公司名称、薪水、地点
        job_company = [td_tag.a.string for td_tag in soup.find_all('td', class_='gsmc')[1:]]
        job_salary = [td_tag.string for td_tag in soup.find_all('td', class_='zwyx')[1:]]
        job_location = [td_tag.string for td_tag in soup.find_all('td', class_='gzdd')[1:]]

        self.parse_pool.append(zip(job_name, job_fb, job_company, job_salary, job_location))
复制代码

使用BeautifulSoup和正则表达式从网页解析五个字段信息。

4. 储存解析数据

def job_info_store(self, job_info):
        """ 将工做信息储存到数据库里 :param job_info: :return: """
        for elem in job_info:
            self.cur.execute("insert into jobs (job_name, feedback_rate, company_name, salary, location)"
                             " values('{}', '{}', '{}', '{}', '{}')"
                             .format(str(elem[0]), str(elem[1]), str(elem[2]), str(elem[3]), str(elem[4])))
            self.conn.commit()
复制代码

以上是代码的核心内容，完整源码博主已经上传到Github上了，可供参考，连接github.com/xiaoyusmd/Z…