Python爬虫爬取智联招聘（进阶版）

时间  2019-11-11
标签 python 爬虫 招聘 进阶 栏目 Python 繁體版
原文   原文链接

前言

文的文字及图片来源于网络,仅供学习、交流使用,不具备任何商业用途,版权归原做者全部,若有问题请及时联系咱们以做处理。html

做者： C与Python实战python

PS：若有须要Python学习资料的小伙伴能够加点击下方连接自行获取git

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cefgithub

上一篇文章中《Python爬虫抓取智联招聘（基础版）》咱们已经抓取了智联招聘一些信息，可是那些对于找工做来讲仍是不够的，今天咱们继续深刻的抓取智联招聘信息并分析，本文使用到的第三方库不少，涉及到的内容也很繁杂，请耐心阅读。正则表达式

  • 运行平台： Windows 算法

  • Python版本： Python3.6 数据库

  • IDE： Sublime Text 编程

  • 其余工具： Chrome浏览器浏览器

0、写在前面的话

在基础版中，构造url时使用了urllib库的urlencode函数：网络

 url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)
    try:
        # 获取网页内容，返回html数据
        response = requests.get(url, headers=headers)
    ...

 

其实用reuqests库能够完成此工做，本例将该部分改成：

 url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?'
    try:
        # 获取网页内容，返回html数据
        response = requests.get(url, params=paras, headers=headers)
    ...

 

一、找到职位连接

为了获得更加详细的职位信息，咱们要找到职位连接，在新的页面中寻找数据。上篇文章中咱们没有解析职位连接，那再来找一下吧：

在这里插入图片描述

修改一下正则表达式：

# 正则表达式进行解析
    pattern = re.compile('<td class="zwmc".*?href="(.*?)" target="_blank">(.*?)</a>.*?' # 匹配职位详情地址和职位名称
        '<td class="gsmc">.*? target="_blank">(.*?)</a>.*?'                             # 匹配公司名称
        '<td class="zwyx">(.*?)</td>', re.S)                                            # 匹配月薪      
​
    # 匹配全部符合条件的内容
    items = re.findall(pattern, html)

 

二、求工资平均值

工资有两种形式xxxx-yyyy或者面议，此处取第一种形式的平均值做为分析标准，虽有误差可是也差很少，这是求职中最重要的一项指标。

for item in items:
    salary_avarage = 0
    temp = item[3]
    if temp != '面议':
        idx = temp.find('-')
        # 求平均工资
        salary_avarage = (int(temp[0:idx]) + int(temp[idx+1:]))//2

 

三、解析职位详细信息

3.1 网页解析

第一步已经将职位地址找到，在浏览器打开以后咱们要找到以下几项数据：

在这里插入图片描述

在开发者工具中查找这几项数据，以下图所示：

在这里插入图片描述 HTML结构以下所示：

# 数据HTML结构
<body>
|------<div class="terminalpage clearfix">
==>|------<div class="terminalpage-left">
==>==>|------<ul class="terminal-ul clearfix">
==>==>==>|------<li><span>工做经验:</span><strong>3-5年</strong>
==>==>==>|------<li><span>最低学历:</span><strong>本科</strong>
==>==>|------<div class="terminalpage-main clearfix">
==>==>==>|------<div class="tab-cont-box">
==>==>==>==>|------<div class="tab-inner-cont">
==>==>==>==>==>|------<p>工做职责:</p>
==>==>==>==>==>|------<p>********</p>
==>==>==>==>==>|------<p>********</p>    # 工做职责详情
==>|------<div class="terminalpage-right">    
==>==>|------<div class="company-box">
==>==>==>|------<ul class="terminal-ul clearfix terminal-company mt20">
==>==>==>==>|------<li><span>公司规模:</span><strong>100-499人</strong>

 

3.2 代码实现

为了学习一下BeautifulSoup库的使用，咱们再也不使用正则表达式解析，而是BeautifulSoup库解析HTML标签来得到咱们想要获得的内容。

解析库的安装：pip install beautifulsoup4

下面介绍一下本例中使用到的功能：

  • 库的引入：from bs4 import BeautifulSoup

  • 数据引入：soup = BeautifulSoup(html, 'html.parser') ，其中html是咱们要解析的html源码，html.parser指定HTML的解析器为Python标准库。

  • 查找标签：find(name,attrs,recursive,text,**kwargs)，find返回的匹配结果的第一个元素

  • 查找全部标签：find_all(name,attrs,recursive,text,**kwargs)能够根据标签名，属性，内容查找文档，返回找到的全部元素

  • 获取内容：get_text()就能够获取文本内容

  • 获取子标签：soup.p这种方式就能够获取到soup下的第一个p标签

'''
python学习交流群：821460695更多学习资料能够加群获取
'''
def get_job_detail(html):
    requirement = ''
    # 使用BeautifulSoup进行数据筛选
    soup = BeautifulSoup(html, 'html.parser')
    # 找到<ul class="terminal-ul clearfix">标签
    for ul in soup.find_all('ul', class_='terminal-ul clearfix'):
        # 该标签共有8个子标签，分别为：
        # 职位月薪|工做地点|发布日期|工做性质|工做经验|最低学历|招聘人数|职位类别
        lis = ul.find_all('strong')
        # 工做经验
        years = lis[4].get_text()
        # 最低学历
        education = lis[5].get_text()
    # 筛选任职要求
    for terminalpage in soup.find_all('div', class_='terminalpage-main clearfix'):
        for box in terminalpage.find_all('div', class_='tab-cont-box'):
            cont = box.find_all('div', class_='tab-inner-cont')[0]
            ps = cont.find_all('p')
            # "当即申请"按钮也是个p标签，将其排除
            for i in range(len(ps) - 1):
                requirement += ps[i].get_text().replace("\n", "").strip()   # 去掉换行符和空格
​
    # 筛选公司规模，该标签内有四个或五个<li>标签，可是第一个就是公司规模
    scale = soup.find(class_='terminal-ul clearfix terminal-company mt20').find_all('li')[0].strong.get_text()
​
    return {'years': years, 'education': education, 'requirement': requirement, 'scale': scale}

 

本次咱们将职位描述写入txt文件，其他信息写入csv文件。

csv文件采用逐行写入的方式这样也能够省点内存，修改write_csv_rows函数：

def write_csv_rows(path, headers, rows):
    '''
    写入行
    '''
    with open(path, 'a', encoding='gb18030', newline='') as f:
        f_csv = csv.DictWriter(f, headers)
        # 若是写入数据为字典，则写入一行，不然写入多行
        if type(rows) == type({}):
            f_csv.writerow(rows)
        else:
            f_csv.writerows(rows)

 

添加写txt文件函数：

def write_txt_file(path, txt):
    '''
    写入txt文本
    '''
    with open(path, 'a', encoding='gb18030', newline='') as f:
        f.write(txt)

 

咱们最重要对职位描述的内容进行词频统计，一些标点符号等会影响统计，使用正则表达式将其剔除：

# 对数据进行清洗，将标点符号等对词频统计形成影响的因素剔除
pattern = re.compile(r'[一-龥]+')
filterdata = re.findall(pattern, job_detail.get('requirement'))
write_txt_file(txt_filename, ''.join(filterdata))

 

至此，职位详细信息的获取及保存的工做已经完成，来看一下此时的main函数：

 1 def main(city, keyword, region, pages):
 2     '''
 3     主函数
 4     '''
 5     csv_filename = 'zl_' + city + '_' + keyword + '.csv'
 6     txt_filename = 'zl_' + city + '_' + keyword + '.txt'
 7     headers = ['job', 'years', 'education', 'salary', 'company', 'scale', 'job_url']
 8     write_csv_headers(csv_filename, headers)
 9     for i in range(pages):
10         '''
11         获取该页中全部职位信息，写入csv文件
12         '''
13         job_dict = {}
14         html = get_one_page(city, keyword, region, i)
15         items = parse_one_page(html)
16         for item in items:
17             html = get_detail_page(item.get('job_url'))
18             job_detail = get_job_detail(html)
19 
20             job_dict['job'] = item.get('job')
21             job_dict['years'] = job_detail.get('years')
22             job_dict['education'] = job_detail.get('education')
23             job_dict['salary'] = item.get('salary')
24             job_dict['company'] = item.get('company')
25             job_dict['scale'] = job_detail.get('scale')
26             job_dict['job_url'] = item.get('job_url')
27 
28             # 对数据进行清洗，将标点符号等对词频统计形成影响的因素剔除
29             pattern = re.compile(r'[一-龥]+')
30             filterdata = re.findall(pattern, job_detail.get('requirement'))
31             write_txt_file(txt_filename, ''.join(filterdata))
32             write_csv_rows(csv_filename, headers, job_dict)

 

四、数据分析

本节内容为此版本的重点。

4.1 工资统计

咱们对各个阶段工资的占比进行统计，分析该行业的薪资分布水平。前面咱们已经把数据保存到csv文件里了，接下来要读取salary列：

def read_csv_column(path, column):
    '''
    读取一列
    '''
    with open(path, 'r', encoding='gb18030', newline='') as f:
        reader = csv.reader(f)
        return [row[column] for row in reader]

# main函数里添加
print(read_csv_column(csv_filename, 3))

#下面为打印结果
['salary', '7000', '5000', '25000', '12500', '25000', '20000', '32500', '20000', '15000', '9000', '5000', '5000', '12500', '24000', '15000', '18000', '25000', '20000', '0', '20000', '12500', '17500', '17500', '20000', '11500', '25000', '12500', '17500', '25000', '22500', '22500', '25000', '17500', '7000', '25000', '3000', '22500', '15000', '25000', '20000', '22500', '15000', '15000', '25000', '17500', '22500', '10500', '20000', '17500', '22500', '17500', '25000', '20000', '11500', '11250', '12500', '14000', '12500', '17500', '15000']

 

从结果能够看出，除了第一项，其余的都为平均工资，可是此时的工资为字符串，为了方便统计，咱们将其转换成整形:

salaries = []
sal = read_csv_column(csv_filename, 3)
    # 撇除第一项，并转换成整形，生成新的列表
    for i in range(len(sal) - 1):
        # 工资为'0'的表示招聘上写的是'面议',不作统计
        if not sal[i] == '0':
            salaries.append(int(sal[i + 1]))
    print(salaries)

# 下面为打印结果
[7000, 5000, 25000, 12500, 25000, 20000, 32500, 20000, 15000, 9000, 5000, 5000, 12500, 24000, 15000, 18000, 25000, 20000, 0, 20000, 12500, 20000, 11500, 17500, 25000, 12500, 17500, 25000, 25000, 22500, 22500, 17500, 17500, 7000, 25000, 3000, 22500, 15000, 25000, 20000, 22500, 15000, 22500, 10500, 20000, 15000, 17500, 17500, 25000, 17500, 22500, 25000, 12500, 20000, 11250, 11500, 14000, 12500, 15000, 17500]

 

咱们用直方图进行展现：

plt.hist(salaries, bins=10 ,)
plt.show()

 

生成效果图以下：

在这里插入图片描述

从图中能够看出工资分布的状况，这样在你找工做时能够作一个参考。

4.2 职位描述词频统计

对职位描述词频统计的意义是能够了解该职位对技能的基本要求，若是正在找工做，能够估计一下本身的要求是否符合该职位；若是想要一年后换工做，那么也能够提早作好准备，迎接新的挑战。

词频统计用到了 jieba、numpy、pandas、scipy库。若是电脑上没有这两个库，执行安装指令：

  • pip install jieba

  • pip install pandas

  • pip install numpy

  • pip install scipy

4.2.1 读取txt文件

前面已经将职位描述保存到txt文件里了，如今咱们将其读出：

1 def read_txt_file(path):
2     '''
3     读取txt文本
4     '''
5     with open(path, 'r', encoding='gb18030', newline='') as f:
6         return f.read()

 

简单测试一下：

 1 import jieba
 2 import pandas as pd
 3 '''
 4 python学习交流群：821460695更多学习资料能够加群获取
 5 '''
 6 content = read_txt_file(txt_filename)
 7 segment = jieba.lcut(content)
 8 words_df=pd.DataFrame({'segment':segment})
 9 print(words_df)
10 
11 # 输出结果以下：
12       segment
13 0        岗位职责
14 1          参与
15 2          公司
16 3        软件产品
17 4          后台
18 5          研发
19 6           和
20 7          维护
21 8          工做
22 9          参与
23 10        建筑物
24 11         联网
25 12       数据分析
26 13         算法
27 14          的
28 15         设计
29 16          和
30 17         开发
31 18          可
32 19         独立
33 20         完成
34 21         业务
35 22         算法
36 23         模块
37 ...            ...

 

从结果能够看出：“岗位职责”、“参与”、“公司”、软件产品“、”的“、”和“等单词并无实际意义，因此咱们要将他们从表中删除。

4.2.2 stop word

下面引入一个概念：stop word， 在网站里面存在大量的经常使用词好比：“在”、“里面”、“也”、“的”、“它”、“为”这些词都是中止词。这些词由于使用频率太高，几乎每一个网页上都存在，因此搜索引擎开发人员都将这一类词语所有忽略掉。若是咱们的网站上存在大量这样的词语，那么至关于浪费了不少资源。

在百度搜索stpowords.txt进行下载，放到py文件同级目录。接下来测试一下：

content = read_txt_file(txt_filename)
segment = jieba.lcut(content)
words_df=pd.DataFrame({'segment':segment})

stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep=" ",names=['stopword'],encoding='utf-8')
words_df=words_df[~words_df.segment.isin(stopwords.stopword)]

print(words_df)

# 如下为输出结果
0        岗位职责
1          参与
2          公司
3        软件产品
4          后台
5          研发
7          维护
8          工做
9          参与
10        建筑物
11         联网
12       数据分析
13         算法
15         设计
17         开发
19         独立
21         业务
22         算法
23         模块
24         开发
28         产品
29         目标
31         改进
32         创新
33         任职
35         熟练
38         开发
39         经验
40         优先
41         熟悉
...       ...

 

从结果看出，那些经常使用的stop word好比：“的”、“和”、“可”等已经被剔除了，可是还有一些词如“岗位职责”、“参与”等也没有实际意义，若是对词频统计不产生影响，那么就无所谓，在后面统计时再决定是否对其剔除。

4.2.3 词频统计

重头戏来了，词频统计使用numpy：

import numpy

words_stat = words_df.groupby(by=['segment'])['segment'].agg({"计数":numpy.size})
    words_stat = words_stat.reset_index().sort_values(by=["计数"],ascending=False)
    print(words_stat)

# 如下是爬取所有“北京市海淀区Python工程师”职位的运行结果：
    segment   计数
362      开发  505
590      熟悉  409
701      经验  281
325      工做  209
820      负责  171
741      能力  169
793      设计  161
82       优先  160
409      技术  157
621      相关  145
322    岗位职责  127
683      系统  126
64       产品  124
904      项目  123
671      算法  107
78       任职  107
532      框架  107
591      熟练  104

 

能够看出，某些词语仍是影响了统计结果，我将如下stop word加入stopword.txt中：

开发、熟悉、熟练、精通、经验、工做、负责、能力、有限、相关、岗位职责、任职、语言、平台、参与、优先、技术、学习、产品、公司、熟练掌握、以上学历

最后运行结果以下：

775      设计  136
667      系统  109
884      项目  105
578      熟练   95
520      框架   92
656      算法   90
143      分析   90
80       优化   77
471     数据库   75
693      维护   66
235      团队   65
72       代码   61
478      文档   60
879      需求   58
766     计算机   56
698      编程   56
616      研发   49
540      沟通   49
527      模块   49
379      性能   46
695      编写   45
475    数据结构   44

 

这样基本上就是对技能的一些要求了，你也能够根据本身的需求再去修改stopword.txt已达到更加完美的效果。

4.2.4 词频可视化：词云

词频统计虽然出来了，能够看出排名，可是不完美，接下来咱们将它可视化。使用到wordcloud库，详细介绍见 github ，使用pip install wordcloud进行安装。

from scipy.misc import imread
from wordcloud import WordCloud, ImageColorGenerator
'''
python学习交流群：821460695更多学习资料能够加群获取
'''
    # 设置词云属性
    color_mask = imread('background.jfif')
    wordcloud = WordCloud(font_path="simhei.ttf",   # 设置字体能够显示中文
                    background_color="white",       # 背景颜色
                    max_words=100,                  # 词云显示的最大词数
                    mask=color_mask,                # 设置背景图片
                    max_font_size=100,              # 字体最大值
                    random_state=42,
                    width=1000, height=860, margin=2,# 设置图片默认的大小,可是若是使用背景图片的话,                                                   # 那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
                    )
​
​
    # 生成词云, 能够用generate输入所有文本,也能够咱们计算好词频后使用generate_from_frequencies函数
    word_frequence = {x[0]:x[1]for x in words_stat.head(100).values}
    word_frequence_dict = {}
    for key in word_frequence:
        word_frequence_dict[key] = word_frequence[key]
​
    wordcloud.generate_from_frequencies(word_frequence_dict)
    # 从背景图片生成颜色值  
    image_colors = ImageColorGenerator(color_mask) 
    # 从新上色
    wordcloud.recolor(color_func=image_colors)
    # 保存图片
    wordcloud.to_file('output.png')
    plt.imshow(wordcloud)
    plt.axis("off")
    plt.show()

 

运行效果图以下（左图为原图，右图为生成的图片）：

在这里插入图片描述

至此，词频统计及其可视化完成。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程