用爬虫分析互联网大数据行业薪资状况

前言：随着互联网大数据行业的日渐兴盛，愈来愈多的人投身其中，也有不少的朋友对此有着浓厚的兴趣，想要投身其中。从本期开始咱们将分四期带你们走进互联网大数据行业，分别了解数据挖掘&机器学习、数据分析、算法&深度学习、数据产品经理这四个不一样的与大数据相关的职位。

数据来源：
咱们将来四期的数据主要来源于拉勾网，目前比较火的招聘网站猎聘、boss直聘、拉勾都有比较多的互联网职位介绍。咱们基于如下几点缘由选择拉勾：1.薪资大多有直接的范围，较少为面议 2. 企业数量较全，基本上涵盖了互联网相关公司 3.url地址相对比较规整，方便进行批量爬取。数据展现页面以下：

该部分使用Python中Selenium爬取，部分代码以下：

while
 
True
:
        
try
:
            
for
 j 
in
 range(
15
):
                xpath = 
'//*[@id="s_position_list"]/ul/li['
+str(j+
1
)+
']'
                a = driver.find_element_by_xpath(xpath)
                job_desc.append(a.text)
                job_code.append(a.find_element_by_class_name(
'position_link'
                                ).get_attribute(
'data-lg-tj-cid'
))
            js=
"var q=document.documentElement.scrollTop=10000"
  
            driver.execute_script(js)
            driver.find_element_by_class_name(
'pager_next'
).click()
        
except
:
            
break
复制代码

薪资状况：
咱们将从多个角度去了解你们所关注的薪资状况，首先看一下各个城市的机会多少与平均月薪，以下图（气泡大小表示职位数量，柱形图高度表示平均月薪）：

能够看到，排名第八的武汉职位数量已是北京的四十分之一了，排名靠后的城市职位数量小于20个。这必定程度体现了数据挖掘&机器学习职位在北上广深杭的集中性，除了五大城市以外，成都、南京、武汉将来也有着无限潜力。
下面看一下不一样的工做经验所对应的职位数量与薪资状况：

能够看到拉勾网上大多的工做机会是针对于有工做经验的求职者。3年、5年工做经验也成为了两个比较重要的门槛，薪资会有明显的提示，这样说明了企业对于经验的看重
下面看一企业对于学历的要求：

须要注意的是，拉勾网上的学历要求为最低要求，实际工做中你们的平均学历会远高于图上所显示的。
咱们来结合城市和经验看一下不一样城市工做经验的提高对薪资的提高幅度：

北京在各个工做经验层面的薪资均处于全国领先位置，这也代表了帝都互联网中心的地位。在工做经验5-10年的对比上，广州的涨幅落后于其余几大城市，有在广州工做的朋友能够与咱们分享下，这是否具备必定的现实性。
各大公司拉勾网提供平均月薪：

咱们选取了在拉勾网上提供职位最多的十五家公司，BAT&TMD均在其中，也包括了搜狗、微博、网易这些知名互联网公司。出人意料的是提供职位薪资最高的是新浪微博，众所周知，一个企业内的实际平均薪资状况十分复杂，上述数据也只是其在拉勾网上放出职位的状况，仅供参考。
以上图表咱们使用ggplot绘制，代码以下（以公司薪资图为例）：

ggplot(company_com,aes(x=reorder(company,-salary),y=salary,fill=
as
.character(rep(
1
:
5
,each=
3
))))+
  geom_bar(stat=
'identity'
)+
  geom_text(aes(label=round(salary,
2
),y= salary+
1
),size=
5
)+
  theme_wsj()+
  scale_fill_wsj()+
  scale_color_wsj()+
  ggtitle(
'各种公司拉勾网职位平均月薪(K)'
)+
  theme(axis.text.x = element_text(size=
12
),
        axis.text.y = element_blank(),
        plot.title = element_text(hjust=
0.5
,size=
25
),
        legend.position=
'none'
,
        panel.grid = element_blank(),
        axis.title  = element_blank(),
        axis.text = element_text(face=
'bold'
,hjus=
0.8
,size=
10
,angle=
15
)
  )
复制代码

指望月薪计算：
咱们用线性回归模型，简易地帮助你们计算一下所能够期待的薪资状况（数据为月薪，单位为K），咱们仅选取了经验、城市、学历三个因素，并无考虑交互项、高次项等因素，结果仅供参考，实际状况要复杂不少：

所需技能&福利：
想要获得不错的年薪，除了上述一些硬件条件，我的所掌握的实际技能实际上会起到更加剧要的做用，咱们就来看一下入职数据挖掘&机器学习所需掌握的技能：

顺利入职以后，咱们又能够获得什么样的福利呢，能够看一下下图：

本文来自阿里云开发者社区

原文连接：developer.aliyun.com/article/617…