数据读取
理解数据
数据清洗
数据分析javascript
一、数据读取
#导入相关模块import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport re#正则解析from wordcloud import WordCloudimport warningswarnings.filterwarnings('ignore')
#链接mysqlimport pymysqlpymysql.install_as_MySQLdb()from sqlalchemy import create_engineengine=create_engine('mysql://user:password@localhost:3306/frogdata?charset=gbk')
#读取数据df=pd.read_sql_query('select * from Boss_analyst',con=engine)
二、理解数据
字段解释php
position - 职位css
salary_range - 薪水区间java
work_year - 工做经验python
city - 城市mysql
tag1 - 技能标签1算法
tag2 - 技能标签2sql
tag3 - 技能标签3apache
tag4 - 技能标签4ruby
tag5 - 技能标签5
company_name - 公司名称
text - 未知
company_type - 公司类型
company_welfare -公司福利
三、数据清洗
对表中的position、salary_range、work_year、city、text、company_welfare字段数据进行清洗
#观察数据的总体状况df.info()
总共有4482条数据。tag四、tag五、company_walfare列的有存在空缺数据，但空缺很少，并且这三个指标不是关键性指标，因此暂不作处理
#考虑到爬取的数据可能存在重复数据，此处作去重处理df.drop_duplicates(inplace=True)df.shape[0]
4435 存在47条重复数据
position 字段清洗
#观察position字段df.position.unique()
发现存在异常数据，这里须要对不相关的职位进行去除
df=df.loc[df.position.str.contains('数据|分析|Data|算法|Bi|ETL')]df.shape[0]
3423
考虑数据类的岗位有数据运营、数据挖掘、商业分析师、算法工程师、ETL工程师等
salary_range字段清洗
#观察salary_range字段df['salary_range'].unique()
数据很不规整，初步判断存在如下三种格式：'15-25K·13薪'、'15-25K'、100-150元/天 ，打算把这一列的数据拆解分为两列-最低薪水、最高薪水
def cut_word(word,types): #把数据规整为'xx-xx'格式 position1=word.find('K') position2=word.find('元') #若是没有找到该元素，find会返回值-1 if position1 != -1: salary_range=word[:position1] elif position2 != -1: salary_range=word[:position2] #拆分数据-最低薪水、最高薪水 position3= salary_range.find('-') bottom_salary= salary_range[:position3] top_salary= salary_range[position3+1:] #传入types参数，接收最低薪水、最高薪水的数据 if types == 'bottom': return bottom_salary else: return top_salary
#利用apply函数进行数据转化df['bottom_salary']=df['salary_range'].apply(cut_word,types='bottom').astype('int')df['top_salary']=df['salary_range'].apply(cut_word,types='top').astype('int')
#新增平均薪水列，方面后面作统计分析df['avg_salary']=df.apply(lambda x : (x.bottom_salary+x.top_salary)/2,axis=1)
work_year字段清洗
#观察work_year字段df.work_year.unique()
work_year字段中学历数据和工做年限数据混杂在了一块儿，须要将其分列
学历有7种数据格式：学历不限、中专/中技、高中、大专、本科、硕士、博士
工做经验有三种数据格式：x-x年、x天/周x个月、经验不限。
def cut_word1(word,types): #找到学历不限的学字，进行切片处理 position1=word.find('学') #找到学历不限的大字，进行切片处理 position2=word.find('大') position3=word.find('本') position4=word.find('硕') position5=word.find('博') position6=word.find('高') position7=word.find('中') #经过切片把数据规整为学历和工做经验两列数据 if position1 != -1: work_year=word[:position1] educational_background=word[position1:] elif position2 != -1: work_year=word[:position2] educational_background=word[position2:] elif position3 != -1: work_year=word[:position3] educational_background=word[position3:] elif position4 != -1: work_year=word[:position4] educational_background=word[position4:] elif position5 != -1: work_year=word[:position5] educational_background=word[position5:] elif position6 != -1: work_year=word[:position6] educational_background=word[position6:] else: work_year=word[:position5-4] educational_background=word[position5-4:] #传入types参数，接收学历和工做年限的数据 if types == 'education_background': return educational_background else: return work_year #利用apply函数进行数据转化，将学历数据新添加到'education_background'列，工做经验数据新添加到'work_year'列=df['work_year'].apply(cut_word1,types='education_background')=df['work_year'].apply(cut_word1,types='work_year')
work_year字段已清洗完毕，转化为work_year和education_background两列数据
#work_year中存在2天/周3个月之类的数据，判断是实习/兼职职位，这边把全职和实习的岗位数据区分开来df_part_time=df.loc[df.work_year.str.contains('天|周|月')]#全职岗位df_full_time=df.loc[~df.work_year.str.contains('天|周|月')]
city字段清洗
#观察city数据df_full_time['city'].unique()
有些值只显示城市名称，有些细分到了区，这边把数据维度统一规整到城市名称
#经过apply函数和if逻辑判断，把带有·点的数据的城市地区维度进行切片截取df_full_time['city']=df_full_time['city'].apply(lambda x :x[:x.find('·')] if x.find('·') != -1 else x)
text字段清洗
#观察text字段df_full_time.text.unique()
text字段包含了公司融资状况、公司类型、公司规模数据，需将其转化分列，其中公司类型已存在(company_type)
只需转化为公司融资状况和公司规模两列
清洗结果
四、数据分析
总体思路
数据类岗位总体需求
城市、学历、工做经验对薪水的影响
不一样岗位对应的学历要求、薪水分布状况
公司通常会用什么福利待遇来吸引求职者
不一样岗位要求的关键技能点是什么
一、数据类岗位总体需求
plt.figure(figsize=(16,6))
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
#学历plt.subplot(2,3,1)df_full_time.education_background.value_counts().plot(kind='barh',alpha=0.7)
#工做经验plt.subplot(2,3,2)df_full_time.work_year.value_counts().plot(kind='barh',alpha=0.7)
#岗位分布plt.subplot(2,3,3)df_full_time.city.value_counts().plot(kind='pie',autopct='%.1f%%')
#公司融资状况plt.subplot(2,3,4)df_full_time.company_financing .value_counts().plot(kind='barh',alpha=0.7)
#公司类别plt.subplot(2,3,5)df_full_time.company_type.value_counts().head(6).plot(kind='barh',alpha=0.7)
#薪水plt.subplot(2,3,6)#对薪水划分层次，如18K属于15-10bins=[0,3,5,10,15,20,30,105]level=['0-3','3-5','5-10','10-15','15-20','20-30','30+']df_full_time['avg_salary_level']=pd.cut(df_full_time.avg_salary,bins=bins,labels=level)df_full_time.avg_salary_level.value_counts().head(6).plot(kind='pie',autopct='%.1f%%')
#调整子图的间距plt.tight_layout()
要求
分析：
学历要求：大专是最低要求，招高中或中专/中技的极少，最好是本科及以上
工做经验需求：偏向招聘有必定经验的求职者，尤为3-5年经验的需求最旺盛。通常工做3年以上，对于整个职业的了解会比较深刻，技术趋于成熟，可以帮助作一些独立的项目
岗位分布状况：北上广深杭对其需求都差很少，相对来讲北京机会最多，广州偏少
公司融资状况：招聘数据类岗位的通常都是达到了必定规模的大型企业
行业分布状况：互联网行业需求是最多的，包括电商、金融。还有一些乙方公司也有必定需求，好比数据服务类、咨询类
薪资状况：受工做经验影响较大，3年工做经验薪资通常集中在20-30K，比较可观
省略234
五、不一样岗位要求的关键技能点是什么
#数据运营职位相关技能list_tag1=df_full_time[df_full_time['position']=='数据运营']['tag1'].tolist()list_tag2=df_full_time[df_full_time['position']=='数据运营']['tag2'].tolist()list_tag3=df_full_time[df_full_time['position']=='数据运营']['tag3'].tolist()list_tag4=df_full_time[df_full_time['position']=='数据运营']['tag4'].tolist()list_tag5=df_full_time[df_full_time['position']=='数据运营']['tag5'].tolist()
wordcloud_1=pd.Series(list_tag1+list_tag2+list_tag3+list_tag4+list_tag5).value_counts()
#数据分析职位相关技能#数据挖掘职位相关技能
岗位要求
分析：
数据运营类岗位要求：基本的数据分析工具要掌握，熟悉sql,理解业务和产品，会数据挖掘和建模更好
数据分析类岗位要求：熟悉SQL、 R/Python、hive,掌握基本的数据仓库、数据挖掘、建模的知识，具有必定的业务经验
数据挖掘类岗位要求：熟悉Python/R、Spark、Linux、Hadoop、SQL，掌握机器学习算法、数据结构等
关注公众号：Python爬虫数据分析挖掘，免费获取更多开源项目源码
本文分享自微信公众号 - Python爬虫数据分析挖掘（zyzx3344）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。