前言:html
小李是个颇有上进心的女孩, 老板让她了解下会计这个行业的薪资状况, 她不清楚怎么去作, 因此找了笔者, 当当当, 而后这一份薪资报告就出来了^_^.(小李为虚拟人物)python
by 璀璨者张健, 专一于爬虫和数据分析, App/Web/小程序, 区块链等领域mysql
简述:git
首先说明这篇文章的数据来源,是爬虫爬取了拉勾网"数据分析师"这一职位信息所得来的。而且主要分析了数据分析师整体薪酬状况、不一样城市薪酬分布、不一样学历薪酬分布、北京上海工做等地经验薪酬分布状况、薪资最高的20个职位, 平均薪资最高的10个公司。 前面的内容多的是数据处理, 想看结果的能够直接跳到分析结论!github
阅读大纲:sql
数据分析报告json
分析结论小程序
思考总结 微信
数据采集(附录)python爬虫
数据清洗与处理(附录)
>>> 第一部分: 拉勾网会计职位分析报告
数据分析
整体薪酬状况
从上面的图中,大部分职位集中在4k~14k以前, 10k左右的职位最多, 高薪的职位相对较少, 薪资特别低的有1k,2k,3k这三个薪资级别, 这三个薪资级别应该是 实例 岗位
不一样城市薪酬分布状况
北京市薪酬分布中位数大约在8.8k,居全国首位。其次是杭州、乌鲁木齐,上海, 深圳, 能够看出对于会计职位来讲, 薪资最高的是北上深杭和乌鲁木齐, 北上广杭是国内的大城市, 而乌鲁木齐的薪资中位数在8k, 可能的缘由是这个城市治安很差, 职位多, 可是人少
不一样学历的薪酬分布
咱们能够看出, 学历对于薪资的影响仍是很大的, 本科与大专的薪资差距在2k左右, 差很少在20%左右,会计专业对于学历的要求比较低, 没有哪家公司要求硕士学位或者博士学位
北京上海深圳杭州职位不一样薪酬分布状况
若是你想去北京和上海这两个城市发展的朋友们,用数据告诉你去哪一个城市应该怎么发展
从图中咱们可以得出,在北京会计的职位是较多的, 而后发展的方向是会计主管, 高级会计和会计经理, 薪资都在10k以上, 其中会计经理薪资达到了15k
杭州, 上海, 广州, 深圳基本都差很少, 会计这种基础岗位最多, 而后是会计主管, 值得特殊注意的是, 深圳还有全盘会计和成本会计
• 不一样年限对于薪资的分布状况
经过以上图表能够看出, 应届毕业生的薪资较低, 通常为4.4k, 刚开始工做的1-3年的薪资为6.3k, 3-5年的薪资为8.4k, 5-10年的为10k左右, 也有的薪资较高, 达到33k左右, 可是这个岗位经过左侧的职位个数能够看出, 只有一个相似岗位, 不具备表明性
• 不一样规模的公司对于薪资的分布状况
经过图表咱们能够看出, 小公司通常开的薪资比较低, 例如15人左右的公司平均薪资在5k左右, 而大规模的公司, 例如大于150人以上的公司, 平均薪资在8k左右
• 不一样的融资轮次对于薪资的影响
咱们能够看出, 天使轮和未融资, 以及不须要融资能给的薪资为6k~7k, 融资中C轮工资给能的薪资是最多的
薪资最高的10个职位
咱们能够看出, 晨光科技能给出差很少25k到42k的薪资, 能给出高薪的岗位基本上是会计经理, 会计主管, 主板会计, 高级会计
• 平均薪资最高的10个公司
咱们能够看出, 能给出高薪的几个公司为 晨光科技, 孔夫子旧书网, 青云, 熊猫直播, 药帮忙, 上上签
分析结论
从整体薪酬分布状况上,会计这一职业工资广泛较高的,大多人是在4k-14k之间每个月,可是这个数据以后拉勾网的薪资, 可能智联招聘或者51job数据更准确一些
从不一样城市薪资分布状况得出,在北京工做的数据分析师工资中位数在8k左右,全国之首。其次是杭州上海深圳,若是要发展的话,仍是北、上、深、杭比较好啊。
从不一样学历薪资状况得出,学历越高发展所得到工资是越高,其中有大专和本科差距在2k左右
分析北上深杭的数据分析师职位需求数量,北京以135个得到最高。
思考总结
今天这篇文章进行了更新,主要是用爬虫得到了会计职位信息,而后经过excel清洗数据, 而后经过excel的透视表分析数据, 经过excel的图表实现数据可视化
下载资源
福利1: 若是想要拉勾网会计职位的数据, 请加我微信
福利2: python爬虫源码(github)
https://github.com/quietjolt/lagou-spider
>>> 第二部分: 干货 - python爬虫爬取拉勾网数据
数据采集
这篇文章的数据来源是拉勾网, 获取数据的过程是经过python实现爬虫程序, 从而获取了所需数据, 本文主要分析了拉勾网 '会计' 这个职位的整体薪资状况, 不一样城市薪资, 不一样学历, 重点城市的薪资分析, 数据量差很少在500条数据左右, 而根据接口中获取的值, 能够看出, 会计类岗位在拉勾网约在2720条左右, 数据覆盖率为 18%
咱们须要的数据在拉勾网, 拉勾网的地址是https://www.lagou.com/
登陆拉勾网,在顶端输入框内输入"会计",点击搜索, 点击以后就能看到咱们须要的数据, 以下图所示
其实这个爬虫部分的代码写的比较简单,运用知识主要是for循环,另外拉勾网对于咱们请求的响应结果是json格式,也简化了咱们的操做。操做的过程确定会存在莫名的错误,你们要学会搜索并要有耐心啊。
爬虫的代码比较简单, 主要用的的是python语言, requests库用于获取数据, pyquery用户解析html, pymysql用于保存数据.
爬虫源码请到github下载:
下载地址: https://github.com/quietjolt/lagou-spider
这个步骤最后获取的导出的是csv格式的数据, 这种格式的数据能够在excel中导入, 而后去使用, 如图所示(若是须要数据, 请直接联系做者)
数据的清洗与处理
刚才获取的数据, 主要的问题就是薪资的格式是相似 7k-15k这种形式的数据, 这种形式难以经过数学化的方式分析, 因此咱们须要作一下数据的清洗, 从7k-15k这种形式获取最低薪资, 最高薪资, 还有平均薪资, 平均薪资的计算方式是 (最低薪资 + 最高薪资 ) /2
这里处理薪资的作法是首先新加几个字段, 第一个字段bottomSalary表示最低薪资, topSalary表示最高信息, avgSalary表示平均薪资
而后经过excel的函数计算对应的值
bottomSalary的计算公式是 =LEFT(L2,FIND("-",L2)-2)
topSalary的计算公式是 =MID(L2,FIND("-",L2)+1,LEN(L2)-FIND("-",L2)-1)
avgSalary的计算公式是 =(M2+N2)/2
为了方便处理, 同时这是O列对应的数据的格式为数字, 小数位为0,
通过处理后数据以下所示
转载说明
转载请注明出处
做者:
做者: 璀璨者张健, 专一于爬虫, 数据分析, App/Web/小程序开发等领域
联系方式: QQ: 598694550, 微信 quietjolt
此处能够扫码关注个人公众号