大数据应用期末总评

 

  该做业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

1.将爬虫大做业产生的csv文件上传到HDFS

我爬虫做业爬取的是招聘网站对于JAVA的岗位信息：共计15129条

 

建立文件夹而且把文件复制进去，而且尝试打开文件前5行

启动hadoop，而且查看jps，和在hdfs上面建立文件夹

 

将文件上传到hdfs

 

2.对CSV文件进行预处理生成无标题文本文件

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

首先建立dbcmh数据库

而后建立表

 

4.在Hive中查看并分析数据

使用查询语句查询而且分析结果

首先我要分析的问题的，对于java的岗位的待遇要求有什么，哪些最高，能吸引人员投简历的哪些？

下面是我查询的年末双薪待遇的条数，有12757个。

 

带薪年假这个待遇的岗位有6215个，

 

按期公司体检身体的有4557个。

 

标有发展空间大的岗位有7765个。

 

绩效奖金待遇的岗位有8692个。

提供技能培训的岗位仅仅只有1906个。这个也说明了公司给技能培训的不多，不少岗位都但愿能立刻进行工做，而不用培训。要求较高，对于经验要求很高。

提供五险一金的岗位有9061个，看来不少公司都会给工做人员五险一金的待遇。这个待遇对于找工做的人来讲是很是看重的。

有部分公司的招聘写着股票期权，可是仅仅只有3538个。 

 

 年终奖是一个很是好的待遇，不少公司都有这个福利，如今查询出有11143个岗位有这个待遇。因此能够看出，有无年终奖是不少投简人的选择要求。

 

 

综上所述：通过分析，我发现年末双薪、年终奖、五险一金，这三个待遇是不少公司都有的，这样看来，不少择业人员选择岗位都想找有这些待遇的公司，由于这么多岗位都发放出这些待遇，说明了目前不少人重视这些。