大数据分析人才，真如马云说的月薪高达30K吗？

做者 | 王新港
出品 | CDA数据分析研究院

马云曾在卸任演讲的时候说过这样一段话：

“不少人还没搞清楚什么是PC互联网，移动互联网来了，咱们还没搞清楚移动互联的时候，大数据时代又来了。”

而大数据专家埃里克·西格尔 博士曾在《大数据预测》一书中描绘了一个大数据时代下的一天：

2020年的一天，在你驱车前往公司的路上， 导航系统经过预测交通流量，会自动帮你选择一条最合适的交通路线； 车内推荐系统会根据你的饮食习惯预测你可能会喜欢吃什么，并推荐沿途的早餐店；你的 电子社交助理已经为你自动选择了你可能感兴趣的社交网信息。

离埃里克博士所说的2020年虽然还有3个月左右的时间，可是书中阐述的技术如“大数据交通技术”“个性化推荐系统”“人工智能语音助理”等已经逐渐实现，并被人们普遍应用。而这些技术都离不开“大数据”。

Volume大容量、Variety多样性、Value有价值、Velocity速度，4个V是业界广泛认定的大数据特色。那么大数据是如何改变咱们的生活方式的呢？咱们须要了解最重要的两个问题。即

“大数据最核心的价值是什么？”
“大数据最核心的技术是什么？”

大数据最核心的价值是什么？

首先，咱们须要知道现代人类的衣食住行无外乎三大产业“农业”“工业”“服务业”，而全部产业都会从大数据的发展中受益。

农业：

大数据技术能够应用在如“土壤抽样分析”“气象统计监管”等与土壤，农做物，供应链相关的农业领域上，帮助第一产业的发展。现在国外已经有一些公司把大数据技术与农业进行落地，而在我国，农业大数据还仅仅是一个起步阶段。在将来，农民能够“知天而做”依靠大数据技术实现农做物产量翻倍，下降天然灾害对农产品的影响等愿景。工业：工业大数据是我国重点发展的一个方向，工业与信息化部门一直致力于我国工业大数据的发展。若是工业产业下的各个行业与大数据能够紧密结合，对人类的生活方式的改变将是巨大的。仅仅是电力系统的配电环节，若是能够作到基于海量用户用电特征数据分析，进而实现台区的负荷预测、用电调度、有序用电，将极大地优化我国电力资源的分配，实现可持续发展。服务业：

第三产业是与人们的生活贴合最紧密的一个产业。咱们从幼年到老年，教育，交通，医疗，金融等行业或多或少都与咱们生活相关，而这些行业与大数据更是密不可分。

医疗：

临床数据的采集分析，优化诊疗流程

可穿戴设备经过监测我的的行为如行走步数等改善咱们的健康情况

经过大数据分析生成报告显示用户所在地区的流感活动。

交通：

智能化公交app“车来了”

路网监控优化重点城市交通压力

电子导航即时分析道路情况，为车主调整最佳路线

物流行业的车辆，路线，网点建设

娱乐：

网易云音乐“个性化推荐”

今日头条与抖音的新闻推荐，视频推荐

《纸牌屋》演员的筛选

电信：

经过大数据平台优化网络布局，提高用户体验

记录用户在Wifi网络中的地理位置等数据销售给广告客户。

银行：

风控模型的创建与优化

定制化金融服务等

因为某些客观缘由，相对于第一产业和第二产业来讲，第三产业凭借自身的优点，大多汇聚了当前最海量的数据以及大批的科研中坚力量。而不管在哪一产业，随着计算机处理能力的日益强大，你能得到的数据量越大，你能挖掘到的价值就越多。

大数据最核心的技术是什么？

分布式系统：

Hadoop：做为一个开源的框架，专为离线和大规模数据分析而设计。

数据采集：

Sqoop：用来将关系型数据库和Hadoop中的数据进行相互转移的工具，能够将一个关系型数据库中的数据导入到Hadoop(中，也能够将Hadoop中的数据导入到关系型数据库中。

数据存储，预处理：

HBase：是一个分布式的、面向列的开源数据库，能够认为是hdfs的封装，本质是数据存储、NoSQL数据库。

Hql：Hibernate Query Language的缩写，提供更加丰富灵活、更为强大的查询能力;HQL更接近SQL语句查询语法。

MapReduce：Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Reduce（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的状况下，将本身的程序运行在分布式系统中。

数据分析：

Hive：核心工做就是把SQL语句翻译成MR程序，能够将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。

Spark：拥有Hadoop MapReduce所具备的特色，它不须要读取HDFS。Spark 启用了内存分布数据集，除了可以提供交互式查询外，它还能够优化迭代工做负载。

Pyspark：由python和spark组合使用，作前期数据处理速度快，还自带mllib能够实现一些基本的模型

建模，数据挖掘：

SparkMLlib：是Spark的机器学习（ML）库。其目标是使实际的机器学习可扩展和容易，同时包括相关的测试和数据生成器。Spark的设计初衷就是为了支持一些迭代的Job, 这正好符合不少机器学习算法的特色。

现在大数据分析的技术愈发成熟，相关的岗位也急速增长，薪水更是直线飙升，高达30K。如下图片源自某研究社：

薪资水平与行业需求

说明：曲线越向上表明市场需求量越大，就业状况越好。该数据由各地招聘网站统计而来，仅供参考。

前往咱们的网站或进入小程序，解锁更多优质内容和专业资讯，不要错过哟！

https://www.cda.cn/?seo-segme...