大数据开发工程师须要掌握什么技能？

最近发现有些同窗并不太了解大数据开发工程师这个职位，本身转大数据开发也已经三年了，因此想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发究竟是什么样子的？和通常的java或者php工程师在工做上有什么区别？

声明：本文仅表明我的观点，有不一样意见欢迎提出。另外本文对大数据开发工程师没什么参考价值～仅是我各人对这个职位作一个介绍。

1 先说我认为何不是大数据开发

仅使用数据库（关系型mysql，sqlserver，oracle等 非关系型 mongo redis等），尽管数据量达到千万级别，亿级别不是大数据开发。

从业务系统的数据库中查询数据而后产出报表不是大数据开。

端上（页面，h5，手机native）埋点上报数据记录到数据库中不是大数据开发。

2 我认为何是大数据开发

大数据开发须要的技能

到智联上搜了一下大数据开发工程师 这个职位,随便点了几个职位,截图以下:

因此说首先,如今互联网公司所指的大数据开发用到的工具是:hadoop,hive,hbase,spark,kafka等.

大数据开发作的事情

精简到一个词语就是:统计

精简到两类指标就是:PV和UV

精简到一句话就是:统计各类指标的PV和UV.

PC互联网时代,各门户网站(好比:新浪,网易,搜狐)关注的是各自网站今天被打开了几回(pv),今天有多少人(uv)访问了网站.更复杂一点的好比:

页面上某个按钮或者某个链接有多少人点击了几回.

某个页面上的热力图(点击地方越多,图上颜色越重)

移动互联网时代,手机应用被用户打开的次数和人数也是你们关注的重点,可是除此以外还多出了许多其余很是重要的数据,因为手机屏幕的限制,信息流成为了移动时代的主流.

各大门户网站很是关注本身的新闻客户端中: 在信息流中曝光了多少篇文章, 其中有多少篇文章被用户点击了.每篇文章阅读了长时间,由于用户点击的文章越多,使用客户端的时间越长,各公司的广告收入才越高,因此各公司千方百计推荐用户喜欢的内容~

如何作这些事情

由于网站的浏览行为,手机客户端中文章的曝光或者点击这些数据很是大,基本以亿为单位起,

因此传统的把统计信息放到数据库中的方式已经不能完成这项统计工做.(例如,wordpress博客中,用户每阅读一篇文章,mysql中就会更新这篇文章的阅读次数+1)

因此大数据是经过日志来统计这些指标.

好比:后台服务的日志,例如:apache,tomcat,weblogic,nginx日志

例以下图,个人我的网站apache服务的access日志

日志的url字段中 以 /年份(红色部分)开头行数就是这个网站文章页被访问的次数

以/category(蓝色部分)开头的行数就是这个网站分类目录被访问的次数.

固然个人这份日志中是统计不了用户数的,由于用户数的统计须要在每条日志上记录当前用户的惟一标识,而后再作个去重,去重后的数量就是用户数.可是这里没有上报用户的惟一标识.

那如何统计人数呢, 通常互联网公司会本身在页面或者客户端上生成一个用户的惟一标识,而后主动上报到本身的日志服务器上.

流程以下:

页面,客户端埋点(按照指定的字段格式,在特定的时间把数据发送出去)

日志接收服务器,一般是nginx集群专门用来接收日志.

例如个人我的网站中,我用的百度统计来统计网站的用户数,用户只要打开个人网站就会有以下信息发送到百度的服务器上:

其中:hm.gif 是一个大小为0的图片,只是为了把这条url记录打印到nginx服务的日志中.

我猜想BAIDUID这个字段是百度用来帮我统计人数的.

上面主要说的是日志的产生(端上产生,服务端接收), 大数据开发工程师的工做就是从接收到的日志中计算出来须要的指标,而且展现在页面上,方便分析师查看

(由于接收到的日志格式不整齐还有一些垃圾数据,因此须要对日志进行清洗(etl操做),再处理成各类数据仓库表,方便后续统计.)

例如:一行access日志:

218.69.234.153 - - [23/Sep/2018:21:08:00 +0800] "GET /2018/09/python-scrapy-%e7%99%bb%e5%bd%95%e7%9f%a5%e4%b9%8e%e8%bf%87%e7%a8%8b/ HTTP/1.1" 200 12466

处理以后:为四列(ip, 时间, http状态, url),更方便统计.

218.69.234.153 2018-09-23 21:08:00 200 /2018/09/python-scrapy-%e7%99%bb%e5%bd%95%e7%9f%a5%e4%b9%8e%e8%bf%87%e7%a8%8b/

而后 按照某种格式计算的行数就是次数.

按照某种规则,取出某个字段,用这个字段排重,就是UV(若是这个字段是用户惟一标识,就是人数)

主要难点在于:

日志量太大(通常大点的互联网公司,一个业务线天天的日志都有几个t,再大些的天天几十t,几百t也不奇怪),须要掌握大数据相关技术例如前问题到的hadoop,hive等

数据的及时性,从离线计算来讲,通常天天零点,前一天的日志都接收完毕,开始计算前一天的数据,几点能计算完毕? 要看各个公司各自的要求.

数据的准确性.(这是重中之重,大数据开发的工做就是统计,统计的数据若是不许….)

若是是实时计算,须要掌握实时相关技术.例如:每5分钟网站的在线人数.

监控监控监控:监控任务是否失败,数据是否产出,产出的数据是否异常.

容灾容灾容灾:若是任务失败如何补救.好比实时任务,因为某种缘由13:00到14:00的数据没有,如何把数据补回来.

大数据开发和通常业务开发的对比

在转作大数据开发以前,一直在用java做业务系统: 例如 hr系统(考勤,薪资等).收费系统.

谈谈我我的对业务系统开发和大数据开发的理解:

业务系统:

一句话:对数据库的各类增删改查操做.

重点难点在于:

对复杂业务的理解上(好比计算工资:基本工资,五险一金,全勤奖,高温补贴,报销,奖金,加班费…..等等都须要计算).

线上服务的稳定,好比facebook,淘宝等网站高并发的压力下维持网站正常运行.

大数据开发

一句话:对字符串的各类算数.

重难点在于:

数据的及时性.例如实时数据中,想知道 12:00~12:10这10分钟的用户数,若是这个数据在晚上20点才计算完成,那就没什么意义了.再好比,你们应该都有体验过:再手机上刷新闻的时候,你点了某一篇文章,再继续刷新闻,后面很快会出来很多和前面点击的那篇文章相似的文章.这就是根据你的点击给你及时推荐你有更大可能点的东西.

数据的准确性.这个重要性不言而喻.

数据的稳定性和容灾.

仅仅分享我的的一些小见解,虽不全面也不系统,可是可以让未接触过的同窗了解一些大数据开发吧~

对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深刻了解，想学习的同窗欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给你们，而且有清华大学毕业的资深大数据讲师给你们免费授课，给你们分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手，其后逐步的深刻到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享！

转载于:https://blog.51cto.com/14217196/2357658