大数据开发工程师-----职位要求（网上招聘查找）

1、

java开发工程师（大数据方向）

• 职位类别：Java开发工程师

岗位职责：

一、参与大数据平台的设计与开发，解决海量数据面临的挑战；

二、管理、优化并维护Hadoop、Spark等集群，保证集群规模持续、稳定；

三、负责HDFS/hive/HBase的功能、性能和扩展，解决并实现业务需求；

四、协助团队成员创建数据模型，对数据进行挖掘、优化及统计。

 

任职要求：

一、本科生及以上学历，2年及以上互联网系统或者其余企业应用系统开发相关经验；

二、具有Java开发经验，Java编程基础扎实，熟练使用struts二、spring、ibatis或hibernate等框架；

三、有分布式系统开发经验；

三、熟悉Hadoop/HBase/Spark/Storm/Hive，熟悉数据挖掘策略与算法者优先；

四、数据控，善于发现问题、解决问题,具有良好的分析和解决问题的能力，具有必定的钻研精神和持续学习的意愿，强烈的责任感和团队感，对负有挑战性的工做充满热情

2、

大数据开发工程师

• 职位类别：软件工程师

岗位职责：

一、开发大数据的数据接入、数据存储及管理系统

二、负责大数据的维度分解及统计汇报

三、梳理并维护大数据及汇总工做

四、设计并参与开发大数据服务系统。

任职要求：

一、精通java开发，熟悉JVM及java经常使用包

二、熟悉大数据开发流程

三、熟悉Linux操做系统及Apache Hadoop

四、熟悉大数据生态环境的经常使用组件，如Kafka、Storm等

五、熟悉经常使用关系型及非关系型数据库

六、人际关系良好，具备较强的沟通技能

七、有工做热情，爱岗敬业。

 

3、

前端开发工程师（大数据平台方向）

• 职位类别：WEB前端开发

岗位要求：

一、熟悉Web应用的开发，有2年以上web开发经验，有良好的编码习惯，注重代码质量与代码整洁；

二、熟练掌握JavaScript语言，对JavaScript core有深入认识，熟悉ES6语法；

三、具有Web前端编程经验，熟悉HTTP/HTML5/CSS3/Ajax等页面技术，熟悉Web Service/json等经常使用数据接口和格式，确保页面代码对各类浏览器的良好兼容性；

四、掌握前端各类经常使用工具，保持着对新技术的追求；

五、对网站性能优化有研究并有相关实践经验，包括代码管理、图片压缩、代码压缩、减小HTTP请求等；

六、熟悉jquery、bootstrap等经常使用类库，有/SVG/canvas实战项目经验，有web图形化框架（如d三、echarts、highchart等）实战项目经验;

七、有地图开发框架（如leaflet、openlayers、mapboxgl等）实战项目经验者优先考虑;

八、有reactJs、redux、vue、nodejs等实战项目经验者优先考虑;

九、熟悉webgl技术，有webgl实战项目经验者优先考虑;

十、有数据可视化相关实战经验、技术上富有探索性和钻研性、有较强的学习能力者优先考虑。

 

4、

大数据开发工程师

• 职位类别：高级软件工程师

岗位职责：

一、负责大数据相关领域技术的跟踪研究以及相关技术标准、规范、流程的制定与实施

二、负责大数据分析平台相关数据挖掘算法、统计分析方法、数据处理流程制定及应用开发工做

三、参与研究拟订及实施公司大数据领域战略、规划和政策措施，引导和推进公司大数据领域相关工做

四、协助公司数据服务平台的大数据分析平台建设及运行维护

五、协助其余数据开发工程师制定大数据对应信息的标准和相关要求

六、协助数据需求工程师对口数据用户，提供相关大数据应用支持

 

任职资格：

一、熟悉Spark生态系统组件使用，2年以上Spark(Core/SQL/Streaming/MLlib)研发经验

二、熟悉Scala、Java、Python语言，对Scala有比较深刻的研究

三、熟悉Kafka+Spark进行数据的流式实时处理

四、有海量数据处理开发经验

五、良好的沟通、学习、团队协做能力

六、有民航领域相关工做经验优先

七、有统计学数学知识，海量数据处理、数据分析和挖掘经验优先

八、开源社区活跃并有积极贡献优先

 

5、

大数据开发工程师

• 职位类别：Java开发工程师

岗位职责：

一、负责大数据平台的设计研发工做；

二、承担数据抽取、清洗、转化等数据处理程序开发；

三、负责大数据相关应用系统的性能分析、性能监控，不断优化系统运行效率；

任职要求：

1、2年以上大数据技术的实际研发、应用经验；

二、有文本挖掘、天然语言处理相关的工做经验优先；

三、为人踏实，愿意挑战困难，具有必定抗压能力；

四、较强的逻辑思惟能力，良好的沟通、表达能力，良好的学习能力；

五、具有扎实的java技术；

六、具备分布式系统架构开发能力，精通大数据相关技术、框架及组件；

七、（Hadoop、Kafka、Spark、Storm、HBase、Hive、Zookeeper)等；

八、熟悉数据仓库架构，熟悉oralce，mysql数据库，并精通至少一种数据库产品。

 

6、

大数据开发工程师

• 职位类别：高级软件工程师

职责描述：
1. 负责面向下厨房业务的数据平台研发工做，保证核心数据的准确性、完整性、稳定性；
2.助力数据驱动决策，构建分布式的数据存储/计算/查询等系统。

任职要求：
1.熟悉SQL，有数据仓库研发经验，熟悉Hadoop生态技术 (Hive Spark 等)
2.对数据处理、数仓建模、数据分析有深入认识和实战经验
3. 熟悉Linux系统环境
加分项：
熟练使用 python 和 java

7、

大数据开发工程师（偏数据分析）

• 职位类别：数据库开发工程师

岗位职责：

1. 数据统计，基于公司级海量数据，为产品和商业提供有价值的决策参考

2. 基于海量的用户反馈数据和算法建模，作智能化的画像处理和趋势预测

3. 参与优化与维护大数据平台数据仓库，保证BI系统的稳定性与准确度

 

任职要求：

1. 有2年以上大数据项目开发经验，掌握分布式数据仓库、数据模型相关知识2. 熟练使用linux操做系统

2. 熟悉大数据平台及数据仓库工具，数据同步工具，包括Spark各类组件，Hive, Impala, Sqoop等

3. 熟练掌握Java/Python及经常使用框架，精通SQL

4. 熟悉AWS环境, S3, EMR, Redshift, Kinesis, Pipeline

5. 极强的学习能力和动力，对未知领域能快速掌握并实践

6. 熟练使用可视化分析工具者优先考虑，如Tableau/R

 

8、

大数据开发工程师

• 职位类别：数据库开发工程师

岗位职责：

1.负责工业大数据相关的预测模型开发、模型运维；

2.负责大数据预测产品的核心模型与算法的创新研究和实现； 

3.分布式平台应用开发（Hadoop/Spark/Hbase）；

4.从各类数据系统导出指定格式的文件 ，支撑各业务线数据需求；

5.配合指导算法团队完成大数据文本分析系统建设。

任职要求：

1.具备丰富的数据仓库开发经验，有2年以上Hadoop/Spark/SparkStreaming/Hbase等应用开发经验，对分布式计算、数据仓库理论有深入理解 ；

2.熟练掌握linux常规命令与工具 ；

3.精通Scala、Python，有并发应用或者分布式应用软件开发经验优先 ；

4.熟悉主流的大数据产品（Hadoop、Spark、Flume、kafka、es等）并具备其中部分组件的应用或者开发经验； 

5.熟悉经常使用机器学习算法:如随机森林、决策树、时间序列等,对深度学习如TensorFlow了解者优先;

6.良好的系统分析、架构设计能力； 

7.对数据敏感、对新技术敏感，有数据挖掘技能者优先 ；

8.对商业和业务逻辑敏感，具有良好的分析、组织、沟通能力和团队精神。

 

9、

大数据开发工程师

 

• 职位类别：软件研发工程师

岗位职责：

一、基于Python的Web服务或产品开发 

二、面向对象高效的程序开发 

三、开发数据处理，计算等程序 

四、开发数据统计分析程序 

任职要求：

一、具备2年以上java或者python开发经验,会C语言更佳 

二、熟练掌握pandas，numpy，sklearn等python开源包 

三、熟练使用tornado， django等python web框架

四、熟悉Hadoop / Spark / Hive / Hbase，有必定的Sql性能调优经验； 

五、了解简单的机器学习算法 

六、具备良好的自学能力及团队合做能力

10、

大数据开发工程师

• 职位类别：Java开发工程师

岗位职责：

一、负责公司数据仓库的搭建以及快速并行化查询需求的支持

二、负责公司的数据处理、数据统计以及数据挖掘的开发工做 

三、负责公司后台日志统计分析系统的具体开发工做  

四、利用hadoop、spark等框架作数据的实时及离线分析

 

岗位要求：

 

一、硕士以上学历，或优秀的本科生

二、java基本功扎实，熟悉Scala的优先

三、熟悉分布式计算和存储技术，熟悉Hadoop、MapReduce、Spark等，

四、熟悉Mongo、HBase等NOSQL数据库。 

五、熟悉大数据的统计分析和挖掘，了解经常使用的数据统计方法和挖掘算法。

六、熟悉Linux 操做系统, 能够自行部署开发环境

加分项：

一、对程序开发有浓厚热情的，愿意深刻学习，立志成为开发大牛的；

二、有写博客习惯或能提供github地址的

三、了解股票，期货和其余金融衍生品的知识者优先