【干货索引】阿里云大数据计算服务MaxCompute与生态系统的融合

摘要： MaxCompute你们都不陌生，以前产品名称叫ODPS，以后随国际化而改名。从支持阿里集团内部99%数据业务到计算能力对外输出，帮助政府、互联网公司、金融等进行大数据项目服务，使得数据变现。不少开发者都会把MaxCompute和开源社区Hadoop、hive进行比较，此处不作过多评论，各有优点。

点击查看原文

MaxCompute你们都不陌生，以前产品名称叫ODPS，以后随国际化而改名。从支持阿里集团内部99%数据业务到计算能力对外输出，帮助政府、互联网公司、金融等进行大数据项目服务，使得数据变现。不少开发者都会把MaxCompute和开源社区Hadoop、hive进行比较，此处不作过多评论，各有优点。可是不得不说MaxCompute这几年在生态上向前走了一大步。

 

关于 MaxCompute2.0 对开源系统的支持与融合 的总体介绍及团队规划，详见文档。

最近，我也针对MaxCompute在生态融合上也进行了一些研究和拜读，由于如今资料还比较零散，就把本身在过程当中遇到的好材料统一为你们梳理以下，包括SDK、JDBC等。

 

MaxCompute SDK

首先咱们先来看SDK，想必不少有能力的互联网公司都有大量的个性化需求，都会对SDK/API有一些需求，好比小黄车这样的体量大的客户，就基于MaxCompute SDK作了大量的应用。那具体SDK包括Java、Python、R以及PHP（PHP为社区提供，并不是阿里云官方出品，但均可以知足大部分需求）。

 

• Java SDK：MaxCompute团队官方开发并维护，具体能够详见：官网文档 和 SDK Java DOC

• Python SDK：MaxCompute团队官方开发并维护的PyODPS，具体能够详见：官网文档 和 云栖社区博客。

更大强大的功能，你们能够期待下团队将在北京云栖大会对外正式公测的python UDF，这将大大的提升python开发者对MaxCompute的开发效率和功能。

• R SDK：RODPS也较大知足开发者使用R作数据分析的需求，具体安装及使用能够详见 云栖社区博文
• PHP SDK：PHP SDK并不是MaxCompute团队官方出品，由社区招募完成开发工做，具体有PHP需求的同窗也能够参考PHP SDK文档，能够知足PHP开发的大部分需求。
• Ruby SDK：同PHP SDK由开源爱好者贡献，具体详见：https://github.com/aliyun-beta/aliyun-odps-ruby-sdk

MaxCompute JDBC 2.2 发布说明

对接已有软件并提供标准JDBC编程接口，MaxCompute JDBC 2.2正式版已于2017年2月24日正式发布。

• github地址：https://github.com/aliyun/aliyun-odps-jdbc/releases/tag/v2.2
• V2.2详细说明：https://yq.aliyun.com/articles/72791
• V2.0详细说明：https://yq.aliyun.com/articles/59443

1. 经过Apache Zeppelin 快速实现数据可视化
2. 借力QlikView玩转数据分析

Hive Proxy

提供Hive Thrift协议兼容接口，对接Hive社区已有的工具。Hive Proxy 部署在客户端，将 Hive 的 thrift 请求转换成 MaxCompute 的 Restful API 请求，能够用来直接对接诸如 Tableau、Qlik 这样不直接支持 JDBC 的 BI 工具，或者 HPL 这样的 Hive 组件，详见 博文。

• 示例1：复用Hive ODBC实现Tableau到MaxCompute的连通
• 示例2：复用Hive JDBC实现Beeline到MaxCompute的连通

具体详见：https://yq.aliyun.com/articles/61262

ETL tool-数据上云工具

• Kettle：［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
• sqoop：MaxCompute有一款是基于社区sqoop 1.4.6版本开发的Sqoop，增长了对MaxCompute的支持，能够支持将数据从Mysql等关系数据库和MaxCompute的导入和导出，也支持从Hdfs/Hive导入数据到MaxCompute的表中。 具体用法能够参考：https://github.com/aliyun/aliyun-maxcompute-data-collectors/wiki/odps-sqoop
• OGG：主要适用于源库为Oracle，能够经过其采集实时更新数据到DataHub中。 经过OGG将数据采集至MaxCompute/基于OGG Datahub插件将Oracle数据同步上云
• Fluentd：该插件遵照Fluentd输出插件开发规范，安装方便，能够很方便地将采集获得的数据写到DataHub。经过Fluentd将数据采集至MaxCompute
• Flume：Flume插件下载并安装地址，基于Apache Flume Datahub插件将日志数据同步上云,点击进入
• Logstash：Logstash是一种分布式日志收集框架，很是简洁强大，常常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，很是适合用来作日志数据的分析。 经过Logstash将日志数据采集至MaxCompute。

关于Logstash将日志采集MaxCompute，而后作数据分析有详细step by step 文档，点击进入。