本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。但愿对你们有所帮助,下面我们正式开始。html
一、什么是MaxCompute呢?
MaxCompute是由阿里人自主研发的海量数据处理平台,能够称它为计算引擎。它主要提供针对TB/PB级数据、实时性要求不高的分布式处理能力,主要服务于批量结构化数据的存储和计算。简单来讲呢,就是数据要存到MaxCompute里面,须要的时候再取出来。mysql
二、为何要使用MaxCompute呢?
MaxCompute的特色能够简单总结为5点:
开箱即用在线服务,五分钟便可开通大数据平台。
高效能低成本,持续高效低成本的大数据引擎。
支持多种分布式计算模型,知足不一样场景下的技术需求。
生态融合,支持多样数据源、生态工具和标准。
安全可靠,多租户数据安全保障机制。sql
三、使用MaxCompute须要什么专业技能?
JAVA、SQL、Python。安全
四、使用MaxCompute须要准备什么开发工具呢?
这里面的工具备三种:
Odpscmd:MaxCompute客户端,喜欢用命令行的同窗能够试试。
https://help.aliyun.com/document_detail/27971.html
由于odpscmd是基于JAVA开发的,因此记得配置JRE 1.7以上版本,建议使用JRE1.7/1.8。服务器
MaxCompute Studio:是MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台IntelliJ IDEA的开发插件。
https://help.aliyun.com/document_detail/50889.html运维
DataWorks:是阿里云重要的PaaS平台产品,能够提供数据集成、数据开发、数据管理、数据质量和数据服务等全方位的产品服务,拥有一站式开发管理的界面,DataWorks是基于MaxCompute为核心的计算、存储引擎,能够提供海量数据的离线加工分析、数据挖掘等功能。
https://help.aliyun.com/product/72772.html机器学习
我想你们看完上面的内容以后,以及对MaxCompute有了初步的了解和认知,下面我根据MaxCompute开发者社区里面你们遇见的问题作一个简单的整理,我会从初级问题开始一步步整理,你们能够随时查阅。分布式
问题一:怎么获取AccesskeyID和 Access key Secret?
使用MaxCompute服务前,咱们须要准备一个阿里云帐号。
下面这篇文章能够完美解决你们如何获取AK密钥。
https://help.aliyun.com/document_detail/27803.htmlide
问题二:MaxCompute如何计费?
当咱们开通MaxCompute服务时都会遇见一个问题,如何选择本身的计费方式,怎么估算?MaxCompute的产品有两种计费模型,按量付费(先使用再付费)和CU预付费(先购买资源),简单来讲就是资源共享和资源独享的区别。
MaxCompute是以project为计费单元,计费项包括存储、计算、数据下载三类。就是分为计算费用(可预付费和后付费)、存储费用(按量后付费)、下载费用(按量后计费)。工具
问题三:尝试把测试环境rds导入,结果遇到了相似分区,不知道怎么查文档解决?
当咱们在MaxCompute上面开始建表,查看分区等操做时,老是会遇见一些各类各样的问题。不怕,我们有官方文档,有很是详细的解释和介绍。
https://help.aliyun.com/document_detail/27829.html
问题四:EMR和MaxCompute的区别?
不少人都会问有了EMR,为何还有MaxCompute?下面我给你们解释一下,
EMR是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品,主要是提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、及时查询、机器学习等场景下的大数据解决方案。
MaxCompute是阿里人自主研发的,对外不开源,封装使用起来方便,并且运维成本比较低,二者在使用场景上基本没有差异。
问题五:如何查看odps里面sql执行所消耗的资源?
MaxCompute的计费方式有选择,那咱们怎么去查看呢?怎么知道我一条SQL耗费了多少资源,下面这篇文章能够给咱们很好的解答。https://help.aliyun.com/document_detail/106521.html
问题六:MaxCompute和DataWorks的权限关系?
经过MaxCompute的安全模型进行权限控制,并不会影响成员在DataWorks任何界面操做。而经过DataWorks的用户角色分配,则有可能影响成员MaxCompute资源权限。
https://help.aliyun.com/document_detail/105012.html
也能够经过视频来了解二者的关系。
https://help.aliyun.com/video_detail/99890.html
问题七:须要从odps数据导入到mysql,可是受到数据保护,没法导出,如何解决?
能够经过关闭数据保护或者配置exception policy 来完成。
https://help.aliyun.com/document_detail/34605.html
问题八:如何赋予操做表的权限?
MaxCompute能够经过受权方式对其中的表、任务、资源等客体的某种操做权限,包括读、写、查看等。
https://help.aliyun.com/document_detail/27935.html
原文连接 本文为云栖社区原创内容,未经容许不得转载。