MaxCompute在高德大数据上的应用

2019年1月18日，由阿里巴巴 MaxCompute 开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，高德数据技术专家苗翌辰为你们分享了高德如何应用MaxCompute来管理数据架构，开发易用、高效以及弹性的高德应用，为用户提供更优质的出行服务。

如下内容根据演讲视频以及PPT整理而成

1、高德的业务和数据

地图描绘须要不少支撑数据，包括现实中的道路信息、路形以及路况等。下面的轨迹热力图展现了高德地图显示的北京联合大学的周边路况，描绘了点、线和面三种信息。经过地图信息和轨迹数据叠加造成区域热力。其中，不一样颜色的轨迹展现了该区域一天内不一样时间段的路况。

下面展现了高德的一些业务场景。第一个场景是你们平常使用的高德APP。高德地图是苹果中国的战略合做伙伴，第二个场景展现了高德为苹果提供的出行服务。高德向整个互联网行业开放了其生态能力，第三个场景是高德为APP应用开放者提供的位置服务接口，目前使用该接口进行开发的移动应用包括手机淘宝、今日头条和小米运动等。另外，第四个场景是高德为车载设备提供的完善的位置服务方案。

高德地图的业务架构能够用“442阵型”来形容，即分为客户端、中间层、服务引擎以及基础地理信息等4层，同时包含AppleMaps、高德App、第三方App以及车载设备等4个业务入口。另外，数字“2”是指高德地图依赖于两个数据源，即自采数据、行业合做数据组成的基础地理信息和轨迹数据、行车数据等服务引擎产生的数据。“442阵型”的业务架构给高德的发展带来了质的飞跃。

下图是高德总裁刘振飞先生正在庆祝高德十一DAU突破一个亿的历史时刻。十一期间，高德为全网用户提供导航的总里程超过135亿千米，至关于在太阳和地球之间往返45次。高德提供海量服务的背后是高德强大的大数据计算能力、超过数千台的高德集群节点和承载超过百 PB数据的集群存储容量。



2、如何管好数据

SPA架构

高德的数据架构称为“SPA架构”。“S”指代Source，即数据源层，收容了高德内部全部的位置、地图和图像数据。“P”指代Platform，即数据平台，提供了数据仓库、数据适配和数据挖掘能力来支撑上层的数据应用层，也就是Application(“A”)。在“SPA架构”中，高德最关注获取数据的权限，即要求全部数据操做都应该符合安全规范。此外，高德还要求全部部门都明确其开发目标，而且使用统一的平台工具进行开发。

数据研发

数据研发的全链路过程包括数据集成、数据开发、运维中心、数据质量、数据地图、数据安全以及数据服务等。高德对数据平台的要求不只仅是以上全链路都 All in One，还但愿都能以可视化的方式进行用户交互，以提升开发效率。以运维中心为例，但愿所使用的工具可以将调度节点可视化，并方便进行不一样时间粒度的任务依赖。同时，咱们还但愿拥有可视化的数据地图用于管理元数据信息，方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。

MaxCompute平台特色

高德使用的MaxCompute平台具备如下三个特色：
第一， 易用性，具备零学习成本和完善的IDE等优点。
第二， 效率，高德内部迄今为止最大的公共项目“魔方”就是运用阿里云和MaxCompute实现的。
第三， 弹性，高德于十一期间的流量远远超出想象。

易用-上云

2014年，高德的数据架构依赖Flume进行数据采集，依赖一个仅含几百台机器的hadoop集群和Hive等软件实现数据处理。2014年9月份高德内部提出“上云”，即将数据迁移到阿里云，使非流程化的做业获得流程化的管理。与其余复杂的数据迁移工做相比，2014年高德实现了“一键”上云，将源数据的同步从Flume切换成TimeTunnel，后续再可配置化地切换数据。此外，迁移还伴随着代码修改，2014年高德“上云”仅修改了很是少的代码，好比修改老版本M2中的接口等。上方的数据存储层将数据介质替换成OTS等云端产品，以支持更加稳定的前台应用。高德将全部集群数据都迁移到“云上”仅花了两个月时间。

“上云”为高德带来的收益不可估量。图1展现了“上云”后由云端管理全部代码；图2展现了一键式运维管理；图3展现了可计量的计算资源管理，量化地显示各个任务的资源使用状况；图4展现了流程化的可视化安全审批操做。从2014年“上云”到现在2018年，高德经历了飞速的发展，同时也暴露出了一些问题。

效率-魔方

烟囱过可能是数据仓库中比较麻烦的问题，高德一样存在该问题。数据使用者可能须要花费一个月寻找数据所在部门、数据的相关产品负责人以及研发人员以索要数据。2017年高德盘点数据仓库时发现，高德内部存在二十个数据仓库项目，而且各个数据仓库间的数据冗余度高达百分之三十，严重影响了团队工做效率。此外，高德数据仓库还存在高时延缺点，核心数据没法保证天天“7点产出”。基于以上两个问题，高德发起了“魔方”项目，将二十个仓库合并成一个以实现全集团的数据治理。

显而易见，要实现全集团的数据治理项目存在严峻的挑战。首先，数据量很是大，“魔方”项目要求实现百PB级数据的全域数据治理。其次，参与人员众多，“魔方”项目涉及到高德全产线的全部数据开发人员，项目团队超过百人。最后，排期紧，为了使数据架构升级不影响正常业务，高德要求“魔方”项目的主体开发工做应在两个半月内完成。此外，数据迁移工做在越短期内完成对企业的收益就越大，所以高德要求“魔方”项目应在尽可能短的时间内完成。应对这几个挑战的主体思路就是引入高效率的研发工具，在规范化的流程中实现协同开发，提升团队的工做效率。

为此，高德首先统一了工具平台，引入了MaxCompute，下图蓝色部分皆为MaxCompute 为咱们带来的业务收益。在数百人的团队中统一规范无疑是困难的，而MaxCompute提供了代码编写规范、调度配置规范以及研发自测规范等规范化模块。其中，代码编写规范模块使用 SQL Scan 工具自动化地检查代码是否符合规范，调度配置规范模块提供了完善的用户手册及各类模板辅助开发人员完成配置。统一流程要求实现定制化地管理数据开发流程，包括研发测试、开发自测、调度测试、QA测试以及最后的上线部署等流程。此外，统一建模和语言、统一数据核定标准也很是重要。

阿里云提供了一些优秀工具以构建规范化流程。第一，提供了数据血缘可视化工具，帮助数据开发团队及时地跟踪源数据、数据的上游和下游等信息。第二，提供了开发/测试流程并行的能力，以支持完善的协同开发和高效运转的工做。第三，提供了代码云端版本管理工具，容许实时查看代码变动、代码管理状态并支持回滚。第四，提供了一键数据探查工具，容许数据开发人员经过简单的配置探查海量数据的字段空值率，有效值率，表重复率等信息，极大地提升了数据开发人员的工做效率。

在规范化的流程以及众多效率工具的帮助下，高德在规定时间内完成了“魔方”项目开发，获得了一致好评。高德最终统一了数据仓库，将内部全部百P级数据的月增速下降了40%，同时数据计算效率提高了30%。即便在2018年十一的流量轰炸时期，高德仍然实现了核心数据的“5点产出”目标（5点到7点需完成核心数据计算任务）。

弹性-十一

2018年十一期间，高德的数据处理量随业务快速增加，数据计算任务的性能和平台的稳定性都受到了极大的考验。

数据血缘可视化工具容许数据开发人员可视化地查看系统资源配置，下图展现了高德在2018年9月2日的系统实际使用计算水位，其中，蓝线是系统配额水位，黄线是系统的实际计算水位。阿里云提供的弹性计算能力容许在必定弹性数据量范围内保证系统资源的正常计算和输出。此外，阿里云还提供了稳定的计算环境，保证计算任务高效地运转，同时避免资源竞争问题。另外，为了更好地利用系统计算资源，高德团队提出了“提升蓝线、打散黄线”方案，申请扩大集群资源配额提高算力空间，经过调度错峰打散实际资源水位。在扩容方面，MaxCompute为高德带来了一键资源扩容能力，使得集群扩容在小时级别的时间内完成。最后，高德还实现了计算优化，提供了人员在线值守等保障。下图同时展现了高德在2018年10月2日的系统计算水位，蓝线表明的“系统配额水位”远高于9月2日的，说明集群扩容工做已顺利完成。同时，黄色表明的“实际资源配额水位”已彻底被蓝线cover，更好地保障了资源计算任务。此外，黄色高峰被明显打散，一些重要非核心数据被错峰调度到7点，说明计算资源的错峰调度工做也已顺利完成。阿里云提供的一键运维调度工具可以保证系统方便的进行调度错峰，节省人力。MaxCompute为高德带来的弹性能力使得高德于2018年10月2日实现了核心数据“3点产出”的骄人成果。

业务成果

下图展现了中国的路网覆盖图，华东、华北和华南地区基本实现了道路全网覆盖，西部等偏远地区的道路交通还不够发达，许多道路仍在建设。路网覆盖对高德而言很是重要，高德须要用尽量少的成本自动地发掘新路和过时路。

高德将轨迹数据资产和地图建设能力结合起来构建轨迹热力图，辅以现有路网和数据挖掘算法以自动化地发现新路和过时路。此外，高德还结合区域通车流量和该区域相关的用户上报事件来动态地发现封路、交通事件，更好地实现路网挖掘。

路况预测是高德的另外一个重要业务，即实时预测道路的通车情况、道路是否拥堵等。左图展现了高德对右图路段从早到晚的平均车速预测，红线表示数据累计获得的历史均值，蓝线表示模型预测值，黑线表示真实数据值。蓝线和黑线基本重合，有力地说明了高德应用的数据挖掘能力和统一数据仓库建设取得的成果。

此外，高德还面向全网用户开放了一个城市级数据产品，容许用户随时查看城市的道路拥堵情况和城市拥堵指数等相关数据，该产品可在http://report.amap.com/ 页面访问。下图显示了该产品给出的北京北二环某路段一周内的拥堵情况。

3、将来展望

技“数”高德表达了高德的将来规划。做为一家数据公司，高德致力于丰富数据源、优化SPA数据结构，获得更强大的数据平台，为用户提供更优秀的出现工具。从企业责任出发，高德但愿能经过自身努力，帮助社会智能化地解决交通拥堵问题。从应用生态出发，高德但愿可以帮助生态创建更加场景化的LBS服务，共同打造更专业的位置服务应用。

高德致力于在将来继续联手阿里云，实现“链接真实世界，让出行更美好！”的行业愿景。

原文连接本文为云栖社区原创内容，未经容许不得转载。