机器学习在美团配送系统的实践：用技术还原真实世界

在2018 AI开发者大会（AI NEXTCon）上，美团配送AI方向负责人何仁清，分享了美团在即时配送领域中机器学习技术的最新进展，以及如何经过大数据和机器学习手段，创建对线下真实世界各类场景的感知能力，还原并预测配送过程各个细节，从而提高总体配送系统的精度。

美团“超脑”配送系统的由来

2014年，斯嘉丽·约翰逊主演的科幻片《超体》大火，影片中主人公Lucy因为无心中摄入了大量的代号为“CPH4”的神秘药物，大脑神经元得到空前的开发，得到了异乎寻常的超能力，她可以对这个世界进行全新的感知、理解和控制（好比控制无线电波），最终跨越时间和空间成为了一个超级个体。

这种对真实世界的深度感知、理解和控制，与配送AI系统对配送场景的感知、理解和配送环节控制的目标很是一致。能够说，美团要建设的AI就是配送系统的“超级大脑”。所以咱们内部把配送的AI系统，简称为“超脑”配送系统。

即时配送在全球快速发展

最近几年，之外卖为依托，即时配送业务在全球范围内掀起了一波快速发展的浪潮，全球各地都出现了不少创业公司，其中国外知名的包括美国的Uber Eats（全球）、英国的Deliveroo、印度的Swiggy、Zomato（分别被美团和阿里投资），印尼的go-jek等等。国内除了美团外卖、饿了么、滴滴外卖等典型表明外，而还有专一于即时配送服务创业公司，好比闪送、UU跑腿、达达、点我达等。

这种全球爆发的现象说明了两个问题：

• “懒”是人类的天性。平价、方便、快捷的服务是人类的广泛需求，尤为是在“吃”这个事情上，外卖成为了一种高频的刚需。
• 外卖的商业模式彻底可行。以美团外卖为例，2018年上半年总体收入160亿，同步增加90%。根据Uber公布的数据，Uber Eats在2018第一季度占总体营业的13%。

即时配送的业务模型

即时配送，是一种配送时长1小时之内，平均配送时长约30分钟的快速配送业务。如此快速的配送时效，将传统的线上电商交易与线下物流配送（传统划分比较明确的两条业务）整合为统一总体，造成了用户、商户、骑手和平台互相交错的四元关系。

其整协力度空前紧密，几乎渗透到各个环节。之外卖搜索和排序为例，在下午时段，在用户搜索和推荐中能够看到更多的商家，由于此时运力充分，能够提供更远距离的配送服务，不只能更好知足用户的需求，提升商家的单量，并且可以增长骑手的收入。

即时配送的核心指标是效率、成本、体验，这三者也造成了即时配送的商业模型。简单来讲能够分为如下几步：

1. 首先配送效率提高
   • 让骑手在单位时间内配送更多订单，产生更多价值。
2. 而后配送成本降低
   • 更高的效率，一方面让骑手收入增长，一方面也让订单平均成本降低。
3. 而后用户体验提高
   • 低成本可以让用户（商户）以更低的价格享受更好的配送服务，从而保证更好的用户体验。
4. 进一步提高效率并造成循环
   • 更好的用户体验，让更多用户（商户）汇集过来，提高规模和密度，进一步提高配送效率。

这样，就造成了一个正向循环，不断创造更多商业价值。而技术的做用，就是加速这个正向循环。

美团“超脑”配送系统

目前互联网技术，很大部分仍是针对线上产品和系统研发，整个流程能够在线上所有完成，而这也正是配送AI技术最大的不一样和挑战。简单来讲，相似搜索、推荐、图象和语音识别这种线上产品经常使用的AI技术帮助不大，由于配送必须在线下一个一个环节的进行，这就要求AI技术必须可以面对复杂的真实物理世界，必须能深度感知、正确理解与准确预测、并瞬间完成复杂决策。

为了知足这些要求，咱们建设了美团“超脑”配送系统，包含如下几个方面：

• 大数据处理和计算能力
  • 算法数据和计算平台：包括实时特征计算、离线数据处理、机器学习平台等。
• 创建对世界深度感知
  • LBS系统：提供正确位置（用户/商户/骑手）以及两点之间正确的骑行导航。
  • 多传感器：提供室内定位以、精细化场景刻画、骑手运动状态识别
• 正确理解和准确预测
  • 时间预估：提供全部配送环节时间的准确预估
  • 其余预估：销量预估、运力预估等
• 完成复杂决策
  • 调度系统：多人多点实时调度系统，完成派单决策：谁来送？怎么送？
  • 订价系统：实时动态订价系统，完成订价决策：用户收多少钱？给骑手多少钱？
  • 规划系统：配送网络规划系统，完成规划决策：站点如何划分？运力如何运营？

机器学习技术挑战

如何构建一个在真实物理世界运行的AI系统，就是咱们最大的挑战。具体到机器学习方向而言，挑战包括如下几个方面：

• 精度足够高、粒度足够细

  • 时间要求：一方面是周期性变化，好比早午晚，工做假日，季节变化；一方面是分钟级的精细度，好比一个商圈单量和运力的实时变化。
  • 空间要求：一方面是不一样商圈独有特性，好比CBD区域；一方面是要实现楼栋和楼层的精度，好比1楼和20楼，就是彻底不一样的配送难度。
  • 鲁棒性要求：处理各类不肯定的能力，好比天气变化、交通变化等等。

• 线下数据质量的巨大挑战

  • 大噪音：好比GPS定位漂移，尤为是在高楼附近，更不要说在室内GPS基本不可用。
  • 不完备：好比商家后厨数据、堂食数据、其余平台数据，都极难得到。
  • 高复杂：配送场景多样并且不稳定，随着时间、天气、路况等在不断变化。

配送系统的核心参数ETA

ETA（Estimated Time of Arrival，时间送达预估）是配送系统中很是重要参数，与用户体验、配送成本有直接关系，并且会直接影响调度系统和订价系统的最终决策。

一个订单中涉及的各类时长参数(如上图右侧所示），能够看到有十几个关键节点，其中关键时长达到七个。这些时长涉及多方，好比骑手（接-到-取-送）、商户（出餐）、用户（交付），要经历室内室外的场景转换，所以挑战性很是高。

经过机器学习方法，咱们已经将外卖配送几乎全部环节都进行了精准预估预测。用户感知比较明显是预计送达时间，贯穿多个环节，商家列表（从配送时长角度让用户更好选择商家）、订单预览（给用户一个准确的配送时间预期）、实时状态（下单后实时反馈最新的送达时间）。固然这里面还有不少用户看不到的部分，好比商家出餐时间、骑手到店时间、交付时间等。其中交付时长，与用户关系比较大，也颇有意思，下文会详细展开。

精准到楼宇和楼层的预估：交付时长

交付时长是指骑手到达用户后，将外卖交付到用户手中并离开的时间，实际是须要考虑三维空间内计算（上楼-下楼）。交付时间精准预估，有两点重要的意义，首先是客观的衡量配送难度，给骑手合理补贴；其次，考虑对骑手身上后续订单的影响，防止调度不合理，致使其余订单超时。

交付时长的目标是，作到楼宇和楼层的精准颗粒度，具体能够拆解为如下几步：

1. 地址的精准解析（精确到楼宇/单元/楼层）
   • 地址精度须要在5级之上（4级：街道，5级：楼宇），国内拥有这个级别精细化数据的公司屈指可数。
   • 数据的安全级别很高，咱们作了不少脱敏工做，作了各类数据保护与隔离，保证用户隐私和数据安全。
   • 地址信息的多种表达方式、各类变形，须要较强的NLU技术能力。
2. 交付时长预估
   • 经过骑手轨迹进行“入客-离客”识别，并进行大量数据清洗工做。
   • 统计各个粒度的交付时长，经过树形模型实现快速搜索各个粒度的数据。
   • 由于预估精度是楼宇和楼层，数据很稀疏，很难直接进行统计，须要经过各类数据平滑和回归预估，处理数据稀疏和平滑的问题。
3. 下游业务应用
   • 给调度和订价业务，提供楼宇+楼层维度的交付时长。从上图能够看到，在不一样楼宇，不一样楼层交付时长的区分度仍是很明显的。
   • 尤为是楼层与交付时长并非线性相关，咱们还具体调研过骑手决策行为，发现骑手会考虑等电梯的时间，低楼层骑手倾向于走楼梯，高楼层则坐电梯。

能够看到，真实世界中影响决策因素很是多，咱们目前作的还不够。好比交付时长也能够进一步细化，好比准确预估骑手上楼时间、下楼时间和等待时间，这样其实可以与商家取餐环节保持一致，之因此没这么作，主要仍是数据缺失，好比骑手在商家其实有两个操做数据（到店、取餐），这样能支持咱们作精细化预估的，可是在用户环节只有（送达）一个操做。

举这个例子，实际上是想说明，数据的完备性对咱们到底有多重要。数据方面的挑战，线下业务与线上业务相比，要高出好几个等级。

配送中最重要的数据之一：地图

地图对配送的重要性毋庸置疑（位置和导航都不许确，配送如何进行？），前面提到的5级地址库只是其中一部分。配送地图的目标能够归纳为如下两点：

• 正确的位置
  • 实时部分：骑手实时位置。
  • 静态部分：用户和商户准确的地址和位置。
• 正确的导航
  • 两点之间正确的距离和路线。
  • 突发状况的快速反应（封路、限行）。

若是横向对比配送、快递、打车等行业对地图的要求，实际上是一件颇有意思的事情，这个对于配送地图技术建设来讲，是一件很是有帮助的事情。

即时配送 VS 物流快递：即时配送对地图的依赖程度明显高于物流快递

即时配送 VS 出行行业：地图厂商在车载导航的优点和积累，在即时配送场景较难发挥

从这两方面对比能够看到，在即时配送业务中，骑行地图的重要性很是之高，同时不少问题确实很是具备行业特点，经过驾车地图的技术没法颇有效的解决。这样就须要建设一套即时配送业务地图的解决方案。

基于签到数据的位置校订：交付点

如前文所述，配送地图的方向有不少，此次我重点讲一下用户位置相关的工做“交付点挖掘”。首先看一下目前主要问题：用户位置信息有不少错误，好比：

用户选择错误

上图左，一个小区会有1期2期~N期等，用户在选择POI的时候就可能发生错误（好比1期的选了2期），二者地理位置相差很是远，很容易形成骑手去了错误的地方。这样在订单发送到配送系统的时候，咱们须要作一次用户坐标纠正，引导骑手到达正确的位置。

POI数据不精细

上图右，用户原本在xx区xx栋，可是只选了xx区这个比较粗的位置信息。现实中在一个小区里面，找到一个具体xx栋楼仍是很是困难的，你们能够想一想本身小区中，随便说一个楼号你知道它在哪一个角落吗，更别说若是是大晚上在一个你不熟悉的小区了。形成这种缘由，一方面多是用户选择不精细，还有一种可能，就是地图上没有具体楼栋的POI信息。

在实际配送中，咱们都会要求骑手在完成交付后进行签到，这样就会积累大量的上报数据，对于后续进行精细化挖掘很是有帮助。你们能够先看看咱们收集的原始数据（上图），虽然仍是很是凌乱，可是已经能看到这其中蕴含着极高的价值，具体来讲有三方面：

• 数据量大
  • 天天几千万订单，几十亿的轨迹数据。
  • 能够充分覆盖每个小区/楼栋/单元门。
• 维度多样
  • 除了骑手签到和轨迹数据，咱们还有大量的用户、商户和地图数据。
  • 多种数据维度能够交叉验证，有效避免数据的噪音，提升挖掘结果精度。
• 数据完备
  • 在局部（用户和商户）数据足够稠密，置信度比较高。

交付点挖掘的技术实战：挑战

在数据挖掘实际过程当中，其实并无什么“高大上”的必杀技，没法使用流行的End2End方法，基本上仍是须要对各个环节进行拆解，扎扎实实的作好各类基础工做，基本整个挖掘过程，分为如下几个步骤：（1）基于地址分组；（2）数据去噪；（3）数据聚合；（4）置信度打分。其中主要技术挑战，主要在各类场景中保证数据挖掘质量和覆盖率，具体来讲主要有三个挑战：

• 数据去噪
  • 数据噪音来源比较多样，包括GPS的漂移、骑手误操做、违规操做等各类。一方面是针对噪音缘由进行特殊处理（好比一些做弊行为），另外一方面要充分发挥数据密度和数据量的优点，在保证尽可能去除Outlier后，依然保持可观的数据量。可以同时使用其余维度的数据进行验证，也是很是重要的，甚至能够说数据多样性和正交性，决定了咱们能作事情的上限。
• 数据聚合
  • 不一样区域的楼宇密度彻底不同，具备极强的Local属性，使用常规聚类方法，比较难作到参数统一，须要找到一种不过度依赖样本集合大小，以及对去噪不敏感的聚类算法。
• 重名问题
  • 这个属于POI融合的一个子问题，判断两个POI信息是否应该合并。这个在用户地址中比较常见，用户提供的地址信息同样，但实际是两个地方。这种状况下，咱们的处理原则是一方面要求纠正后坐标更符合骑手签到状况，另外一方面新坐标的签到数据要足够稠密。

交付点挖掘的技术实战：效果

目前，咱们已经上线了一版交付点，对用户位置进行主动纠正，让骑手能够更准确更快的找到用户。目前效果上看仍是很是明显的。包括几个方面：

• 骑手交付距离明显下降
  • 从上图左侧部分看到，在上线前（绿色）交付距离>100M的占比很高（这个距离会致使实际位置差几栋楼，甚至不一样小区），也就是用户本身选着的位置错误率比较高，致使骑手交付难度较高，对效率影响比较大。上线后（红色），交付距离明显缩短（均值左移），同时>100M的长尾比例明显降低。
• 单元门级别的高精度位置
  • 上图右侧部分看到，咱们挖掘的交付点基本上能与楼宇的单元门对应。并且没有明显误差比较大的部分。这个质量基本达到咱们以前设定目标，也证实配送大数据的巨大潜力。
• 目前的问题以及后续的优化点
  • 如何提高其做为POI挖掘和发现手段的准确率？这里面有不少优化点，好比去重（交付点-位置信息的一一映射），POI信息补全和更新。
  • 如何扩大数据渠道并作到信息整合？目前主要渠道仍是骑手签到和轨迹数据，这个明显有更大的想象空间，毕竟天天在全国大街小巷，有几十万骑手在进行配送，除了前面（以及后面）提到的经过手机被动采集的数据，让骑手主动采集数据，也是不错的建设思路。只不过想要作好的话，须要创建一个相对闭环数据系统，包括上报、采集、清洗、加工、监控等等。

更精细化的配送场景识别：感知

前面提到的地图技术，只能解决在室外场景的位置和导航问题。但配送在商家侧（到店、取餐）和用户侧（到客、交付）两个场景中，实际上是发生在室内环境。在室内的骑手位置是在哪里、在作什么以及用户和商家在作什么，若是了解这些，就能解决不少实际问题。好比：

这个技术方向能够统称为“情景感知”，目标就是还原配送场景中（主要是室内以及GPS不许确），真实配送过程发生了什么，具体方向以下图所示：

情景感知的目标就是作到场景的精细刻画（上图的上半部分），包含两个方面工做：

• 配送节点的精确刻画
  • 在ETA预估中已经展现过一些，不过以前主要仍是基于骑手上报数据，这显然没法作到很高精确，必须引入更客观的数据进行描述。目前，咱们选择的是WIFI和蓝牙的地理围栏技术做为主要辅助。
• 配送过程的精确刻画
  • 骑手在配送过程当中常常会切换方式，好比可能某个小区不让骑电动车，那骑手必须步行，再好比骑手在商家发生长时间驻留，那应该是发生了等餐的状况（用户侧同理）。目前，咱们选择使用基于传感器的运动状态识别做为主要辅助。

这些数据，大部分来至于手机，可是随着各类智能硬件的普及，好比蓝牙设备，智能电动车、智能头盔等设备的普及，咱们能够收集到更多数据的数据。WiFi/蓝牙技术，以及运动状态识别的技术比较成熟，这里主要说一下概况，本文不作深刻的探讨。

对于配送系统来讲，比较大的挑战仍是对识别精度的要求以及成本之间的平衡。咱们对精度要求很高，毕竟这些识别直接影响订价、调度、判责系统，这种底层数据，精度不高带来的问题很大。

考虑成本限制，咱们须要的是相对廉价和通用的解决方案，那种基于大量传感器硬件部属的技术，明显不适用咱们几百万商家，几千万楼宇这种量级的要求。为此，在具体技术方面，咱们选用的是WiFi指纹、蓝牙识别、运动状态识别等通用技术方案，就单个技术而言，其实学术界已经研究很充分了，并且也有不少应用（好比各类智能手环等设备）。对于咱们的挑战在于要作好多种传感器数据的融合（还包括其余数据），以确保作到高识别精度。固然为了解决“Ground Truth”问题，部署一些稳定&高精度的智能硬件仍是必须的，这对技术迭代优化和评估都很是有帮助。

总结

美团外卖日订单量超过2400万单，已经占有了相对领先的市场份额。美团配送也构建了全球领先的即时配送网络，以及行业领先的美团智能配送系统，智能调度系统每小时路径计算可达29亿次。如何让配送网络运行效率更高，用户体验更好，是一项很是困难的挑战，咱们须要解决大量复杂的机器学习和运筹优化等问题，包括ETA预测，智能调度、地图优化、动态订价、情景感知、智能运营等多个领域。过去三年来，美团配送AI团队研发效果显著，配送时长从一小时陆续缩短到30分钟，而且还在不断提高，咱们也但愿经过AI技术，帮你们吃得更好，生活更好。

招聘信息

目前，即时配送业务正处于快速发展期，新的场景、新的技术问题不断涌现，团队正在迅速扩大中，急需机器学习资深专家、运筹优化技术专家、LBS算法工程师、NLP算法工程师，咱们期待你的加入。扫码可查看职位详情，或者发送简历至 yewei05@meituan.com