美团外卖骑手背后的AI技术

背景

随着数字化时代的到来，外卖市场近年来发展很是迅猛。对外卖物流系统而言，配送效率和用户体验相当重要。而实际配送过程是由配送员（骑手）最终完成的，所以，想要真正提高配送效率，不但要在智能调度系统（订单指派、路径规划、ETA）上下功夫，还要不断提高配送员的“附加”能力，让他们越送越“熟”，越送越“顺”，越送越“快”。以此为出发点，美团点评研发团队设计了骑手智能助手，全面提高骑手的各方面能力。

在 1月份的AICon全球人工智能与机器学习技术大会上，美团点评配送人工智能方向负责人何仁清分享了《美团骑手智能助手的技术与实践》。讲解如何在使用环境复杂、用户群体多元化的状况下，以智能耳机和语音交互为载体，并经过大数据挖掘、机器学习、天然语言处理等技术，让智能助手具有复杂场景精准识别、服务智能推送，智能引导、全语音操做等能力。最终在智能、安全、便捷、精准等多个维度上，全面提高骑手配送能力，从而提高整个配送效率和用户体验。如下系演讲内容整理：

AI技术对同城配送的业务价值

整体而言，物流业务是一个比较传统的行业，可是随着整个电商、移动互联网和移动支付的兴起，近些年整个物流行业实现了持续和高速的发展。

上图系中国物流与采购联合会在 2016年发布的一个报告，调研数据代表，全国物流件数环比增加超过 50%，达到 300多亿件。

同时整个物流的费用占比也很高，从图中能够看到，物流成本已经占据 GDP的 15%。而在欧美国家以及日本，这个比例大概只有 8%～9%左右，因此中国的物流行业还有很大的优化空间。这也是不少公司大力投入去作物流行业的一个很重要的缘由：行业正处于高速发展阶段，并且体验、效率和成本方面都有巨大的优化空间，大有可为。

下图主要介绍了美团外卖如今的发展状况：

美团外卖从2013年启动，目前大概可以服务 2.5亿用户，已经覆盖1300多个城市，可以为 200多万商户提供服务，日峰值订单超过 1800万。美团外卖智能配送调度系统天天匹配50多万外卖小哥，基于海量数据和人工智能算法，确保平均配送时长不超过 28分钟。这也是目前世界上规模最大、复杂度最高的多人、多点实时智能配送调度系统。

咱们对美团配送的定位是：作成最大的即时配送平台。

相比传统物流，即时配送包括如下几个优点：

• 第一点，很是快。从商家发单，好比说一个外卖订单，从下单到用户收到，平均要在 30分钟内能完成，最慢的也应该在一小时左右。快，是最重要的一个特色，快，也可以使整个服务的要求和服务质量获得巨大提高。

• 第二点，可以直接联系用户和商户。以前的物流基本是从商家接单，要通过不少环节，包括仓储、运输调度、人员配送等等，最后再送到用户，中间几经转手，甚至由不一样的公司配送，或者有不一样的加盟商。可是即时配送直接将用户和商户联系起来，进而直接影响目标人群，这是很大的一项价值。

• 第三点，可以承担多种配送场景，不只仅能够送外卖，还能够送商超、生鲜等等，基本上全部的同城快件，均可以归入其配送服务范围。

整体来讲，配送是一个很是复杂的业务，为了可以便于你们理解，我把这个业务模型进一些抽象和简化，能够用下面这张图来进行说明。

从本质上来说，配送主要是把用户的配送需求和线下的各类运力（好比说骑手或车辆之类）进行匹配的过程。匹配分为线下匹配和线上匹配，线下主要靠运营，线上就是咱们技术部门所构建一些系统。从这个层面而言，咱们要解决的主要是在这个需求和运力之间，如何实现最优匹配的问题。

这其实也是一个相对比较传统的问题，像作广告或者推荐，都会面临这个问题，需求是要推荐的产品，供给是广告位置，但位置并非无限多，如何在需求和供给之间达到最好的匹配，这自己就是效率优化问题，只不过广告和推荐使用的 CTR预估，而物流中使用的方法更加复杂一些。

配送中的复杂性，具体来讲有几点：

• 这是一个NP-Hard问题，计算复杂度随着规模呈指数级增长。好比是骑手身上 N个订单的路径规划问题，或者是 M个订单与 K个骑手的订单分配问题，这两个都是指数级复杂度，并且相互关联。

• 这不可是一个多点取多点送问题，并且随时有新订单增长，具备很是强的实时计算要求，当一个新订单生成后，须要在几十毫秒内别完成调度运算，相比传统物流中有几十分钟以上的计算时间，即时配送系统设计的难度要大得多。

• 配送场景很是复杂，涉及天气、路况、骑手熟练程度、商家出餐速度等多达几十个因素，极大增长了解空间的随机性和复杂度，对配送算法的稳定性和适应力挑战极大。

对美团配送来讲，要完成这个任务，须要分为大概三个层次，如上图最右侧所示。

• 第一层，物流基础结构建设。包括在城市里如何建设站点，如何配备人力，如何配备商家的供给状况。这些基础结构不但深入影响配送的规模、成本、效率，并且是物流管理和运营的基础，好比加盟商管理、骑手运营等都需基于这个结构进行展开，所以这些基础结构的做用很是重要，并且它们较难进行即时调整，很是考验技术的长期预测和规划能力。

• 第二层，供需匹配的动态均衡，经过订价机制进行市场调节，包括几个方面：一个是基础订价，好比一个定单来了，到底向用户收多少钱，向商家收多少钱，给骑手多少补贴，这须要考虑不少因素，保证订价的合理、公平。另外一个是供需平衡，当遇到恶劣天气等突发状况，经过动态调价方式，实时调节用户需求和运力供给，保证整个系统的稳定与用户体验。

• 第三层，订单和骑手的实时匹配，也就是派单，在订单出现后在几十毫秒内分配到一个最合适骑手，并完成多个订单的路径规划。这是一个NP-Hard问题，并且因为不断有新订单生成，须要实时计算，对并行计算引擎的要求很高。派单的优化目标是：提高总体配送的效率，并保证用户体验，是整个配送系统的核心模块之一。

以上，主要是咱们对整个配送的理解，接下来说述如何使用技术手段来进行落地和实践。

对于 AI问题来讲，整个配送在AI问题中的分类应该是什么样？下图给出了一个解释。

咱们能够从两个维度来看AI问题。一个维度，是看机器与人工的对比，速度上是否是比人工更快，是否是比人工的效果更好。

另外一个维度是AI所发挥的做用。首先是否是可以感知世界，好比说如今作得图像识别、语音识别以及OCR，都是像人同样可以感知这个世界。其次是否是能作到认知，好比说了一句话，“今每天气怎么样”，不但要把语音翻译成文本，这里讲的是“天气”这个实体，还有“今天”这些限定因素。第三就是要作决策，如今比较火的人工智能应用都在“如何作决策”这个层面，并且要作比人作更好的决策。一些表明性应用，好比智能助手，特别是辅助人进决策权的（聊天机器人会差一些），能够帮你完成更好的任务；好比无人驾驶；好比在物流领域，如何分配订单，并经过无人车或别的方式交付订单；还有在游戏和医疗里面，AI辅助医生作决策，在游戏里面，当用户掉线时，游戏AI能够帮助用户打怪升级。

能够看到在配送层面，咱们会涉及智能助手、智慧物流、无人驾驶等多个维度，而为了提高配送的总体智能化程度，咱们构建了本身的“美团配送 AI”，具体来讲分为两大部分：

第一部分是信息化，也就是数据收集。举个例子，要收集到什么样的数据？咱们要收集到一个商圈的数据，这个商圈可能要精细到小区和楼宇级别，一个楼在什么地方，这个小区是否是让骑手进来，同时还要收集天气数据，好比风速、温度，是否有雾霾，由于全部数据会影响到配送的效率，用户下单状况，好比今天雾霾，北京的外卖订单量估计会上涨。

第二部分是智能化，也就是构建一整套智能化模块，构成一个智能配送系统，覆盖配送的各个环节。

为了完成这个“美团配送 AI”的具备挑战的目标，并考虑整个行业的长期发展，咱们在整我的工智能上的布局以下：

• 首先是广度方面的建设。咱们的目标是配送总体流程和环节进行 AI化，从用户下单开始的每一个配送步骤都要覆盖，为此咱们总体技术方向的面很是广，不但横跨三个大学科，并且从预测、挖掘、订价、规划、调度和硬件等都要进行技术研究和业务落地。

• 其次是深度方面的建设。这不仅仅是指技术方面，好比基础计算框架和模型研究等，还包括技术与配送业务的深度整合，好比配送仿真平台建设，具有进行多配送场景的仿真能力，无需上线就可以对不一样业务策略效果进行准确预估。同时还要结合行业状况，提供行业的智能化解决方案，好比在骑手运营方面，更有效的骑手激励和骑手留存的机制设计。

而美团外卖语音助手就属于咱们在广度和深度结合比较好的案例。接下来就和你们分享一下咱们在整个智能助手的实践和设计过程当中，以及在整个物流业务中，如何将人工智能技术更好的落地的一些经验。

美团外卖智能语音助手定位

咱们为何要智能语音助手？骑手到底在什么状况下须要智能助手服务，整个服务里面的关键是什么？先解释一下这个问题。如上图所示，这个是整个骑手在配送过程当中遇到的一些环节，能够分为两大部分。

第一部分是线上的决策，并且涉及的决策各式各样。举个例子，这个骑手有定单，要送到一个用户那里，他可能要作几个决策，好比说要不要给用户打电话，由于有些地方是不用打电话的，像住宅楼里面，骑手有很大几率知道这个用户应该在家里的，不用打电话；有些必须打，好比写字楼，由于骑手上不去，因此须要提早打电话让用户下来。

但须要提早多长时间呢？是提早一分钟，两分钟，仍是五分钟？这个问题很关键，若是打电话时间比较早，用户就会提早下来，会形成用户等待骑手的问题，用户体验很差，可能会有投诉。若是这个骑手很是保守，到楼下再打，但用户住在 10层，那么用户下来包括等电梯的时间可能要须要 10分钟，效率会变得很是低。

第二个部分是骑手操做过程，由于骑手会频繁和手机交互。他要查看一个定单，步骤很是复杂，把手机拿出来，解锁，打开 App，查看信息，作操做（好比说点击完成），最后放回手机，大概须要五到六个过程。若是操做快，也须要 10到 20秒钟。并且不少骑手是在骑行过程当中作这些操做的，这样会很是危险。

总结一下，配送骑手遇到的困难能够总结为三个大的层面：

• 第一，任务复杂，须要作不少决策，不过复杂度会随着骑手的熟练度有所变化。

• 第二，操做繁琐，大概须要五到六个步骤，至少须要 10到20秒，或者更长时间。

• 第三，骑手在骑行过程当中操做手机很是危险。对于有50万骑手的平台，咱们必须考虑骑手在整个驾驶过程当中的安全。

基于这些考虑，咱们作了美团外卖语音助手，它的定位主要包括如下三点：

• 第一点就是要求安全，要作一套全流程的语音交互方案，配送过程当中的各个环节都能用语音操做，不须要骑手看手机，解放双手，让骑手更加安全。好比在行驶过程当中，有个定单过来了，系统问骑手要不要接单，只要经过指令回答，“是”或“否”，或者“OK”这种，整个过程就完成了；不须要像之前那样的，把手机掏出来再进行操做，这个场景很是受骑手欢迎。

• 第二个，设计极简的步骤，全部操做能在一到两个步骤里完成，第一个步骤是信息播报，第二个步骤经过语音命令完成操做，将原来的五到六个步骤，精简到如今的一到两个。

• 第三个，提供不少智能化服务。最典型的，刚才说的骑手要去一个楼，用户可能在 5楼，可能在4楼，这个用户下来须要多长时间，作智能化推荐，根据用户的地址信息，系统智能推荐打电话时机，固然还包括像导航之类的基础功能。

上文的分析，基本上将咱们怎么把智能语音助手在场景里落地的最关键的点分析出来了。咱们要落地，最核心的就是要帮助骑手完成配送任务，而不是“聊天”或者“问答”。这就要求语音交互整个过程要很是便捷，同时也很是智能。

而咱们遇到的第一个挑战，就是交互模式如何设计的问题。

如上图所示，左侧是通常的语音助手方案，须要唤醒、应答、请求和再应答四个步骤，可是并不符合配送场景的要求。首先，骑手所在的场景，噪音很大，好比风噪、汽车噪音以及商场噪音等等，唤醒比较难实现。其次，须要四个步骤，还要考虑骑手的工做状态，这个操做过程太繁琐。

那怎么办？咱们思考，是否能作到一套不须要唤醒的解决方案呢？答案很确定，能够作！

第一点，咱们的数据很是多。包括骑手、用户和商家，这些数据都是实时的，咱们可以了解比骑手多得多的全局配送信息。第二点，咱们能作到精准预测，利用机器学习、智能调度等技术，能够对骑手下一个操做场景进行识别。

举个例子，一个骑手身上可能有几个订单，他正在朝一个地方前进，经过场景分析，咱们知道他要给具体哪一个用户配送，并且咱们能了解用户在这个楼里的几层，下来大概须要几分钟，因此可以推算出来，大概在哪一个时间点提醒骑手打电话比较好。这样咱们就能够省略唤醒和应答流程，直接给骑手发提醒，骑手只要回答是或否够能够了。这样设计才符合骑手线下的实际配送状况，可以真正给骑手解决实际问题，才可以真正称之为“智能”。

AI核心技术

具体技术分为几个主要的部分。第一个部分是基础设施，包括语音识别和语义理解，如今这方面开源的东西很是多，作通用的语音识别不是很难。

在咱们场景中，要解决各类环境噪音的问题，可能骑手并无说话，但旁边有些噪音，车的噪音或者别的噪音，甚至路上正在放一个歌，都会被识别为是骑手在说话，因此 VAD（静音检测）方面须要作不少工做。

另外一个基本的组件是NLU，天然语言理解。举个例子，骑手要给尾号 6551打电话，首先系统要知道，骑手的意图是要打电话，后面要调起打电话的操做；其次要知道打电话的对象是谁，是用户，而不是商户，这就要找出用户信息；第三，要作检测，好比骑手已经送完某个订单，再打电话多是错误操做，须要提醒骑手。

即时配送场景是一个典型的时间序列问题。从上面的图能够看出，场景包含先后关联，一个骑手历史的行为和决策会影响如今，同时如今的决策和行为会影响将来，这是个典型的时间序列问题。

场景识别要解决的两个主要目标，一个是事件预测，要知道下一时刻大概会发生什么事情，好比骑手是否是已到商家，商家是否是已经出餐；另外一个是时机预测，将来要打电话，到底何时打更合适？

为了更好的说明，举个打电话的案例。

首先，要判断是否须要打电话，若是在不须要的场景也频繁提醒打电话，对骑手和用户都是骚扰。上图列举了不一样地址类型下骑手打电话的比例，能够看到，像在企业和写字楼里面比例很高，可是住宅区就很低了，由于在住宅区，很大几率用户都是在家的。

其次，要针对每个小区和楼宇类型，给一个合适的打电话时机，即提早多久打电话，对骑手和用户是最好的体验。打电话太早，用户在楼下等骑手，体验比较差。 打电话太晚，骑手在楼下等用户，效率过低。咱们有精准的骑车轨迹数据，咱们知道针对每一栋楼、每一个小区，骑手在不一样时刻打电话时会在楼下停留多久，因此能够画出一个曲线。合适的区间就在两条红线之间。

前两个主要是大数据分析，最后要实时决策，哪一个订单，什么时刻须要打电话。这里就要根据骑手的实时数据了，包括订单状态、轨迹状态、环境状况等等，结合前面的大数据分析进行实时的预测骑手下一个配送地点和配送任务，并在合适的时机经过语音助手给出提醒。

具体到实现方面，场景识别须要三方面的技术：骑手轨迹挖掘、机器学习和数据挖掘。

先介绍一下轨迹，咱们天天能有几十亿次的定位数据，进而能够基于这些数据作不少事情。

第一，能够精准知道 A、B两点间最好的导航方式，相比第三方地图，能够挖掘到 A和 B间可能有可能有更好的骑行经过方式。

第二，光有轨迹数据还不够，咱们还须要解决室内定位问题，室内 GPS定位已经不够用了，须要新的技术体系。好比 WiFi定位，同时还须要设计硬件，好比在商家部署硬件，判断骑手是否到店。

第三，传感器的使用，不管在室内仍是在室内时候，咱们不但要知道骑手的精准定位，还要知道运动方式，好比是停留、步行、骑行，是爬楼仍是坐电梯，这些信息不但判断骑手在到底作什么。并且可以精细刻画配送难度，在订价和调度上很是有价值。

咱们能够经过骑行轨迹来修正导航和定位。来看两个例子。

第一个例子（左侧）用户在下单时定位的分布，由于你们在室内下单，定位偏离是很是大的。但经过骑手轨迹的修正，实际上大概只有四个点，每一个点能够认为是这个这栋楼的一个门口，这大幅提高了用户的定位精度，让骑手配送更容易。

第二个例子（右侧）经过骑手轨迹对 AB两个点的骑行路径进行修正，上图中轨迹分析发现了更短路径，穿太小区更节省时间；下图中，原地图导航要跨过中间过街天桥，但经过轨迹发现更多骑手是绕行经过，这才更符合真实的状况。

下面介绍一些机器学习相关技术，主要是应用在各类时间预估层面。

只有高精度的 ETA（预计到达时间）预估，这样才能更加准确的预测骑手行为，咱们会作三个维度的精细预估，包括平面的配送时长、上下楼时长以及商家出餐时长。这样才能比较全面和精细的刻画骑手的配送过程。

为此，咱们作了不少基础工做，好比实时特征平台，机器学习平台，包括深度学习在内模型等各类机器学习相关工做。同时咱们还会作比较精细的配送知识图谱建设工做，好比精细化地址解析。

地址对配送来讲是很是重要的信息，经过 NLP和地图搜索的方法，解析成层次结构，对分析商圈、楼宇维度的画像很是有帮助。咱们把一个地址分解为四个层次，小区、楼号、单元号和楼层等。其中要解决不少实际问题，好比用户填写的信息彻底不标准、存在歧义等问题。

作了这些工做以后，能实际产生的效果仍是颇有意思的。咱们经过“上下楼时间”这个具体场景来进行分析。

第一张图，是不一样楼宇的上下楼时长，左侧两个是厦门的两个楼宇的时间，右侧两个厦门平均值和全国的均值。能够看到，不一样楼宇的上下楼时长仍是存在很大差别，没法简单利用城市或者全国维度的均值进行替代。

第二张图，是不一样楼层的上下楼时间，从 B2开始到 8楼。有个颇有意思的是，上下楼时长与高度不是线性关系，大概在二楼、三楼和四楼时，相隔的时间很长，可是到了五楼、六楼、七楼，时间差就很小了。缘由很简单，楼层较低时，骑手可能会选择爬楼。高层则选择乘电梯。不一样楼层之间停留时间很短，越往上时间间隔越小。

第三张图，是不一样城市的上下楼时长分布，最有意思的是黄色的线，也就是重庆的总体上下楼时长明显偏长。由于重庆是山城，房子常常在半山腰上，与平原比起来其上下楼的难度固然更大。

总体效果

上面总体介绍了语音助手依赖的场景识别技术，如今介绍一下语音助手的总体效果。首先语音助手提供了四个核心功能，包括定制耳机、语音交互、场景识别、智能引导等。

为何要定制耳机呢？在骑手的使用环境中，须要克服不少噪音，很难经过软件和程序去作，而必须经过硬件去作。因此咱们和厂商进行合做，定制去噪效果好的硬件。

第二个功能是语音交互，它能够在派单、查询、取餐、拨打电话等配送全流程中实现语音交互，骑手整个过程当中不须要看手机，只要耳机提醒就能够完成智能配送。

第三个是智能引导功能，包括安全驾驶提醒，信息播报，任务地图引导等，主要是让骑手行驶更加安全，提供全面的信息服务，让骑手配送更加方便和高效。

下图是智能语音在线下推广中的一些实际数据。

蓝色的线是使用语音助手的骑手的操做次数，绿色的线是不使用的操做次数。能够看到，操做次数明显降低。可是尚未降为 0，有两个缘由：骑手在静止状态下，不须要使用语音助手；有些骑手的蓝牙耳机尚未下发到位。再来看下一张图：

左图是骑手接单时间时长分布，越往右骑手接单的时间越长，用户体验越差。绿色的线就是以前骑手手动接单的一个分布，长尾状况比较严重，经过语音接单，接单时长明显向左侧靠拢，总体接单时长明显缩小，比较好的提高了用户体验。

右图是骑手在用户交付外卖所花费的时间的比例，横轴是骑手在楼下等待用户的时长，越往右，骑手在楼下等用户的时间越长。经过语音的提醒后，能够明显下降骑手长时间等待的状况，节省了大量骑手的时间。

写在最后

总结一下，语音识别和语音助手在实际落地过程当中面临不少挑战，并且大多和场景有关系，场景识别很是重要，甚至比语音识别更为重要。

由于语音识别如今已是比较通用的技术了，并且有不少专业厂商提供服务，硬件也是如此，进行定制化相对比较容易。所以目前作一个软硬件结合的语音助手，从基础技术来说都不是问题，想作一个 DEMO并不会存在太大的技术障碍。

反而在具体的业务中，如何结合业务场景，把语音助手落地，才是咱们须要真正考虑的。也就是说，如何将语音助手从“能用”作到“好用”，再作到让用户“愿意用”，这些才是将来语音助手面对的真正挑战。

语音识别和语音助手在实际落地过程当中有不少挑战，并且和场景有关系，场景识别比较重要的，甚至比语音识别更为重要，由于语音识别如今已是比较通用的技术了，如何结合业务场景，把语音助手落地、用好，多是将来一段时间的挑战。

为了实现配送的全面智能化，美团点评在其中作了大量工做和尝试，这里不仅仅是要作好机器学习，还包括如何进行更好的实时运筹优化、实时空间数据挖掘以及人机交互等多个方面的技术内容。

做者简介

仁清，美团点评配送算法策略方向负责人。2016年加入美团点评，负责美团配送业务的算法总体方向。包括智能调度系统，智能网络规划系统、机器学习平台、配送仿真平台等，全面支持美团专送、快送、跑腿等多个业务方向发展。加入美团点评前，曾任百度凤巢团队 T9 架构师，从事搜索广告 NLP、数据挖掘、检索技术方向研究。

对咱们团队感兴趣，能够关注咱们的专栏。 美团点评外卖配送团队，欢迎大数据、算法、机器等领域优秀人才加入。简历请投递至：sunbiqi#meituan.com

原文地址：tech.meituan.com/herenqing_a…