学术与工程的结合 蚂蚁金服多篇论文入选人工智能顶会AAAI 2020

人工智能顶会中的蚂蚁金服，不只仅是商用场景的落地。

 

2020年2月7日，人工智能顶级会议AAAI 2020（第34届AAAI大会）在美国纽约举行。做为今年在国际人工智能大会的首秀，蚂蚁金服在AAAI 2020中表现不俗，多篇论文被收录。

人工智能的发展历史不短，但近年来发展迅猛。AAAI的英文全称是 Association for the Advance of Artificial Intelligence——美国人工智能协会。在人工智能国际性大会中，AAAI大会被公认为人工智能领域最重磅的会议之一，被誉为人工智能领域科研的风向标。在国内，由中国计算机学会的国际学术会议排名以及清华大学新发布的计算机科学推荐学术会议和期刊列表中，AAAI 均被列为人工智能领域的 A 类顶级会议。

 

值得一提的是，受国内疫情影响，约800名中国大陆学者缺席这次大会，可是官方容许远程参会，所以开年的这场人工智能顶会，热闹不减。中国在人工智能领域的学术贡献也至关亮眼，这次大会录用的论文37%来自中国，连续三年占据榜首位置。在这股浩浩荡荡的AI大潮中，蚂蚁金服也紧跟技术风向，持续输出新能量。

 

技术在这个时代吹亮了号角，AI成为这股科技生产力中的主力军之一。随着AI产业生态链布局完善，AI逐渐实现了在商用场景的落地，而蚂蚁金服在AI技术领域也连年有所突破，像支付宝这样与人们平常生活息息相关的应用，日渐完善和增强了其自己的功能，提高了用户的体验感觉。这些不易觉察的改善正是蚂蚁金服技术团队在AI领域不断精进的结果。

 

AAAI 2020已经公布了全部已被接收的论文列表，地址为：

https://aaai.org/Conferences/AAAI-20/wp-content/uploads/2020/01/AAAI-20-Accepted-Paper-List.pdf

 

大会官方曾于去年11月中旬公布了今年论文的收录信息：共收到超过8800篇有效论文，进入评审环节的有7737篇，最终收录了1591篇，接收率为20.6%。如下为蚂蚁金服技术团队被收入的6篇论文的简要介绍。

 

论文1

Dynamic Network Pruning with Interpretable Layerwise Channel Selection（基于可解释性通道选择的动态网络剪枝方法）

内容简介 ： 动态剪枝网络能够经过根据不一样的输入动态决定推理路径，实现实时线上加速目的。 以前的方法大多直接对每一个权重通道输出连续重要值，来决定权重的使用状况，但缺少清晰可理解的剪枝过程。 本文中咱们提出显式建模权重通道离散选择过程，以便于实现各稀疏多样的运行时推理路径。 与此同时，借助于可理解的逐层权重通道选择过程，咱们能够清晰地可视化出模型决策过程以供模型理解。 同时咱们还发现正常样本和对抗样本在动态网络中有着明显不一样的决策路径。 基于此咱们提出一种高效的对抗样本检测方法。 实验代表咱们的动态剪枝网络不只能够减小模型实时计算量，提升模型预测准确性，同时还能够有效防护对抗样本攻击，构建更为鲁棒的模型。

 

论文2

Pruning from Scratch（无语预训练的网络剪枝技术）

内容简介： 随着深度学习网络被普遍应用，减小模型大小和运行延时也成为逐渐关注的需求，这对于部署于边缘移动端设备有实际应用价值。 网络剪枝技术即经过去除模型中冗余参数结构，来达到模型压缩和推理加速的目的。 传统网络剪枝方法基本采起三阶段流程，即预训练，剪枝和微调。 其中预训练提供冗余参数和结构，剪枝利用不一样策略去除参数，微调负责最后进一步提高模型性能。 可是这些环节引入了繁琐耗时的网络优化过程，并且最终压缩网络结构及参数和原始模型甚至无依赖关系。 所以咱们天然提出疑问： 是否必须要从一个预训练好的模型中才能够获得剪枝模型结构？

 

在本文中咱们经过实证发现，一个有效的剪枝结构无需从预训练权重获得。实际上预训练权重获得的剪枝结构每每是同质缺少多样性的，这颇有可能限制了更好性能结构的探索。咱们发现直接从随机初始化权重便可以剪枝获得更多样且最终性能更好的剪枝结构。这不只极大的加速了模型剪枝流程，减小费时繁重的训练过程，同时也为模型剪枝领域提供了一个强有力的基准结果。

 

论文3

自动车险定损系统：像专业定损员同样读取和理解视频

内容简介： 车险定损是车险理赔中最为重要的操做环节。 以往传统保险公司的车险处理流程，通常为报案、现场查勘、提交理赔材料、审核、最终赔付。 传统流程对用户和保险公司分别形成了时间成本和人力、管理成本。 本文提出的自动车险定损系统不只能经过AI算法替代定损环节中重复性人工做业流程，并且能经过深度学习技术让用户在车险理赔过程当中现场拍摄视频，在几秒内就能获得准确的定损结论，并快速得到理赔。

 

目前有相关工做在用户拍摄的照片上进行车险定损，拍摄照片对拍摄距离有较高的要求，用户交互复杂。也有采用远程视频会议系统，由专业定损员在控制中心指导拍摄过程并进行定损。本系统采用拍摄视频的方式在云端自动定损，简化了用户交互过程，下降了定损成本。

 

论文4

Long Short-Term Sample Distillation(基于长短时间老师的样本蒸馏方法) 

内容简介： 随着深度学习的快速发展，神经网络的深度迅速增长。 而因为存在梯度消失、过拟合等问题，越深的神经网络越难训练。 在过去的一段时间里，如何训练深度神经网络已经取得了很大的进展。 最近一些关于老师-学生模型的研究代表，在同一个训练过程当中，前面训练过程的历史信息能够做为后面训练过程的老师，从而使模型的训练更稳定，达到更好的效果。

 

在这篇文章中，咱们提出了Long Short-Term Sample Distillation（LSTSD)方法来从两方面提高深度神经网络的效果。一方面，LSTSD将历史训练过程的信息分为两部分：长期信号和短时间信号。长期信号来自于n(n>1)训练周期以前，并在较长的一段时间内保持稳定，从而保证学生模型和老师模型之间的差别性。短时间信号来自于上一个训练周期，并在每一个周期都更新为最新的信息，从而保证老师模型的质量。另外一方面，每个样本的老师信号都来自于不一样的历史训练时刻，所以在训练的每一个时刻，模型都是同时向多个历史时刻的模型学习，集百家之所长，从而获得更好的训练效果。咱们在天然 语言处理和计算机视觉的多个任务上进行了实验，实验结果证实咱们提出的LSTSD的有效性。

 

论文5

Span-based Neural Buffer: Towards Efficient and Effective Utilization of Long-distance Context for Neural Sequence Models(面向超长文本分析的天然语言处理)

内容简介：传统的序列编码模型因为其线性输入输出假设的特质而存在短视问题，即不能很好地利用远距离的上下文信息（有实验说明，LSTM的编码能力大概在200个词左右）。在这个工做中，咱们提出了一种基于块的张量缓冲，它经过按块存储上下文高效地提升了线性生成模型的编码容量。具体地说，其有效性源于可以经过存储文本块建模超长上下文；其高效性源于经过块状存储下降了检索时耗。

 

然而，在实验过程当中，咱们发现因为样本误差（大部分的句子结构简单，即经过局部上下文就能够预测得很好了），模型不能很好地利用张量缓冲的信息。为了解决这个问题，咱们提出了一个基于自适应奖励的策略梯度以鼓励模型探索上下文和一个退火最大似然估计充分训练张量缓冲相关的参数。

 

咱们在语言模型的两个数据集：Penn Treebank 和 WikiText-2 上作了大量的实验。包括用张量缓冲提升以前每一个基线模型的效果以及一些定性实验。它们都有力地说明了咱们的方法在处理超长上下文时很是有效。

 

论文6

经过结构化反事实推断实现成本高效的激励权益发放 

内容简介： 向用户发放激励消费的权益是现代互联网市场中一个常见的营销手段，而相应的发放策略，即向不一样用户发放其最感兴趣的个性化激励权益时，并不能利用传统的优化方法。 这是由于咱们只能观测到每一个用户对部分已发放激励权益的反馈，而没法肯定其收到其余激励权益时的反馈，在机器学习领域，这类策略优化问题被称为反事实反馈策略优化（Counterfactual Response Policy Optimization）或部分反馈学习（Batch Learning from Bandit Feedback）。

 

在这篇论文中，不一样于以前的部分反馈学习工做，咱们考虑一种全新的反事实反馈估计场景，将激励权益的成本与用户反馈结合考虑，设计了一个全新的两步方法求解带预算约束的反事实反馈策略优化：首先将用户的反事实反馈的估计问题转化为一个带额外结构的定义域适配（Domain Adaptation）问题，再利用该估计结果进行约束优化。咱们经过理论分析给出该算法的偏差上界，并经过模拟数据和真实数据上的实验证实咱们的算法相比已有算法实现了显著的提高。

 

- END -

本文分享自微信公众号 - 支付宝技术（Ant-Techfin）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。