揭秘阿里机器翻译团队:拿下5项全球冠军,天天帮商家翻译7.5亿次

跨境电商市场愈来愈大,商家们也遇到了新问题。以阿里巴巴国际站为例,七成买家以英语沟通,剩下三成的小语种,却难住了平台上近96%的卖家。程序员

“翻译和本地化都作很差,说明你对海外市场根本不重视,还想怎么品牌出海?”一米八大高个的李兮芝,语速极快,说话从不绕弯。算法

李兮芝是阿里巴巴国际贸易事业部(ICBU)阿里语言服务总经理,对商家的痛点了如指掌。讲到最棘手的案例,他会马上站起来,抄起一支笔,在会议室的白板上演示一番。网络

clipboard.png
阿里巴巴国际站用户沟通语言现状学习

坐在李兮芝一旁的骆卫华,语速要慢许多。2014年1月,中科院计算所出身的骆卫华,加入了阿里,现在是阿里巴巴达摩院翻译平台负责人。阿里云

今年5月,在全球机器翻译领域影响最大、水平最高的WMT2018评测中,骆卫华带领的翻译技术团队一举拿下5个语言方向的冠军,成为比赛的最大赢家。人工智能

与谷歌、微软、百度等作不区分场景的通用翻译不一样,阿里选择在电商场景的翻译上发力。目前,阿里机器翻译已支持21个语种的48个语言方向的翻译,日均使用量已达到7.5亿次。除了支持离线及文字翻译,还支持实时语音、图片以及视频翻译,应用于阿里巴巴国际站、速卖通、LAZADA、菜鸟、阿里云、钉钉、飞猪等40多个业务部门。spa

“首先在电商场景下,咱们要把机器翻译作到最好。”骆卫华说,但在将来将不局限于电商翻译。翻译

没有硝烟的“军备竞赛”

《圣经》旧约中,人类曾联合起来搭建通往天堂的高塔,上帝为了阻止这一计划,让人类说上不一样的语言。没过多久,没法沟通的人类便四散而去。视频

回溯机器翻译的源头,不难发现,这是一场为了再造《圣经》中“通天塔”而展开的“军备竞赛”。图片

冷战时期,苏联和美国的科学家就曾在机器翻译上有过几番较量。当时,机器翻译领域的主角是懂得英俄双语的语言学家,他们试图为计算机编写出一套双语规则。“但问题是,规则和规则之间存在大量冲突,在实际应用中会出现大量异常状况。”

骆卫华说,很长一段时间,机器翻译都被局限在编写规则的泥淖中,直到上世纪90年代,才被IBM Watson研究中心提出的统计机器翻译所取代,程序员开始取代语言学家,站上了机器翻译领域的主舞台。

2014年,蒙特利尔大学计算机系博士后Kyunghyun Cho等人关于将人工智能底层模型“神经网络”应用于机器翻译的论文,又一次吹响了翻译技术革命的号角。这一年,各大互联网公司开始大举投入,诸多优秀的学者和学生陆续加入谷歌、亚马逊、脸谱和BAT。

在中科院学习和工做近12年的骆卫华,在“纠结一段时间后”,也决定跳出学术圈,选择加入阿里,去实现将技术真正落地的梦想。“之前在实验室的主要任务是发paper(论文),作课题,只有这个领域的人才会关心,但如今天天有几千万人在实际使用你的产品,这种感受是彻底不同的。”

clipboard.png
2014年,骆卫华加入阿里

不一样于大多数在通用翻译领域厮杀的玩家,阿里机器翻译团队以核心电商场景为起点,为整个国际化业务提供本地化解决方案。

“项目不少,得排期。好比,二、3月作钉钉的项目,四、5月要作速卖通项目。”骆卫华说,除此以外,团队还会时不时会接到十万火急的需求。好比,去年双11以后,团队曾用两个星期,与菜鸟团队一块儿加班加点编写了一套报关自动翻译产品,“后来菜鸟评估说,整个报关成本降低了90%。”

难的不止是翻译

说到机器翻译,除了算法模型,大量的样本数据是很是重要的。这也偏偏是阿里的优点所在。

“举个例子,‘Photo Print’这个词在通用语境下会被翻成‘照片打印’,但你知道它在纺织面料行业里是什么意思吗?”李兮芝接着说,“这是‘热转印印花’工艺的一种,翻成照片打印就贻笑大方了。”

阿里自己沉淀了大量电商领域相关的数据,机器翻译团队进一步梳理出10亿级别的双语平行语料、亿级别的电商双语平行语料、千万级电商知识库,以及大规模行业多语言术语库。

然而,语言上的准确翻译只是第一道难关,更困难的是经过算法实现文化、法律、经济、宗教等层面的本地化落地。

一个案例让李兮芝印象深入。“一样是10万,英美国家千位分隔符用逗号,标成‘100,000’;但法国、西班牙的千位分隔符是句号,逗号用来标小数点,10万在法国得标成‘100.000’,若是标成‘100,000’就表示是100了。”这类大额数字在阿里巴巴国际站常常出现,曾经出现过中国卖家由于没有将数字本地化,而被买家投诉的状况。

clipboard.png
阿里巴巴ICBU语言服务总经理李兮芝

今年4月,主打男装的国内服饰品牌英爵伦,加入了阿里旗下的东南亚电商平台Lazada上的“淘宝精选”(Taobao Collection)计划。Lazada经过自动抓取天猫店的产品,帮助品牌拓展东南亚市场。“咱们天猫店商品标题是全中文的,没想到Lazada能自动翻译成英文。”英爵伦跨境电商负责人刘晨芳说,“最重要的是,机器自动翻译的英文品牌名‘Enjeolon’,和咱们真实的英文名分绝不差,太神奇了。”

clipboard.png
英爵伦发现,品牌名英文名翻得分绝不差

刘晨芳不知道的是,Lazada这套自动翻译系统也是由阿里巴巴机器智能翻译团队开发出来的。翻译系统还改写了标题,让产品描述看上去更加接地气。

“淘系商品标题没有固定格式,由N个热搜词组成,但不是一个完整的句子。要是直接翻译,海外消费者压根看不懂。”李兮芝说,这种没有上下文信息的标题翻译,不论对人仍是对机器,都是极大的挑战。“咱们曾经找来专业人工译员翻译标题,结果译员翻到一半不干了,根本看不懂。”

后来,团队经过融合多种天然语言处理和文本生成技术,攻下了商品标题改写的难题。像英爵伦这样的中国品牌,不用担忧Lazada上的东南亚买家会由于看不懂标题,而放弃购买商品。

今年5月,阿里巴巴正式上线对话实时翻译功能,这也是全球电商领域的首个实时翻译AI产品。“无障碍的跨语言沟通明显增长了阿里巴巴国际站的用户粘性。咱们指望卖家再也不须要为了作某一个国家的生意而专门聘请会那国语言的专职人员。”李兮芝说。除了用户体验的提升,阿里机器翻译还为旗下国际电商平台带来了明显的流量、转化率和购买率增加。

clipboard.png
阿里巴巴实时翻译系统

“机器翻译是块很是难啃的骨头。但若是咱们真要实现全球买、全球卖,就必需要花精力去作。”李兮芝说。

解放,而非替代人工翻译

今年5月23日,WMT2018国际机器翻译大赛,首次参赛的阿里巴巴达摩院机器智能-NLP翻译团队拿下5项冠军,包括英文-中文翻译、英文-俄罗斯语互译和英文-土耳其语互译项目。

clipboard.png
阿里巴巴达摩院机器智能-NLP翻译团队

做为全球最具权威、已举办13次的机器翻译大赛,WMT(Workshop on Machine Translation)成为了各大科技公司和学术机构的竞技场。2018年的大赛竞争格外激烈,吸引了霍普金斯大学、爱丁堡大学、微软、阿里、腾讯、小牛翻译等几十个机器翻译团队参与。

“WMT大赛的文本主要是新闻题材,参赛团队要在截止日期内上传机器翻译的成果。”骆卫华说。竞争很激烈,整个行业提高也特别快,例如在竞争最激烈的英中翻译任务,去年最好的成绩在今年可能已经排不到前几名了。

“中英翻译还好,起码咱们知道哪里翻得有问题。但像土耳其、俄罗斯语这样的小语种,咱们彻底看不懂,只能彻底拼算法、拼模型。”骆卫华说,在小语种机器翻译领域,之前一直是由国外的公司与科研机构一直保持领先地位。“小语种的双语语料是很稀缺的,但阿里全球化的目标要求咱们必须从技术层面作突破,用更少的数据,在专业领域上翻得更准确。”

谈到机器翻译和人工翻译的关系,骆卫华和李兮芝都赞同一个观点:阿里的机器翻译最终的目的,不是为了替代专业,而是为了解放专业的人工翻译。

随着机器翻译技术的不断突破,传统人工翻译正逐渐变为一个“搬砖”行业,充斥着大量重复低效的劳动。“1995年,翻译一篇1000字的中到英文本,译员的收入可达600元人民币。”李兮芝说,但在今天,一样字数的文本,甚至低到只有50元的收入。

低廉的人工翻译报酬,正在把专业译员推向价格更高的专业技术翻译领域。然而,这些领域的文本,由大量专业术语和范式行文构成。“人类不擅长记忆专业词汇,但机器擅长。”李兮芝说,人工翻译的长处在于“创造性的智慧”,以及对文化背景的深入了解。“翻译讲究信达雅,机器目前最多能作到‘信’和‘达’,像文学翻译、口语俚语、本地化的惯用表达等等,仍是须要人工翻译。”骆卫华说。

今年1月,阿里巴巴国际站向平台全部供应商,免费开放了一款AI实时翻译系统。商家输入的语音或文字,能自动转变为翻译好的目标文本。为了加强翻译的准确性,加入人工修正的干预功能。好比,商家若是有更地道的表达方式,能够进行翻译订正,以弥补神经网络翻译系统现阶段存在的问题。

下一步,阿里机器翻译在迭代优点电商场景的同时,还将向新的领域拓展,同时完善产品矩阵,支持文本、语音和图像等多模态翻译,并最终对外开放API。“咱们但愿把阿里巴巴全球化过程当中的经验沉淀下来,最后打包输出,赋能给整个社会。让商业没有语言障碍,让天下没有难作的生意。”李兮芝说。

本文做者:刘卓然

阅读原文

本文来自云栖社区合做伙伴“阿里研究院”,如需转载请联系原做者。

相关文章
相关标签/搜索