句子互动 | 脸盲助手 基于微信社交的Chatbot人脸识别应用探索

做者：邝伟鹏

积致科技创始人CEO，巴黎笛卡尔大学硕士。全栈工程师，曾任智能客服Udesk交互架构师，并独立完成类Google doc的实时文档编辑应用以及可视化拖拽开发App应用平台开发宝。积致科技致力于基于微信社交生态，以 Chatbot 的交互方式为用户提供人脸识别应用（FindMyFace及脸盲助手）。已获PreAngel种子投资。

笔者这次分享主要是抛转引玉，经过分享Chatbot的一个场景应用来引出目前Chatbot技术的一些常见问题。

Bot Friday Second - 沙龙第二弹

基于微信社交的Chatbot人脸识别应用探索

2019-07-26 于北京腾讯，Weipeng Kuang

用户场景

场景一

咱们常常在参加一个活动中，但愿跟某人交谈，可是却每每记不住名字，此刻特别但愿能有一个像电影同样的眼镜，直接在某人的头上标记出他叫什么，什么公司的，具体职位是什么等等信息。

场景二

在参加行业展会的时候，做为展会的销售人员，特别但愿本身可以火眼金睛，一眼识别出哪一个人是潜在的客户，哪一个人是同行，哪一个人是无关重要的路人，但愿有一款眼睛或者经过手机摄像头便可识别出这些信息。

Chatbot解决方案

Why Chatbot

首先，咱们但愿初版本是越简单开始使用越好，考虑到目前相似Google Glass之类的眼镜产品未能普及，目前最好的工具仍是咱们的手机，而手机中咱们认为目前微信是最好的入口。 而为了让用户最快最容易上手交互，咱们认为最好就是扫码直达，聊天即用，所以咱们最终选用了微信服务号做为交互入口，并使用Chatbot来跟完成交互。

笔者认为，ChatBot的魅力在于它符合人的天性，人类最天然的获取信息的方式之一就是经过对话实现。

技术架构

目前初版本的人脸识别使用的是Google Facenet, 感谢Huan Li作的开源项目Node-Facenet

交互过程

上图表示的是单张图的交互过程，若是系统认识，就直接给照片标记名字（之后会加上更多其余信息）,若是不认识，则会问用户他是谁，用户能够直接在服务号中回复名字进行标记。 若是是合照，包含多我的脸，交互以下：

首先系统经过识别认出人脸，并自动把系统已经认识的人添加名字，针对未认识的或者认错的，您能够经过回复”改人名“来触发进入标记人名的过程，系统自动提出人脸，并生成一张带有序号的合成照片，如上图最右边。而后您能够经过”命名 1.小明，2.小芳“这样的格式来进行命名。 您还能够把这种合成图分享给朋友，朋友经过识别二维码便可进入”脸盲助手“服务号进行命名标注，帮助完成图片的标注。 完成标注后，便可获得一张以下图所示的带有名字标记的合照：

将来可能性探索

产品目前初步完成名字的收集及标记等功能，下一步会进一步增长公司，职位等信息的收集。产品下一步的可能，此处作一个畅想，但愿感兴趣的朋友能够后续找我进一步讨论：）

社交发现及推荐

基于合照创建人与人之间的关系

找人，推荐最短路径 / 微信服务号直达

免费活动签到+照片自动推送

提早收集人脸+名字

现场拍照完成签到

现场照片自动识别推送

开放服务

提供人脸识名的API

提供人脸Chatbot机器人

其余

产品Demo

微信识别二维码便可体验

ChatBot的需求

提取人名

提取公司名

提取职位名

腾讯智能对话平台TBP初体验

产品核心逻辑： 首先创建意图，如针对我标记人名的信息是一个意图，根据意图，须要添加一些触发意图的用户说法，例如说”命名xxx“，对于须要提取的信息，可设置槽位，如上图所示，人名是一个槽位。而每个槽位能够关联一个词典。词典可自定义（目前只支持固定的词汇），也可选择内置（包含时间，地点，人物等）。而后匹配到信息后，你能够设置一段回复或者调用您本身的API进行下一步的操做。

总体来说，仍是比较容易上手的，咱们此次试用了人名的内置词典， 测试以下：

从上图能够发现，人名的识别出现的一些问题，如填写名而没有填写姓不行，填写姓+单字有一些能够，有一些不行。暂时还没法比较智能的识别出来。 笔者认为，因为人名的复杂性，各类可能都会出现，很难一次就准确判断是否人名，能够考虑放宽一点判断条件，在一些有可能误判的名字，增长多一轮对话跟用户确认，以即可以达到最终的意图， 而不是直接回答”对不起，我不明白你的意思“。 相似的包括公司以及职位等名词信息，都是各类可能都有，且会随着时间发展不断丰富。如何准确提取这类型的信息多是Chatbot的一个没法避免的难题。也许增长多轮对话是一种思路，期待各位Chatbot的技术大牛的解决方案。

写在最后

脸盲助手目前是咱们团队的一个Side Project，若是你有应用场景或任何想法，欢迎加我微信（weipengk）交流探讨。