脸盲助手 基于微信社交的Chatbot人脸识别应用探索

less than 1 minute read

笔者此次分享主要是抛转引玉,通过分享Chatbot的一个场景应用来引出目前Chatbot技术的一些常见问题。

Bot Friday Second - 沙龙第二弹

基于微信社交的Chatbot人脸识别应用探索

2019-07-26 于北京腾讯,Weipeng Kuang

用户场景

场景一

我们经常在参加一个活动中,希望跟某人交谈,但是却往往记不住名字,此刻特别希望能有一个像电影一样的眼镜,直接在某人的头上标记出他叫什么,什么公司的,具体职位是什么等等信息。

场景二

在参加行业展会的时候,作为展会的销售人员,特别希望自己能够火眼金睛,一眼识别出哪个人是潜在的客户,哪个人是同行,哪个人是无关重要的路人,希望有一款眼睛或者通过手机摄像头即可识别出这些信息。

Chatbot解决方案

Why Chatbot

首先,我们希望第一版本是越简单开始使用越好,考虑到目前类似Google Glass之类的眼镜产品未能普及,目前最好的工具还是我们的手机,而手机中我们认为目前微信是最好的入口。 而为了让用户最快最容易上手交互,我们认为最好就是扫码直达,聊天即用,因此我们最终选用了微信服务号作为交互入口,并使用Chatbot来跟完成交互。

笔者认为,ChatBot的魅力在于它符合人的天性,人类最自然的获取信息的方式之一就是通过对话实现。

技术架构

framework.png

目前第一版本的人脸识别使用的是Google Facenet, 感谢Huan Li做的开源项目Node-Facenet

交互过程

single-process.png

上图表示的是单张图的交互过程,如果系统认识,就直接给照片标记名字(以后会加上更多其他信息),如果不认识,则会问用户他是谁,用户可以直接在服务号中回复名字进行标记。 如果是合照,包含多个人脸,交互如下: multi-persons.png

首先系统通过识别认出人脸,并自动把系统已经认识的人添加名字,针对未认识的或者认错的,您可以通过回复”改人名“来触发进入标记人名的过程,系统自动提出人脸,并生成一张带有序号的合成照片,如上图最右边。然后您可以通过”命名 1.小明,2.小芳“这样的格式来进行命名。 您还可以把这种合成图分享给朋友,朋友通过识别二维码即可进入”脸盲助手“服务号进行命名标注,帮助完成图片的标注。 完成标注后,即可得到一张如下图所示的带有名字标记的合照: 合照

未来可能性探索

产品目前初步完成名字的收集及标记等功能,下一步会进一步增加公司,职位等信息的收集。产品下一步的可能,此处做一个畅想,希望感兴趣的朋友可以后续找我进一步讨论:)

社交发现及推荐

  1. 基于合照建立人与人之间的关系
  2. 找人,推荐最短路径 / 微信服务号直达

免费活动签到+照片自动推送

  1. 提前收集人脸+名字
  2. 现场拍照完成签到
  3. 现场照片自动识别推送

开放服务

  1. 提供人脸识名的API
  2. 提供人脸Chatbot机器人
  3. 其他

产品Demo

服务号二维码

微信识别二维码即可体验

ChatBot的需求

  • 提取人名
  • 提取公司名
  • 提取职位名

腾讯智能对话平台TBP初体验

TBP

产品核心逻辑: 首先建立意图,如针对我标记人名的信息是一个意图,根据意图,需要添加一些触发意图的用户说法,例如说”命名xxx“,对于需要提取的信息,可设置槽位,如上图所示,人名是一个槽位。而每一个槽位可以关联一个词典。词典可自定义(目前只支持固定的词汇),也可选择内置(包含时间,地点,人物等)。然后匹配到信息后,你可以设置一段回复或者调用您自己的API进行下一步的操作。

整体来讲,还是比较容易上手的,我们这次试用了人名的内置词典, 测试如下:

TBP-Test

从上图可以发现,人名的识别出现的一些问题,如填写名而没有填写姓不行,填写姓+单字有一些可以,有一些不行。暂时还无法比较智能的识别出来。 笔者认为,由于人名的复杂性,各种可能都会出现,很难一次就准确判断是否人名,可以考虑放宽一点判断条件,在一些有可能误判的名字,增加多一轮对话跟用户确认,以便可以达到最终的意图, 而不是直接回答”对不起,我不明白你的意思“。 类似的包括公司以及职位等名词信息,都是各种可能都有,且会随着时间发展不断丰富。如何准确提取这类型的信息可能是Chatbot的一个无法避免的难题。也许增加多轮对话是一种思路,期待各位Chatbot的技术大牛的解决方案。

写在最后

脸盲助手目前是我们团队的一个Side Project,如果你有应用场景或任何想法,欢迎加我微信(weipengk)交流探讨。

Comments