健康服务机器人遇研发难题,人机交互最好的方式是什么?

2017年01月18日 · 编辑:哈士奇机器人
字号: T · T

人机交互是健康服务机器人研发设计中的一个难点,在国内首款健康服务机器人哈士奇的研发过程中,研发团队的技术工程师和用户体验设计师会比其它服务机器人更加考虑人的因素,尤其是重点服务对象老人的因素,因为交互主体主要是老人,在听觉、视觉、行动能力、反应速度方面都弱于常人,因此,在语音识别优化、人机交互设计方面都要进行特别的研发改进,在这方面,由于引入第三方软件产品——机器人零号的服务机器人在线监测平台,就能够很好的实现人机交互的监测、评估分析、改进。

健康服务机器人与人的人机交互我们不应简单理解为一次次的语音或动作交互行为,而是包含了交互前的场景感知、情境准备,交互中的语义理解、动作识别、关联表达(包括情感模拟),交互后的下一个行动预判。失败的人机交互一定的从头开始就是没有进行精心准备的,很多服务机器人的交互就是当人走到跟前好久了,猛不丁地来一句“你好”,显得很突兀。

好的人机交互是怎样进行准备的呢,哈士奇机器人从人类工效学角度进行研究和大量的实景测试,认为交互前让机器人进行良好的场景感知和为即将进行交互的情境进行准备是相当重要的,正如一个舞台剧,提前的排练和进行舞台灯光的准备是必需的一样。因此,健康服务机器人本体进行必要的传感器的安装是一个基本前提,在哈士奇机器人本体上,安装了对环境和机器人位置状态进行感知的众多传感器:

哈士奇健康服务机器人对传感器的应用 哈士奇健康服务机器人对传感器的应用

有了众多传感器后,还需要对传感器数据进行观察、整理并根据相应的触发条件去触发交互表达内容,我们认为健康服务机器人绝大部分的交互表达并非由人来触发,而是由传感器触发,机器人进行与人面对面对交互表达只占到机器人交互表达中的10%以下,其它的交互表达都是机器人在自动自觉地完成的,尤其是管家型的服务机器人、健康服务机器人。机器人零号开发了一套寒武纪服务机器人性格系统,就是定义和开发机器人的行为模式系统,并以此作为哈士奇健康服务机器人的一个支撑系统。

情境准备比场景感知又进了一层,是要让服务机器人知道知道交互对象的家庭成员角色,如爷爷、奶奶、爸爸、妈妈、儿子这样的角色,还要知道他们的呢称,这都是基本的背景信息,还有家庭成员的健康状态、喜好、生活习惯、性格(主要的说话的速度、音调高低、行走速度),正如一个管家或保姆刚进入一个新家庭一样要掌握各个家庭成员的信息。

情境准备还有一个较难的设计地方,就是机器人对交互表达的情感的调节,如果某个家庭成员是个急性子(代表其说话速度快、音调高、行走速度快),则机器人与这个家庭成员进行交互表达时应自动适应性地将语音播报速度加快、音调调高、行动时速度以1.5-2倍速度加快行走,这些在寒武纪服务机器人性格系统中都有体现。

情境准备中最难的莫过于对人的当时的心情的感知与分析了,目前我们仍只能借助常规的视觉传感器、景深传感器、非接触式生命体征探测器三个传感器去获取人的生理指标数据,并建立与其心情活动的关联,进而分析人的情感,给出一个情感象限值,我们设定为四个值,分别是包括胆汁质、黏液质、抑郁型、多血质。当然,机器人也可以通过预设和自动匹配训练形成自己的情感模型,在寒武纪机器人性格系统中,都进行了这部分的模块化设计。

机器人零号的寒武纪机器人性格系统中机器人情感表达内容标识和规范 机器人零号的寒武纪机器人性格系统中机器人情感表达内容标识和规范

有了场景感知和情境准备,就可以进入健康关怀的人机交互环节了,这部分的设计其实有两个要点,一是离线的交互能力,二是多模态交互表达。为什么说离线交互能力非常重要,我们可以套用一个基本的经验,信息产品问题80%的问题是通讯问题,同样,服务机器人的经常出现的故障是网络通讯故障:云端应用系统故障、语音云故障、互联网接入故障、路由器故障、应用软件的通讯接口故障等,我们想想《复仇者联盟》大反派奥创机器人是怎么死的,就是被活生生地断开发网络连接导致其无法再找到可用本体,而最终被幻视杀死。

在离线交互的语音识别上,国内的主流语音识别技术供应商做得仍不够,在场景上还有待进一步优化,当然,实现上服务机器人公司不得不自己投入力量在语音识别的应用场景优化上,至少机器人零号/哈士奇机器人一直在这么做。

多模态的交互表达包含了机器人的语音(文本内容、拟声对象、语调、语速)、眼神、机身LED环境光、手部表达、脚部及底盘移动、腰部表达、机器人机身的背景声、场地环境光、场地空调、场地音乐、场地智能家居的场景效果。多模态交互中通常都很看重语音交互部分,这并没有错,但语音通常要有眼神、动作配合才生动,才能形成为一个整体,单一的语音表达将显得十分单薄。

哈士奇健康服务机器人在国寿嘉园三亚项目体验中心项目展示和体验时,就是进行了多模态的交互表达,甚至为了强化现场的交互效果,还将机器人语音同步到现场的扩音设备、将机器人机身的屏幕显示同步到现场的大屏幕显示设备,这是根据展示厅等复杂的交互环境进行了一种特殊设计。

哈士奇健康服务机器人在国寿嘉园三亚项目体验中心 哈士奇健康服务机器人在国寿嘉园三亚项目体验中心

交互后的下一个行动预判其实可以理解为机器人接下来做什么,比如机器人完成了一次与人的交互后,人离开了,而且没有给出下一个指令,机器人应该根据根据机器人性格设定、触发器设置、场景设置和临时的日程管理安排进行逻辑分析处理和行动安排,有可能是休息,也有可能是启动扫地机器人进行工作,也有可能自动巡逻状态。交互后的处理与交互前的处理是一件事情的两端,不可分割。

我们是这样对健康服务机器人进行定义的,健康服务机器人就是专注于健康医疗服务的一类服务机器人。也可称为健康养老机器人,或者简称健康机器人,由于主要使用场所是家庭或者养老别墅、养老公寓,所以也称为家庭服务机器人;哈士奇机器人率先提出了健康服务机器人这一概念,据其对健康服务机器人的解释是:这是一种地面移动型或桌面型的服务机器人,带有摄像头和触摸屏,有麦克风,本体安装有多种环境传感器,并且可以连接第三方的健康监测设备,适合家庭等室内环境使用,能够语音识别和语义理解,可以陪伴家庭成员、进行健康监测及医疗平台连接,并具备有智能家居控制、家庭日程事务管理、与家庭成员娱乐互动、养老助老等功能。

机器人零号和哈士奇机器人成为健康服务机器人新品类的开创者,不仅定义了健康服务机器人,而且推动健康服务机器人技术与产品创新、应用创新,与知名的健康养老机构的紧密合作更将加速健康服务机器人的应用落地,2017年1月16日在国寿嘉园三亚项目的亮相就是一个成功的开端。