微软VR远程会议机器人,“克隆”世界上的另一个自己
智东西5月6日消息, 今天,微软研究院推出了在线会议虚拟机器人系统VROOM,可以使参加远程会议用户的虚拟形象出现在办公场所,并和在场同事进行实时交流互动。
许多人还记得《西游记》里的场景,当唐僧师徒四人遇到最难过的坎儿时,观音菩萨的“化身”在最后关头出现,为孙悟空指点迷津,说完后立马消失不见。现在,这种“神仙画面”也呈现在了现实的远程会议中。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
微软发布的VROOM虚拟机器人系统正是类似这种“神仙操作”。这款系统的实际体验效果如何?背后有哪些黑科技,又是如何运作的?通过微软研究院及西蒙·弗雷泽大学研究人员发布的论文以及相关体验资料,我们也身临现场体验了一回。
一、“意念”化身去现场开会
戴上VR头显设备,在家远程办公的用户可以让自己的“化身”去现场开会。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
▲远程办公者所需设备简单
不仅可以身临其境地进入办公室,还能够让办公室里的同事看到自己“似魔鬼的步伐”。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
▲办公室在场者看到的画面
当然,办公室同事需要带上AR头显设备。远程工作者“化身”身边的机器人的辅助,远程工作者和办公室在场工作者可以“在一个时空汇聚”,看到彼此并打招呼。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
更神奇的是,远程工作者和办公室在场工作者能够进行无缝的工作讨论。对于远程工作者来说,他能通过第一视角,看到工作白板上的文字,并与“眼前的”在场工作者进行讨论。
对于在办公室的在场工作者来说,他可以看到真实场景中叠加的同事形象,并与对方进行交互。虽然这种画面有时候比例有些奇怪,但是可以看到交互还是很流畅的。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
▲远程工作者和在场工作者进行讨论时,双方的视角
二、怎么实现的?
对于远程工作者来说,他的手臂及手势动作会被VR设备控制器记录,从而呈现在“化身”身上。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
同时,在VROOM系统作用下,他的脸会呈现在远程“化身”的头上,为了增强真实感,还增加了口型、眨眼等伴随动作。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
VROOM系统还为远程工作者提供第一人称视角,并且可以360°自由移动。远程工作者可以和其它使用AR头显的人一样,看到自己的手部动作和手势。
对于在场工作者来说,他们可以通过微软HoloLens AR头显,看到远程用户的真人大小的“化身”叠加在真实的办公室场景中。
VROOM如何使得远程工作者和办公室现场的环境和员工互动起来呢?这需要远程机器人的配合,拍摄下“化身”所在场景的情况。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
远程呈现机器人并不是新事物,它可以通过巡视周围空间,为不在场的人呈现当场的画面。但是此前,这种呈现是不聚焦的。比如,远程参会者指着桌上的一个模型,让在场工作者拿起来,并就此进行讨论,这在之前难以实现。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
▲通过VROOM,远程工作者能与在场者进行专注的互动
VROOM则是一个探索如何提高机器人远程呈现的社会体验的双向系统。
VROOM系统的作用在于,将本地(AR)和远程(VR)用户汇聚到一个时空“场”中,增强使用远程呈现机器人的体验。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
▲VROOM运作模式:左图为在场者场景,右图为远程工作者场景
由上图可知,在本地空间内,在场工作者通过佩戴微软HoloLens AR耳机,叠加远程呈现机器人的作用,能够看到远程工作者的真人大小的“化身”以及手势动作。
在远程空间中,通过VROOM系统,远程工作者可以获得远程呈现机器人上面的摄像头拍摄的图像,通过VR头显设备,看到第一人称视角的自主活动的场景。
VROOM已被美国计算机学会(ACM)的计算机系统人类因素会议(ACM CHI Conference on Human Factors in Computing System)接受发表。该会议原定于上周在夏威夷举行,但由于新冠肺炎等原因被取消了。VROOM是其之前一项研究贡献的续篇,2018年,ACM CHI上就出现了Mini-Me,正是一种将化身带入会议中以进行混合现实会议和互动的方式。
“克隆”一个自己去上班!微软VR远程会议机器人,还原动作口型眼神
▲微软官网关于VROOM的论文
三、用VR/AR提高远程机器人的交互体验
VROOM由西蒙·弗雷泽大学与微软研究院的研究人员共同研发,他们在论文中说:“为了让虚拟机器人和VROOM的配合呈现更直观,我们用了屏幕。但是其实在使用时,不需要屏幕,只需要带着VR头显就可以了。未来,这一技术可能继续迭代,能够使用任何可驱动的带有360°摄像功能的机器人。”
作者认为,VROOM技术非常适用于需要白板书写、讨论设计的会议,这使得与会者能够和在场人一样参与进来,提高效率。
除此之外,已经有研究者将远程呈现机器人用于博物馆、远程学术会议、远距离社交等领域,但主要关注远程呈现体验本身,而不是创造全新的机器人远程呈现交互体验。
目前,VROOM仅演示了一对一的交互。未来,VROOM可能会开发多对多的应用程序,让人们在共享的混合现实工作空间中进行互动,或者与成本更低的移动机器人一起工作。