新知一下
海量新知
6 0 7 1 4 4 7

谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能

VR陀螺 | VR陀螺:关注热点、趣闻、产业 2021/12/02 12:15

看日报是个好习惯。

 谷歌分享Starline 项目细节 及早期反馈结果

2021年5月,谷歌在I/O大会展示了Starline项目,Starline结合了谷歌在3D成像、实时压缩、空间音频,以及“超级光场显示系统”的研究,当这些技术结合在一起时,可以让用户产生一种面对面的真实感。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能

图源:blog.google

谷歌近日在有关Starline项目的技术论文中做了更为详细分享:

Starline项目是一种高保真远程呈现系统,随着我们开始在美国各地的谷歌办公地点扩大Starline项目的应例,受到了良好反馈的鼓励。谷歌员工已经花费数千小时使用Starline项目来进行面试、结识新团队、协作等线上活动。

许多用户注意到进行眼神交流的能力是多么强大,以及他们感受到的参与度与联系度有多大。其中一位用户,将这种体验与在咖啡间聊天进行了比较,认为这是一种真正的互动,会让你想靠近并专注于另一个人。

谷歌测量了数百名谷歌员工使用Starline项目的体验影响,结果表明这种形式与传统视频通话相比,更为接近与某人共处一室。他们发现视频通话中,经常丢失一些最为重要的信号,比如注意力、记忆力和整体存在感。他们发现,Starline项目与传统视频通话相比:

  • 人们表现出更多的非语言行为,比如增加约40%的手势动作、约25%的点头动作,以及约50%的眉毛动作;

  • 使用Starline项目时,人们的记忆力要好得多,当被要求回忆他们的谈话细节或会议内容时,记忆力提高了近 30%;

  • 在眼动追踪实验中,人们对会面伙伴的关注度增加了约 15%,这表明使用 Starline 项目时视觉注意力得到了增强。

这些早期的正向反馈表明,Starline项目有望促进更多远距离的个人联系。随着谷歌和更多公司进行工作的未来探索,他们对现代工作场所深化员工之间的联系和协作潜力感到乐观。

 Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能

马克-扎克伯格证实,Oculus Quest和Meta Quest 2即将更新v35版本,将增加iPhone的MR捕捉和Messenger呼叫功能,但没有提到Android的兼容性,Quest的v35更新将全球范围内陆续推出。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能

Quest MR捕捉功能(iPhone)

图源:uploadvr

MR捕捉指的是用iPhone的摄像头录制VR玩家的体验,并让捕捉到的画面呈现在给定的VR应用中。因此,你可以搭建好绿幕并拍摄玩《Beat Saber》的人,这样拍摄出来的玩家就能与游戏场景融合在一起。

该功能与Live Overlay不同,Live Overlay在Quest v29中出现,让用户将他们的VR视图投到iPhone上,主要是将内容图像叠加在背景之上。

目前MR捕捉仅支持少数几个应用程序,包括《Beat Saber》《Pistol Whip》《Synth Riders》和《Superhot》。

除此之外还会更新Messenger呼叫功能,可能允许你将Quest作为网络通话设备使用,就像使用智能手机或PC一样,并支持云备份。最后,扎克伯格还确认,"在未来几周内"将为 Horizon Workrooms提供新的定制选项。

 研究表明,脑电图可用于定量测量及预防VR晕动症

一项关于VR晕动症的新研究得出结论:通过EEG检测的某些大脑活动与VR晕动症密切相关。这一发现表明,有可能定量地测量和潜在地预防VR晕动症。

虽然VR打开了一扇不可思议的大门,但我们现在能用VR实际做的事情至少在某种程度上受到了舒适性考虑的限制。当开发者在逐步发明新的技术来保持VR内容的舒适性,科学家们也在努力了解晕动症的原理。

德国耶拿大学的研究人员在同行评议杂志《人类神经科学前沿》上发表了一项新的研究,在测量大脑活动的同时有意诱导参与者出现VR晕动症。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能

图源:RoadToVR

14名受试者被连接到脑电图EEG帽上,并戴上PSVR头显。在使用头显的过程中,45分钟的时间里,让参与者接受越来越多的人工动作,诱发VR晕动病。除了通过脑电图(EEG)记录大脑活动外,受试者还在整个实验过程中主观地评估自己的晕动病症状。

研究人员发现,大脑活动变化的一个共同模式与受试者自己对晕车的感知密切相关。

具体来说,研究人员写道,“相对于基线脑电图(VR), 10Hz以下(大脑)频率的功率谱在大脑所有区域都有所增加,频率功率的增加与晕车程度呈正相关。

研究人员Matthias Nürnberger, Carsten Klingner, Otto W. Witte和Stefan Brodoehl给出了以下结论:

“我们已经证明虚拟现实诱发的晕动病与大脑功能和连通性的显著变化有关。在此,我们根据预测编码模型提出了前庭神经刺激不足时视觉信息不匹配的主要原因。大脑活动的变化究竟是由感觉冲突引起的还是由晕车引起的,还需要进一步研究。鉴于虚拟现实的重要性与日俱增,深刻理解VR晕动症所带来的限制将变得越来越重要。防止多发性硬化发生的措施或在早期阶段协助检测它无疑将提高这一有前途的技术的进展。”

研究结果进一步证明,通过脑电图等非植入性硬件可以客观地检测晕动病,从而指导未来对VR晕动病和VR舒适技术的研究。

首先,EEG测量可以客观评价虚拟现实舒适度技术的有效性。

目前,VR内容开发商采用了各种知名的VR舒适性技术,例如快速转向和瞬间移动,以减少VR晕动病发生的几率。但并不是所有的VR舒适技术与其他技术或个人相比都具有同样的效果。通过脑电图(EEG)建立晕动病的定量测量,可以帮助改善虚拟现实舒适度技术,甚至可以通过提供更清晰的反馈,使测试更加客观,从而发现新的技术。

这样的测量还可以提供给终端用户的舒适度评级,帮助那些对VR晕动症敏感的用户找到合适的内容。

脑电图大脑感知技术正变得越来越普及,并且已经集成到商业VR硬件中。在未来,配备EEG的耳机可以让开发者实时检测用户的晕车程度,允许内容调整或VR舒适技术自动启动,让用户在VR中玩或工作时感到舒适。

 VR手持手柄形态即将成为过去式?NOLO轻小型“交互戒指”研究取得新突破

今日据NOLO官方视频号显示,NOLO对硬件轻量化的研发又有了新进展,目前已率先完成VR手柄形态“戒指化”的重要实践。视频中,NOLO使用戒指形态的交互手柄代替了传统的手持手柄,类似戒指形态的交互手柄应该是一次大胆尝试。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能

目前市面上主流的6DoF 交互手柄都是手持式的,形态大同小异,在过去两三年里几乎没有发生太大变化。根据产业链上游的信息,VR头显明年将迎来重大变革,采用短焦光学、轻薄化、更高分辨率的头显明年将陆续上市。但是6DoF 手柄会不会迎来革命性的迭代,业内一直都在观望。NOLO这次发布的戒指形态的手柄,让玩家彻底解放双手,给行业提供了非常好的借鉴和思考方向。

 苹果新专利:未来HMD可对物体进行追踪识别,包括空中手势

今天,美国专利商标局正式授予苹果一项专利,该专利涉及未来的混合现实头显设备,更具体地说,涉及混合现实HMD的物体追踪。未来的HMD或眼镜将使用可以识别和跟踪物体、表面和空中手势指令的传感器。

苹果公司的发明涵盖头戴式设备,如头戴式显示器、头盔、面罩、智能眼镜、平视显示器等,可以执行一系列功能,这些功能由可穿戴设备所包含的组件(如传感器、电路和其他硬件)管理。

头戴式设备可以配备各种向外和向内的传感器。这些传感器可以识别和跟踪物体、表面和用户手势,如手和身体运动。

头戴式设备可以从设备中收集数据和/或与设备有关的数据,并作出某些确定,以帮助向用户显示表示(例如,虚拟渲染)的过程。

例如,可以为一个物体提供指示器,让头戴式设备同时确定该物体的身份和特征(例如,位置、方向、距离等)。因此,同样的指示器可以用来确定必要的信息,以类似于物理对象的方式产生该对象的虚拟表现。

作为进一步的例子,一个可由头戴式设备识别的电子设备可以以一种在电子设备和物体之间保持固定相对位置和方向的方式连接到另一个物体上。

头戴式设备可以确定该电子设备的身份和特征(例如,位置、方向、距离等)。有关电子设备的信息可用于以类似于物理物体的方式产生物体的虚拟表示。例如,一个电子设备可以连接到另一个物体上,并收集数据,传输到头戴式设备上进行分析。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能 图源:patentlyapple

苹果公司的专利图1说明了头戴式设备的透视图;图2说明了头戴式设备、个人设备和电子设备的视图;图4说明了头戴式设备提供了显示个人设备的虚拟表示的显示器。

苹果公司的专利图7说明了一个电子设备和个人设备的透视图;图8说明了一个连接到个人设备的电子设备的透视图;图9说明了一个连接到个人设备的电子设备的透视图;图12说明了一个连接到个人设备的电子设备透视图。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能 图源:patentlyapple

苹果公司的专利图11是一种电子装置,可以附着在一个物体上,以便于通过头戴式设备确定其特征。

电子装置#900可以包括任何与头戴式设备通信的电子装置。例如,电子设备#900可以是一个供用户操作的输入设备。虽然电子设备#900被显示为手写笔,但可以理解的是,可以考虑其他类型的电子设备,例如手机、平板计算设备、移动计算设备、笔记本电脑计算设备、游戏控制手柄、手表、数字媒体播放器、可穿戴设备(衣服、手套、鞋子、珠宝、服装等)、显示器、电视等。

可以理解的是,除了头戴式设备的可探测性之外,电子装置#900还可以为其他目的服务并提供功能。因此,电子装置#900是一个可以在与物体#990一起使用时提供一组功能,而在不与物体#990一起使用时提供另一组功能的装置。

对象#990可以是能够由头戴式设备表示(例如,视觉上)的任何对象。例如,对象#990可以是外部环境中的任何对象,以便由头戴式设备在虚拟环境中表示。

此外,对象#990可以是任何能够被用户操作和/或操纵的对象。虽然对象#990被显示为体育设备项目(例如,网球拍),但可以理解的是,其他类型的对象也是可以考虑的,例如工具、仪器、游戏控制手柄等。

在使用HMD的过程中,这些物品可以由用户持有和/或操纵。例如,对象#990在空间中的位置、方向、移动和/或其他操作可以被解释为用户输入。

此外,该对象还可以是一个输入设备。例如,该对象可以是一个键盘、触控板、鼠标、轨迹球、游戏控制手柄、遥控器、手写笔、操纵杆等等。这些物品在使用过程中可以由用户持有和/或操纵。例如,用户可以操作对象#990的输入组件。

如图11所示,对象#990可以包括一个对象连接元件#992。电子设备#900可以通过对象附着元件#992(和/或电子设备的特征,例如电子设备附着元件)可释放地连接到对象#990。在相互连接的时候,电子设备#900和对象#990可以保持固定的相对位置和方向。

欲了解更多细节,请查阅苹果公司的授权专利11,189,059。

 苹果新专利:未来HMD及智能眼镜或将配备带有互连功能的扬声器系统

一年前,美国专利商标局授予苹果公司一项专利,该专利为苹果未来的混合现实头显提供了出色的音频系统,其中包括可作为附件出售的磁力可拆卸扬声器。今天,美国专利商标局正式授予苹果公司另一项专利,该专利涉及头戴式设备,特别是涉及带有提供互连功能的扬声器单元的头戴式设备(HMD、智能眼镜)。这项专利似乎涵盖了一种集成式的扬声器系统,可以是标准的音频系统,也可以是节省成本的入门级设备。

苹果这项专利还涉及到其他可能被纳入未来头显的功能,包括可以进行面部特征检测、面部运动检测、面部识别、眼动追踪等功能的传感器。

苹果的专利指出,头戴式设备,如头戴式显示器、头盔、面罩、智能眼镜、平视显示器等,可以执行一系列功能,这些功能由可穿戴设备包含的组件(如传感器、电路和其他硬件)管理。

头戴式设备可以从环境和/或用户那里捕捉各种类型的输入(例如,视觉、听觉、触觉等)。头戴式设备还可以向用户和/或环境提供各种类型的输出(例如,视觉、音频、触觉等)。

可能需要尽量减少头戴式设备的空间和重量要求,以提高用户在佩戴和操作头戴式设备时的舒适度。一些组件可以放置在用户面前,以提供某些功能,如提供视觉输出或眼睛感应功能。

其他组件可以沿着头戴式设备的其他区域分布,包括将显示单元固定在用户头上的头部固定元件(例如,带子)。扬声器单元可以被安置在用户的耳朵附近,以提供音频输出。此外,扬声器单元的结构部件可以提供位于扬声器单元相对侧的其他部件之间的可操作连接。

本公开的系统可以包括一个具有扬声器单元的头戴式设备,该扬声器单元为其自身的组件提供结构支持,并在其他组件之间提供电气连接。扬声器单元背板内导电条的排列可以提供扬声器组件所需的结构支撑,同时允许扬声器单元相对一侧的组件可操作地相互连接。通过用背板的导电条提供这两种功能,所需的总空间减小,从而使头戴式设备的头部固定元件(例如,带子)能够使用更薄的结构。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能 图源:patentlyapple

苹果公司的专利图1说明了一个头戴式设备的侧视图;图2说明了一个头戴式设备的框图;图3说明了一个头戴式设备的扬声器单元的透视图。

除了作为专利核心的集成扬声器之外,该专利还深入探讨了未来头显的其他方面,包括各种传感器和摄像系统,具体如下:"头戴式设备可以包括一个或多个其他传感器。这种传感器可以被配置为基本上感知任何类型的特征,如但不限于图像、压力、光、触摸、力、温度、位置、运动等等。”

“例如,传感器可以是光电探测器、温度传感器、光或光学传感器、大气压力传感器、湿度传感器、磁铁、陀螺仪、加速度计、化学传感器、臭氧传感器、微粒计数传感器等等。通过进一步的例子,该传感器可以是一个生物传感器,用于跟踪生物特征,如健康和活动指标。其他用户传感器可以进行面部特征检测、面部运动检测、面部识别、眼动追踪、用户情绪检测、语音检测等。"

该专利还涉及注视点/眼动追踪、用户情绪检测、用户情感检测、语音检测和基于投影的系统,该系统可采用视网膜投影技术,将图形图像投射到人的视网膜上。投影系统也可以被配置为将虚拟物体投射到物理环境中,例如,作为全息图或投射在物理表面上。

想了解更多专利详情,请查阅苹果公司的授权专利11,190,864。

 苹果HMD新专利:将配备场景相机系统,利用镜子为用户呈现更准确图像

今天,美国专利商标局正式授予苹果公司一项专利,该专利涉及场景相机,通过使用一系列的镜子,能够使HMD前面的场景更接近用户的眼睛,以实现对场景更准确的呈现。

虚拟和混合现实系统的模拟环境可被用来为多种应用提供交互式用户体验,例如将虚拟内容添加到观看者环境的实时视图中、生成3D虚拟世界、与虚拟训练环境互动、游戏、远程控制无人机或其他机械系统、查看数字媒体内容、与互联网互动、探索虚拟景观或环境等。

为了使模拟或增强的环境尽可能逼真,苹果公司的发明侧重于本领域中已知的场景相机。

据苹果公司称,例如,场景相机可用于混合现实(MR)或虚拟现实(VR)系统中的视频透视(see-through)设备。

在传统的视频透视设备中,一个或多个场景相机可以安装在设备的前面。然而,这些场景摄像机通常不与用户的实际视点(POV)保持一致。苹果公司的场景相机至少会部分纠正相机的POV,通过在更接近用户眼睛的位置对相机的入口瞳孔进行成像,从而更接近用户的POV。

苹果公司的场景相机系统可能包括镜子和相机,这些镜子和相机可以捕捉由镜子反射的场景中的光线。通过使用镜子反射光线,相机的入口瞳孔在更接近用户眼睛的位置成像,以实现对用户视角的更准确的呈现。

苹果公司的专利图1说明了入口瞳孔位于或靠近用户眼睛的相机阵列;图4说明了在场景相机系统中使用弯曲的镜子;图5根据一些实施例说明了在场景相机系统中使用分段式镜子。

新知达人, 谷歌分享Starline项目细节及早期反馈结果;Quest v35更新后将增加iPhone MR捕捉、Messenger呼叫功能 图源:patentlyapple

苹果公司的专利图6是一个场景相机系统的操作方法的高级流程图。

欲知更多详情,请查阅苹果公司的授权专利11,187,914,标题为“基于镜子的场景相机”。

更多“谷歌”相关内容

更多“谷歌”相关内容

新知精选

更多新知精选