地表最强全息AR眼镜问世!Meta十年绝密豪赌烧10亿,现场开箱老黄亲测
新智元报道
编辑:Aeneas 桃子
【新智元导读】就在刚刚,小扎携掉最强AR眼镜Orion登场!Meta首款AR眼镜,苦研十年后,终于诞生了,成本高达10000美元。果然,小扎让我们离元宇宙又近了一步。这会是一次全新的范式转变吗?
Meta首款AR眼镜,终于亮相了!
酝酿十年,烧钱数十亿,作为小扎元宇宙宏图大业的一部分,我们今日终于得见Meta AR眼镜的真容。
这款名为Orion的产品,由带MicroLED 投影的眼镜、人机交互的腕带、提供计算能力的小盒子组成。
轻快的外观,领先行业的AR体验,Meta再为业内做出开创性的壮举。虚拟现实世界的入口,元宇宙的雏形,或许就是这般样子。
有趣的是,因为制作成本高达10000美元,这款眼镜本次仅做展示之用,是产品原型,并不会正式发售。
英伟达老黄已经试戴上了
每个计算平台,都会带来我们与设备交互方式的范式转变。上一次是鼠标、智能手机,这一次,会是AR眼镜吗?
此外,在Meta Connect 2024发布会上,其他重要产品也悉数亮相——
Meta Quest 3S头显眼镜发布;Meta Ray-Ban眼镜上线新功能;Meta首个拥有多模态能力的开源大模型Llama 3.2亮相。
AR眼镜:元宇宙入口的新范式?
地表最强AR眼镜,终于诞生了!
在昨晚的发布会上,小扎激动地向全世界展示了这款地表最强AR眼镜。
研发过程,经历了整整十年。目标很简单,但技术挑战却极其艰巨。
目标有多简单,无非是要满足是眼镜而非头戴设备、无线、重量不超过100g、宽广视野、全息显示、清晰度够高、能捕捉到细节、亮度足、在不同光线下都能看清、显示面积够大、足以呈现电影银幕或多个工作用显示器、能透过它看到外界这些要求罢了。
研发工程师们呕心沥血了整整十年,终于做出了Orion。
注意,这不是透视效果,这是物理世界上面叠加了全息图
如果收到消息,你不必掏出手机,只要在全息图中做出几个手势,就可以回复了。
远方的人,可以以全息图的形式瞬间传送到你身边。
敲敲手指,你就可以玩纸牌、象棋、全息乒乓球了。
小扎表示,Orion会给未来的元宇宙世界提供更多入口。
可以说,它包含着AI空间计算终极形态的野心。
比起苹果过于笨重的Vision Pro,Orion的确有了未来空间计算AI设备的雏形。
此次发布的Orion,具有宽视野显示器,内置无线AI,是Meta十年来一直致力实现的事。
显示器
在Orion中,Meta选择了微型LED显示器。
可以说,这款AR眼镜的最大挑战,就是显示器。
由于需要以不符合原理的方式弯曲光束,团队需要建造一个全新的显示架构。
它可以让眼镜框架中的微型投影仪将光线射入波导,将纳米级3D结构打印到透镜中,使光线发生折射,从而在我们的环境中显示不同深度和尺寸的全息图。
为此,团队没有使用玻璃光学器件,而是使用了碳化硅的新材料。
后者很轻,不会产生奇怪的光学伪影或C stray散光,且具有非常高的折射率,这,就是实现大视野和有效利用光子的关键。
散热
另一个挑战就是散热。我们不可能把风扇塞进一副眼镜里,怎么办呢?
唯一消除热量的方式,就是将其辐射出去。
团队做了两件事。首先,框架由散热材料镁制成。其次,Orion中的许多定制组件也是用镁材料设计。
而且团队构建了数十个定制硅芯片,不仅节能,还能针对AI机器感知和图形算法进行优化。
这样,Orion就可以采用手眼跟踪以及slam算法,大大降低了算法所需的功耗。
外形
Orion的尺寸为一英尺,具有光学对准功能,精度达到了人类头发丝厚度的1/10。
它有七个微型摄像头和传感器,尺寸很小,因而可以嵌入镜框边缘。
Meta表示,在目前最小的眼镜外形中,他们实现了可用的最大视野。
这使得数字内容能与我们所看到的世界融为一体。
全新互动模式:肌电图腕带
传统的AR眼镜,是用语音控制和手眼跟踪来导航用户界面。
但Meta认为,我们还需要一种更谨慎、私密的全新方式,跟AR眼镜进行交流。
这就是全新上线的肌电图腕带和眼球注视功能。
腕带会检测你的神经运动信号,这样你就可以用手势进行点击。
只需看着目标,就可以进行选定。
总之,Orion的输入和交互系统,将语音、眼镜注视、手部追踪和EMG腕带无缝结合,让我们可以更轻松、更快、更舒适地操作。
AR眼镜能否成为主流?Meta表示,只要解决了这两个问题,就能实现。
第一,能否实现根本性的技术突破,比如将大显示屏融入一副普通眼镜中?
第二,什么用例是你只能在AR眼镜上操作,不能在其他设备上完成的?
而Orion原型,就是Meta对这两个问题的回答。这个原型是对未来的一瞥,现实已触手可及。
虽然作为消费产品,它的价格仍然昂贵得吓人,但毫无疑问,它可能是未来最先进的消费电子产品,是自智能手机以来最有影响力的新设备。
在下一波以人为本的计算浪潮中,借助Orion,Meta又迈出了重要一步。
Quest 3S,价格比Vision Pro亲民
混合现实头显Quest 3在6月初首次发布之后,Meta这次推出了同系列低配版Quest 3S头显。
相较于原版(499美元起),Quest 3S更具性价比,仅卖299.99美元(约2100元)。
Quest 3S与Quest 3也有着相同的功能:
高分辨率全彩混合现实,能够让物理世界和虚拟世界无缝融合,并在高通Snapgon XR2 Gen 2搭载。
通过Touch Plus控制器,可以进行手部追踪的自然交互。
当然,Quest 3S也是采用的Meta自研Horizon OS系统,各种娱乐、健身、社交、游戏应用,应有俱全。
而且,随着软件定期更新,头显也会变得越来越好。
若说这两款头显,有何不同?
最主要的变化在于设计、菲涅尔透镜(Fresnel lenses),以及略有缩小的视角场(FOV)。
Quest是一款集家庭娱乐系统和私人教练于一体的产品。
Connect大会上,宣布了全新Prime Video、亚马逊音乐、Twitch程序上线,未来还将推出Alo Moves XR和SuperNatural Together多人的健身应用程序。
值得一提的是, DC知名游戏Batman: Arkham Shadow终于在Quest 3系列头显中免费玩。
在VR世界中,体验蝙蝠侠前所未有的世界。
与此同时,戴上头显办公,也是一个不错的选择。
Meta将微软办公软件集成到应用之中,画布延展,多人协作,打工人都不曾想到,未来办公这么美好。
很快,Quest头显也将轻松连接到Windows 11个人电脑上,通过键盘直接配对。
电脑屏不够用,也不用外接显示屏了,一个Quest头显就能实现。
Meta称,我们正在建设的:不是下一个游戏平台,而是下一个计算平台。
在这个平台中,你可以看电影、听音乐、做电子表格、与朋友一起玩游戏,闲逛,甚至聊天。
因此,计算平台系统Horizon OS,便是开启这一幕最理想的界面。
会上,Meta还公布了基于Horizon OS平台上工具更新。
主要有扩展混合显示功能的套件,比如音频到表情、声线追踪(ART)、微手势、直通摄像头访问API等。
如下,是通过微手势触发移动的示例。
另外,在虚拟化身上更新,Meta计划让照片在虚拟空间动起来。
这就非常类似,苹果Vision Pro中的「空间视频」。
这里,Meta将其称之为Hypersscape,可以将你带入照片中的虚拟世界,就像是在一个平行时空中的自己。
这背后就利用高斯渲染技术,通过云渲染和流媒体方式,让其在Quest 3头显中活灵活现。
小扎在主旨演讲中,展示了纽约Daniel Arsham的艺术家工作室。
通过手机扫描房间,并在Horizon中便可轻松将物理世界,带到数字世界中。
根据官方定价,配备128GB入门级Quest3S,仅需299.99美元。256GB存储空间,售价399.99美元。
想要直通顶级体验,那就得配上512 GB Quest 3。
新增记忆能力,Ray-Ban眼镜再升级
另一边,首发自研AR眼镜之外,Meta还为Ray-Ban眼镜更新了一些新功能。
几个月前,集成Meta AI助手眼镜,大秀了一场。
这次,Meta称不用说「嘿,Meta」,直接用唤醒词即可开启对话,让人与设备之间交谈更丝滑。
比如,当你拿起面前这件衣服,盯着它并表示,「帮我记住这件夹克,这样我就可以向Nas展示」。
同时,Ray-Ban眼镜新增了记忆功能。
假设当你打飞的到了某个地方时,不必绞尽脑汁记住自己在哪里,眼镜就可以为你代劳了。
而且,更贴心的是,你可以用自己声音设置一个提醒——安全着陆时,三个小时内给妈妈发短信。
眼睛看哪,Ray-Ban便会指向哪。
比如,看着传单上的电话号码、或者二维码,眼镜可以根据你所看内容,采取行动。
另外,眼镜的视频输入正添加Meta AI助手支持,方便获得实时的帮助。
当你去另一座城市,遇到新的地标,或者想要了解下一步旅行计划,直接可以与Meta AI实时交流。
大会上,Meta还预告了下一个新功能——实时翻译。
当你与西班牙语、法语、意大利语的人交谈时,可以通过眼镜的开耳扬声器,直接听到的是「英语」的版本。
小扎现场和同事演示了,西班牙语和英语如何无缝交流精彩一幕。
这简直就是异域旅行者们的福音,完全无障碍畅玩全世界。
总结一波:Quest 3S头显、雷朋智能眼镜、全息AR眼镜、Llama 3.2大模型……这届Meta Connect 2024大会,小扎赢麻了。
参考资料:
https://x.com/boztank/status/1838999636402647453
https://about.fb.com/news/2024/09/introducing-orion-our-first-true-augmented-reality-glasses/
https://www.meta.com/blog/quest/connect-2024-keynote-recap-quest-3s-llama-3-2-ai-wearables-mixed-reality/