小扎深夜炸场,世界首款MR头显暴打Vision Pro!Meta版ChatGPT搬进「元宇宙」,网红神器眼镜高能现身
编者按:本文来自微信公众号 新智元(ID:AI_era),编辑:编辑部,微新创想经授权转载。
他来了他来了,小扎带着Meta Quest 3卷土重来了!
比起前几年相对安静的Meta Connect开发者大会,昨天深夜的这场大会相当震撼。
首先炸场的,就是今年六月就官宣了的Quest 3。等了三个月,实际细节终于公布了!
而第二代眼镜的强大功能,也让现场观众在演示中不断发出阵阵惊呼。
去年,价格过高的Meta Quest Pro销量惨淡,6月,苹果用Vision Pro给VR界树立了全新的标杆。
现在,Meta已经被逼得箭在弦上了——它必须拿出东西来,证明一年三百多亿美元的钱没白烧,硅谷的虚拟现实界,仍有它的一席之地。
在演讲结束时,小扎总结道:MR+AI+智能眼镜,这个组合就是未来。
在他看来,智能眼镜意味着终点——把AI和头显都结合在了一起,硬件问题终于解决了。
Quest 3:首款MR头显亮相
世界上首款混合现实头显Meta Quest 3,终于面世了!
10月10日,Quest 3将正式上架,现在已经开放预购。
125GB版本起价499.99美元,512GB版本649.99美元。
最便宜的只要3600块,这个定价是把两万多块的Vision Pro按在地上摩擦。
更不消说,Quest 3还不需要外接电池包这类东西。
VR带来的沉浸式体验,会把我们瞬间带到违反物理定律的奇幻世界。
而MR带给我们的,则是与物理世界建立联结。
通过Quest 3,你可以在VR和MR中随意切换。
而只要双击Quest 3的侧面,你就可以在VR体验和MR的混合环境之间无缝过渡,选择是完全身临其境,还是让虚拟元素叠加在周围的物理环境中。
从《行尸走肉》的比较视频中可以看出,它的视觉分辨率比Quest 2提高了30%,音域提升了40%,也比Quest 2更薄,重量分布更均衡,所以具有最大的舒适度。
我们可以在咖啡桌上弹奏虚拟钢琴。
可以在眼前玩大型乐高。
可以和朋友一起玩游戏。
也可以在客厅中打开一扇门,走进另一个世界。
与Quest 2相比,Quest 3的高保真全彩直通像素增加了10倍以上,这样就能让物理环境始终保持在我们的视线范围之内。
在家里就能和在身处异地的朋友一起看NBA。
在你的客厅中,你可以放置任何虚拟现实物品。
比如在小扎客厅的照片墙上,就贴着他在冲浪的动图。
每当走过客厅的这一角,就会看到栩栩如生的户外风景。
处理器:巅峰性能,来自高通
Quest 3是世界首款采用全新骁龙XR2 Gen 2平台的设备,后者由Meta和骁龙合作开发。
它的图形处理能力,达到了Quest 2的两倍。
此外,这也是高通首次在VR头显芯片中,内置特征检测和6DoF跟踪功能。
它可以让Quest 3等头显将「最密集」的任务之一转移到专用芯片上,不仅让用户始终能够在3D环境中保持方向,同时还能将功耗和延迟降低一半以上。
说到延迟,高通表示,头显现在可以提供全彩直通视频,平均延迟仅为12毫秒——和苹果Vision Pro的定制 R1 芯片一样快。
由此,Quest 3的加载时间也快如闪电,在沉浸式游戏中会呈现出令人难以置信的高清细节。
介绍到《刺客信条 Nexus VR》时,小扎还难掩激动地说,「终于讲到这儿了,我知道大家都在等这个,确实值得等待!」
镜片更薄,分辨率更高
在Quest 3中,Meta采用了最先进的显示器和光学元件。
与Quest 2相比,Quest 3的4K+无限显示实现了近30%的分辨率大飞跃。
每度25像素,每英寸1218像素,让Quest 3实现了整个Quest系列的最佳分辨率。
这也让Quest 3的视觉效果非常壮观,戴上它后,你简直想要伸手去触摸周围的世界。
此外,在新一代Pancake技术的加持下,Quest 3不仅在光学剖面上比Quest 2减薄了40%,而且还不会影响视觉的沉浸感。
在舒适度上,Quest 3也比Quest 2有了提升。
因为外形更薄,贴合度可以定制、重量分布更均衡,我们就可以在玩游戏时得到最舒服的体验。
100+ Xbox游戏,任你玩
另外,小扎还宣布了一个好消息:Xbox Cloud Gaming将于12月登陆Quest 3,解锁100+款游戏。
其中就包括我的世界、Roblox、Rumble、XTADIU等等,每月费用约为16.99美元。
把办公搬进元宇宙
有了Quest 3,以后你就可以在虚拟世界办公了。
Word、Excel等办公软件,都可以使用。
上班也会变得更加「有趣」。
开源Llama2,重塑Meta全家桶
接下来,就到了最重要的AI时刻。
今年,Meta还没有正式开过关于AI的发布会,都在默默地发布自己的开源模型。
先是,2月LLaMA大模型开源,一石激起千层浪,AI社区模型火炬彻底被点燃,壮大了「羊驼家族」。
紧接着,分割模型SAM、语音模型SeamlessM4T、多模态AI模型ImageBind、Code llama、Llama 2接连开源,已经打下了坚实的基础。
正如小扎所说,「这只是开始」。
接下来,就是要把AI带入Meta全家桶,开启不一样的体验。
「表情包生成器」Emu,5秒出图
前几天,OpenAI刚刚推出DALL·E 3,文生图再次上升到一个新阶段,甚至有网友纷纷表示R.I.P. Midjourney。
今天,小扎也推出了自家的人工智能图像生成模型——Emu(Expressive Media Universe)。
Emu最大的特点是,只用简单的文字,5秒即生图片。
比如:「一只在彩虹森林中的神仙猫咪」。
「徒步旅行者和北极熊」。
「水下的航天员」。
「在花丛中的一位女士」。
「如果恐龙是一只猫咪」。
与其他文生图模型相比,Emu最有趣的是,可以一键生成表情包。
当你正和人聊天时,不用绞尽脑汁去翻找一个合适的表情包了。
比如,和朋友约好了背包旅行,想要发一个生动的准备去旅行的表情包。
「一只快乐的刺猬骑着摩托车」
选择自己喜欢的一个,发送。
当然了,你可以生成各种各样的表情包,仅需要简单几个词。
很快,任何人都可以在Ins中进行图像编辑——重换风格和背景,背后就是由Emu和分割模型SAM加持。
重换风格,可以根据你所描述的风格,重构想像输出图片。
如下, 输入「水彩」,你的照片就立刻变成水彩画了。
或者,把扎克伯格小时候的照片变成「摇滚朋克风格」。
又或者给金毛换一个「长头发」,就得到了:
你甚至可以为图片更换背景。
找到一张自己躺在草坪中的照片,输入「被小狗包围」,一群可爱的小狗就伴你左右了。
又或者,家庭合照中,背景也可以随意切换。
Meta版ChatGPT终于来了
「我们每天,都会用不同的AI做不同的事」。
除了文生图,小扎正式官宣Meta自家的人工智能聊天机器人——Meta AI,可以称为Meta版的ChatGPT。
Meta AI是基于开源模型Llama2打造的,同时还连接了微软Bing搜索,能够获取实时信息。
你可以直接与它对话,甚至自研Emu加持,能够聊天生图。
想象一下,您和您的朋友正在群聊中讨论去圣克鲁斯应该走哪条小路。Meta AI会在聊天中快速给出回答。
如果徒步旅行结束后,你想用一种有创意的方式来纪念这一天,怎么办?
Meta AI可以帮你。
输入@MetaAI /imagine+描述性文本提示,比如 「创建一个带有徒步旅行者和红杉树的徽章」,就搞定了。
小扎介绍,Meta AI很快就可以在WhatsApp、Messenger、Instagram上使用。
最重要的是,今天全新发布的硬件产品Quest 3和二代眼镜都将集成Meta AI。
角色宇宙
除此之外,你还可以在Meta AI上,玩转各种角色。
也就是说,你可以得到28种不同的AI「明星助手」,每个助手都有角色定义。
比如,当你想聊聊今天吃什么,或者怎么烹饪的时候。
你就可以找经验丰富的厨师长Max,由洛杉矶最火的韩国籍厨师Roy Choi扮演。
又或者,你想写一个AI人物的故事,你就可以找擅长创意写作的Lily。
外出旅行,网红打卡地推荐,旅行专家Lorena可以为你提供建议。
美国说唱歌手「史努比狗狗」就是地下城主,引来台下观众一阵大笑。
小扎现场,还给大家亲自做演示。
看得出来,他玩得是真开心!
AI studio让每个人开发自己的AI
演示结束后,小扎又推出了一个支持创建人工智能的平台AI Studio,让会编码,甚至不会编码的人都可用。
对此,企业可以通过这个平台,创建改善客户服务体验的AI。
对于创作者来说,他们将能够构建专为元宇宙打造的AI应用。
另外,Meta还在打造一个沙盒,将于明年发布,让任何人都可以尝试创造自己的人工智能。
随着人工智能宇宙不断发展壮大,Meta预计将把这个沙盒带到元宇宙中,让每个人有机会创建更高水平的人工智能。
Ray-Ban Meta:首款搭载Meta AI的智能眼镜
本次发布会上的另一大亮点,就是全新的Ray-Ban Meta智能眼镜了!
日常戴上它,你不用掏出手机就可以和朋友打电话。
戴上它,你还可以轻松实现第一视角的视频拍摄。
随时随地能向粉丝展示自己的生活,简直是网红必备神器!
而且,只需双击两下眼镜上的按钮,即可在手机和眼镜的摄像头之间实现无缝切换。
甚至还能让你知道目前观看直播的人数,和最新的评论是什么。
功能这么炸裂的产品,卖多少钱呢?
起价299美元,10月17日上市。
这次,Meta在摄像头、麦克风和扬声器上都进行了大幅的升级。
可以说,从Ray-Ban Stories的500万像素,升级到Ray-Ban Meta的1200万像素超宽屏摄像头,提升是非常明显的。
毕竟上一款配备500万像素后置摄像头的苹果手机,还是2010年推出的iPhone 4……
拍摄方面,照片分辨率直接从初代的2592 x 1984像素,直接跃升到了3024 x 4032像素。同时,还可以实现1080p 30帧的视频录制。
不仅如此,Meta还给眼镜搭载了高通最新的骁龙AR1 Gen 1芯片。
虽然,AR1 Gen 1在性能上不是最强的,但它专门针对时尚、轻巧的智能眼镜进行了优化,不会有过热和烫伤脸部的风险。
具体来说,芯片采用了双ISP设计,可同时进行照片和视频拍摄,甚至可直接向社交媒体账户进行直播。
而对Wi-Fi 7和蓝牙5.3的支持,也让用户可以更轻松地将素材分享到网上。
此外,AR1 Gen 1还具有端侧AI(on-device AI)功能,不仅可以增强图像和音频质量,而且还可以进行视觉搜索和实时翻译。
就芯片本身而言,AR1 Gen 1理论上可以支持分辨率高达1280 x 1280的嵌入式屏幕。
但遗憾的是,Meta并未在其智能眼镜中加入任何AR技术——录制的视频不是3D的,也不能添加任何AR效果,眼镜上也没有显示屏。
不过,在设计层面,新款的Ray-Ban Meta确实更加丰富了——不仅有Wayfarer和Headliner两种镜框,而且还有一系列颜色可以自由搭配。
其中,透明的蓝色、黄色和黑色镜框,还可以显示出镜腿上电路的形状。
其他的升级还有:
多达5个麦克风的阵列(包括鼻梁上的1个),不仅可以让通话和语音指令更加清晰,而且还可以记录视频片段中的空间音频。
镜腿上搭载的开放式扬声器,音量和低音效果也比初代更好。
镜框更加轻薄,具备IPX4防水功能,充电后可持续使用4小时,在附带的皮套中充电可再使用32小时或大约8次充电。
有了Meta AI,什么都能做
然而,对于AI的升级,Meta可以说是画了个大饼。
也就是,今天全新发布的Meta AI,要等到明年才能上机。
等到那个时候,具备有多模态能力的Ray-Ban Meta,才算是一款完整的智能眼镜——
识别镜头拍摄到的物体、读取眼前的文字都不在话下,甚至还能给照片或视频配文。
如果你擅长给自家猫猫拍照,想分享给广大网友,却不擅长写文案怎么办?
Meta AI也给你包了!
如果你正在旅游,却不知道眼前的景观是什么,可以直接问Meta AI。
根据眼镜里实时呈现的镜像,它就能告诉你眼前是什么。
不过,目前还不清楚,在得到完整AI加持之后的Ray-Ban Meta眼镜,能不能充当一个智能助手的角色。
与此同时,它又该如何成为一个「没有屏幕」的AR类产品,也还是个谜。
但无论如何,在生成式AI大爆发的这一年,Meta也没有落下。
这次发布会交出的答卷,可以说非常精彩,并不逊于苹果的Vision Pro,而且后者目前还并未正式售卖。
这就更让人期待,硅谷巨头们的VR大战了。
参考资料:
https://www.facebook.com/Meta/videos/1038522214125952/
本文(含图片)为合作媒体授权微新创想转载,不代表微新创想立场,转载请联系原作者。如有任何疑问,请联系http://www.idea2003.com/。