真 AR 眼鏡來了!十年保密項目燒錢數十億,Meta 最強 AI 加持,黃仁勳首測
未來的眼鏡會長成什麼樣子?不知道有多少人設想過。
和現在的體積差不多,導航時變成移動的 HDR,視頻通話時對方的動態形象懸浮在空中,鏡片能顯示所有你需要的內容......反正就和貝吉塔、鋼鐵俠戴的那種差不多。
今天凌晨,Meta 發佈的首款 AR 智能眼鏡 Orion,讓我們離這個理想中的產品更近了一點。雖說過去的幾年陸續有 AR 眼鏡發佈,但共性也很明顯:要麼功能單一隻是個移動投影儀,要麼體積笨重價格昂貴,完全不適合大衆市場。
點擊視頻全方位瞭解 Meta Orion
和先前的產品相比,Meta Orion 不厚重的外觀和集成的 AR 功能,讓大家再次看到了 AR 眼鏡落地的希望。
而且 Meta Connect 2024 作爲發佈會十週年的重要節點,扎克·伯格還帶來了其他新玩意兒:
Meta Orion 智能眼鏡驚豔登場,AR 體驗領先行業;
Meta Quest 3S 頭顯 MR 眼鏡發佈,Quest 3 的「青春版」沒新意但更便宜;
Meta AI 繼續升級,助力頭顯硬件有更好的使用體驗;
Meta Ray-Ban 的 AI 新功能:實時翻譯、個性穿搭建議,還能幫你記車位
Meta 首個開源大模型 Llama 3.2 亮相,擁有多模態能力。
AI +硬件是今年所有消費電子品繞不過去的話題,那 Meta 究竟是如何將自家的大模型與新品硬件相結合?萬衆矚目的 Meta Orion 智能眼鏡究竟長什麼樣子?我們一起來看看。
Meta 首款 AR 眼鏡驚豔亮相,花十年「all in」的明日產品
在扎克伯格的構思中,眼鏡應該是最佳的「未來派」設備。
在此之前,已經走入大衆市場並且取得了不錯戰績的聯名眼鏡 Ray-Ban Meta,成功驗證了市場對智能眼鏡的接受程度。
但這個產品,只能說完成了 Meta 目標的一半:Ray-Ban Meta 主要提供音頻、攝影和部分 AI 功能,簡單來說還是一個戴在眼睛上的傳統設備。
而被扎克伯格稱爲「無可挑剔」的完全體,也就是 Meta 首款 AR 智能眼鏡 Orion,秘密研發了十年,投入了幾十個億美元,今天終於從保密箱中被取出,露出了廬山真面目。
對這款眼鏡的第一印象,自然是這個極其接近普通太陽眼鏡的外觀設計,馬上和市面上現有的「大老粗」競品拉開了不小差距。
因爲眼鏡也必須要好看。
當然,這也是因爲 Meta 並沒有選擇將所有的組件集成到一個眼鏡的形態上。Meta Orion 一共由三個部分組成:眼鏡本體,一個手勢追蹤腕帶,以及一個遙控器大小的「計算模塊」,三者無線連接。
這種「分體式」的方案,加上機身採用了更輕的鎂材料,Orion 眼鏡本體實現了驚人的 98 克重量。作爲對比,Snap 上週發佈的全新 AR 眼鏡 Spectacles 重達 226 克。
上:Meta Orion,下:Snap Spectacle
更讓人印象深刻的是,擁有輕薄機身的 Orion 能夠實現 2 小時左右的續航,更粗更重的 Spectacles 只有短短的 45 分鐘。
眼鏡最核心的 AR 投射能力,Orion 在不少方面做到了「遙遙領先」。
Orion 的鏡片並非是玻璃顯示屏,而是碳化硅透鏡,鏡框上微型的投影儀會將光發射在波導中,而波導投射在透鏡上,從而顯示出具有不同縱深和大小的 AR 虛擬內容(扎克伯格稱其爲「全景圖」)。
據 The Verge 的測試,Meta Orion 的視場角高達 70 度,可能是行業內擁有最寬視野的 AR 眼鏡。
根據現有的演示視頻,用戶可以戴着眼鏡打開多個 Meta Horizon App 窗戶進行多任務,或者用 Meta AI 對現實世界的事物進行識別、標註。
即使用戶的視角從這些窗戶上面移開,這些虛擬的投射會一直「存在」,靜候用戶的目光再次迴歸。
至於投射的畫質和清晰度,用來看圖文不是問題,但你暫時不會想用這個眼鏡看電影。
Meta 擅長的社交能力也和 AR 眼鏡碰撞出了新的花樣,通話中的好友會以一個全息投影的形象出現在你的面前,不過目前還比較粗糙。
Orion 也有一個朝內的攝像頭用於掃描佩戴者的臉部,生成一個實時的建模,用於和手機用戶的視頻通話畫面。
交互方面,Meta Orion 支持眼動追蹤、手勢操控和 AI 語音操作,佩戴配套的腕帶能夠實現更精細的手勢操作。
這個腕帶可以識別一些手勢:拇指捏住食指可以選擇內容;捏中指和拇指可調用或隱藏應用程序啓動器;用拇指抵住合攏的手掌做出拋硬幣的手勢,即可向上或向下滾動,總體來說非常自然。
值得一提的是,腕帶還提供了觸覺反饋,讓你知道手勢有沒有被成功識別,解決了目前 MR 交互的一個痛點。
這個腕帶的原理是通過肌電圖,來讀取與手勢相關的神經信號,The Verge 甚至評價它「有點像在讀心」。
圖源:The Verge
有了這個腕帶,用戶可以把目光當作 Orion 界面的指針,捏合當作點擊,整體體驗非常自然,更重要的是,如果要在公衆場合用 AR 眼鏡,不用再尷尬地對着空氣「發號施令」或者「指手畫腳」,雙手插兜也能完成交互。
在 Ray-Ban 眼鏡上已經初露鋒芒的 Meta AI,和 AR 也結合出了新玩法,現在能夠進一步和現實世界進行交互。
在實機體驗中,The Verge 用 Orion 快速識別、標註了桌上放着的食材,並讓 Meta AI 根據這些材料生成了一個奶昔的食譜。
雖然扎克伯格表示,Meta Orion 是一款面向消費者打造的產品,但目前的 Orion 設備還是原型機,只面向部分開發者和體驗人員提供,其中包括老朋友黃仁勳。
Meta Quest 3S,平價版 Vision Pro 的樣子?
扎克伯格登場不到十秒,就公佈了 Quest 3S 的價格,這在一衆電子產品的發佈會中實屬罕見,不過還是得感嘆一句,開門見山、只講重點的感覺,真的很棒。
總的來說,Meta Quest 3S 其實是 Quest 3 的「青春版」,128GB 起售價爲 299.99 美元(約合人民幣 2108 元),256GB 起售價是 399.99 美元(約合人民幣 2810 元)。
從配置來看,Quest 3S 搭載了 Snapdragon XR2 Gen 2 處理器,也就是 Quest 3 的同款,而且也同樣支持手部追蹤。
看完發佈會,我感覺比起 Quest 3S 這個命名,其實叫它 Quest 2 改良版會更合適。先前有消息稱,作爲更加「性價比」的選擇,Quest 3S 還是使用了與 Quest 2 相同的透鏡,機身整體會比 Quest 3 更厚重一些。
雖然在硬件配置方面 Quest 3S 不及 Quest 3,但在軟件生態的體驗上,卻和老大哥基本持平,Quest 3S 同樣可以在 HorizonOS 中獲得豐富的娛樂以及辦公功能。
去年 Quest 3 發佈後,評價一直褒貶不一,其中最被人詬病的是啓用視頻透視後,延遲過高和畸變嚴重,扎克伯格稱,經過了一年的優化改進,現在的體驗有了很大的升級,特別是在 VR 功能、手部追蹤和軟件適配這三個方面。
用戶現在可以在兩款產品上,把 2D 網頁直接轉變爲沉浸式辦公,就像 Vision Pro 那樣,把在設備中打開的界面放在空間的任何位置。
另外,在 Quest 3S 上的劇院模式,可以把單獨的界面擴展成一個巨幕影院,屏幕範圍能擴充到整個空間裡。沉浸式觀影在頭顯設備上已經不是什麼新鮮玩意兒了,能適配多少片源和平臺,纔是拉開各家產品體驗的核心。
Quest 3S 支持目前各大歐美主流的媒體平臺,Netflix、YouTube 和 Amazon Prime 等都能使用劇院模式觀影。
電影和遊戲是 VR 頭顯的娛樂必備,在此基礎上的附加功能,往往也能體現出產品本身的性能,這次發佈會還公佈了 Quest 3S 的新功能——Hyperscale。
用戶通過手機掃描房間的輪廓細節,以及傢俱擺放的位置,接着就能在 Quest 3S 重新構建出一個接近 1:1 的復原場景。
從發佈會的演示來看,場景還原度真的不錯,毛邊和扭曲不是太多,以後線上沉浸式看房,或者足不出戶地遊玩博物館或者名勝古蹟,又多了一個可以實現的平臺。不過除此之外,場景復原的實用性究竟還有哪些?要如何結合每個地區不同的情況將技術落地,是 Meta 和 Quest 今後需要回答的難題。
Meta 的全稱是 metaverse,即元宇宙。Facebook 當年改名 Meta 表明了扎克·伯格對新技術探索的決心,而 Meta 也成了最先一批向元宇宙進軍的科技巨頭。所以「元宇宙」也就成了每次 Meta 新品發佈必提及的部分,儘管他們已經在這個領域碰了很多壁。
扎克·伯格在發佈會上介紹,Meta Quest 3S 推出了沉浸式社交的增強功能,Quest 的用戶現在可以在設備中創建虛擬形象,和彼此一起通關遊戲,或者組隊進行健身,又或者去聽一場線上的演唱會。
隨着 Quest 3S 的發佈,Quest 2/Pro 也宣佈徹底停產,另外 Quest 3 的價格也從 649 美元降至 499 美元,新產品將在 10 月 15 日後發貨。
Llama 3.2 發佈,多模態能力讓眼鏡擁有眼睛
比起幾乎沒變化、甚至還減配的 Meta Quest 3S,Meta AI 的新功能就被襯托得更有新意。
扎克·伯格在發佈會上宣佈,Meta AI 正式上線語音功能,用戶可以通過 Messenger、Facebook、WhatsApp 和 Instagram 向 Meta AI 提出問題或以其他方式聊天,並獲得模擬語音回覆。
不僅如此,AI 語音的音色還能自主選擇,你可以使用包括朱迪·丹奇、約翰·塞納、奧卡菲娜、克里斯汀·貝爾等名人在內的 AI 聲音。
扎克·伯格還在現場演示了語音功能,總體來說對話響應速度還挺快,回答的內容也比較準確,語音語調聽起來又向真人問答更近了一步,而且還能隨時打斷對話插入新的話題或問題。
雖說中間出現了幾次失誤,不過作爲正在探索和發展中的技術這也正常,扎克·伯格本人多次也毫不避諱,就像他本人說的一樣:這是 demo 經常會出現的情況。
另外,通過 AI Studio 功能,用戶還能根據自身的需求、愛好等,自主創建相應的 AI 角色,它可以幫助我們生成表情包、提供旅行建議,當然也能進行日常的對話。
不過從效果來看,接下來的 AI 翻譯功能則更加實用。目前,搭載了 Meta AI 的終端,都能支持實時語音翻譯功能,發佈會上的兩位發言人,通過佩戴 Meta Ray-Ban 完成了一次即時的跨語種(英語-西班牙語)對話。
Meta Ray-Ban 可以通過麥克風採集對方的語音,並迅速翻譯成機主的母語,雖說每種語言的翻譯響應速度都不算慢,但句子稍微長一點,中間等待的時間還是略顯尷尬,而且 Meta AI 有時候還會搶話。
另一個線上視頻的語音翻譯效果會更上一層樓,比起上面的實時翻譯,我願稱之爲「高階版翻譯功能」。Meta AI 可以把線上視頻的語音翻譯成另一個語種的語音,更厲害的是,它能把原視頻說話人的語氣、音色,甚至於不同國家讀英語時的口音都完美還原。
Meta AI 在發佈會上一系列的更新功能,其實都有一個共同的驅動核心:Llama 3.2。
今年七月份,Meta 纔剛剛公佈了 Llama 3.1 模型,簡單來說,超大杯 Llama 3.1 405B 是 Meta 迄今爲止最強大的模型,也是全球目前最強大的開源大模型,更是全球最強的大模型。
沒想到短短兩個月 Llama 3.2 就來了。
Llama 3.2 是 Meta 的首個開源 AI 模型,包括兩個視覺模型(11B 和 90B)和兩個輕量級的純文本模型(1B 和 3B),這意味着它具備了多模態的能力,也就是可以同時處理文本和圖像,其中輕量級的純文本模型可以直接在本地理解用戶輸入的內容。
依靠 Llama 3.2 全新的能力,許多搭載大模型的設備也有了更加廣泛的實用場景。除了上文提到的 AI 翻譯功能, 有了視覺能力的 Meta Ray-Ban 現在能更深入地協助人們的工作生活,日常起居。
你可以直接諮詢 Meta Ray-Ban 可以用牛油果做點啥好喝的飲料,你甚至都不需要在句子裡提到牛油果,直接用「這個」等代詞就行,因爲它看得見。
不知道有多少人有過忘記車停在商場哪裡的情況,如果你也是忘記車位編號的常客,那現在 Meta Ray-Ban 就能幫你記下車位號碼,以便你忘記時隨時調取相應的信息。
撥打海報上的號碼,掃描宣傳冊上的二維碼,幫你搭配日常穿搭......總之通過眼鏡上的攝像頭,加上全新升級的視覺大模型等 AI 能力, Meta Ray-Ban 幾乎能出現在你生活的每個角落。
也正是因爲這顆攝像頭的存在,Be My Eyes 和 Meta 的這次聯姻才成爲了可能。Be My Eyes 是一家通過實時視頻和人工智能,將盲人或視力低下的人,與視力正常的志願者和公司聯繫起來的公益平臺,通過線上實時的視頻通話,志願者/組織可以幫助智障人士解決眼前的困難。
技術的發展不僅在爲絕大多數人的生活增值,也極大程度上彌補了特殊羣體中,缺失的那一部分,從而讓所有人的生活都能更加方便,技術的意義也就在這裡展開。
下一代計算設備的曙光已至
雖然早已對 Meta Orion 眼鏡有所預期,但當扎克伯格拿出真機的時候,還是給我們帶來了科技新品久違的「驚豔感」。
這種驚豔感不僅是因爲 Meta 勾勒的未來藍圖足夠吸引,更是因爲這個產品的實際效果非常接近願景,The Verge 在體驗過後的評價非常精闢:
它不是虛幻的海市蜃樓,也不是實際的產品。它介於兩者之間。
這也是 Orion 和許多 Meta 曾經探索過的奇思妙想不同之處:它不是一個難以走出實驗室的概念,而是 Meta 選擇「all in」的明日產品,是 AI 和 MR 的完美結合。
它是最佳的 AI 設備:可以看用戶所看,聽用戶所聽,能結合用戶的現實場景,因此能給出更有效的回答。
它也是終極的交互和聯繫方式:不需要侷限於小屏幕,也不必藉助厚重的頭顯,虛擬和現實世界彼此緊密交融,隨時可交互,處處是交互。
手機這種計算設備形態已經走到了生命週期的末尾,這已經是行業的共識;而下一代的計算設備,蘋果、Meta,甚至 OpenAI 都正在探索。
儘管還是原型機, Meta 給出的答卷 Orion 目前看來確實不賴,至於是否成爲手機之後的下一個主流智能終端,還有很多未知數,但扎克伯格對此倒是信心十足。
眼鏡和全息影像將會成爲一種無處不在的產品。如果我們能讓世界上已經擁有眼鏡的人,都升級到擁有 AI 和 MR 的眼鏡,那麼這將成爲世界歷史上最成功的產品之一,而且我認爲它會走得更遠。