全息AR眼鏡來了！扎克伯格現場開箱，黃仁勳首批體驗，還有Llama 3.2大模型上新
智東西作者 程茜 ZeR0編輯 心緣
智東西9月26日報道，北京時間今日凌晨1點15分，年度“MR圈春晚”Meta Connect 2024大會正式拉開帷幕。
Meta CEO馬克·扎克伯格穿着黑色T恤登臺，緊鑼密鼓發佈MR頭顯Quest 3S、Llama 3.2大模型、雷朋智能眼鏡、全息AR眼鏡等新品。
扎克伯格亮出的首個硬件新品是Quest 3S，驚爆價299.99美元（摺合約2110人民幣）。
雖說性能比Meta首款消費級MR一體機Quest 3略遜一籌，但起售價直降200美元，約等於蘋果Vision Pro的1/11，妥妥的性價比機皇！！！
大模型也重磅上新！Meta多模態模型Llama 3.2發佈，包括90B和11B參數的視覺大語言模型，以及1B和3B參數的輕量級純文本模型。
藉助Llama 3.2，Meta AI推出全新多模態功能，能支持語音交互了，有多種音色選項（包括一些名人的聲音）。扎克伯格現場演示與Meta AI語音聊天，非常絲滑。
還有被Meta稱作有史以來最先進的AR眼鏡——全息AR眼鏡“Orion”。
英偉達創始人兼CEO黃仁勳已經嚐鮮。
一、Quest 3S：親民廉價版，售價300美刀，性能比Quest 3幾乎無異
首先，平價版的Quest設備來了！
Meta直接將Quest 3S價格砍掉200美元（摺合約1406人民幣），還幾乎做到了性能與Quest 3相差無幾。
Meta Quest 3S 128GB版售價爲299.99美元（摺合約2110人民幣），256GB版售價爲399.99美元（摺合約2813人民幣）。而512GB的Quest 3爲499.99美元（摺合約3516人民幣）。
兩款頭顯採用的處理器一致，均爲高通驍龍XR2 Gen 2芯片。價格大幅下降的關鍵就是Quest 3S將Pancake鏡頭更換成了Infinite透鏡。
從現場演示來看，擁有4K顯示屏的Quest 3S顯示十分清晰，還支持杜比全景聲（Dolby Atmos）環繞。
Meta重建了Horizon OS以實現空間計算，可以更好支持用戶使用YouTube、Facebook和Instagram等基本2D應用。
Meta添加了空間音頻，並改進了Passthrough（透視）的對比度和顏色，都使得其畫面演示能更加逼真和身臨其境。
扎克伯格宣佈Meta正與微軟合作，用Windows 11 PC來實現無縫虛擬桌面體驗。
Meta已提供多屏幕支持，並且能夠直接與顯示器上正在發生的事情進行交互。例如，用戶可以直接拖拽筆記本中的界面到Quest設備中。
爲了創建更加逼真的元宇宙環境，Meta推出了Hyperscape，用戶只需用手機掃描自己所在的房間，然後隨時戴上頭顯都能“重現”這一房間。
這一頭顯設備能讓你坐在前排座位觀看音樂會、坐在家庭影院觀看高清大片、進行健身等。
此外，Quest 3S還兼容Meta的數千款應用和完整遊戲庫，以及即將推出的Quest 3和3S獨家遊戲，如《蝙蝠俠：阿卡姆暗影》。
對於那些剛接觸XR或者一直在等待Quest和Quest 2設備降價的用戶而言，Quest 3S可能是更好的選擇。
二、Llama 3.2：視覺模型趕超GPT-4o mini，1B端側模型媲美Gemma
開源AI方面，Meta發佈了全新多模態大模型Llama 3.2。
Llama 3.2有90B和11B兩種參數規格的視覺大語言模型，還有能在設備端本地運行的1B和3B輕量級純文本模型，包括預訓練和指令調整版。
下載地址：https://www.llama.com/
1B和3B模型支持128K tokens上下文，適配高通和聯發科硬件，並針對Arm處理器做了優化。
3B模型在遵循指令、總結、快速重寫和工具使用等任務上的表現優於Gemma 2 2.6B、Phi 3.5-mini模型。1B模型的表現媲美Gemma。
90B和11B視覺模型是其相應文本模型的直接替代品，同時在圖像理解任務上的表現優於封閉模型，如Claude 3 Haiku、GPT-4o mini。
比如問企業去年哪個月的銷售額最高，Llama 3.2可根據可用圖表進行推理並快速提供答案。
它還能使用地圖進行推理並幫助回答問題，例如地圖上標記的特定路徑的距離。
視覺模型也能通過從圖像中提取細節、理解場景，然後製作一兩句話作爲圖像字幕來幫助講述故事。
與其他開放多模態模型不同，預訓練和對齊模型都可以使用torchtune針對自定義應用程序進行微調，並使用torchchat在本地部署。
11B和90B參數的多模態模型需要支持圖像推理的全新模型架構。
Meta的訓練流程由多個階段組成，從預訓練的Llama 3.1文本模型開始，首先添加圖像適配器和編碼器，然後通過大規模噪聲對數據進行預訓練，接下來在中等規模的高質量領域內和知識增強的數據上進行訓練。
在後期訓練中，Meta使用與文本模型類似的方法，在監督微調、拒絕採樣和直接偏好優化方面進行多輪對齊。最終得到這一組可以同時接收圖像和文本提示並深入理解和推理兩者組合的模型。
對於1B和3B參數的輕量級模型，Meta使用了利用強大的教師模型來創建性能更佳的小型模型的方法，使得其成爲首批能夠高效適應設備的高性能輕量級Llama模型。
Meta通過縮小Llama現有模型的大小，同時儘可能多地恢復知識和性能，其採用了從Llama 3.1 8B中一次性使用結構化修剪的方法。
在後期訓練中，研究人員使用與Llama 3.1類似的方法，通過在預訓練模型的基礎上進行幾輪對齊來生成最終的聊天模型。
Meta正在分享首個官方Llama Stack發行版，將極大簡化開發人員在單節點、本地、雲和設備端等不同環境中使用Llama模型的方式，從而實現檢索增強生成（RAG）和集成安全性的工具支持應用程序的交鑰匙部署。
三、Meta AI：多種名人聲音任意選，P圖、實時翻譯更方便
藉助Llama 3.2，Meta AI有聲音了。
現在，使用語音與Meta AI對話，可以讓它回答你的問題或者講笑話逗你開心。Meta在語音中還添加了很多熟悉的AI聲音。如英國女演員Judi Dench等的聲音。
//oss.zhidx.com/uploads/2024/09/66f45bda94ff7_66f45bda8e51c_66f45bda8e4fb_01_Meta-AI_Voice.mp4
扎克伯格現場對話了AI版數字AR/XR視覺藝術家唐·艾倫·史蒂文森三世（Don Allen Stevenson III），他對小扎提到的恭喜新書發表、創作感想等內容對答如流。
當被問到一個與史蒂文森三世本人毫無相關的農業問題時，AI版藝術家的迴應也很符合人設，他稱自己擅長設計和技術而非農業相關。
Meta AI還能直接看懂照片，用戶可以直接在聊天界面中上傳圖片，AI就可以幫你解答你旅行中遇到的花是什麼花、如何製作圖片中這道菜等等。
編輯照片也不在話下，無需打開其它編輯工具，僅在Meta AI的對話框就能解決。用戶可以直接告訴AI想在上傳的照片中添加、刪除或者更改什麼內容，例如替換服裝、更換背景等。
同時，當用戶想分享照片到Instagram Story等社交平臺上時，Meta AI還會根據照片的內容生成相應的背景圖。
扎克伯格說，Meta正在測試一款翻譯工具。該工具可以自動翻譯短視頻應用Reels中的音頻，通過自動配音和口型同步，不僅能模擬說話者的聲音來翻譯，連口型都能對上。
這一功能首先將在Instagram和Facebook上進行小規模測試，將來自拉丁美洲和美國的創作者的視頻翻譯成英語和西班牙語，未來將會擴展到更多創作者和語言中。
Meta AI的圖像生成功能還能幫用戶在Facebook等平臺上爲自己“立人設”，如將自己的個人資料圖片更換爲超級英雄或者其他角色，還能爲故事推薦標題。
面向企業，Meta正在將其AI工具擴展到數千家使用WhatsApp和Messenger英文版點擊消息廣告的企業。
上個月已經有超過100萬個廣告客戶使用Meta的廣告生成工具，並利用這些工具製作了1500萬條廣告。數據顯示，平均而言，與未使用這些功能的廣告系列相比，使用Meta生成式AI 廣告功能的廣告系列點擊率高出11%，轉化率高出7.6%。
四、雷朋智能眼鏡：能記事，會觀察，打破語言障礙
雷朋智能眼鏡一直非常受歡迎，具備視頻通話、流式傳輸內容、拍攝，抑或是聽音樂、有聲讀物等功能。
這次雷朋眼鏡重點升級了多項AI功能。
首先是對話變得更自然。用戶只用在對話開始時說提示詞“Hey Meta”，後面就可以直接連續提問，不用重複說很多次“Hey Meta”。
還有一個功能是幫用戶記住事情。比如當用戶飛到某個地方，詢問在哪兒停車，眼鏡會幫用戶記住停車的位置。
用戶也可以用語音設置提醒，3小時安全着陸時給媽媽發短信報平安。
它還能用來打電話、掃碼。當雙手不方便操作手機時，用戶可以用Meta AI在WhatsApp和Messenger上錄製和發送語音消息，同時保持在線狀態。
此外，Meta AI能通過結合攝像頭，爲用戶提供持續幫助。
比如當用戶探索一個新城市，可以讓Meta AI根據攝像頭捕捉的信息詢問用戶在行走時看到的地標或獲取下一步要看什麼的想法。
它也能提供服裝搭配建議，並實時掌握你的周圍環境，比如建議用戶考慮“剛纔路過的那條珍珠項鍊”、“右邊的黑色連衣裙”。
或者在一個雜貨店並試圖計劃一頓飯時，用戶可以讓Meta AI根據自己在過道上行走時看到的東西來幫忙弄清楚要做什麼，以及手裡的醬料是否與它剛剛建議的食譜搭配得很好。
現場還演示了流暢的實時語音翻譯功能，戴着眼鏡就能打破語言障礙，實現跨語種交流。
Meta將繼續添加更多語言。
雷朋智能眼鏡可使用“be my eyes”應用，將視力有缺陷的人與視力正常的志願者相連，以便志願者能借助眼鏡和POV視頻通話，輕鬆看到視力殘障人士的視角並告知周圍環境，或者在日常任務中提供實時、免提的幫助，例如調節恆溫器或分類和閱讀郵件。
Meta正推進與Spotify和Amazon Music的整合，並與Audible iHeart建立新合作伙伴關係，使用戶能隨時隨地使用語音搜索、發現和播放內容。
此外，Meta還發布了一款限量版Shiny Transparent Wayfarer透明鏡框，並將EssilorLuxottica的全新UltraTransitions GEN S鏡片系列引入雷朋眼鏡系列，能快速適應所有光線條件。
五、Orion：迄今最先進AR眼鏡，全息顯示屏，手腕神經接口
最後，扎克伯格現場開箱，拿出Meta眼中的“迄今最先進的AR眼鏡”——Orion。
AR眼鏡兼具便捷、即時性、大顯示屏、高帶寬輸入、情景化AI等優勢。它不受手機屏幕限制，能借助大型全息顯示屏，將物理世界當成畫布。
儘管雷朋智能眼鏡開創了AI無顯示屏眼鏡類別，但XR行業還在翹首以盼真正的AR眼鏡——一款將大型全息顯示屏和個性化AI輔助優勢結合到舒適、全天候可佩戴的產品。
Orion正爲此而生。
經過數十項創新，Orion的組件被壓縮到幾分之一毫米。
扎克伯格稱它是“世界上從未有過的高端眼鏡”，“技術上很瘋狂”，在不同照明條件下，大到能顯示一個電影屏幕或多個顯示屏幕，覆蓋物理世界全息圖。
它擁有迄今爲止最小AR眼鏡中最大的視野，支持從多任務窗口、大屏幕娛樂到真人大小的人物全息圖，所有數字內容都能與物理世界視野無縫融合。
Meta AI智能助手可在Orion上運行，理解用戶在現實世界上看到的東西。
比如用戶可以把攝像頭對準冰箱，讓Meta AI根據裡面的東西提供食譜建議，或者邊洗碗邊調整數字家庭日曆，邊給朋友打視頻電話。
也可以進行免提視頻通話，實時與朋友和家人保持聯繫，還可以通過WhatsApp和Messenger查看和發送消息。
以前需進行的拿出手機、解鎖、找到合適的應用程序、讓朋友知道用戶快吃晚飯了這一系列繁瑣步驟，現在一副眼鏡就能輕鬆完成所有操作。
如果想和遠方的人相見，他們的虛擬影像會被即刻傳送。
由於配有透明鏡片，人們戴上AR眼鏡，依然能看到彼此的面容和神情，或者進行眼神交流。
爲了製作這種顯示屏，眼鏡腿上的投影儀將內容投射到納米印刷鏡片上，使它們不僅能夠在2D空間投射圖像，還能在3D空間投射圖像。
Orion支持手勢追蹤、眼動追蹤，基於手腕的神經接口可理解用戶與設備交互的手勢。
手勢操控時，你可能不想在公共場合手舞足蹈招一堆人圍觀，而操作Orion的動作非常輕微，不會影響到周圍的人。
Meta已經向少數人展示了它，這些人評價說這是他們見過的最瘋狂的技術。
Meta將Orion稱作其開發過的“最精緻的產品原型之一”，但它暫時不會進入消費者手中。其團隊決定先專注於內部開發，繼續快速構建並繼續突破技術界限，以開發出更好的消費產品。
Meta向自家員工和選定的外部用戶提供Orion的訪問權限，以便其團隊可以學習、迭代和構建消費者AR眼鏡產品線，計劃不久後開始出貨。
目前Meta主要關注三件事：1）調整AR顯示質量，使視覺效果更加清晰；2）儘可能優化，讓外形尺寸變得更小；3）規模化，使其可負擔。
結語：不卷高端，捲起性價比
“元宇宙”概念降溫了，但用智能硬件打開虛實融合之門的產業探索纔剛剛起步。
便宜、便攜、舒適，智能，成爲今年MR/VR/AR新品的共識，這在今天的Meta Connect大會上再度得到印證。
尤其是便宜。連坐擁大批死忠“果粉”的蘋果，其Vision Pro都因昂貴的售價栽了跟頭。
知名市場研究機構IDC預計第三季度美國本土的Vision Pro銷量將比第二季度大幅下滑75%，全年全球銷量難破50萬臺大關。知名分析師郭明錤也認爲，高昂的價格阻礙了消費者。
蘋果研發平價版頭顯的消息已頻頻傳出。Meta也被曝取消高端頭顯“La Jolla”的開發計劃，原因是未能將產品成本控制在1000美元內。
國內MR/VR/AR硬件同樣在快速更新迭代，沒有盲目複製蘋果Vision Pro卷向高端，而是從技術路線和應用場景上構築差異化競爭力。
字節跳動旗下PICO上個月推出其首款MR一體機PICO 4 Ultra，相較前代產品PICO 4/4 Pro全面升級，起售價4299元。
深圳仙瞬科技開發了超微型化的全球首款具備隱形顯示功能的智能眼鏡，體積小到能輕鬆集成至普通眼鏡框架內，使現有設備能更好融入AI。
IDC預測2024全年中國AR/VR預計出貨60.2萬臺，同比下滑17.1%；從今年年底開始，將會有更多手機廠商入局MR領域，並將於2025年集中推出首款產品。