Meta 與 Arm 攜手推動 AI 融入更多領域

在未來，大型語言模型可能會讓您只需與手機對話即可拍照，而無需按下相機按鈕。諸如此類的對話界面或許有朝一日不僅能爲手機提供支持，甚至還有可能爲手錶和安全攝像頭提供支持。

這是 Meta 和 Arm 的產品經理所言，他們合作開發了一對在今天的 Meta Connect 活動上亮相的緊湊型 AI 模型，這些模型旨在在手機上運行。這兩家公司都在愈發激烈的競爭中努力將生成式 AI 引入手機，畢竟這已成爲手機的必備功能。比如三星 Galaxy S24 系列有 Galaxy AI，谷歌 Pixel 9 Pro 有 Gemini AI，蘋果智能 也將在新的iPhone 16 系列推出。

Meta 的新 AI 模型相對較小，其參數分別爲 10 億和 30 億（分別標記爲 Llama 3.2 1B 和 3B）。它們適用於手機，也可能適用於其他小型設備。它們用於“邊緣”——換句話說，不是通過雲進行計算，而是在設備上。

“我們認爲這對我們而言是一個極好的機會，能夠將大量推理轉移到設備和邊緣用例上。”Meta 生成式 AI 產品管理副總裁 Ragavan Srinivasan 說道。

斯里尼瓦桑解釋道，智能手機和其他設備將能夠使用這些較小的模型來進行諸如文本摘要之類的操作，例如總結一堆電子郵件，以及創建日曆邀請——這些都深度融入了移動工作流程。

1B 和 3B 模型特意設計得比較小，以便在手機上運行，並且只能理解文本。在 Llama 3.2 代中發佈的兩個較大模型，11B 和 90B，太大而無法在手機上運行，並且是多模態的，這意味着您能夠提交文本和圖像來獲取複雜的答案。它們取代了之前只能理解文本的上一代 8B 和 70B 模型。

Meta 與 Arm 密切合作，Arm 爲 CPU 和其他硅設計架構，這些架構用於高通、蘋果、三星、谷歌等公司的芯片中。全球有超過 3000 億臺基於 Arm 的設備存在，有大量的計算機和手機可以使用這些模型。Meta 和 Arm 通過合作，致力於幫助約 1500 萬名 Arm 設備應用程序的開發者構建支持這些 Llama 3.2 模型的軟件。

“Meta 在這裡所做的確實正在改變對這些前沿模型的獲取途徑，以及開發者社區能夠利用它做些什麼，”Arm 客戶端業務總經理克里斯·伯吉（Chris Bergey）說道。

該合作伙伴關係着重於幫助開發者支持較小的 Llama 3.2 模型，並迅速將其集成到他們的應用程序中。伯吉推測，他們可以利用這類語言模型來創建新的用戶界面以及與設備交互的方式。例如，你不必按下按鈕來打開相機應用程序，而是可以與你的設備進行對話，並說明你希望它做什麼。

考慮到設備的數量以及他們能夠部署像 1B 或 3B 這樣較小模型的速度，伯吉表示開發者可能很快就會在他們的應用程序中開始支持這些較小模型。“我認爲最早在明年年初，如果不是今年年底的話，”他說。

傳統的大型語言模型（LLM）邏輯認爲，參數越多，語言模型越強大。1B 和 3B 分別只有 10 億和 30 億個參數，其參數數量遠遠少於其他大型語言模型。正如斯里尼瓦桑所說，儘管參數大小是智能的一個指標，但它不一定是一回事。Llama 3.2 模型建立在 Meta 今年早些時候發佈的Llama 3 系列模型的基礎上，包括該公司生產的最強大的Llama 3.1 模型 405B，Meta 當時表示這是最大的公開可用的 LLM——並且該公司將其用作 1B 和 3B 模型的某種教師。

斯里尼瓦桑說，開發人員希望將較小的模型用於絕大多數的上限或設備上的任務。他們希望選擇哪些任務非常複雜，以至於要發送到參數更高的 8B 和 70B 模型（4 月宣佈的 Llama 3 代），這些模型需要在更大的設備和雲端進行計算——但從用戶的角度來看，這一切都應該十分順暢無縫。

“其結果應當是對需要快速響應的提示能夠做出極爲迅速的迴應，然後是能力的優雅融合，然後對於一些更高容量的模型轉向雲端，”斯里尼瓦桑說。

擁有 1B 和 3B 這類相對參數較小的模型的好處在於其效率相對更高

Bergey 稱，相較於更大模型的能耗和更長的計算時間，它們能在 1 瓦特的功率下或 8 毫秒內給出答案。這或許能讓它們適用於功能不太強的平臺，像智能手錶、耳機之類的配件，儘管要爲運行大型語言模型提供足夠的功率和內存，仍存在挑戰。目前，智能手機是合適的，因爲它們兩者都具備。

未來，參數較小的模型或許非常適合那些沒有傳統用戶界面或者依賴外部設備來控制的設備，比如安全攝像頭。“我覺得，就適用性而言，這肯定遠超智能手機的範疇了，特別是在涉及較小模型的時候”，Bergey 說。