《科技》Arm與Meta合作推進 ExecuTorch加速AI邊緣應用

ExecuTorch是一款專爲行動和邊緣端裝置部署AI模型而設計的PyTorch原生部署框架，結合Arm的運算平臺，可大幅優化生成式AI效能。開發人員無需額外的修改或優化，即可將新的量化模型無縫整合到應用中，從而節省時間和資源。特別是新的Llama3.2 1B和 3B量化模型，能減少記憶體佔用、提高準確性和效能，使小型裝置上的生成式AI應用（如虛擬聊天機器人、內容摘要和AI助理等）更具可行性和高效性。

在行動裝置領域，Arm與ExecuTorch的合作加速了生成式AI的實現。此次合作整合了KleidiAI，導入針對4位元量化優化的微核心，並透過XNNPACK整合在ExecuTorch中，使Llama3.2 1B量化模型在Arm裝置上的預填充階段執行速度提高了20%，生成內容的速度達到每秒超過400個詞元（token）。這使得使用者能在搭載ArmCPU的行動裝置上享受到更快速且靈敏的AI互動體驗。

除了行動裝置外，ExecuTorch在物聯網（IoT）領域也展現了強大的應用潛力。它提升了邊緣端AI應用的即時處理能力，使智慧家電、可穿戴裝置、自動零售系統等物聯網裝置能以毫秒級速度迴應環境變化，對安全性和功能的即時可用性至關重要。ExecuTorch可在ArmCortex-ACPU和Ethos-UNPU上運行，開發人員可在平臺上市前的幾個月內着手開發邊緣端AI應用。

透過這次合作，Arm正在讓AI和ML的開發變得更易獲取、更快捷，並進一步將生成式AI技術普及到更多邊緣端裝置上。ExecuTorch 測試版的推出，使得開發人員能更快速地部署AI應用，帶來更多創新可能，未來有望成爲全球最受歡迎的高效率AI開發框架之一。