MediaTek聯合阿里雲在天璣移動平臺完成通義千問大模型端側部署

北京時間2024年3月28日，MediaTek宣佈與阿里雲達成深度合作，雙方在天璣9300移動平臺上完成通義千問大模型小尺寸版本的端側部署，該部署可適配天璣8300移動平臺，可實現離線狀態下即時且精準的多輪人機對話問答。

相較於僅在雲端部署生成式AI的應用和服務， 端雲混合AI可充分利用終端設備的算力，在運營成本、用戶信息安全、實時性以及個性化用戶體驗等方面具備顯著優勢。

天璣9300集成MediaTek第七代AI處理器APU 790，APU 790內置硬件級的生成式 AI 引擎，支持終端運行10億、70億、130億、最高可達330億參數的 AI 大語言模型，並支持生成式 AI 模型端側“技能擴充”技術 NeuroPilot Fusion，生成式 AI 處理速度是上一代 AI 處理器的8倍，1秒內可生成圖片。

此外，MediaTek 的AI開發平臺NeuroPilot構建了豐富的 AI 生態，已適配全球主流的AI大模型，完整的工具鏈包含對NeuroPilot Fusion和 LoRA （低秩自適應）融合技術的支持，可顯著提升大模型的端側處理效率。

通義千問是阿里雲自研的LLM基座大模型，目前已推出千億參數的2.0版本以及開源的720億、140億、70億、40億、18億、5億參數等尺寸，以及視覺理解模型Qwen-VL、音頻大模型Qwen-Audio等多模態大模型。

MediaTek與阿里雲雙方已完成通義千問大模型小尺寸版本在天璣移動平臺的端側適配，即將透過開發者生態推動該成果廣泛普及於端側AI應用中。此外，MediaTek面向開發者的模型中心和工具鏈將集成通義千問大模型系列。