微軟提出規模僅38億組參數、可在行動裝置更快運作的自然語言模型Phi-3 Mini

在諸多科技業者均提出可用於行動裝置上執行的大型自然語言模型之後，微軟研究人員提出名爲Phi-3 Mini、規模更小的大型自然語言模型，僅以38億組參數規模運作。

微軟研究人員表示，Phi-3 Mini相比微軟推出參數規模爲27億組的自然語言模型Phi-2，可用於手機或筆電裝置 強調比Google的Gemini Nano有更高效能表現先前推出的Phi-2參數規模更大一些，同時運作效能可比擬Meta提出的大型自然語言模型Llama 2，本身基於Phi-2模型設計，並且以嚴格過濾的網路數據與合成數據進行訓練，同時僅以38億組參數執行運作，能在行動裝置上以更輕巧形式使用。

而Phi-3 Mini的設計靈感來自兒童讀物，透過更簡單、容易理解語言描述複雜主題，讓人工智慧能更快知曉實際執行需求。

雖然微軟強調Phi-3 Mini運作效能可比擬Llama 2，但整體運作效能仍無法與搭配網路協同運作的大型自然語言模型實際表現，香在數學計算、程式編寫與學術相關測試仍可超越Phi-2，以及包含Mistral、Gemma、Llama-3-In等規模較小的自然語言模型。

不過，由於本身對應參數規模較小，因此Phi-3 Mini對於處理涉及即時、事實相關知識的廣度相對較差，但優點在於可在行動裝置端有更好的執行效率表現。

微軟目前已經透過自身Azure雲端服務平臺，並且藉由Hugging Face、Ollama等託管平臺提供Phi-3 Mini模型，接下來更計劃推出數據規模達70億組的Phi-3 Small，以及參數規模達140億組的Phi-3 Medium。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》