《科技》高通攜IBM 將生成式AI轉向邊緣與雲端

高通技術公司資深副總裁暨技術規劃與邊緣解決方案總經理Durga Malladi表示：「我們很高興能與IBM合作，爲邊緣與雲端裝置提供企業級生成式AI解決方案。這項合作使企業能快速部署個人化的AI解決方案，並具備強大的治理、監控與決策能力，進一步提升從邊緣到雲端的AI可靠性。」

IBM資料與AI部門總經理Ritika Gunnar表示：「深化與高通技術公司的合作，使我們能夠將企業級生成式AI從雲端拓展至邊緣。透過優化IBM的watsonx.governance及Granite模型，使其能在Snapdragon與Qualcomm Dragonwing平臺上運行，我們協助企業發揮AI的顛覆性力量，無論資料位於何處。」

雙方計劃在Snapdragon 8 Elite參考設計及配備高通AI推論套件的Qualcomm Dragonwing AI本地應用裝置解決方案（On-Prem Appliance Solution）上運行watsonx.governance、Granite Guardian 8B與Granite 3.1 8B模型。這些模型協同運作，提供端到端的生成式AI解決方案，包括模型部署、運行、監控和強化決策能力的防護機制。透過此合作，高通技術公司與IBM將結合裝置推理、低功耗與隱私保護特性，並利用watsonx的效能，協助企業解決AI解決方案在安全性、效率、可靠性和治理方面的挑戰。

高通技術公司已針對Qualcomm AI Hub最佳化了IBM第三代Granite旗艦語言模型IBM Granite 3.1，幫助開發者與企業在邊緣端發揮AI潛力。雙方將擴展Qualcomm AI Hub與IBM watsonx的合作，並透過watsonx.governance功能，爲裝置上的模型提供治理與防護機制。欲瞭解更多關於此新應用的資訊，請造訪高通開發者部落格。

此外，高通雲端AI加速器系列已獲得Red Hat OpenShift認證並正式支援此平臺，這是由Kubernetes驅動的業界領先混合雲端應用平臺。此認證將有助於促進基於高通雲端AI解決方案的大規模部署IBM軟體應用套件（包括watsonx）。