大模型重塑金融業態報告④丨金融大模型重塑技術能力

摘要：“大模型”無疑是2023年最熱的關鍵詞之一，隨着大模型概念的崛起和廣泛傳播，金融行業因被視作最優落地場景也同步掀起了一輪熱潮。大模型究竟會給金融行業帶來什麼？它會在何種程度上重塑技術和業務，會衍生出怎樣的商業價值？21世紀資管研究院調研了三十多家金融機構和科技公司相關負責人，形成了這份《大模型重塑金融業態報告》，通過梳理機構佈局情況以及這些領軍者們的觀點，描繪行業發展趨勢。

21世紀資管研究院研究員李覽青、楊夢雪

在金融機構基礎設施升級後，當金融機構決定嘗試大模型的落地應用，擺在其面前的首要問題是，如何部署大模型從而享受其帶來的涌現能力與服務能力？

據21世紀資管研究院調研，大模型落地實現AI應用的路徑有三個方向，一是基於現有開源大模型、基礎大模型進行微調落地，二是與廠商聯合創新自研大模型，三是通過API接口接入商用大模型或通過外掛知識庫實現部分功能的使用。

但在企業AI應用的架構中，僅有大模型顯然是不夠的，大模型中間件、向量數據庫等基礎設施軟件迎來新風口，而RPA技術也在與AI Agent（人工智能體）融合後實現了新飛躍。

連接器：中間件

一直以來，金融機構不同系統間的互聯互通與數據交換，都離不開中間件。如果說大模型是AI決策的“大腦”，那麼中間件就是鏈接大腦與應用場景之間的“四肢”。

作爲位於AI應用與大模型之間的中間層基礎軟件，這些組件在輸入輸出、數據轉換、模型部署時發揮重要作用，解決了大模型落地過程中資源調度、數據集成、模型訓練、應用集成、知識庫與大模型融合等問題。在解決大模型商用化問題方面，中間件行業再次受到市場關注。

一方面，在計算機“分層”架構的基礎上，引入中間層，可以實現不同業務中技術共性與服務共性的凝練，從而簡化開發流程。雖然業務應用系統開發的邏輯有差異，但基礎功能與系統服務是存在相似性的，基於這些相似性，可以儘可能凝練共性並複用，特別是在工程開發中基礎、底層、公用的服務邏輯，通過中間件包裝成簡單、一致、集成的開發環境，從而實現程序設計、功能與服務編排的簡化。大模型中間件的應用，可以幫助企業迅速構建出基於大模型的AI應用。

另一方面，AI應用的集成也需要中間件的參與。特別是金融機構的智能化應用集中於智能化交互、智能投研等領域，其服務的用戶可能不僅是內部用戶，還可能存在於微信、QQ、企業微信、飛書等等其他外部系統中。中間件可以支持多種不同軟硬件環境，來滿足不同場景下的集成需求。

可以說，大模型中間件解決了大模型落地的“最後一公里”，既爲上層應用訪問大模型與知識庫提供入口，也爲大模型的應用部署提供橋樑。

21世紀資管研究院在調研中瞭解到，目前大模型中間件的生態在底層的動態資源調度之外，還有以AI Ops（自動化運維）爲代表提供一整套工具，幫助機構解決私有環境中大模型訓練的工程問題，通過提供全自動化訓練環境配置與構建，以低代碼一站式完成數據接入、標註、監督微調、反饋強化學習和模型發佈全流程，同時，可以支持數據迴流及模型的持續迭代。

記憶體：向量數據庫

在大模型“四肢”中間件之外，向量數據庫作爲大模型的“記憶體”成爲大模型時代的必備基礎設施工具之一。

向量數據庫是專門用於存儲和查詢向量的數據庫。在數學定義中，向量是有大小和方向的量，可以用帶箭頭的線段表示，箭頭指向代表向量的方向，線段的長度代表向量的大小，兩個向量之間的距離或相似性可以通過公式求得。到計算機領域，文本、圖像、語音、視頻等非結構化數據的向量化，可以存儲到向量數據庫中，從而實現對非結構化數據的相似性檢索與搜索。

無論是通用大模型還是金融行業經過微調部署落地的垂直行業模型，都會出現信息時效性受限、大模型輸入token受限、算力不足以及胡言亂語的“幻覺”等問題。

在信息時效性方面，由於機器學習訓練需要一段時間，在這段時間內實時發生的資訊、新聞、市場行情等等快速變化，這些實時數據難以內置到模型中，需要一個外部的工具來存儲這些實時信息，實現及時調用。

大模型的token限制是指，在大模型訓練或推理時需要消耗大量計算資源，而這些資源是有限的，因此大模型輸入的token是有限的，一旦突破這個設置，模型就會忘記上下文。根據每個大模型算力能力與工程化難度的不同，其token輸入上限也有差異，如GPT-3限制2018個token、1024個漢字，GPT-4限制32000個token、16000個漢字。在輸入限制下，需要一個外掛工具來存放諸多歷史信息，爲大模型提供長期記憶，避免上下文信息丟失等問題。

同時，向量數據庫對於大模型專用顯卡沒有強依賴性，通過優化存儲與索引方式，就可以在普通的硬件上實現高效向量處理，在金融機構算力有限的情況下，可以有效節約算力成本。

最後是大模型的“幻覺”問題。通用大模型出現“一本正經的胡說八道”的情況，在要求絕對準確的金融領域是不被允許的，在大模型精確度尚未達標的情況下，需要外掛知識庫來補充大模型存在的知識缺陷，來使其可以給出準確的答案與更實時化的信息。

此外，對合規要求最嚴格的金融行業而言，出於對用戶隱私數據與個人金融數據保護要求，向量數據庫的訪問權限設置也可以AI大模型將這些數據作爲訓練語料。

向量數據庫具備低延遲查詢、高可用、高性能、高擴展性等特性，成爲金融機構部署大模型探索中的主流工具。特別是在圖像搜索、問答交互、文本分類、智能推薦、語義分析、模糊數據匹配等場景下，應用前景廣泛。

未來人工智能新形態：AI Agent

基於人工智能的RPA解決方案並不新鮮，金融機構通過RPA（機器人流程自動化）技術，讓軟件機器人代替業務人員完成各類軟件系統操作與業務處理，實現業務流程鏈接與自動化處理，從而讓人工專注於更有價值的工作任務。RPA的應用提高了員工的工作效率，減少了因人工疏漏導致的流程錯誤，也滿足了跨系統流程連接與數據集成的需求。

但在金融機構的實踐過程中，RPA的落地應用也存在挑戰，其中最核心的問題是，業務流程並不是按預期一樣一成不變的，面對動態業務環境，特別是對於不熟悉的場景，RPA可能出現崩潰，無法實現自適應變化，使得業務流程的穩定性難以保障。

AI Agent（人工智能體）爲RPA的進一步智能化提供了新的解決方案。AI Agent是一種能夠感知環境、進行決策、執行動作的智能實體，相比傳統的AI，AI Agent可以通過獨立思考、調用工具來逐步完成給定目標。這與原本大語言模型的學習能力一脈相承，基於GPT-4等大語言模型規劃與用戶設定的目標，AI Agent可以在完成並添加新任務後，根據此前任務的結果爲自己的工作流設置優先級，同時調用“記憶”，基於歷史記錄存儲過去結果，在錯誤中學習更新知識，並自主調整任務。

這切中了傳統RPA機器人工作中的業務痛點。當AI Agent+RPA，AI智能體獲得了不斷適應變化環境的能力，同時可以學習並實時洞察業務流程，根據用戶需求自主完成工作流構建，將動態決策自動編排進入工作流程中，並主動執行處理完成相應的複雜決策。

未來，基於大模型驅動的AI Agent，被普遍認爲是人工智能應用的新形態，相比於過去人工智能技術的相關應用，AI Agent表現出驚人的自主性與智能性，數據顯示過去兩年間針對AI Agent的研究投入增幅達到300%。

21世紀資管研究院梳理各大銀行科技投入與科技人員數量發現，近兩年來銀行科技投入已開始出現下滑態勢，科技人員新增數量也逐步減少。在雲平臺等基礎設施建設已初步完成後，下一步是釋放科技人員生產力。

AI Agent與RPA等傳統技術結合，應用於金融服務的各類場景，以自主學習的能力可以及時解決非給定流程中的其他問題，在金融數據合規與隱私安全保護合規的情況下，有望成爲金融從業人員與客戶未來的AI助手。