新聞分析｜警惕人工智能時代的“智能體風險”

新華社北京7月16日電　新聞分析｜警惕人工智能時代的“智能體風險”　　新華社記者彭茜　　一羣證券交易機器人通過高頻買賣合約在納斯達克等證券交易所短暫地抹去了1萬億美元價值，世界衛生組織使用的聊天機器人提供了過時的藥品審覈信息，美國一位資深律師沒能判斷出自己向法庭提供的歷史案例文書竟然均由ChatGPT憑空捏造……這些真實發生的案例表明，智能體帶來的安全隱患不容小覷。

智能體進入批量化生產時代

智能體是人工智能（AI）領域中的一個重要概念，是指能夠自主感知環境、做出決策並執行行動的智能實體，它可以是一個程序、一個系統或是一個機器人。　　智能體的核心是人工智能算法，包括機器學習、深度學習、強化學習、神經網絡等技術。通過這些算法，智能體可以從大量數據中學習並改進自身的性能，不斷優化自己的決策和行爲。智能體還可根據環境變化做出靈活的調整，適應不同的場景和任務。　　學界認爲，智能體一般具有以下三大特質：　　第一，可根據目標獨立採取行動，即自主決策。智能體可以被賦予一個高級別甚至模糊的目標，並獨立採取行動實現該目標。　　第二，可與外部世界互動，自如地使用不同的軟件工具。比如基於GPT-4的智能體AutoGPT，可以自主地在網絡上搜索相關信息，並根據用戶的需求自動編寫代碼和管理業務。　　第三，可無限期地運行。美國哈佛大學法學院教授喬納森·齊特雷恩近期在美國《大西洋》雜誌發表的《是時候控制AI智能體》一文指出，智能體允許人類操作員“設置後便不再操心”。還有專家認爲，智能體具備可進化性，能夠在工作進程中通過反饋逐步自我優化，比如學習新技能和優化技能組合。　　以GPT爲代表的大語言模型（LLM）的出現，標誌着智能體進入批量化生產時代。此前，智能體需靠專業的計算機科學人員歷經多輪研發測試，現在依靠大語言模型就可迅速將特定目標轉化爲程序代碼，生成各式各樣的智能體。而兼具文字、圖片、視頻生成和理解能力的多模態大模型，也爲智能體的發展創造了有利條件，使它們可以利用計算機視覺“看見”虛擬或現實的三維世界，這對於人工智能非玩家角色和機器人研發都尤爲重要。

風險值得警惕

智能體可以自主決策，又能通過與環境交互施加對物理世界影響，一旦失控將給人類社會帶來極大威脅。哈佛大學齊特雷恩認爲，這種不僅能與人交談，還能在現實世界中行動的AI的常規化，是“數字與模擬、比特與原子之間跨越血腦屏障的一步”，應當引起警覺。　　智能體的運行邏輯可能使其在實現特定目標過程中出現有害偏差。齊特雷恩認爲，在一些情況下，智能體可能只捕捉到目標的字面意思，沒有理解目標的實質意思，從而在響應某些激勵或優化某些目標時出現異常行爲。比如，一個讓機器人“幫助我應付無聊的課”的學生可能無意中生成了一個炸彈威脅電話，因爲AI試圖增添一些刺激。AI大語言模型本身具備的“黑箱”和“幻覺”問題也會增加出現異常的頻率。　　智能體還可指揮人在真實世界中的行動。美國加利福尼亞大學伯克利分校、加拿大蒙特利爾大學等機構專家近期在美國《科學》雜誌發表《管理高級人工智能體》一文稱，限制強大智能體對其環境施加的影響是極其困難的。例如，智能體可以說服或付錢給不知情的人類參與者，讓他們代表自己執行重要行動。齊特雷恩也認爲，一個智能體可能會通過在社交網站上發佈有償招募令來引誘一個人參與現實中的敲詐案，這種操作還可在數百或數千個城鎮中同時實施。　　由於目前並無有效的智能體退出機制，一些智能體被創造出後可能無法被關閉。這些無法被停用的智能體，最終可能會在一個與最初啓動它們時完全不同的環境中運行，徹底背離其最初用途。智能體也可能會以不可預見的方式相互作用，造成意外事故。　　已有“狡猾”的智能體成功規避了現有的安全措施。相關專家指出，如果一個智能體足夠先進，它就能夠識別出自己正在接受測試。目前已發現一些智能體能夠識別安全測試並暫停不當行爲，這將導致識別對人類危險算法的測試系統失效。　　專家認爲，人類目前需儘快從智能體開發生產到應用部署後的持續監管等全鏈條着手，規範智能體行爲，並改進現有互聯網標準，從而更好地預防智能體失控。應根據智能體的功能用途、潛在風險和使用時限進行分類管理。識別出高風險智能體，對其進行更加嚴格和審慎的監管。還可參考核監管，對生產具有危險能力的智能體所需的資源進行控制，如超過一定計算閾值的AI模型、芯片或數據中心。此外，由於智能體的風險是全球性的，開展相關監管國際合作也尤爲重要。（完）