國際清算銀行報告顯示:AI編程工具對程序員生產力提升達50%以上
國際清算銀行(BIS)最新發布的年度經濟報告中,在“AI對宏觀經濟的影響”主題裡提到的⼀個科學實驗表明:AI編程工具,對程序員的生產力提升在50%以上。
該科學實驗跟蹤了1219名螞蟻程序員編程情況,每位程序員跟蹤週期爲14周,實驗通過觀察他們在使用AI編程工具CodeFuse時,對生產力提升的情況得出的結論。
結果顯示,AI所帶來的生產力提升中僅有小部分來自於代碼的直接生成,而更多是通過在與機器交互過程中激發了程序員的創造力。同時,AI編程對初級程序員提升更爲明顯,高級程序員遇到問題更傾向於獨立解決。這是由於目前人類對AI工具的信任度尚處於早期階段。
AI編程提升生產力超50%
這一實驗整體週期歷時近三個月,把1219名程序員分成兩組,通過跟蹤的數據,分析不同類型的程序員在使用AI編程工具時的不同表現。最終發現,通過AI編程工具,可提升程序員生產力達50%以上。
該實驗是BIS在數字經濟開放研究平臺上的研究成果。數字經濟開放研究平臺由北京大學數字金融研究中心、國家金融與發展實驗室、螞蟻集團研究院、上海交通大學中國金融研究院、浙江大學金融科技研究院和中國人民大學中國普惠金融研究院於2019年4月共同發起成立。
據悉,實驗所採用的AI編程工具CodeFuse是螞蟻集團自研的代碼生成工具,並廣泛應用在螞蟻內部研發流程,目前,每週已有超五成螞蟻程序員在日常研發中使用CodeFuse。CodeFuse生成的代碼整體採納率爲30%,在生成單元測試場景採納率可達到50%。
CodeFuse實驗項目組研究員介紹,AI輔助代碼編寫主要涉及代碼補全、註釋生成、測試用例生成,圖生前端代碼等場景,大大提升了程序員的效率。比如前端生成,原來要花半天時間寫代碼,現在一個截圖點擊就能完成。
從實驗結果來看,AI編程對初級程序員提升更爲明顯。這是由於目前人類對AI工具的信任度尚在早期階段。
“類似於當一個更優秀的語言出現時,資深的程序員對老語言會有更強的黏性,而新手程序員會更願意嘗試切換。資深程序員往往已經很熟悉當前的研發項目,遇到的技術卡點問題相對較少,並且由於技術自信,有問題優先自己獨立解決,而不是去尋求AI工具的幫助,因此對產品主動體驗、探索更多功能不足。”該研究員分析。
相比直接代碼生成 AI更能激發程序員創造性
在本次實驗中,AI所帶來的生產力提升,主要在於影響了程序員的創造力,而不是直接生成代碼。“並非像人們想象中的機器幫助生成代碼,才提升了生產力,而是與機器交互過程中,激發了程序員的創造力,進而影響了生產力。” 該研究員稱。
他介紹,AI工具解決了編程工作過程中的卡點,減少程序員投入在繁雜冗餘的工作上的時間,進而讓程序員更加聚焦至有創造性的工作中來。
“在沒有AI工具出現之前,遇到技術卡點問題,大家會通過搜索引擎尋找答案,但搜索到的結果質量不高,並可能會參雜各種廣告和釣魚信息,這些都會嚴重影響工作效率。現在大模型的出現,讓這個世界上的知識以極高的壓縮率濃縮到百億-千億參數模型內,只需要通過簡單的幾輪對話就可以獲取自己所需的信息。”
一名程序員分享了他使用AI工具的體驗:過去被一個簡單問題卡住數小時到半天,是很正常的事情,如今只需要在幾分鐘內就可以通過AI對話工具解決。
程序員不僅要會寫代碼,更要會測試代碼。螞蟻內部調研結果顯示,測試代碼所佔用的時間平均是開發代碼的1.5倍。對於這項考驗耐心的繁瑣工作,AI工具也能幫助程序員提升效率。
“測試代碼在程序員的體驗上是極爲糟糕的,因爲需要巧妙地編寫測試代碼來達到測試時間(效率)和測試覆蓋率的平衡,還需要構造測試數據,模擬測試場景。這些在人工操作過程中都極易出錯。”用戶調研訪談結果顯示,“而AI工具的一鍵生成單測代碼功能,讓程序員能完全不寫或僅編寫少量的測試代碼作爲例子,把工作交由AI來自動生成,完成各種不同場景和代碼分支的測試覆蓋。”
未來五年內AI寫代碼有望接近L4水平
在AIGC和大模型概念火熱的今天,AI是否會搶奪人類工作,成爲許多人關心的問題。
螞蟻集團代碼大模型CodeFuse負責人李建國認爲,在可見的未來,AI完全取代程序員並不太現實,自然語言編程處於一個類似於自動駕駛技術中的L2.5級別。
據悉,螞蟻集團接下來的目標是在某些特定場景下實現L3級別的完全自動化。例如,在效能領域中的持續集成(CICD)場景,就有可能通過大模型的驅動來自動完成,包括觸發檢查、提交,甚至創建拉取請求(PR)等操作。
不過,要實現全場景、全鏈路的自動化,李建國坦言,前端可能還需要一段時間才能發展起來。複雜的項目級的需求拆解,特別是特定領域的拆解,也面臨較大挑戰。李建國判斷,可能還需要3-5年的時間,在萬物摩爾定律的推動下,達到L3甚至接近L4的水平。
屆時,AI編程有望發展至新的階段:如今約有20%到30%的編程工作可被替代,未來該比例可能會提高到50%,甚至有些環節可以完全被自動化取代,釋放人類去做更有創意的工作。
總體而言,AI程序員成爲企業運營中的新常態已是勢不可擋的趨勢。無論是AI程序員,還是全生命週期研發智能體,大模型對整個軟件研發範式均將帶來非常大的提效。
不過,要實現全場景的自動化,人類仍然在其中扮演一個重要的角色。而架構層次的創新,更需要依賴人類,同時,大模型也會催生新的職業,正如計算機催生了程序員行業一般。