每經(jīng)記者｜蘭素英    每經(jīng)編輯｜何小桃    

近年來，AI大模型的編程能力突飛猛進(jìn)，各大AI廠商在編程基準(zhǔn)測試上你追我趕，不斷刷新紀(jì)錄。這讓不少程序員開始擔(dān)憂：AI是不是很快就要搶走我們的飯碗了？

然而，中山大學(xué)與阿里巴巴聯(lián)合發(fā)布的一項(xiàng)最新研究給程序員們吃下了一顆“定心丸”。

3月4日，兩家機(jī)構(gòu)聯(lián)合發(fā)布了一項(xiàng)評測結(jié)果。這項(xiàng)測試名為“SWE-CI：通過持續(xù)集成評估智能體維護(hù)代碼庫的能力”（SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration），首次對包括Anthropic、OpenAI、Kimi和DeepSeek等8家主流廠商的18款A(yù)I大模型的長期代碼維護(hù)能力進(jìn)行了嚴(yán)苛的系統(tǒng)性評估測試。

測試包含100項(xiàng)任務(wù)，總Token消耗超100億。結(jié)果顯示，Claude Opus系列綜合表現(xiàn)領(lǐng)跑。

在控制性能退化方面，千問、DeepSeek、MiniMax、Kimi和豆包等大多數(shù)AI大模型的表現(xiàn)明顯不佳。也就是說，AI在長期代碼維護(hù)過程中，可能將代碼“越改越糟”。

中國團(tuán)隊(duì)推出全球首個(gè)評估AI大模型

長期代碼維護(hù)能力的評測系統(tǒng)

長期以來，AI編程能力的主流評測基準(zhǔn)的共同特點(diǎn)是快照式評測，以“單次接收需求、一次性輸出解決方案”為核心。

然而，這種評估方式僅檢驗(yàn)大模型是否能寫出功能正確的代碼，無法反映真實(shí)軟件開發(fā)中持續(xù)迭代、長期維護(hù)的核心需求。

在現(xiàn)實(shí)中，成熟的軟件很少是一蹴而就的，而是長期維護(hù)的結(jié)果。雷曼定律表明，軟件質(zhì)量會隨著維護(hù)的進(jìn)行而自然下降。而維護(hù)工作占軟件生命周期總成本的60%到80%。

為評估AI在長期代碼維護(hù)中的表現(xiàn)，中山大學(xué)與阿里巴巴團(tuán)隊(duì)聯(lián)合推出了SWE?CI評測基準(zhǔn)。這是全球首個(gè)專門評估AI智能體在長期代碼維護(hù)表現(xiàn)的評測系統(tǒng)，它不再滿足于考察AI編程的“一次性正確”，而是評估AI是否像真正的軟件工程師一樣，在數(shù)月甚至數(shù)年的開發(fā)過程中持續(xù)保持代碼質(zhì)量。

SWE?CI基準(zhǔn)測試的構(gòu)建經(jīng)過四層嚴(yán)格篩選，最終形成高質(zhì)量評測集。

研究團(tuán)隊(duì)先從GitHub全網(wǎng)的Pytho代碼庫中篩選出維護(hù)三年以上、星標(biāo)超500、包含依賴文件和完整單元測試套件，以及采用MIT/Apache?2.0等寬松協(xié)議的4923個(gè)代碼庫；再提取依賴穩(wěn)定、代碼修改量超1000行的提交對，得到8311個(gè)候選樣本；通過自動(dòng)構(gòu)建Docker環(huán)境與自修復(fù)依賴機(jī)制，保留1458組可運(yùn)行候選對；最后經(jīng)測試啟動(dòng)校驗(yàn)、通過率差異篩選、時(shí)間跨度與提交量排序，確定100項(xiàng)最終任務(wù)。

研究團(tuán)隊(duì)精心構(gòu)建的100項(xiàng)任務(wù)中，每項(xiàng)任務(wù)都對應(yīng)著真實(shí)世界中一個(gè)軟件項(xiàng)目的完整進(jìn)化歷程。這些項(xiàng)目平均跨越233天的開發(fā)時(shí)間，包含71次連續(xù)的代碼提交記錄。團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)精巧的“架構(gòu)師-程序員”雙智能體協(xié)作機(jī)制。設(shè)計(jì)的靈感來自真實(shí)軟件團(tuán)隊(duì)中常見的分工模式：架構(gòu)師負(fù)責(zé)分析需求和制定技術(shù)方案，程序員負(fù)責(zé)具體的代碼開發(fā)。

為適配長期迭代評測，SWE?CI提出了“歸一化變化”與“EvoScore（進(jìn)化得分）”兩大核心指標(biāo)。

“歸一化變化”以測試用例通過數(shù)為基礎(chǔ)，將代碼狀態(tài)映射到[-1，1]區(qū)間，正向表示功能提升，負(fù)向表示出現(xiàn)功能退化。

EvoScore更側(cè)重衡量AI大模型在未來修改任務(wù)中的表現(xiàn)。

實(shí)測結(jié)果：Claude Opus斷層領(lǐng)跑

多數(shù)大模型在75%任務(wù)中會破壞原有代碼

研究團(tuán)隊(duì)對8家公司——月之暗面、Anthropic、智譜、千問、MiniMax、DeepSeek、OpenAI和豆包——的18個(gè)主流AI大模型進(jìn)行了系統(tǒng)性測試，累計(jì)消耗了超過100億Token的測試數(shù)據(jù)。這一實(shí)驗(yàn)規(guī)模在AI編程評估領(lǐng)域堪稱史無前例。

研究結(jié)果顯示，從時(shí)間維度來看，AI大模型在代碼維護(hù)能力上的進(jìn)化呈現(xiàn)出明顯的加速曲線。

從下圖可以發(fā)現(xiàn)，同一廠商的大模型新版本普遍穩(wěn)定高于前一代，且2026年后的躍升幅度顯著擴(kuò)大，EvoScore更高。這表明，當(dāng)前大模型的代碼能力正從靜態(tài)缺陷修復(fù)，快速向持續(xù)、長期的代碼維護(hù)演進(jìn)。

8家廠商的主流大模型在SWE?CI測試中的EvoScore變化情況。圖片來源：論文截圖

在所有參評大模型中，Claude Opus系列表現(xiàn)最為突出，從Claude-opus-4.5到Claude-opus-4.6，其EvoScore躍升至約0.9的高位，明顯拉開了與所有競爭對手的差距。

中國的AI大模型中，智譜GLM系列進(jìn)步顯著，成為第二梯隊(duì)中最具競爭力的選手。緊隨其后的是Qwen和MiniMax，整體趨勢向好。而Kimi和豆包雖有提升，但缺乏突破。

研究還發(fā)現(xiàn)，不同廠商在大模型訓(xùn)練策略上偏好存在明顯分化。

具體而言，MiniMax、DeepSeek以及OpenAI的GPT系列大模型更偏好長期效益，顯示出其在長期代碼維護(hù)任務(wù)中的優(yōu)勢。這意味著，這類大模型在生成代碼時(shí)，更傾向于采用有利于長期演進(jìn)與穩(wěn)定性的策略，而非追求短期修復(fù)的最優(yōu)解。

相比之下，Kimi與智譜GLM系列更偏向于短期見效的優(yōu)化路徑。

而千問、豆包以及Claude系列大模型則呈現(xiàn)出另一種特征：其訓(xùn)練策略在短期效果與長期維護(hù)之間取得了一定平衡。

隨著權(quán)重參數(shù)γ的變化，各個(gè)大模型的排名也隨之發(fā)生顯著調(diào)整。當(dāng)γ>1時(shí)，大模型排名越高，其代碼庫維護(hù)能力越強(qiáng)。圖片來源：論文截圖

另外，研究還有一項(xiàng)關(guān)鍵發(fā)現(xiàn)：在長期代碼維護(hù)中，所有大模型在有效控制性能退化（Regression）方面都表現(xiàn)不佳。

性能退化是衡量軟件質(zhì)量穩(wěn)定性的核心指標(biāo)。如果某個(gè)單元測試在代碼更新前已經(jīng)通過，而更新后失敗了，則判定該變更觸發(fā)了性能退化。一旦出現(xiàn)性能退化，不僅會直接影響用戶體驗(yàn)，在長期維護(hù)過程中，隨著修改次數(shù)累積，還可能導(dǎo)致系統(tǒng)質(zhì)量系統(tǒng)性退化。

研究團(tuán)隊(duì)測量了“零退化率”——即在整個(gè)維護(hù)過程中完全沒有破壞原有功能的任務(wù)比例。零退化率越高，維護(hù)的系統(tǒng)越穩(wěn)定。

研究結(jié)果表明，在所有參與測試的18個(gè)大模型中，只有Anthropic的Claude Opus大模型保持了50%以上的零退化率，大多數(shù)大模型的零退化率都低于25%。

18個(gè)大模型的零退化率（從低到高排序）。圖片來源：論文截圖

具體而言，Claude-opus-4.6以76%的零退化率遙遙領(lǐng)先。這意味著在絕大多數(shù)測試場景中，其性能能夠保持穩(wěn)定。Claude-opus-4.5以51%位列第二。相比之下，Kimi-K2.5（37%）與GLM-5（36%）表現(xiàn)接近，構(gòu)成第二梯隊(duì)，雖具備一定穩(wěn)定性，但與頭部大模型仍存在顯著差距。

包括GPT-5.2、Qwen3.5-plus、MiniMax-M2.5和DeepSeek-V3.2在內(nèi)的其余14個(gè)AI大模型的零退化率都在25%以下，這意味著在長期代碼維護(hù)過程中，大模型在超過75%的任務(wù)中會破壞原本正常的代碼功能，引發(fā)性能退化問題。

但從版本迭代的角度看，頭部廠商的AI大模型正快速進(jìn)步。例如，Claude-opus系列的“零退化率”從4.5版本的51%提升至4.6版本的76%，智譜GLM系列從GLM-4.6和GLM-4.7的14%躍升至GLM-5的36%。

但即便如此，絕大多數(shù)大模型仍難以在長期代碼維護(hù)中杜絕性能退化問題，距離可靠的自動(dòng)化長期開發(fā)仍有明顯差距。

SWECI基準(zhǔn)測試結(jié)果的發(fā)布，讓行業(yè)意識到，“寫代碼”和“維護(hù)代碼”是兩種截然不同的能力。對于大模型廠商而言，持續(xù)優(yōu)化可維護(hù)性、性能退化控制、架構(gòu)設(shè)計(jì)能力，或許將是贏得下半場競爭的關(guān)鍵。

（免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前核實(shí)。據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。）

記者|蘭素英?常宋資燊（實(shí)習(xí)生）

編輯|何小桃?王嘉琦?杜恒峰

校對|段煉

｜每日經(jīng)濟(jì)新聞 ?nbdnews? 原創(chuàng)文章｜

未經(jīng)許可禁止轉(zhuǎn)載、摘編、復(fù)制及鏡像等使用