新華社記者 彭茜

美國(guó)斯坦福大學(xué)等機(jī)構(gòu)研究團(tuán)隊(duì)近日宣布，在基座大模型基礎(chǔ)上，僅耗費(fèi)數(shù)十美元就開(kāi)發(fā)出相對(duì)成熟的推理模型。盡管其整體性能尚無(wú)法比肩美國(guó)開(kāi)放人工智能研究中心（OpenAI）開(kāi)發(fā)的o1、中國(guó)深度求索公司的DeepSeek-R1等，但此類嘗試意味著企業(yè)可以較低成本研發(fā)出適合自身的AI應(yīng)用，AI普惠性有望增強(qiáng)。同時(shí)，其所應(yīng)用的“測(cè)試時(shí)擴(kuò)展”技術(shù)或代表一條更可持續(xù)的AI研發(fā)路徑。

低成本玩轉(zhuǎn)高級(jí)推理

美國(guó)斯坦福大學(xué)和華盛頓大學(xué)研究團(tuán)隊(duì)近日宣布研發(fā)出名為s1的模型，在衡量數(shù)學(xué)和編碼能力的測(cè)試中，可媲美o1和DeepSeek-R1等。研究團(tuán)隊(duì)稱，訓(xùn)練租用所需的計(jì)算資源等成本只需約幾十美元。

s1的核心創(chuàng)新在于采用了“知識(shí)蒸餾”技術(shù)和“預(yù)算強(qiáng)制”方法。“知識(shí)蒸餾”好比把別人釀好的酒進(jìn)一步提純。該模型訓(xùn)練數(shù)據(jù)是基于谷歌Gemini Thinking Experimental模型“蒸餾”出的僅有1000個(gè)樣本的小型數(shù)據(jù)集。

“預(yù)算強(qiáng)制”則使用了AI模型訓(xùn)練新方法——“測(cè)試時(shí)擴(kuò)展”的實(shí)現(xiàn)方式。“測(cè)試時(shí)擴(kuò)展”又稱“深度思考”，核心是在模型測(cè)試階段，通過(guò)調(diào)整計(jì)算資源分配，使模型更深入思考問(wèn)題，提高推理能力和準(zhǔn)確性。

“預(yù)算強(qiáng)制”通過(guò)強(qiáng)制提前結(jié)束或延長(zhǎng)模型的思考過(guò)程，來(lái)影響模型的推理深度和最終答案。s1對(duì)阿里云的通義千問(wèn)開(kāi)源模型進(jìn)行微調(diào)，通過(guò)“預(yù)算強(qiáng)制”控制訓(xùn)練后的模型計(jì)算量，使用16個(gè)英偉達(dá)H100 GPU僅進(jìn)行26分鐘訓(xùn)練便達(dá)成目標(biāo)。

美國(guó)加利福尼亞大學(xué)伯克利分校研究團(tuán)隊(duì)最近也開(kāi)發(fā)出一款名為T(mén)inyZero的精簡(jiǎn)AI模型，稱復(fù)刻了DeepSeek-R1 Zero在倒計(jì)時(shí)和乘法任務(wù)中的表現(xiàn)。該模型通過(guò)強(qiáng)化學(xué)習(xí)，實(shí)現(xiàn)了部分相當(dāng)于30億模型參數(shù)的大語(yǔ)言模型的自我思維驗(yàn)證和搜索能力。團(tuán)隊(duì)稱項(xiàng)目訓(xùn)練成本不到30美元。

“二次創(chuàng)造”增強(qiáng)AI普惠性

清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘副教授劉知遠(yuǎn)接受記者采訪時(shí)說(shuō)，部分海外研究團(tuán)隊(duì)使用DeepSeek-R1、o1等高性能推理大模型來(lái)構(gòu)建、篩選高質(zhì)量長(zhǎng)思維鏈數(shù)據(jù)集，再用這些數(shù)據(jù)集微調(diào)模型，可低成本快速獲得高階推理能力。

相關(guān)專家認(rèn)為，這是AI研發(fā)的有益嘗試，以“二次創(chuàng)造”方式構(gòu)建模型增強(qiáng)了AI普惠性。但有三點(diǎn)值得注意：

首先，所謂“幾十美元的低成本”，并未納入開(kāi)發(fā)基座大模型的高昂成本。這就好比蓋房子，只算了最后裝修的錢(qián)，卻沒(méi)算買(mǎi)地、打地基的錢(qián)。AI智庫(kù)“快思慢想研究院”院長(zhǎng)田豐告訴記者，幾十美元成本只是最后一個(gè)環(huán)節(jié)的算力成本，并未計(jì)算基座模型的預(yù)訓(xùn)練成本、數(shù)據(jù)采集加工成本。

其次，“二次創(chuàng)造”構(gòu)建的模型，整體性能尚無(wú)法比肩成熟大模型。TinyZero僅在簡(jiǎn)單數(shù)學(xué)任務(wù)、編程及數(shù)學(xué)益智游戲等特定任務(wù)中有良好表現(xiàn)，但無(wú)法適用于更復(fù)雜、多樣化的任務(wù)場(chǎng)景。而s1模型也只能通過(guò)精心挑選的訓(xùn)練數(shù)據(jù)，在特定測(cè)試集上超過(guò)早期版本o1 preview，而遠(yuǎn)未超過(guò)o1正式版或DeepSeek-R1。

最后，開(kāi)發(fā)性能更優(yōu)越的大模型，仍需強(qiáng)化學(xué)習(xí)技術(shù)。劉知遠(yuǎn)說(shuō)，就推動(dòng)大模型能力邊界而言，“知識(shí)蒸餾”技術(shù)意義不大，未來(lái)仍需探索大規(guī)模強(qiáng)化學(xué)習(xí)技術(shù)，以持續(xù)激發(fā)大模型在思考、反思、探索等方面的能力。

AI模型未來(lái)如何進(jìn)化

在2025年美國(guó)消費(fèi)電子展上，美國(guó)英偉達(dá)公司高管為AI的進(jìn)化勾畫(huà)了一條路線圖：以智能水平為縱軸、以計(jì)算量為橫軸，衡量AI模型的“規(guī)模定律”呈現(xiàn)從“預(yù)訓(xùn)練擴(kuò)展”、到“訓(xùn)練后擴(kuò)展”，再到“測(cè)試時(shí)擴(kuò)展”的演進(jìn)。

“預(yù)訓(xùn)練擴(kuò)展”堪稱“大力出奇跡”——訓(xùn)練數(shù)據(jù)越多、模型規(guī)模越大、投入算力越多，最終得到AI模型的能力就越強(qiáng)。目標(biāo)是構(gòu)建一個(gè)通用語(yǔ)言模型，以GPT早期模型為代表。而“訓(xùn)練后擴(kuò)展”涉及強(qiáng)化學(xué)習(xí)和人類反饋等技術(shù)，是預(yù)訓(xùn)練模型的“進(jìn)化”，優(yōu)化其在特定領(lǐng)域的任務(wù)表現(xiàn)。

隨著“預(yù)訓(xùn)練擴(kuò)展”和“訓(xùn)練后擴(kuò)展”邊際收益逐漸遞減，“測(cè)試時(shí)擴(kuò)展”技術(shù)興起。田豐說(shuō)，“測(cè)試時(shí)擴(kuò)展”的核心在于將焦點(diǎn)從訓(xùn)練階段轉(zhuǎn)移到推理階段，通過(guò)動(dòng)態(tài)控制推理過(guò)程中的計(jì)算量（如思考步長(zhǎng)、迭代次數(shù)）來(lái)優(yōu)化結(jié)果。這一方法不僅降低了對(duì)預(yù)訓(xùn)練數(shù)據(jù)的依賴，還顯著提升了模型潛力。

三者在資源分配和應(yīng)用場(chǎng)景上各有千秋。預(yù)訓(xùn)練像是讓AI模型去學(xué)校學(xué)習(xí)基礎(chǔ)知識(shí)，而后訓(xùn)練則是讓模型掌握特定工作技能，如醫(yī)療、法律等專業(yè)領(lǐng)域?！皽y(cè)試時(shí)擴(kuò)展”則賦予了模型更強(qiáng)推理能力。

AI模型的迭代還存在類似摩爾定律的現(xiàn)象，即能力密度隨時(shí)間呈指數(shù)級(jí)增強(qiáng)。劉知遠(yuǎn)說(shuō)，2023年以來(lái)，大模型能力密度大約每100天翻一番，即每過(guò)100天，只需要一半算力和參數(shù)就能實(shí)現(xiàn)相同能力。未來(lái)應(yīng)繼續(xù)推進(jìn)計(jì)算系統(tǒng)智能化，不斷追求更高能力密度，以更低成本，實(shí)現(xiàn)大模型高效發(fā)展。