先講一句:呢篇唔會叫你裝任何嘢。Google 喺 10 月 9 日開源咗一個叫 Harness² 嘅研究框架,重點唔係「又一個更強嘅 AI 模型」,而係一句更值得記住嘅話:你想個 agent 做得好,唔一定要換模型,改佢周圍嘅設定就得。
「Harness」即係咩?用一個比喻
想像你請咗個師傅。師傅本身嘅手藝就係「模型」。但佢做成點,仲取決於其他嘢:你點同佢講要求、畀咩工具佢、佢記唔記得你之前講過咩、邊啲位唔准佢自己決定、有咩事要問你。
呢一堆「師傅以外嘅東西」,就係 harness。業界叫法唔重要,你只要記住:harness 係決定 agent 行為嘅外殼,模型只係引擎。
同一個引擎,配唔同嘅變速箱同底盤,出來嘅表現可以差好遠。呢個就係 Harness² 想證明嘅事。
佢改嘅係 8 個檔案
研究團隊將 harness 拆成 8 個可以直接編輯嘅檔案:
系統提示(角色、語氣、界線)
護欄(唔准做咩)
記憶(跨對話記得咩)
工具說明(幾時用邊個工具)
子代理(分工)
技能(可重用的做法)
腳本
插件(中間件)
模型嘅權重完全凍結,一個參數都冇訓練。改嘅就係上面呢 8 樣。
佢點知改完係好咗?
呢部分係成篇論文最實際嘅位。佢用一個叫 Propose–Probe–Compose 嘅流程:
Propose:先提出兩個改法——一個針對普遍弱點,一個針對眼前呢個任務
Probe:兩個改法都真係落場跑同一個任務,同原本嘅表現比較
Compose:只保留「行為上真係有改善」嘅改動,其餘丟掉
關鍵係:唔需要標準答案。因為大部分真實工作根本冇答案表可以對。判斷標準係「改完之後行為有冇變好」,唔係「有冇答中」。
仲有第二層:每次做完,佢會將經驗寫入一個經驗庫,下個任務再參考。官方測試顯示,抽走呢個經驗庫,分數由 77.5 跌到 74.4——即係「累積經驗」呢部分真係有用,唔係裝飾。
官方數字(我未實測,以下係論文自己報嘅)
GLM-5 配 OpenCode:64.2 → 75.7(WorkBuddy-Bench,+11.5)
同一組合喺 LAB 基準:59.6 → 71.4(+11.8 個百分點)
四個「模型+harness」組合,喺三個基準上全部有改善
代價:每個任務大約要跑 4 次 agent(基準一次、兩個測試各一次、最後一次)
即係話,唔換模型、唔重新訓練,單靠調整外殼,可以有雙位數改善。但成本係四倍運算——呢條數要記住,唔係免費升級。
對你嘅實際意思
一、你個 chatbot 好唔好,模型只佔一部分
大部分人買 AI 客服時,第一個問題係「你用邊個模型」。呢個問題唔錯,但唔夠。同一個模型,護欄設得好唔好、知識庫乾唔乾淨、有冇記憶、幾時轉真人——呢啲位嘅差距,往往大過換模型。
二、唔使追模型版本
如果你嘅流程、界線、知識庫都寫得亂,換幾次模型都唔會突然變好。反過來,一個普通模型配清楚嘅設定,往往穩定過一個強模型配亂七八糟嘅指示。
三、買嘅時候問呢三條
你點設「唔答」嘅範圍?
對話會唔會留紀錄?留幾久?邊個睇得到?
邊啲情況一定會轉真人?
答得出呢三條嘅供應商,通常真係做過落地項目。
唔好照抄落 production 嘅原因
老實講,呢個係研究 code,唔係產品:
版本 0.1.0,README 明講唔係 Google 官方支援產品
綁 Vertex AI,環境要 Linux + Python 3.12/3.13 + uv
官方自己提醒:執行環境嘅網絡權限冇限制,要自己隔離先用
部分基準(例如 JobBench 配 Codex)改善幅度只有 1 點幾,唔算顯著
所以正確用法係「借佢嘅思路」,唔係「搬佢嘅 code」。思路係:把 agent 嘅外殼當成可以版本化、可以測試、可以逐步改嘅東西——好似你改網站文案一樣。
我哋點睇
呢個方向同我哋一直做嘅事一致:AI 專案嘅成敗,多數唔在模型,而在「有冇人寫清楚規則、有冇人睇住、出事追唔追得返」。所以我哋做 chatbot,寧願花時間同你定界線,都唔會用「最新模型」做賣點。
如果你想知你而家個 chatbot(或者打算做嗰個)嘅設定夠唔夠穩,可以約 30 分鐘免費諮詢。價目表公開喺報價頁。
