網站、網店、SEO、系統 —— 同一個團隊處理,報價一個工作天內回覆免費諮詢

WELCOME TO VOCO DIGITAL

Google 開源咗 Harness²:AI 唔換模型都可以變強,同你請 chatbot 有咩關係

Google 研究團隊開源 Harness²,唔改模型,只改包住模型嘅 8 個檔案,agent 表現就升。呢篇用白話講清楚 harness 係咩,同你買 AI 客服時應該問咩。

先講一句:呢篇唔會叫你裝任何嘢。Google 喺 10 月 9 日開源咗一個叫 Harness² 嘅研究框架,重點唔係「又一個更強嘅 AI 模型」,而係一句更值得記住嘅話:你想個 agent 做得好,唔一定要換模型,改佢周圍嘅設定就得。

「Harness」即係咩?用一個比喻

想像你請咗個師傅。師傅本身嘅手藝就係「模型」。但佢做成點,仲取決於其他嘢:你點同佢講要求、畀咩工具佢、佢記唔記得你之前講過咩、邊啲位唔准佢自己決定、有咩事要問你。

呢一堆「師傅以外嘅東西」,就係 harness。業界叫法唔重要,你只要記住:harness 係決定 agent 行為嘅外殼,模型只係引擎。

同一個引擎,配唔同嘅變速箱同底盤,出來嘅表現可以差好遠。呢個就係 Harness² 想證明嘅事。

佢改嘅係 8 個檔案

研究團隊將 harness 拆成 8 個可以直接編輯嘅檔案:

  • 系統提示(角色、語氣、界線)

  • 護欄(唔准做咩)

  • 記憶(跨對話記得咩)

  • 工具說明(幾時用邊個工具)

  • 子代理(分工)

  • 技能(可重用的做法)

  • 腳本

  • 插件(中間件)

模型嘅權重完全凍結,一個參數都冇訓練。改嘅就係上面呢 8 樣。

佢點知改完係好咗?

呢部分係成篇論文最實際嘅位。佢用一個叫 Propose–Probe–Compose 嘅流程:

  • Propose:先提出兩個改法——一個針對普遍弱點,一個針對眼前呢個任務

  • Probe:兩個改法都真係落場跑同一個任務,同原本嘅表現比較

  • Compose:只保留「行為上真係有改善」嘅改動,其餘丟掉

關鍵係:唔需要標準答案。因為大部分真實工作根本冇答案表可以對。判斷標準係「改完之後行為有冇變好」,唔係「有冇答中」。

仲有第二層:每次做完,佢會將經驗寫入一個經驗庫,下個任務再參考。官方測試顯示,抽走呢個經驗庫,分數由 77.5 跌到 74.4——即係「累積經驗」呢部分真係有用,唔係裝飾。

官方數字(我未實測,以下係論文自己報嘅)

  • GLM-5 配 OpenCode:64.2 → 75.7(WorkBuddy-Bench,+11.5)

  • 同一組合喺 LAB 基準:59.6 → 71.4(+11.8 個百分點)

  • 四個「模型+harness」組合,喺三個基準上全部有改善

  • 代價:每個任務大約要跑 4 次 agent(基準一次、兩個測試各一次、最後一次)

即係話,唔換模型、唔重新訓練,單靠調整外殼,可以有雙位數改善。但成本係四倍運算——呢條數要記住,唔係免費升級。

對你嘅實際意思

一、你個 chatbot 好唔好,模型只佔一部分

大部分人買 AI 客服時,第一個問題係「你用邊個模型」。呢個問題唔錯,但唔夠。同一個模型,護欄設得好唔好、知識庫乾唔乾淨、有冇記憶、幾時轉真人——呢啲位嘅差距,往往大過換模型。

二、唔使追模型版本

如果你嘅流程、界線、知識庫都寫得亂,換幾次模型都唔會突然變好。反過來,一個普通模型配清楚嘅設定,往往穩定過一個強模型配亂七八糟嘅指示。

三、買嘅時候問呢三條

  • 你點設「唔答」嘅範圍?

  • 對話會唔會留紀錄?留幾久?邊個睇得到?

  • 邊啲情況一定會轉真人?

答得出呢三條嘅供應商,通常真係做過落地項目。

唔好照抄落 production 嘅原因

老實講,呢個係研究 code,唔係產品:

  • 版本 0.1.0,README 明講唔係 Google 官方支援產品

  • 綁 Vertex AI,環境要 Linux + Python 3.12/3.13 + uv

  • 官方自己提醒:執行環境嘅網絡權限冇限制,要自己隔離先用

  • 部分基準(例如 JobBench 配 Codex)改善幅度只有 1 點幾,唔算顯著

所以正確用法係「借佢嘅思路」,唔係「搬佢嘅 code」。思路係:把 agent 嘅外殼當成可以版本化、可以測試、可以逐步改嘅東西——好似你改網站文案一樣。

我哋點睇

呢個方向同我哋一直做嘅事一致:AI 專案嘅成敗,多數唔在模型,而在「有冇人寫清楚規則、有冇人睇住、出事追唔追得返」。所以我哋做 chatbot,寧願花時間同你定界線,都唔會用「最新模型」做賣點。

如果你想知你而家個 chatbot(或者打算做嗰個)嘅設定夠唔夠穩,可以約 30 分鐘免費諮詢。價目表公開喺報價頁。

返回部落格