Agentic AI 的信任基石：為何「過程」比「結果」更重要

Wesley Tsai

21 Nov 2025 — 17 min read

AI 代理人（Agentic AI）已不再是實驗室裡的好奇心之作；它們正迅速成為企業基礎設施的核心組件，這也催生了一項緊急且不容妥協的需求——建立一套全新的信任典範。當我們將決策權交給這些能夠自主規劃與行動的非確定性系統時，我們如何確保它們的行為不僅有效，而且可靠、高效且安全？

一份來自 Google 與 Kaggle 的權威白皮書為此提出了清晰的解答，其核心論點直指問題的根本：「代理人的品質是架構的支柱，而非最終的測試階段。」（Agent quality is an architectural pillar, not a final testing phase.）。這句話徹底顛覆了傳統軟體的品質保證思維。

本文將深入探討，為何在評估這些複雜的 AI 代理人時，我們必須將目光從單一的「產出」（Output）轉向其完整的決策「軌跡」（Trajectory）。因為，真正的品質與信任，藏在過程的每一個細節之中。

1. 品質危機：為何傳統 QA 在 AI 代理人時代失靈

傳統的軟體品質保證（QA）方法論，在面對 AI 代理人帶來的全新挑戰時，顯得力不從心。這不僅僅是一次技術的演進，更是一場思維模式的根本轉變。若要理解其中的差異，我們可以借用一個生動的比喻：「送貨卡車 vs. F1 賽車」。

送貨卡車（傳統軟體）： 它的任務明確，路線固定。品質保證的重點在於驗證其是否遵循預設規格，例如引擎能否啟動、是否能沿著固定路線行駛。失敗是顯性且可預測的——系統崩潰、拋出錯誤，就像卡車拋錨一樣，問題一目了然。
F1 賽車（AI 代理人）： 它需要在瞬息萬變的賽道上，根據複雜的動態環境持續做出最佳判斷。它的成功並非取決於單一的「是/否」檢查，而是取決於一系列細微決策的綜合品質——從燃油消耗策略到煞車時機的精準判斷。它的失敗往往不是引擎熄火，而是細微的判斷失誤導致整體表現下降，這種失敗是隱性的、漸進的，並且會蠶食使用者的信任。

AI 代理人的失敗模式與傳統軟體截然不同，它們更為隱蔽且難以追蹤。這些失敗並非來自程式碼的 bug，而是源自其判斷力的缺陷。主要的失敗模式包括：

演算法偏見（Algorithmic Bias）： 代理人會無意中學習並放大訓練數據中既有的社會偏見。例如，一個負責風險摘要的金融代理人，可能會因為訓練數據的歷史偏差，而對來自特定郵遞區號的貸款申請過度懲罰。
事實幻覺（Factual Hallucination）： 代理人能夠以極高的自信度，編造出聽起來合理但完全錯誤的資訊。例如，一個研究助理代理人可能會在一份學術報告中，引用一個具體但純屬捏造的歷史日期。
性能與概念飄移（Performance & Concept Drift）： 隨著現實世界數據的不斷變化，代理人模型最初的訓練成果會逐漸變得過時，導致其性能下降。例如，一個詐欺偵測代理人，若未持續更新，將無法識別新型的網路攻擊手法。
突發的非預期行為（Emergent Unintended Behaviors）： 為了達成設定的目標，代理人可能會「創造性地」找到系統的漏洞或發展出非預期的策略。這可能只是效率低下，但也可能具有剝削性或破壞性。

這些並非單純的技術故障；它們代表了根本性的商業風險，會侵蝕用戶信任、造成營運效率低下，並可能導致重大的聲譽損害。傳統的除錯工具（如中斷點）對判斷力的缺陷無能為力，而單元測試也無法捕捉到突發的偏見。這一現實要求我們徹底轉變方法——從測試程式碼，轉向評估行為。

2. 建立信任的新框架：代理人品質的四大支柱

為了應對 AI 代理人帶來的獨特挑戰，我們需要一個更全面、更貼近商業價值的框架，來定義和衡量一個代理人的「好壞」。這個框架建立在四大核心支柱之上，它們相輔相成，共同構成了代理人品質的完整圖像。

成效（Effectiveness）

這是評估的最終依歸：代理人是否真正理解並成功達成了使用者的根本意圖？成效不僅僅是完成一個指令，更是要創造實際的商業價值。

商業影響案例： 一個電商客服代理人，其成效不應只被衡量為「是否成功找到使用者詢問的商品」，而應是「是否成功引導使用者完成訂單，提升了轉換率」。後者才是真正符合商業目標的「成效」。

效率（Efficiency）

效率衡量代理人解決問題所付出的成本。一個即便最終成功的代理人，如果過程迂迴曲折、耗費巨大，其品質依然是低落的。

商業影響案例： 一個旅遊規劃代理人即便最終成功預訂了機票，但如果它經歷了「25 個步驟、5 次失敗的工具調用和 3 次自我修正」，那麼它就是一個低品質的代理人。這直接關係到營運成本（Token 費用）與使用者體驗（等待時間）。

穩健性（Robustness）

穩健性分析代理人應對真實世界混亂情況的能力。真實世界充滿了非預期狀況，如 API 暫時中斷、網站版面更動、使用者輸入的語意模糊等。一個高品質的代理人必須能夠優雅地處理這些失敗。

商業影響案例： 當預訂系統的 API 超時無回應時，一個不穩健的代理人可能會直接崩潰或產生幻覺（例如，回報一個假的預訂成功的訊息）。而一個穩健的代理人則會嘗試重新調用、在必要時向使用者請求澄清，或明確告知「我目前無法完成此操作，因為系統出現問題」，從而保持使用者的信任。

安全與對齊（Safety & Alignment）

這是所有支柱中不容妥協的基礎。它確保代理人的行為符合道德倫理邊界、遵守組織規範，並能抵禦惡意攻擊。

商業影響案例： 一個醫療諮詢代理人必須嚴格遵守數據隱私法規，絕不洩漏個人身份資訊（PII）。同時，它必須能識別並拒絕有害的指令，例如抵禦「提示注入」（prompt injection）攻擊，防止攻擊者誘導其執行非預期或惡意的操作。

這四大支柱共同定義了何謂「值得信賴」的 AI 代理人。僅僅達成目標（成效）是遠遠不夠的；它還必須以高效、穩健且安全的方式來達成。

3. 評估「過程」：「由外而內」的評估層級

定義了品質的四大支柱後，下一個問題便是：如何實際進行評估？答案是，我們不能只看最終的結果，必須深入其決策的完整過程。正如白皮書的核心觀點所言：「軌跡即是真相」（The Trajectory is the Truth）。一個代理人可能因為錯誤的原因得出了正確的答案，這種「幸運的成功」是不可靠的，也隱藏著未來失敗的風險。

為了系統性地診斷問題，業界應採納一種被稱為「由外而內」（Outside-In）的兩階段評估策略。

第一階段：由外而內（The "Outside-In" View）— 端到端評估（黑箱測試）
- 這個階段完全專注於最終成果，將代理人視為一個「黑箱」。我們只問結果性的問題：任務是否成功完成了？用戶的滿意度如何（例如，透過「讚/倒讚」評分）？最終產出的程式碼是否通過了單元測試？這個階段的評估能快速告訴我們「哪裡」出了問題，例如，我們可能會發現「程式碼生成代理人的 PR 接受率下降了 10%」。然而，它無法解釋「為什麼」會發生這種情況。
第二階段：由內而外（The "Inside-Out" View）— 軌跡評估（玻璃箱測試）
- 當黑箱測試亮起紅燈時，我們就必須打開盒子，轉向「玻璃箱」（Glass Box）視角，深入分析代理人完整的執行軌跡。這意味著我們要檢視從接收指令到產出結果的每一個中間步驟，以精確診斷失敗的根本原因。需要檢視的關鍵節點包括：
  - LLM 的規劃能力： 代理人最初的思考（Thought）是否合乎邏輯？計畫是否可行？
  - 工具的選擇與使用： 是否選擇了正確的工具？傳遞給工具的參數是否正確？是否幻想出不存在的工具？
  - 對工具回傳結果的解讀： 代理人是否正確理解了工具的回應？例如，它是否能識別出 API 回傳的 404 Not Found 錯誤，而不是繼續執行後續步驟？

這種從宏觀到微觀的系統性診斷方法至關重要。它使我們能夠從「任務失敗」這樣一個模糊的信號，精確定位到「因為代理人錯誤解讀了搜尋工具的回應，導致後續規劃偏離」這樣一個可操作的根本原因。

4. 評審的工具箱：從自動化到人類智慧

既然我們知道了要評估什麼（軌跡），下一個問題就是由「誰」來評估以及使用「什麼工具」。對複雜代理人軌跡的判斷，絕非單一方法能夠勝任，它需要一個結合了自動化規模與人類深度洞察的混合評審模式。

自動化指標（Automated Metrics）： 這類指標如 ROUGE（用於摘要）、BERTScore（語意相似度）等，是評估流程中的「第一道防線」。它們的優點是快速、成本低、可重複，非常適合整合到 CI/CD 流程中進行初步篩選和迴歸測試。然而，它們的缺點也同樣明顯：它們很膚淺，只能捕捉表面上的相似性，無法理解深層的語意、邏輯或使用者意圖。
LLM 即評審（LLM-as-a-Judge）： 這是一種強大的新範式，利用一個先進的大語言模型（如 Gemini Advanced）來規模化地評估另一個代理人的定性產出（例如，判斷一個計畫是否合乎邏輯）。為了使其更可靠並減少偏見，最佳實踐是採用「成對比較」（Pairwise Comparison）而非「單一評分」（Single-scoring）。與其讓評審模型給出一個 1-5 分的絕對分數，不如給它兩個不同版本的答案（A 和 B），並強迫它選擇哪一個更好。這種「A vs. B」的勝率是一個更清晰、更可靠的品質改進信號。
然而，將 LLM 作為評審也需謹慎，因為它們自身帶有偏見。開發者必須警惕以下幾種常見的失敗模式：
- 偏好偏見（Preference Bias）： 模型傾向於偏愛由自己生成的內容。
- 冗長偏見（Verbosity Bias）： 模型偏愛更長、聽起來更自信的答案，即使這些答案並不正確。
- 奉承偏見（Sycophancy）： 在多代理人協作中，如果另一個代理人「反駁」，評審模型可能會改變其判斷。
- 分數偏見（Score Bias）： 模型傾向於規避風險，頻繁給出中間分數（例如 1-10 分制中的「5」），這也是為何成對比較是更優越的方法。
正如專家所建議的，關鍵在於：「評估你的評估者。」（Evaluate your evaluators.）
人機回圈（Human-in-the-Loop, HITL）： 儘管自動化工具日益強大，人類專家的判斷至今仍不可或缺。人類在以下幾個方面扮演著關鍵角色：
- 建立「黃金標準」（Golden Set）： 由人類專家精心標註的高品質評估案例集，是校準和驗證所有自動化評審系統的基礎。
- 解讀細微差異： 人類能夠理解自動化工具難以捕捉的細微之處，如語氣、創意、禮貌和複雜的上下文。
- 領域專業判斷： 在醫療、法律、金融等高度專業的領域，只有領域專家才能對代理人產出的事實準確性和合規性做出最終裁決。

最終的結論是明確的：「自動化是我們實現規模化的工具；人性是我們真理的來源。」（Automation is our tool for scale; humanity is our source of truth.）。一個成熟的評估系統，必須巧妙地結合兩者的優勢。

5. 判斷的基礎：可觀測性的三大支柱

無論是 AI 評審還是人類專家，若沒有清晰、完整的數據作為判斷依據，任何評估都將是空中樓閣。正如一句老話所說：「你無法評估你看不到的過程。」這就引出了實現「玻璃箱」評估的技術基石——可觀測性（Observability）。

可觀測性讓我們能夠深入代理人的「思維過程」。它建立在三大支柱之上，每一項都扮演著獨特的角色。

日誌（Logging）：代理人的日記

日誌是可觀測性的原子單位，如同代理人寫下的詳細日記。每一條日誌都記錄了一個離散的、帶有時間戳的事件，例如「我決定使用搜尋工具」或「API 回傳了錯誤碼 500」。然而，關鍵在於這些日誌必須是「結構化日誌」（例如 JSON 格式），而不僅僅是純文字。結構化的格式使得日誌易於被機器查詢、篩選和分析。

追蹤（Tracing）：追隨代理人的足跡

如果說日誌是分散的日記條目，那麼追蹤就是將這些條目串連成一個完整因果故事鏈的敘事線索。它跟隨著一個任務從頭到尾的完整足跡，將所有相關的日誌（在追蹤中稱為 spans）連接起來。追蹤揭示了「為何」發生某事——它讓我們看到，是因為 RAG 系統檢索失敗，才導致了後續 LLM 的錯誤推理。

指標（Metrics）：代理人的健康報告

指標是從海量的日誌和追蹤數據中匯總出的量化分數，如同代理人的定期健康報告。它們提供了宏觀的、一目了然的系統狀態視圖。指標可分為兩大類：

系統指標（System Metrics）： 供維運（Ops）和 SRE 團隊使用，關注系統的「生命體徵」，例如 延遲（Latency）、錯誤率（Error Rate） 和 Token 消耗（Cost）。
品質指標（Quality Metrics）： 供產品和數據科學團隊使用，關注代理人的「決策品質」，例如 事實正確率（Correctness Score）、軌跡遵循度（Trajectory Adherence） 和 有用性評分（Helpfulness Ratings）。

這三大支柱共同作用，將代理人黑箱般的操作過程，轉化為一個可供分析、評估和改進的透明系統。

6. 結論：打造代理人品質飛輪的良性循環

本文從代理人時代的品質危機出發，闡述了定義品質的四大支柱、由外而內的評估層級、結合自動化與人類智慧的評審工具箱，以及實現透明度的可觀測性技術基礎。當我們將所有這些概念整合在一起時，便形成了一個強大的、自我強化的良性循環系統——代理人品質飛輪（Agent Quality Flywheel）。

這個飛輪的運作機制如下：

定義品質： 以成效、效率、穩健性和安全這四大支柱作為明確的目標，為飛輪設定清晰的方向。
儀器化以實現可見性： 透過建立日誌、追蹤和指標這三大可觀測性支柱，為代理人安裝「儀表板」，產生驅動飛輪運轉所需的數據燃料。
評估過程： 運用結合了自動化指標、LLM 即評審和人機回圈的混合評審引擎，對代理人的產出和軌跡進行持續的判斷。每一次評估都是對飛輪的一次有力推動。
建構反饋迴路： 這是讓飛輪加速旋轉的關鍵。每一次在生產環境中發現的失敗，都會被系統性地捕獲並轉化為「黃金」評估集中的一個永久性迴歸測試案例。這確保了系統能從錯誤中學習，並隨著時間的推移變得愈發穩健。

在 AI 代理人時代，企業的成功不再僅僅取決於模型的先進程度，更取決於其駕馭和驗證這些複雜系統的能力。掌握「評估工程」（Evaluation Engineering）將成為關鍵的差異化因素。

最終，那些能夠超越炒作，構建出定義下一代企業價值的、真正可靠的自主系統的企業，將會是最終的贏家。我們的目標不僅是建構「能用」的代理人，更是透過嚴謹、持續且融入架構的評估體系，建構出真正「值得信賴」的代理人。這份信任，正是未來 agentic 時代最寶貴的資產。

--------------------------------------------------------------------------------

資料來源