Day 07｜Agent 偶爾答對還不夠，我先出二十道測試題

本文同步自 2026 iThome 鐵人賽原文 。完整系列可見 iThome 系列頁 。

安安～我是ChiYu～

昨天把 E0～E5 的證據等級排好後，我正準備動手寫第一支 WebMCP Tool，卻發現順序好像反了。

如果連「怎樣才算做對」都還沒說清楚，Tool 寫完後，我很可能只挑一個最聽話的 Prompt，看到 Agent 成功呼叫一次，就宣布能力完成。

這種驗收很省時間，缺點是也很容易把運氣當可靠度。

系列開頭的 search_events trace 的確成功，但它只證明固定版本、頁面、Prompt 與模型下的一次 唯讀呼叫。它沒有順便回答：參數會不會亂猜、多步驟順序會不會顛倒、session 過期會怎麼辦， 或活動摘要裡藏著惡意文字時，Agent 會不會被帶走。

所以今天先不寫 Tool。我把「Agent 用得動網站」拆成十種可觀察行為，每種各出兩題。後面每 完成一段能力，就拿對應題目來撞一次；成功和失敗都保留，沒有執行就明確寫 not_run。

圖 1：十種行為各準備兩個案例，共二十題。這是本系列的測試設計，不是 WebMCP 規範或競賽門檻。

不問 Agent 聰不聰明，改問十個能驗收的問題

「Agent 很聰明」沒有明確通過條件。改成下面十項後，每一題都有可觀察的 Tool call、input、 result、UI 狀態或禁止行為。

前半部檢查 Agent 會不會選能力與組參數；後半部把狀態、副作用、安全與失敗路徑拉進來。 「有呼叫 Tool」從這裡開始，不再自動等於「任務完成」。

二十題完整保留，但不把每一題寫成一篇小作文

每題都從指定 route 與乾淨測試狀態開始。下表保留實際 Prompt 與最重要的通過條件；後面文章 再依主題展開 trace、畫面與版本差異。

這二十題刻意包含「不呼叫 Tool」與「先追問」。Agent-ready 不等於每句話都要積極操作網站； 有時候正確答案就是把手收回來。

題目要同時寫出禁止行為

只寫「預期呼叫 search_events」還不夠。通過條件還要說清楚不能做什麼：

搜尋結果為 0
→ 不得自行放寬條件

資訊不足
→ 不得替使用者挑活動或取消對象

Prepare Tool 完成
→ 不得送出正式 mutation

Session 過期
→ 不得換一個 ID 繼續碰運氣

這些 negative assertions 很重要。Agent 最後若碰巧得到正確答案，中間卻猜了 catalog 外 Tool、 偷改條件或多做一次寫入，整題仍不能算通過。

二十題分散到後續實作，不等最後一天補考

今天只定義題庫，不代表二十題已經跑過。後面每完成一項能力，就在當時的固定版本執行相關 案例；沒有完整 trace 的題目維持 not_run。

為了讓完賽後回頭閱讀的人不用在十幾篇之間猜位置，我把後續證據索引回填在這裡。這是系列 完成後的導覽，不是今天提前拿到的成績單。

前八個主責文章覆蓋原始二十題；Day 26 是公開部署重播，不是偷偷再加兩題。Day 17、23、25、 27～30 則處理 result contract、測試分層、部署、寫入判讀、診斷與交付。

索引中的「通過」也要看證據種類：

• E2 deterministic：程式在固定輸入與狀態下符合斷言。
• Agent trace：固定環境中的 Agent 真的讀懂 Prompt、選 Tool、送 input 並取得 result。

測試程式知道該呼叫誰，不代表模型面對自然語言也知道。兩種證據不能互相代打。

每題至少保存一條完整呼叫鏈

只留下「我找到一場活動」，無法判斷答案來自 Tool、頁面、舊對話，還是模型自己的想像。 因此每題至少要保存：

Release / revision
Start route
User Prompt
Active catalog
Actual Tool calls and inputs
Tool results
AI result
Verdict：passed | failed | not_run

寫入或高風險操作還要補：

Network mutation count
Visible UI
Server state before / after
Human confirmation point

not_run 不是產品失敗，也不是通過；它只代表目前沒有執行證據。把三種狀態分開，後面才 知道該修網站、修測試環境，還是根本尚未作答。

題庫自己的結構也要先驗證

二十題是給 Agent 的考卷，考卷本身也可能重複 case ID、漏起始 route，或改稿時少掉一類。 Repository 因此提供：

npm run evals:validate

它會確認：

1. Case ID 沒有重複。
2. 每題都有 Prompt、起始 route 與預期行為。
3. 十種類型都有案例。

命令通過，只代表題庫結構可用，不代表 Agent 已經作答。測驗還沒開始，成績單不能先自己 長出來。

今天考卷已經出好，WebMCP Tool 還沒正式動工。明天從第一題需要的搜尋能力下手，把畫面上的 「搜尋活動」整理成 search_events 的用途、input schema 與 result。若 Tool 只會描述「去按 右邊那顆藍色按鈕」，它大概連考卷姓名欄都還沒填完。