← 返回文章列表
技術 7 min read

打造 AI Agent Skills 框架 — AI Skills 框架的未解問題

22 天後,什麼問題解決了?什麼問題還沒有好的答案?框架的邊界與五個未來方向


22 個活躍開發日。14 個 Skills。184 個以上的 commits。

框架做到了什麼?AI 在企業表單系統上的生成品質從 72 分的不可用狀態,提升到了回歸測試穩定通過、四維度驗證偵測率 97.5% 的可用狀態。

但有些問題,22 天是不夠回答的。

問題一:模型升級的脆弱性

整個框架是用 Claude Code 搭配特定版本的模型開發和測試的。Day 0 的 MVP 測試用的是 Copilot Agent Mode 搭配 Claude Sonnet 4.5。

不同的 AI 工具和模型,行為差異比預期的大。同樣的 Skill,在一個模型上效果很好的 HARD-GATE,在另一個模型上可能被「創意性地繞過」。同樣的 Red Flags 表格,一個模型會逐條檢查,另一個模型可能只掃一眼。

這帶出一個尖銳的問題:模型升級後,Skills 是否需要全面重新驗證?

理論上,好的 Skill 設計應該是模型無關的——它描述的是任務知識,不是針對特定模型的 hack。但實踐中,Skill 的措辭、語氣、結構都會影響不同模型的遵從度。一個在強模型上多餘的 HARD-GATE,在弱模型上可能至關重要。

目前沒有好的答案。每次模型升級,只能重跑回歸測試,觀察行為差異,逐一調整。這是一個手動的、不可規模化的流程。

問題二:跨專案遷移

14 個 Skills 裡,有多少設計模式是可遷移的?

可遷移的:HARD-GATE 的設計模式(禁止式比建議式有效)、三層漸進式披露、Skills vs Docs 的職責分離、Dual Fix 原則、信心標記系統。這些是「方法論」層級的知識,跟特定專案無關。

不可遷移的:隱含慣例解碼表(每個專案的慣例不同)、具體的路由表(任務類型和 Skill 鏈跟專案架構綁定)、Docs 的內容(每個 codebase 的知識不同)。

粗估 60% 的設計模式可以遷移,40% 要重新發展。

但「重新發展」不代表從零開始。TDD for Documentation 的方法論是通用的——先觀察 AI 在新專案上的失敗模式,再針對性地建 Skill。差別在於失敗模式不同,Skill 的內容不同。

真正的問題是:有沒有辦法加速那 40% 的重新發展? 有沒有一個 meta-framework,能自動分析新 codebase 的結構,產出初始的 Skill 骨架?

目前沒有。這可能是下一個值得探索的方向。

問題三:自動化的天花板

HARD-GATE 靠的是什麼?靠的是 AI 願意遵守文字指令。

<HARD-GATE> 標籤不是程式碼——它沒有 runtime enforcement。它只是一段 Markdown 文字。AI 遵守它,是因為它被訓練成「遵守指令」的模型。

如果 AI 不遵守呢?

在目前的模型上,HARD-GATE 的遵從率很高。但這不是保證。模型的行為是機率性的,不是確定性的。在某些邊界情況下——上下文特別長、任務特別複雜、多個 HARD-GATE 互相衝突——AI 可能會「創意性地重新解讀」禁令。

這暴露了一個根本性的限制:Skills 框架是建立在「信任 AI 會遵守文字指令」之上的。 如果這個前提不成立,整個框架就搖搖欲墜。

長遠來看,行為約束可能需要從「文字層面」移到「系統層面」——例如,在 AI 的輸出管道中嵌入結構化的驗證步驟,由外部系統而非 AI 自身來執行。

但目前,文字層面的 HARD-GATE 已經足夠有效。「足夠有效」不代表完美——它代表在可用的技術條件下,這是最好的方案。

問題四:度量與可觀測性

框架的效益怎麼量化?

目前能量化的指標:

  • 回歸測試通過率(13/13)
  • 四維度驗證偵測率(97.5%)
  • Skill 修改後的副作用發生率

不能量化的指標:

  • AI 生成程式碼的「需要人工修改」比率(沒有系統性地追蹤)
  • 框架導入前後的「開發速度」差異(太多變數無法控制)
  • 使用者滿意度的持續追蹤(只有工作坊後的即時反饋)

沒有好的可觀測性,就無法做資料驅動的改進。你只能靠直覺和回歸測試來判斷框架是否在變好。

一個可能的方向是:在驗證 Skill 的流程中,自動記錄每次驗證的 ✅ / ⚠️ / ❌ 分佈。隨時間累積,就能看到趨勢——某類問題是否在減少、某個 Skill 的修改是否帶來了改善。

但這需要基礎建設——目前沒有。

問題五:Skills 的 Skills

最後一個問題,也是最 meta 的問題:誰來指導 AI 寫 Skills?

14 個 Skills 都是我手動寫的。寫 Skill 需要對 codebase 的深入理解、對 AI 行為的觀察、對資訊架構的設計能力。

但 AI 輔助寫作已經是現實。有沒有一個 meta-skill,能指導 AI 來寫 Skills?

這不是幻想——這個系列的部落格文章本身就是用 AI 輔助撰寫的。從原始素材中提取數據、按照結構組織內容、檢查術語一致性——AI 都參與了。

問題是 Skills 比部落格文章更 nuanced。一個 Gotcha 的措辭如果不夠精準,AI 可能誤讀。一個 HARD-GATE 的邊界如果太寬,可能攔住正常操作;太窄,可能漏掉危險行為。這種精微的拿捏,目前還是需要人類判斷。

meta-skill 的設計是否有極限?當你用 Skill 來指導 AI 寫 Skill 來指導 AI 寫程式碼——這個遞迴是否有終止條件?

我不知道。但我懷疑答案是:每一層遞迴都需要更少的 Skills,但每個 Skill 需要更精準的設計。

誠實面對邊界

這 13 篇文章記錄的是一段旅程,不是一個終點。

22 天足以建立一個有效的框架。22 天不足以回答所有問題。

如果你也在建類似的東西,帶走方法論,但不要帶走具體的答案。你的專案有自己的失敗模式、自己的隱含慣例、自己的團隊文化。方法論是可遷移的——先觀察失敗、再設計指引、用 TDD 驗證、用 HARD-GATE 防護、用回歸測試保證。

至於那五個未解問題——如果你有好的答案,歡迎分享。

graph TD
    A[已解決] --> A1[AI 行為約束<br/>HARD-GATE]
    A --> A2[知識架構<br/>漸進式披露]
    A --> A3[品質保證<br/>回歸+驗證]
    A --> A4[團隊導入<br/>安裝+訓練+反饋]

    B[未解決] --> B1[模型升級<br/>脆弱性]
    B --> B2[跨專案<br/>遷移]
    B --> B3[自動化<br/>天花板]
    B --> B4[度量與<br/>可觀測性]
    B --> B5[Meta-skill<br/>極限]

    style A fill:#2d5016,color:#fff
    style B fill:#8b0000,color:#fff

本文是「打造 AI Agent Skills 框架」系列的第 13/13 篇

← 上一篇:從個人工具到團隊基建

📚 回到系列目錄