人工干預率：判斷AI落地是否真正奏效的那一項指標

大多數在生產環境裡運行AI代理的公司，說不出這些代理實際上多久需要一個人插手。人工干預率就是回答這個問題的數字。讀完這篇文章，你應該能為一個已經在跑的工作流把它算出來。

FabricLoop為AI組織定下的框架，把人工干預率說得很直白：它問的是，自動化的工作多久需要一個人。這就是定義，本文不偏離它。下面這部分，是概念頁沒有把帳完全算開的地方：把真正的算術用到一個真實工作流上，用數字把這個想法做成具體的，而不是只停留在願望裡。

這個數字實際在衡量什麼

人工干預率（HIR）是：在一個劃定的工作流、一段劃定的時間裡，代理的行動中，有多少在結果可以算作完成之前，需要一個人插手。這裡的「插手」有明確含義：有人改正了輸出，推翻了代理作出的決定，或者回答了代理在繼續之前明確提出的問題——FabricLoop的Loop Agent把這一刻叫做ask_human。用這些行動的次數，除以同一時段裡代理採取的行動總數，得到的就是HIR。

這項指標之所以該和可用性、準確率並列，而不是排在它們下面，是因為它衡量的是那些數字看不見的東西。一個代理可以在某個內部基準上拿到95%的準確率，落地效果卻比一個80%的更差——如果它弄錯的那5%會悄悄漏過去，而它沒把握的那20%每次都會被標出來。HIR不問代理好不好。它問的是：系統知不知道自己什麼時候需要一個人，以及需要的時候，人會不會真的出現。決定一次落地能不能安全擴大的，是第二個問題。

為一個真實工作流計算HIR

拿一個IT或營運團隊今天就可能在跑的工作流：代理分流進來的支援工單，給它們分類（帳單、缺陷報告、退款、帳號存取，等等），並起草第一遍回復。每一份草稿在到達客戶之前都會進審核隊列——沒有任何東西會自己發出去。這一步審核本身不是干預。審核人在一份不需要改動的草稿上點「發送」，是工作流按設計在運轉。干預發生在草稿需要加工的時候：審核人重寫了它，改了分類，把工單轉到另一個隊列，或者代理自己在任務中途停下來，在起草任何內容之前先問了一個問題。

下面的數字是說明性的例子，不是某家真實公司的數據——但故事的形狀，以及背後的算術，正是你用自己的日誌搭出來的東西。

在試點月，代理碰到640張工單。其中415張需要干預——重寫、重新分類，或改道——而這415次裡，只有75次是代理在起草任何內容之前自己標出來的。其餘都是審核人事後抓住的錯誤。這是64.8%的HIR，升級佔比只有18%：代理在出錯的大多數時候，是自信地錯。這是這個問題最糟的一種形態。

團隊拉出更正日誌，給每一次干預標上原因。兩類佔了大頭：只要涉及金額，代理就會讀錯退款政策；面對明顯生氣的客戶，它會起草平靜、按流程走的回覆。這兩類都不用動模型就能修——加上一條明確規則：任何提到超過50美元退款、或情緒分數超過閾值的工單，觸發ask_human升級，而不是出一份草稿。其餘的仍然照舊起草和審核。

到第三個月，HIR下降了80%以上，但更有資訊量的是升級佔比：它從18%升到了79%。剩下的大部分，不是代理被抓到出錯——而是它正確認出了一個真正含糊的情況（VIP帳號、政策例外、剛好卡在閾值上的退款），並在行動之前先問。下降是真的，也是掙來的：每一輪更正都回灌進了明確規則，所以產生這些更正的具體錯誤不再重複，而仍然需要判斷的類別繼續被標出，而不是被草稿繞過去。

錯誤：把零當成目標

一旦團隊看著HIR逐月下降，下一個問題似乎很自然：它能低到什麼程度。本能是把零當成終點——證明代理終於好到可以無人看管地跑。這個本能是反的，也是對這項指標最常見的誤讀。

真正的目標從來不是抽象地減少干預。它是一個系統：需要人做判斷的那些具體時刻會被顯出來——而且只有那些時刻——於是人的注意力落到真正需要的地方，而不是均勻攤在所有事情上，或完全缺席。一個HIR為12%的工作流，如果這12%幾乎全都是代理正確標出真正含糊或高風險的情況，比一個HIR為2%、而這2%裡大部分是審核人偶然撞上代理從未標出的錯誤的工作流更健康。更低的數字可以藏住更差的系統。

升級佔比正是為此而設。把它和HIR放在一起看，它告訴你你處在哪一種故事裡：

如果HIR在降，而升級佔比持平或一起降，先別把它記成勝利。從記為「無需干預」的行動裡隨機抽一份樣本，讓人冷眼重看，不要告訴他們這份樣本曾被標成乾淨的。同時看下游信號——重新打開的工單、投訴、退款追回、CSAT——是不是在同時往上漂。HIR下降、下游問題上升，不是一個學得更快的系統。是一個沒有人及時抓住的系統。

如果今天就要測，該埋哪些點

這些並不怎麼需要新工具，需要的是記下對的東西。大多數在跑代理的團隊已經在跟蹤量——它碰了多少工單，起草了多少任務。幾乎沒有團隊跟蹤結果，而結果才是HIR真正需要的。

1. 為每一次行動記下結果，而不只是活動次數。原樣發出、發出前改過、駁回並重寫，或由代理自己升級。沒有結果層面的記錄，HIR根本算不出來——你只知道代理做了某件事，不知道它是否需要被修正。
2. 先固定分母，再去修分子。決定對這個工作流來說，一次行動是什麼——碰過的一張工單，起草的一項任務——並讓這個定義跨時段保持穩定，這樣HIR的變化反映的是代理的判斷，而不是你計數方式的變化。
3. 給每一次干預標上原因。「已編輯」幾乎什麼都沒說。「已編輯：50美元以上誤用了退款政策」精確說出下一步該修什麼。一套短而穩定的分類，能把更正日誌變成待辦清單，而不是記分牌。
4. 把升級佔比和HIR一起跟蹤，而不是用它替換HIR。兩個數字合在一起，才能說明一次下降是掙來的還是借來的——見上面的趨勢表。
5. 設一條下限，而不是把零當目標。按工作流決定：考慮到這個工作流裡有多少真正的含糊，一個合理的、非零的HIR該是什麼樣。遠低於這條下限的比率，是要調查的事，不是要慶祝的事。
6. 按工作流報告HIR，絕不要合成一個全公司的混合數字。一個平均數會藏住：哪一個具體工作流真的掙到了更少的監督，哪一個正在一個好看的頭條數字下面悄悄堆積風險。
7. 按計劃複查「乾淨」樣本。定期抽出被記為無需干預的行動，讓不知道它們曾被標成乾淨的人重看。這是直接檢查審核人是否還在讀的唯一辦法。