人工干預率：判斷AI落地係咪真係奏效嘅嗰一項指標

大多數喺正式環境行緊AI代理嘅公司，都講唔出呢啲代理實際上幾常需要一個人插手。人工干預率就係回答呢個問題嘅數字。睇完呢篇，你應該可以為一個已經喺跑嘅工作流程計出嚟。

FabricLoop為AI組織定落嘅框架，將人工干預率講得好直白：佢問嘅係，自動化嘅工作幾常需要一個人。呢個就係定義，本文唔偏離佢。下面呢部分，係概念頁冇將數完全計開嘅地方：將真正嘅算術用落一個真實工作流程，用數字將個想法做成具體嘅，而唔係停喺願望度。

呢個數字實際喺量緊咩

人工干預率（HIR）係：喺一個劃定嘅工作流程、一段劃定嘅時間入面，代理嘅行動之中，有幾多喺結果可以算做完成之前，需要一個人插手。呢度嘅「插手」有明確意思：有人改咗輸出，推翻咗代理作出嘅決定，或者答咗代理喺繼續之前明確提出嘅問題——FabricLoop嘅Loop Agent將呢一刻叫做ask_human。用呢啲行動嘅次數，除以同一時段入面代理採取嘅行動總數，得出嚟嘅就係HIR。

呢項指標之所以應該同可用性、準確率並列，而唔係排喺佢哋下面，係因為佢量緊嗰啲數字睇唔到嘅嘢。一個代理可以喺某個內部基準拿到95%準確率，落地效果卻比一個80%嘅更差——如果佢搞錯嗰5%會靜靜雞漏過去，而佢冇把握嗰20%每次都會被標出嚟。HIR唔問代理好唔好。佢問嘅係：系統知唔知自己幾時需要一個人，以及需要嘅時候，人會唔會真係出現。決定一次落地可唔可以安全擴大嘅，係第二個問題。

為一個真實工作流程計HIR

攞一個IT或者營運團隊今日就可能喺跑嘅工作流程：代理分流入嚟嘅支援工單，幫佢哋分類（帳單、缺陷報告、退款、帳號存取，等等），再起草第一遍回覆。每一份草稿喺去到客戶之前都會入審核隊列——冇任何嘢會自己送出去。呢一步審核本身唔係干預。審核人喺一份唔使改嘅草稿上面撳「發送」，係工作流程按設計喺運轉。干預發生喺草稿需要加工嘅時候：審核人重寫咗佢，改咗分類，將工單轉去另一個隊列，或者代理自己喺任務中途停低，喺起草任何內容之前先問咗一條問題。

下面嘅數字係說明性嘅例子，唔係某間真實公司嘅數據——但故事嘅形狀，同埋背後嘅算術，正正係你用自己嘅日誌砌出嚟嘅嘢。

喺試點月，代理碰到640張工單。其中415張需要干預——重寫、重新分類，或者改道——而呢415次入面，只有75次係代理喺起草任何內容之前自己標出嚟嘅。其餘都係審核人事後捉到嘅錯誤。呢個係64.8%嘅HIR，升級佔比得18%：代理出錯嘅大多數時候，係自信咁錯。呢個係呢個問題最差嘅一種形態。

團隊拉出更正日誌，為每一次干預標上原因。兩類佔咗大頭：只要涉及金額，代理就會讀錯退款政策；面對明顯嬲緊嘅客戶，佢會起草平靜、按流程走嘅回覆。呢兩類都唔使郁模型就可以修——加一條明確規則：任何提到超過$50退款、或者情緒分數超過閾值嘅工單，觸發ask_human升級，而唔係出一份草稿。其餘嘅仍然照舊起草同審核。

到第三個月，HIR下降咗80%以上，但更有資訊量嘅係升級佔比：佢由18%升到79%。剩低嘅大部分，唔係代理被捉到出錯——而係佢正確認出一個真正含糊嘅情況（VIP帳號、政策例外、剛好卡喺閾值上嘅退款），並且喺行動之前先問。下降係真嘅，亦都係掙返嚟嘅：每一輪更正都回灌入明確規則，所以產生呢啲更正嘅具體錯誤唔再重複，而仍然需要判斷嘅類別繼續被標出，而唔係被草稿繞過去。

錯誤：將零當成目標

一旦團隊睇住HIR逐月下降，下一個問題好似好自然：佢可以低到邊度。本能係將零當成終點——證明代理終於好到可以冇人睇住咁跑。呢個本能係反嘅，亦都係對呢項指標最常見嘅誤讀。

真正嘅目標從來唔係抽象咁減少干預。佢係一個系統：需要人做判斷嘅嗰啲具體時刻會被顯出嚟——而且只有嗰啲時刻——於是人嘅注意力落到真正需要嘅地方，而唔係均勻攤喺所有事上面，或者完全缺席。一個HIR為12%嘅工作流程，如果呢12%幾乎全部都係代理正確標出真正含糊或者高風險嘅情況，比一個HIR為2%、而呢2%入面大部分係審核人偶然撞到代理從未標出嘅錯誤嘅工作流程更健康。更低嘅數字可以藏住更差嘅系統。

升級佔比正正係為此而設。將佢同HIR放埋一齊睇，佢話你知你處喺邊一種故事入面：

如果HIR喺降，而升級佔比持平或者一齊降，先唔好將佢記成勝利。由記為「無需干預」嘅行動入面隨機抽一份樣本，叫人冷眼再睇，唔好話佢哋知呢份樣本曾經被標成乾淨。同時睇下游信號——重新打開嘅工單、投訴、退款追回、CSAT——係咪同時向上漂。HIR下降、下游問題上升，唔係一個學得更快嘅系統。係一個冇人及時捉到嘅系統。

如果今日就要量，應該埋邊啲點

呢啲並唔係咁需要新工具，需要嘅係記下啱嘅嘢。大多數喺跑代理嘅團隊已經喺跟蹤量——佢碰到幾多工單，起草咗幾多任務。幾乎冇團隊跟蹤結果，而結果先至係HIR真正需要嘅。

1. 為每一次行動記下結果，而唔係淨係活動次數。原樣發出、發出前改過、駁回並重寫，或者由代理自己升級。冇結果層面嘅記錄，HIR根本計唔出嚟——你只知道代理做咗某件事，唔知道佢係咪需要被修正。
2. 先固定分母，再去修分子。決定對呢個工作流程嚟講，一次行動係咩——碰過嘅一張工單，起草嘅一項任務——並且令呢個定義跨時段保持穩定，咁HIR嘅變化反映嘅先至係代理嘅判斷，而唔係你計數方式嘅變化。
3. 為每一次干預標上原因。「已編輯」幾乎咩都冇講。「已編輯：$50以上誤用咗退款政策」精確講出下一步應該修咩。一套短而穩定嘅分類，可以將更正日誌變成待辦清單，而唔係記分牌。
4. 將升級佔比同HIR一齊跟蹤，而唔係用佢取代HIR。兩個數字合埋，先至可以講明一次下降係掙返嚟定係借返嚟——見上面嘅趨勢表。
5. 設一條下限，而唔係將零當目標。按工作流程決定：考慮到呢個工作流程入面有幾多真正嘅含糊，一個合理、非零嘅HIR應該係點樣。遠低過呢條下限嘅比率，係要調查嘅事，唔係要慶祝嘅事。
6. 按工作流程報告HIR，千祈唔好合成一個全公司嘅混合數字。一個平均數會藏住：邊一個具體工作流程真係掙到更少嘅監督，邊一個正在一個好看嘅頭條數字下面靜靜雞堆積風險。
7. 按計劃複查「乾淨」樣本。定期抽出被記為無需干預嘅行動，叫唔知道佢哋曾經被標成乾淨嘅人再睇。呢個係直接檢查審核人係咪仍然喺讀嘅唯一辦法。