Taxa de Intervenção Humana: a única métrica que mostra se o seu rollout de IA está funcionando de verdade

A maioria das empresas que roda agentes de IA em produção não consegue dizer com que frequência esses agentes de fato precisam que uma pessoa entre. A Taxa de Intervenção Humana é o número que responde a essa pergunta — e, ao fim deste texto, você deve conseguir calculá-la para um fluxo que já executa.

O próprio quadro da FabricLoop para organizações de IA define a Taxa de Intervenção Humana de forma direta: ela pergunta com que frequência o trabalho automatizado precisa de uma pessoa. Essa é a definição, e este texto não se desvia dela. O que vem a seguir é a parte que a página do conceito não escreve por completo: a conta de verdade, aplicada a um fluxo real, com os números que tornam a ideia concreta em vez de apenas aspiracional.

O que o número mede de fato

A Taxa de Intervenção Humana (HIR) é a parcela das ações de um agente, dentro de um fluxo definido e de um período, que exigiu que uma pessoa entrasse antes de o resultado poder valer como concluído. “Entrar” tem aqui um sentido específico: uma pessoa corrigiu a saída, anulou uma decisão que o agente tomou ou respondeu a uma pergunta que o agente levantou de forma explícita antes de seguir — o que o Loop Agent da FabricLoop chama de um momento ask_human. Divida a contagem dessas ações pelo número total de ações que o agente executou no mesmo período, e você tem a HIR.

Essa métrica ganha lugar ao lado de disponibilidade e precisão, e não abaixo delas, porque mede algo que esses números não enxergam. Um agente pode marcar 95% de precisão em algum benchmark interno e ainda assim ser um rollout pior do que um com 80%, se os 5% em que erra passam em silêncio enquanto os 20% dos quais ele não tem certeza são sinalizados toda vez. A HIR não pergunta se o agente é bom. Pergunta se o sistema sabe quando precisa de uma pessoa, e se uma pessoa de fato aparece quando isso acontece. Essa segunda pergunta é a que decide se um rollout pode ser ampliado com segurança.

Calcular a HIR para um fluxo real

Pegue um fluxo que um time de TI ou operações poderia rodar de verdade hoje: um agente que tria tickets de suporte que chegam, os classifica (cobrança, relato de bug, reembolso, acesso à conta, e assim por diante) e redige uma primeira resposta. Cada rascunho cai numa fila de revisão antes de chegar a um cliente — nada sai sozinho. Esse passo de revisão, por si só, não é intervenção. Um revisor que clica em “enviar” num rascunho que não precisava de mudanças é o fluxo funcionando como foi desenhado. Intervenção é o que acontece quando o rascunho precisava de trabalho: um revisor o reescreveu, corrigiu a classificação, redirecionou o ticket para outra fila, ou o próprio agente pausou no meio da tarefa e fez uma pergunta antes de redigir qualquer coisa.

Os números abaixo são um exemplo ilustrativo, não os dados de uma empresa real — mas a forma da história, e a conta por trás, é exatamente o que você montaria a partir dos seus próprios logs.

No mês piloto, o agente toca 640 tickets. Desses, 415 precisam de uma intervenção — uma reescrita, uma reclassificação ou um redirecionamento — e só 75 desses 415 são momentos que o próprio agente sinalizou antes de redigir qualquer coisa. O resto são erros que um revisor pega depois. Isso é uma HIR de 64,8%, com uma parcela de escalação de apenas 18%: o agente erra com confiança na maior parte das vezes em que erra, que é a pior versão deste problema.

O time puxa o log de correções e marca cada intervenção com um motivo. Duas categorias dominam: o agente lê mal a política de reembolso em qualquer coisa que envolva um valor em dólares, e redige respostas calmas e procedimentais para clientes visivelmente irritados. As duas se corrigem sem mexer no modelo — acrescente uma regra explícita: qualquer ticket que mencione um reembolso acima de US$ 50, ou que passe de um limiar de sentimento, dispara uma escalação ask_human em vez de um rascunho. Todo o resto continua sendo redigido e revisado como antes.

No terceiro mês, a HIR caiu mais de 80%, mas o número mais informativo é a parcela de escalação: subiu de 18% para 79%. A maior parte do que resta não é o agente sendo pego errando — é o agente reconhecendo corretamente um caso de fato ambíguo (uma conta VIP, uma exceção de política, um reembolso bem no limiar) e perguntando antes de agir. A queda é real, e é merecida: cada rodada de correções voltou para regras explícitas, de modo que os erros específicos que as produziram deixaram de se repetir, enquanto as categorias que ainda precisam de julgamento continuam sendo sinalizadas em vez de contornadas por um rascunho.

O erro: tratar zero como a meta

Assim que um time vê a HIR cair mês a mês, a próxima pergunta parece óbvia: o quanto ela pode descer. O instinto é tratar zero como a linha de chegada — a prova de que o agente enfim ficou bom o bastante para rodar sem supervisão. Esse instinto está invertido, e é a leitura mais comum desta métrica.

A meta real nunca foi menos intervenções no abstrato. É um sistema em que os momentos específicos que precisam do julgamento de uma pessoa vêm à tona — e só esses momentos — para que a atenção de uma pessoa vá para o que de fato precisa dela, em vez de se espalhar por igual por tudo ou faltar por completo. Um fluxo em 12% de HIR, em que quase todo esse 12% é o agente sinalizando corretamente casos de fato ambíguos ou de alto risco, é mais saudável do que um em 2%, em que a maior parte desse 2% é um revisor tropeçando num erro que o agente nunca sinalizou. O número mais baixo pode esconder o pior sistema.

É exatamente para isso que serve a parcela de escalação. Lida ao lado da HIR, ela diz em que história você está:

Se a HIR está caindo enquanto a parcela de escalação fica plana ou também cai, não registre isso como vitória ainda. Puxe uma amostra aleatória das ações registradas como “nenhuma intervenção necessária” e peça a alguém que as revise a frio, sem dizer que a amostra estava marcada como limpa. Confira se os sinais a jusante — tickets reabertos, reclamações, estornos de reembolso, CSAT — estão subindo ao mesmo tempo. Uma HIR em queda com problemas a jusante em alta não é um sistema que aprendeu mais rápido. É um sistema que ninguém pegou a tempo.

O que instrumentar se você quer medir isso hoje

Nada disso exige tanto ferramentas novas quanto registrar a coisa certa. A maioria dos times que roda um agente já acompanha volume — quantos tickets ele tocou, quantas tarefas redigiu. Quase nenhum acompanha o desfecho, que é a única coisa de que a HIR de fato precisa.

1. Registre um desfecho para cada ação, não só uma contagem de atividade. Enviado como está, editado antes do envio, rejeitado e reescrito, ou escalado pelo próprio agente. Sem registro no nível do desfecho, a HIR não se calcula — você vai saber que o agente fez algo, não se precisava ser corrigido.
2. Fixe o denominador antes de fixar o numerador. Decida o que conta como uma ação neste fluxo — um ticket tocado, uma tarefa redigida — e mantenha essa definição estável entre períodos, para que uma mudança na HIR reflita o julgamento do agente e não uma mudança na forma de contar.
3. Marque cada intervenção com um motivo. “Editado” não diz quase nada. “Editado: política de reembolso aplicada errado acima de US$ 50” diz exatamente o que corrigir em seguida. Uma taxonomia curta e estável transforma um log de correções numa lista de trabalho, não num placar.
4. Acompanhe a parcela de escalação junto com a HIR, não no lugar dela. Os dois números juntos dizem se uma queda é merecida ou emprestada — veja a tabela de tendência acima.
5. Defina um piso, não uma meta de zero. Decida, por fluxo, como é uma HIR plausível e diferente de zero dada a ambiguidade real que esse fluxo contém, e trate uma taxa que cai bem abaixo desse piso como algo a investigar, não a comemorar.
6. Reporte a HIR por fluxo, nunca como um único número misturado da empresa inteira. Uma média só esconde qual fluxo específico de fato mereceu menos supervisão e qual está acumulando risco em silêncio debaixo de um número de manchete que parece bom.
7. Revise de novo a amostra “limpa” num ritmo. Puxe de tempos em tempos ações registradas como sem necessidade de intervenção e peça a alguém que as revise sem saber que estavam marcadas como limpas. É a única checagem direta de se os seus revisores ainda estão lendo.