Taxa de Intervenção Humana: a única métrica que mostra se a implementação de IA está mesmo a funcionar

A maior parte das empresas que corre agentes de IA em produção não consegue dizer com que frequência esses agentes precisam, de facto, que uma pessoa intervenha. A Taxa de Intervenção Humana é o número que responde a essa pergunta — e, no fim deste texto, deve ser possível calculá-la para um fluxo de trabalho que a equipa já executa.

O próprio quadro da FabricLoop para organizações de IA define a Taxa de Intervenção Humana de forma direta: pergunta com que frequência o trabalho automatizado precisa de uma pessoa. Essa é a definição, e este texto não se desvia dela. O que se segue é a parte que a página do conceito não desenvolve por completo: a conta real, aplicada a um fluxo de trabalho verdadeiro, com os números que tornam a ideia concreta em vez de apenas aspiracional.

O que o número mede de facto

A Taxa de Intervenção Humana (HIR) é a parte das ações de um agente, dentro de um fluxo de trabalho definido e de um período, que exigiu que uma pessoa interviesse antes de o resultado poder contar como concluído. «Intervir» tem aqui um sentido preciso: uma pessoa corrigiu o resultado, anulou uma decisão que o agente tomou, ou respondeu a uma pergunta que o agente levantou de forma explícita antes de avançar — o que o Loop Agent da FabricLoop chama um momento ask_human. Divide-se a contagem dessas ações pelo número total de ações que o agente executou no mesmo período, e obtém-se a HIR.

Esta métrica merece um lugar ao lado da disponibilidade e da precisão, e não abaixo delas, porque mede algo que esses números não vêem. Um agente pode registar 95% de precisão num benchmark interno e, ainda assim, ser uma implementação pior do que outra com 80%, se os 5% em que erra passam em silêncio, enquanto os 20% de que não tem a certeza são assinalados de todas as vezes. A HIR não pergunta se o agente é bom. Pergunta se o sistema sabe quando precisa de uma pessoa, e se essa pessoa aparece de facto quando isso acontece. É esta segunda pergunta que decide se uma implementação pode ser alargada em segurança.

Calcular a HIR para um fluxo de trabalho real

Tome-se um fluxo que uma equipa de TI ou de operações pode estar a correr hoje: um agente que tria pedidos de suporte, os classifica (facturação, relatório de erro, reembolso, acesso à conta, e assim por diante) e redige uma primeira resposta. Cada rascunho cai numa fila de revisão antes de chegar ao cliente — nada é enviado por si. Esse passo de revisão, por si só, não é intervenção. Um revisor que carrega em «enviar» num rascunho que não precisava de alterações é o fluxo a funcionar como foi desenhado. A intervenção é o que acontece quando o rascunho precisava de trabalho: o revisor reescreveu-o, corrigiu a classificação, encaminhou o pedido para outra fila, ou o próprio agente parou a meio da tarefa e fez uma pergunta antes de redigir o que quer que fosse.

Os números abaixo são um exemplo ilustrativo, não dados de uma empresa real — mas a forma da história, e a aritmética por detrás dela, é exatamente o que se constrói a partir dos próprios registos.

No mês-piloto, o agente toca em 640 pedidos. Desses, 415 precisam de uma intervenção — uma reescrita, uma reclassificação ou um reencaminhamento — e só 75 desses 415 são momentos que o agente assinalou antes de redigir o que quer que fosse. O resto são erros que um revisor apanha depois do facto. Isso é uma HIR de 64,8%, com uma quota de escalamento de apenas 18%: na maior parte das vezes em que erra, o agente erra com confiança, que é a pior versão deste problema.

A equipa puxa o registo de correções e etiqueta cada intervenção com um motivo. Duas categorias dominam: o agente lê mal a política de reembolso sempre que há um montante em dólares, e redige respostas calmas e processuais a clientes que estão visivelmente zangados. Ambas se corrigem sem tocar no modelo — acrescenta-se uma regra explícita: qualquer pedido que mencione um reembolso acima de $50, ou que ultrapasse um limiar de sentimento, dispara um escalamento ask_human em vez de um rascunho. Tudo o resto continua a ser redigido e revisto como antes.

Ao terceiro mês, a HIR desceu mais de 80%, mas o número mais informativo é a quota de escalamento: subiu de 18% para 79%. A maior parte do que resta não é o agente a ser apanhado a errar — é o agente a reconhecer corretamente um caso genuinamente ambíguo (uma conta VIP, uma excepção à política, um reembolso exatamente no limiar) e a perguntar antes de agir. A descida é real, e foi merecida: cada ronda de correções voltou a entrar em regras explícitas, pelo que os erros concretos que as produziram deixaram de se repetir, enquanto as categorias que ainda exigem juízo continuam a ser assinaladas em vez de serem contornadas por um rascunho.

O erro: tratar o zero como o objetivo

Quando uma equipa vê a HIR a cair mês após mês, a pergunta seguinte parece óbvia: até onde pode descer. O instinto é tratar o zero como a meta — a prova de que o agente ficou, por fim, suficientemente bom para correr sem supervisão. Esse instinto está ao contrário, e é a leitura errada mais comum desta métrica.

O objetivo nunca foi ter menos intervenções em abstracto. É um sistema em que os momentos específicos que precisam do juízo de uma pessoa são trazidos à superfície — e só esses momentos — para que a atenção de uma pessoa vá para o que de facto precisa dela, em vez de se repartir por igual por tudo ou de faltar por completo. Um fluxo com 12% de HIR, em que quase todos esses 12% são o agente a assinalar corretamente casos genuinamente ambíguos ou de alto risco, é mais saudável do que um com 2%, em que a maior parte desses 2% é um revisor a tropeçar num erro que o agente nunca assinalou. O número mais baixo pode esconder o pior sistema.

É exatamente para isto que serve a quota de escalamento. Vista ao lado da HIR, diz em que história se está:

Se a HIR está a descer enquanto a quota de escalamento se mantém ou também desce, ainda não se registe isso como uma vitória. Tire-se uma amostra aleatória das ações registadas como «sem necessidade de intervenção» e peça-se a alguém que as reveja a frio, sem lhe dizer que a amostra foi marcada como limpa. Verifique-se se os sinais a jusante — pedidos reabertos, reclamações, recuperações de reembolsos, CSAT — estão a subir ao mesmo tempo. Uma HIR a descer com problemas a jusante a subir não é um sistema que aprendeu mais depressa. É um sistema que ninguém apanhou a tempo.

O que instrumentar para medir isto hoje

Nada disto exige tanto ferramentas novas como exige registar a coisa certa. A maior parte das equipas que correm um agente já acompanha o volume — quantos pedidos tocou, quantas tarefas redigiu. Quase nenhuma acompanha o resultado, que é a única coisa de que a HIR precisa de facto.

1. Registe um resultado para cada ação, não apenas uma contagem de atividade. Enviado tal como está, editado antes de enviar, rejeitado e reescrito, ou escalado pelo próprio agente. Sem registo ao nível do resultado, a HIR não se calcula de todo — sabe-se que o agente fez alguma coisa, não se precisava de ser corrigido.
2. Fixe o denominador antes de corrigir o numerador. Decida o que conta como uma ação neste fluxo — um pedido tocado, uma tarefa redigida — e mantenha essa definição estável entre períodos, para que uma mudança na HIR reflicta o juízo do agente e não uma mudança na forma de contar.
3. Etiquete cada intervenção com um motivo. «Editado» quase não diz nada. «Editado: política de reembolso acima de $50 mal aplicada» diz exatamente o que corrigir a seguir. Uma taxonomia curta e consistente transforma um registo de correções numa lista de trabalho, em vez de um placar.
4. Acompanhe a quota de escalamento ao lado da HIR, não em vez dela. Os dois números juntos dizem se uma descida foi merecida ou emprestada — veja-se a tabela de tendência acima.
5. Defina um piso, não um alvo de zero. Decida, por fluxo, qual é uma HIR plausível e diferente de zero, dada a ambiguidade real desse fluxo, e trate uma taxa que caia bem abaixo desse piso como algo a investigar, não como algo a celebrar.
6. Reporte a HIR por fluxo de trabalho, nunca como um único número misturado para toda a empresa. Uma média esconde qual o fluxo que de facto mereceu menos supervisão e qual o que está a acumular risco em silêncio por baixo de um título que parece bom.
7. Volte a verificar a amostra «limpa» com um calendário. Periodicamente, extraia ações registadas como sem necessidade de intervenção e peça a alguém que as reveja sem saber que foram marcadas como limpas. É a única verificação direta de que os revisores ainda estão a ler.