Governar o agente contínuo com portões, orçamento, interruptor e relatório de plantão

O lote da Veredas agora volta sozinho depois de uma queda, e isso traz a pergunta seguinte: quem o para quando ele começa a fazer a coisa errada? Um agente que roda de madrugada gasta dinheiro, lê documentos de terceiros e grava respostas que chegam a clientes. Se o teto de gasto só avisa, a fatura chega antes de alguém ler o aviso. Se ninguém nunca testou o botão de parar, ele vale tanto quanto um extintor vencido.

Ao terminar, você sabe pôr teto de gasto que corta por pergunta e por noite, com reserva feita antes de cada chamada. Também monta um interruptor em três níveis e o testa, decide quais ações pedem uma pessoa e escreve o relatório de plantão que Helena lê de manhã. Os números de custo vêm da trilha de custo e desempenho; as defesas contra documento hostil, da trilha de confiabilidade e segurança.

Teto suave é o que avisa: grava um alerta e deixa a execução seguir. Teto duro é o que corta: a chamada seguinte não sai, e quem decide isso é uma camada fora do alcance do agente. Variável de ambiente lida pelo próprio agente e gancho que manda mensagem são tetos suaves, por mais que se chamem limite. O teto duro mora no gateway, o intermediário por onde passam todas as chamadas ao modelo, ou no provedor, numa chave de API só do agente.

Os valores saem da distribuição medida, e não da média. Na linha de base da Veredas, a pergunta custa US$ 0,36 na mediana, US$ 0,52 no percentil 90 e US$ 1,12 no máximo. Um teto duro de US$ 0,50 parece prudente perto da média de US$ 0,41 e cortaria mais de uma pergunta em cada dez. Por isso US$ 0,50 virou o teto suave, que marca a pergunta, e o duro ficou em US$ 1,25.

A noite segue a mesma lógica. Se o lote bate os US$ 220, o que ficou na fila espera a noite seguinte, e uma explosão de subchamadas deixa de virar fatura de mês. O curso LLM FinOps trata do mesmo orçamento do lado de quem assina a conta.

Reserva atômica resolve o problema de quatro trabalhadores olhando o mesmo saldo. Sem ela, os quatro leem que restam US$ 0,30, os quatro chamam o modelo e o gasto passa do teto por quatro chamadas. Atômica quer dizer que conferir o saldo e separar o valor são uma só operação, como a catraca que só gira com o bilhete validado. Antes de cada chamada, o guarda reserva o custo máximo dela; depois, lança o custo real e devolve a sobra.

Na Veredas, toda chamada passa por um guarda assim; as subchamadas reservam US$ 0,019 (60 mil tokens a US$ 0,25 e 2 mil a US$ 2 por milhão, no GPT-5-mini). No DSPy, um erro dentro de llm_query volta ao modelo como saída do REPL. O corte vale pelo escopo esgotado: a próxima chamada do raiz, fora do sandbox, também é recusada, e a exceção sobe até o laço do lote. Com US$ 0,115 reservados, a pergunta para quando o gasto passa de US$ 1,135, ainda acima do máximo medido. Se a chamada cai sem resposta, o guarda lança a reserva inteira como gasto, porque a cobrança pode ter saído; a conferência com o extrato devolve a diferença.

Interruptor é o conjunto de comandos que para o agente, e um nível só não basta, porque parar tem custos diferentes. O nível 1 pausa a entrega de tarefas e deixa terminar o que já roda; serve quando o gasto da noite parece estranho. O nível 2 drena: espera as tarefas em curso ou as devolve à fila, e encerra os processos. O nível 3 revoga as credenciais do provedor e do acervo, para quando há suspeita de que o agente faz o que não deveria.

Drill é o ensaio marcado em que alguém aciona o interruptor de verdade, num lote de teste, e cronometra. Interruptor nunca acionado não conta como controle, porque ninguém sabe se o comando ainda funciona. Na Veredas, o drill roda na primeira segunda-feira do mês. No último, o nível 1 parou a fila em 38 segundos e o nível 2 levou 4 min 10 s, à espera da pergunta mais longa. O nível 3, testado com uma chave de homologação, levou 2 minutos.

Portão humano é o ponto em que a ação espera uma pessoa aprovar. Pôr portão em tudo parece seguro e falha por cansaço: a Anthropic relata que usuários do Claude Code aprovam 93% dos pedidos de permissão, dado da própria empresa, e usou isso para justificar o modo automático. A Veredas cruza dois eixos: quanto custa errar e se dá para desfazer o efeito. Nota de memória volta por versão; a resposta que ela orientou, já enviada, não volta. Ação irreversível pede pessoa antes; reversível e cara pede orçamento aprovado; reversível e barata pede registro bom o bastante para desfazer depois.

Permissão mínima fecha o que o portão não vê. A credencial do agente lê o acervo e escreve só nas tabelas do lote. Ela não alcança três coisas: o avaliador com as 120 perguntas e as respostas de referência, os testes do harness e a tabela de tetos. Agente que edita o próprio teto ou a própria prova deixa de ser medido. A memória que aprendeu a ler o gabarito, na trilha de treinamento, mostra esse atalho aparecendo sem que ninguém peça.

Trilha de auditoria é o registro que diz, para cada mudança, quem aprovou, quando, qual foi o diff e como reverter. Diff é a lista exata do que mudou, linha a linha. Na Veredas, nota de memória, teto e prompt mudam por pull request (pedido de mudança revisado antes de entrar), aprovado por Helena ou Caio. Cada lote grava a versão do programa na chave das tarefas; reverter é voltar a versão e reprocessar só as perguntas daquela chave.

Observabilidade é poder responder, depois, o que o agente fez e por quê, sem ter estado lá. O padrão aberto são as convenções de GenAI do OpenTelemetry, que saíram do repositório principal e vivem em open-telemetry/semantic-conventions-genai, com status de desenvolvimento. Elas nomeiam operações como invoke_agent, chat e execute_tool e atributos como gen_ai.request.model, gen_ai.response.model, gen_ai.usage.input_tokens e gen_ai.usage.output_tokens.

Num RLM, a árvore de chamadas vira uma árvore de spans (trechos cronometrados de trabalho, com início, fim e atributos): um trace por pergunta, um span por turno do raiz e um por subchamada. Custo em dólar não é atributo da convenção, e a Veredas grava o seu, calculado pelos tokens e pela tabela de preços. Como os nomes ainda estão em desenvolvimento, o harness fixa a versão das convenções que usa. A métrica gen_ai.client.operation.duration alimenta os alertas de tempo da trilha de custo.

Deriva é a mudança lenta que nenhum alerta de falha pega, porque nada falha. Ela vem do provedor, quando o nome do modelo passa a apontar para outra versão e o span mostra um gen_ai.response.model diferente do esperado. Vem da memória, quando notas novas mudam o comportamento aos poucos. E vem dos dados, quando chega um tipo de documento que o índice descreve mal. Na Veredas, qualquer uma das três dispara uma rodada das 120 perguntas antes do lote seguinte.

A memória também é porta de ataque. Envenenamento de memória é quando um texto lido num documento vira nota permanente do agente, e a instrução plantada passa a valer para todas as perguntas seguintes. No teste da trilha de segurança, cópias de instrução mudaram 5 de 40 respostas numa execução isolada; gravadas na memória, mudariam todas as noites. Por isso nota de memória nunca nasce de texto de documento sem passar pelo portão humano e pelas 60 perguntas retidas.

SLO é a meta de serviço que a operação promete a si mesma, com número e período, como o prazo de entrega de uma padaria. A Veredas acompanha cinco, e nenhum deles é acurácia, que só a avaliação mede. O custo por tarefa bem-sucedida divide o gasto da noite só pelas respostas que passaram na verificação: uma noite barata com muitas falhas aparece cara nesse número, e é isso que ele deve mostrar.

Os incidentes públicos com agentes autônomos em 2025 e 2026 repetem um padrão: o controle existia como pedido no prompt ou como costume, e não como barreira na plataforma. Os três casos abaixo têm fonte aberta e lição que cabe num harness pequeno.

Relatório de plantão é o texto curto que a operação entrega toda manhã, em quatro partes fixas: o que rodou, quanto custou, o que falhou e o que pede decisão. Ele existe para Helena ler em cinco minutos e saber se pode mandar as respostas aos clientes. Cada número traz a conta junto, para que a soma das linhas bata com o extrato do provedor.

Escreva o relatório da sua próxima noite de lote com as quatro partes e a conta de cada número. Marque um drill dos três níveis para esta semana. Está pronto quando três coisas acontecem: a soma das linhas de custo bate com o extrato do provedor ao centavo, o nível 1 para a fila em menos de um minuto e a credencial do agente recebe recusa ao tentar escrever na tabela de tetos.