Montar o harness que roda de madrugada com estado, checkpoint e retomada

Com a pergunta a US$ 0,41 e 93 acertos em 120, a Veredas parou de rodar perguntas uma a uma durante o expediente. Helena juntou as 400 perguntas do mês, tiradas dos relatórios de condicionantes dos clientes, num lote que roda de madrugada com quatro trabalhadores em paralelo e ninguém olhando. Na primeira noite de teste, o servidor reiniciou para uma atualização no meio do lote. A pergunta da manhã foi direta: quanto disso pagamos duas vezes?

Ao fim, você monta um harness que guarda o estado de cada pergunta num banco SQLite e retoma o lote do ponto exato da queda. Depois prova, com uma consulta, que nenhuma chamada ao modelo foi cobrada duas vezes. SQLite: banco de dados inteiro num único arquivo, que já vem com o Python. Também passa a separar a carga da noite da avaliação que decide se o sistema melhorou.

Harness é o programa que cerca o modelo e o põe para trabalhar, como o arreio que liga o cavalo à carroça. Ele reúne o laço que chama o modelo, as ferramentas, o estado gravado e as regras de parada. Com alguém olhando, o harness pode ser frouxo, porque a pessoa nota a resposta estranha e roda de novo. De madrugada, cada decisão dessa pessoa precisa estar escrita: o que fazer quando o provedor recusa, quando o processo morre, quando a mesma pergunta chega duas vezes.

O METR define horizonte de tarefa como a duração, medida pelo tempo de um especialista humano, das tarefas que o modelo completa com 50% de sucesso. A página viva do instituto mostra 17 horas para o Claude Mythos Preview e avisa que medidas acima de 16 horas não são confiáveis com a suíte atual. A página deixou de ser atualizada em setembro de 2026, e o FAQ dela corrige a leitura comum: o número mede a dificuldade da tarefa, e não por quanto tempo o agente trabalha sozinho.

Para a Veredas, isso muda o lugar do risco. Cada pergunta dura cerca de dois minutos e faz, na execução comum da trilha de custo, cerca de 25 chamadas: 7 turnos do raiz e 18 subchamadas. O que dura a noite inteira é a operação: 400 tarefas, perto de 10 mil chamadas, quatro processos e um provedor que às vezes recusa. Quem falha de madrugada costuma ser o harness, e é nele que este capítulo mexe.

A Anthropic chegou à mesma conclusão por outro caminho. Em dezembro de 2024, o texto Building effective agents separava workflows, em que o código define o caminho, de agentes, em que o modelo dirige o próprio processo. E recomendava padrões simples e componíveis. O lote da Veredas junta os dois: um workflow fixo (pegar a próxima pergunta, rodar, gravar) com um agente recursivo dentro de cada passo.

Em novembro de 2025, a empresa descreveu o desafio central dos agentes de longa duração: cada sessão nova começa sem memória da anterior. A resposta foi separar um agente inicializador, que prepara o ambiente uma vez, de um agente de código que avança uma funcionalidade por sessão. O inicializador escreve uma lista de mais de 200 funcionalidades em JSON, cada uma com um campo de aprovação. Cria também um arquivo de progresso e o primeiro commit (versão registrada no git, como salvar o jogo com nome).

Dois defeitos motivaram aquele desenho: o agente tentava fazer tudo de uma vez e ficava sem contexto no meio, ou via trabalho feito e declarava o projeto pronto antes da hora. A lista fechada impede o segundo; o commit com mensagem descritiva e o arquivo de progresso dizem à sessão seguinte onde está. No lote da Veredas, a lista são as 400 tarefas, o progresso é a tabela de estados e o commit é o checkpoint de cada pergunta.

Os textos de engenharia da Anthropic em 2026 levaram o desenho a dias de trabalho. No compilador C de fevereiro, 16 agentes rodavam em contêineres, cada um num laço sem fim sobre um repositório git comum. Foram quase 2.000 sessões e US$ 20.000 de API para um compilador de 100 mil linhas, números da própria empresa. O autor recomenda rodar o laço num contêiner, nunca na máquina de trabalho. E relata um agente que encerrou o próprio laço com pkill -9 bash (comando que mata processos pelo nome).

Do mesmo texto vem a frase que vale para qualquer lote noturno: o verificador da tarefa precisa ser quase perfeito, senão o agente resolve o problema errado. O harness de março separou quem avalia de quem produz, porque o agente que julga o próprio trabalho tende a elogiá-lo com confiança.

Fora da Anthropic, o Hermes Agent, da Nous Research, mostra a peça que faltava: o relógio. A versão 0.21.6, de 8 de outubro de 2026, traz skills (procedimentos em arquivo que o agente cria e reaproveita) e memória curada pelo próprio agente. Traz ainda um cron embutido: agenda de tarefas repetidas, como um despertador de dias úteis. A descrição de agente que se aprimora é do próprio projeto. O cron põe o agente para rodar de madrugada; o resto deste capítulo é o que precisa existir em volta dele.

Execução durável é a garantia de que um programa longo sobrevive a quedas: o progresso fica gravado e, depois de um reinício, ele continua do ponto em que estava, como um jogo salvo a cada fase. O Temporal faz isso com um histórico de eventos por execução; ao reiniciar, refaz o caminho lendo o histórico, sem repetir as atividades que já terminaram. O LangGraph oferece checkpointers, que gravam o estado do grafo a cada passo de uma thread, isto é, de uma execução com estado próprio.

A documentação do LangGraph aponta duas armadilhas que valem para qualquer harness. O MemorySaver, que guarda o estado só na memória do processo, não sobrevive a um reinício, justamente o evento que o checkpoint deveria cobrir. E os checkpoints crescem sem limite se ninguém os poda. Na Veredas, o estado vai para um arquivo em disco, e cada lote fechado é arquivado com data e apagado da base ativa depois de 90 dias.

Cada tarefa do lote está sempre em um estado, e só algumas passagens valem. Pendente vai a rodando quando um trabalhador a reserva. Rodando grava checkpoint a cada chamada paga e termina em concluído ou cai em falhou. Falhou volta como retomado, que lê o último checkpoint e devolve a tarefa a rodando sem repetir o que já foi pago. Depois de três tentativas, a tarefa fica em falhou e espera uma pessoa. No código, retomado é a volta de rodando para pendente, na partida da vaga ou quando a reserva vence.

Idempotência é a propriedade de uma operação que, repetida, não muda o resultado, como apertar duas vezes o botão do elevador. Ela importa porque a fila entrega cada tarefa pelo menos uma vez, e não exatamente uma vez. A chave de idempotência da Veredas é lote:pergunta:versão, por exemplo 2026-11:215:v3: a mesma pergunta, no mesmo lote e na mesma versão do programa, tem uma resposta gravada e uma cobrança por chamada.

A reentrega nasce do jeito como a fila se protege de trabalhador morto. Ao pegar uma tarefa, o trabalhador grava o próprio nome e um prazo de dez minutos, uma reserva com validade, como a mesa guardada até certa hora. Se o prazo vence sem a tarefa terminar, outro trabalhador pode pegá-la. Isso cobre a queda e cria a duplicação: um trabalhador lento, mas vivo, e outro que pegou a mesma tarefa depois do prazo. Sem idempotência, a pergunta sai paga e respondida duas vezes.

O checkpoint por pergunta resolve as 214 perguntas prontas; falta a que estava no meio. A Veredas guarda também cada chamada ao modelo, com a chave da pergunta e um número de sequência. Na retomada, o harness refaz a pergunta 215 do começo, mas as chamadas já pagas saem da tabela, como no histórico do Temporal. O raiz recebe as mesmas respostas, escreve o mesmo código e o REPL chega ao mesmo ponto sem custo. Isso vale enquanto o código gerado não sortear valores nem ler o relógio, um arquivo ou um serviço que mude entre as execuções.

O lote noturno é carga operacional: perguntas reais, sem gabarito, cobradas no orçamento do mês. As 120 perguntas de Helena são avaliação: têm resposta de referência e decidem se uma mudança entra. Resposta da noite não vira nota, porque ninguém a conferiu; pergunta de avaliação não entra no lote, porque a memória do agente a veria e o conjunto retido deixaria de ser retido. A avaliação roda em outro banco, com chave de API própria, a US$ 49,20 por rodada (120 × 0,41), só quando algo muda.

O laço do lote faz três coisas em torno de cada pergunta. Na partida, devolve à fila o que esta vaga deixou rodando; antes de cada reserva, devolve as vencidas ou marca falhou após três tentativas. Depois reserva a próxima pendente com uma única instrução de UPDATE, que só vale se a tarefa ainda estiver pendente; se outro trabalhador chegou antes, a contagem de linhas vem zero e ele segue. Ao terminar as 25 chamadas, grava a resposta e o estado concluído, só se a reserva ainda for sua.

A prova vem da tabela que o harness não controla. No sistema real, a fatura é o registro do gateway ou o extrato de uso do provedor, e não tem chave única: se uma chamada fosse paga duas vezes, apareceria duas vezes ali. As quatro consultas abaixo rodam no mesmo arquivo, depois das duas execuções, e cada comentário mostra o que voltou na simulação.

A prova tem limites que entram no runbook, o roteiro escrito do que fazer em cada situação de operação. Entre a resposta do provedor e a gravação na tabela existe uma janela: se o processo morre exatamente ali, uma chamada fica paga e sem registro, no máximo uma por trabalhador. Com quatro trabalhadores, até quatro tarefas ficam em rodando na queda.

Há uma segunda janela. Um trabalhador lento e outro que pegou a mesma tarefa depois do prazo podem pagar a mesma chamada ao mesmo tempo; o prazo de reserva precisa passar da pergunta mais longa. A conferência diária compara a tabela de chamadas com o extrato do provedor e mostra essa diferença, em vez de escondê-la.

O curso Agentes de IA autônomos mostra o mesmo checkpoint em LangGraph e no Claude Agent SDK, com memória e monitoramento. Rode o lote de 400 com a queda na pergunta 215 e depois sem ela, e compare as duas faturas. Está pronto quando a consulta de duplicadas volta vazia, as duas faturas somam 10.000 chamadas e US$ 164,00 e a pergunta 215 mostra duas tentativas e 25 cobranças. Com o lote retomando sozinho, o passo seguinte é decidir quem pode pará-lo e quanto ele pode gastar.