Fazer o agente ler a página em texto em vez de fotografar

Com o laboratório de pé, o próximo desperdício mora na forma como o agente (o assistente de IA que usa o navegador por você) enxerga a página. Mande ele tirar uma captura de tela e clicar no botão azul, e o roteiro comum se repete: erra o alvo, tira outra captura, tenta de novo, acerta na terceira. A tarefa terminou, então parece que funcionou. O que não aparece na tela é a conta: cada captura entrou inteira na janela de contexto, e você pagou três vezes por uma informação que um bloco de texto entregaria de primeira.

Esse é o modo mais comum de uma sessão de automação ficar lenta e cara sem que ninguém tenha feito nada obviamente errado. A causa é a representação da página que você escolheu enviar ao modelo. Existem duas, elas custam coisas muito diferentes, e a escolha correta é quase sempre a mesma.

A leitura estrutural resolve o problema de mira antes de ele existir. Você não descreve uma posição, você nomeia um elemento pelo identificador que acabou de receber. Se o botão mudar de lugar, de cor ou de tamanho, o identificador continua apontando para o mesmo nó. Coordenada, por definição, depende do layout.

Um refinamento recente da leitura estrutural é a ferramenta browser_find, que busca por texto ou expressão regular dentro do snapshot e devolve só os elementos que casam, em vez de despejar a árvore inteira no contexto. Em página grande, isso corta ainda mais o que entra na janela antes da primeira ação.

Repare no que veio junto de graça: o estado do combobox e o papel de cada nó. O agente sabe que e5 é uma lista fechada antes de tentar digitar dentro dela. Uma captura de tela não carrega essa semântica, ela só mostra um retângulo com um triângulo do lado.

Sobre a ordem de grandeza da diferença: a documentação do Playwright MCP (servidor que liga o assistente a um navegador limpo) cita a faixa de 200 a 400 unidades de contexto por leitura estrutural contra 3 mil a 5 mil por captura de tela. Trate isso como ordem de grandeza publicada pelo projeto; a medida do seu ambiente sai do seu próprio teste. O número que vale para você é o que o seu cliente relatar, e é exatamente isso que a tarefa deste módulo pede que você meça.

O identificador tem prazo de validade. Aqui mora o erro que mais derruba roteiro em produção. O identificador devolvido na leitura estrutural vale dentro daquela leitura. Ele é cunhado no momento da captura da árvore, e o que existe do outro lado é um nó específico do DOM daquele instante. Navegue, submeta um formulário, deixe um componente (um bloco da página, como uma peça de Lego) renderizar de novo, e a referência aponta para o vazio.

O custo que existe antes do primeiro clique. Parte da conta é paga só de conectar o servidor. As descrições e os schemas de todas as ferramentas entram no contexto antes de você pedir qualquer coisa. No repositório do servidor do Chrome existe issue aberta pedindo otimização dos schemas por eficiência de contexto, com a estimativa de cerca de 17 mil unidades apenas na descoberta inicial das ferramentas e a alegação de que otimizar schema reduziria algo em torno de 40%.

Anote a proveniência: esse número vem de uma issue (um chamado público de defeito, como uma reclamação protocolada) do próprio repositório, fora da documentação oficial. Ele mostra que o problema é reconhecido pelo projeto e que existem mecanismos oficiais de contenção; citado como especificação, ele engana.

A interface de linha de comando foi publicada pelo próprio projeto como alternativa mais econômica em contexto, justamente por permitir que o agente empacote várias ações em um roteiro. Ela entrou como experimental e é um cliente de um processo em segundo plano, que sobe servidor e navegador na primeira chamada. Por ser experimental, trate como caminho de otimização e deixe fora do runbook de produção.

Tarefa do módulo. Você vai executar a mesma tarefa duas vezes, no seu ambiente, e trazer os dois números. Escolha um formulário público simples com pelo menos três campos, por exemplo um formulário de contato de um site que você mesmo controla, e evite qualquer página que exija login.