Gestão de Projetos GEO · Capítulo 20 de 60 · 7 min
Decidir quais robôs podem acessar o site
Liberar um robô para busca, para agentes ou para treino de modelos são três decisões separadas, cada uma com seu teste de acesso.
Este capítulo faz parte do curso gratuito Gestão de Projetos GEO. Para marcar como concluído e salvar o progresso, abra este capítulo na página do curso.
Acesso de robôs é decisão comercial, e ela precisa na sala de quem responde pela receita do site.
Busca, uso por agentes (assistentes que navegam em nome do usuário, como um comprador enviado à loja) e treinamento são três comportamentos, com efeitos diferentes sobre visibilidade e custo. Decidir os três em bloco entrega a política inteira ao padrão de um fornecedor de infraestrutura.
Bloquear o robô errado tira o site do conjunto que pode ser citado, sem mexer no ranqueamento. Afetam citação o OAI-SearchBot, o ChatGPT-User, o Claude-User, o Claude-SearchBot, o PerplexityBot, o Perplexity-User e o Googlebot.
Já GPTBot, ClaudeBot, Google-Extended, Applebot-Extended e CCBot servem a treinamento, sem efeito direto sobre a citação. Bloquear o Googlebot derruba o site da Busca junto.
O robots.txt é o arquivo que diz a cada robô o que ele pode buscar, como a placa de horário na porta da loja. A RFC 9309, publicada em setembro de 2022, exige que o limite de leitura aceito pelo robô seja de pelo menos 500 KiB.
Pela mesma norma, o robô não deve usar uma cópia guardada em cache (a memória temporária dele) por mais de 24 horas, salvo quando o arquivo está inacessível.
A norma não fixa o uso do conteúdo. Um Disallow, a linha que proíbe um caminho, bloqueia a busca daquele robô e não licencia nem proíbe treinamento.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Em 24 de setembro de 2025, a Cloudflare acrescentou esses três sinais ao arquivo. No robots.txt gerenciado, o padrão inicial nega treinamento e libera busca.
A declaração vale como licença e não se impõe por conta própria. Quem barra o robô de verdade é a camada de rede, que desde 1º de julho de 2025 bloqueia rastreadores de IA por padrão em domínios novos.
Desde 1º de julho de 2026, essa mesma camada separa os robôs em busca, agentes e treinamento, e responde 403 ou 402 à categoria que o site recusa. É aí que a sua escolha vira efeito, com código de retorno conferível por categoria.
As datas que já mudaram a sua política de acesso
- 28/09/2023Concluído
Google separa treinamento de busca
O Google-Extended passa a recusar treinamento sem tirar o site da Busca, que segue com o Googlebot.
- 01/07/2025Concluído
Cloudflare bloqueia rastreadores de IA por padrão
Domínios novos entram bloqueados, e a cobrança por rastreamento fica em beta privado, com resposta 402.
- 04/08/2025Concluído
Um rastreador é acusado de andar disfarçado
A Cloudflare acusou a Perplexity de rastreio furtivo e a retirou da lista de robôs verificados.
- 24/09/2025Concluído
Content Signals Policy entra no robots.txt
Search, ai-input e ai-train viram declaração de licença, sem imposição técnica própria.
- 01/07/2026Concluído
A rede passa a responder por categoria de robô
Busca, agentes e treinamento viram categorias com resposta 403 ou 402 conforme a política do site.
- 08/09/2026Agora
A decisão que ainda está sem assinatura
Até alguém decidir os três comportamentos, valem o padrão do fornecedor e as regras antigas de firewall.
Bloqueio na camada de rede é invisível no arquivo: o robots.txt libera e a requisição morre antes de chegar à página. O sintoma é queda de citação sem queda de ranqueamento orgânico.
Suponha uma loja de móveis planejados cujas citações caíram enquanto a posição no Google ficou igual. Peça ao time o teste de resposta real por robô, com o código HTTP e o corpo devolvido, antes de assinar qualquer política.
Para cada um dos três comportamentos, escreva qual receita o bloqueio protege e qual ele arrisca. A decisão está pronta quando as três linhas estiverem preenchidas e assinadas; sem elas, a mesma discussão volta na revisão seguinte.
Antes de levar a decisão de acesso de robôs para assinatura
| Parte do projeto | Critério de conferência |
|---|---|
| Marque apenas o que já é verdade no seu projeto | Busca, agente e treinamento foram decididos um a um, e não em bloco. |
| Marque apenas o que já é verdade no seu projeto | Quem responde pela receita do site participou da decisão, que está datada e assinada. |
| Marque apenas o que já é verdade no seu projeto | O time testou a resposta real por robô e comparou o código HTTP com o que o robots.txt promete. |
| Marque apenas o que já é verdade no seu projeto | A lista de robôs barrados hoje separa os que afetam citação dos que só alimentam treinamento. |
| Marque apenas o que já é verdade no seu projeto | Existe data de revisão marcada, e não apenas uma decisão tomada uma vez. |
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Explore os conceitos e compare abordagens em outros cursos. As conexões indicam assuntos relacionados; a sequência de estudo continua no índice do curso.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- Glossário Completo de SEO e GEO 2026Destrave o que impede o robô de ler o siteExaminar conexões de Destrave o que impede o robô de ler o site
- SEO ProgramáticoSeparar o que funciona em IA do que é fumaçaExaminar conexões de Separar o que funciona em IA do que é fumaça
- GEO Universal FrameworkDecida por escrito quais robôs de IA leem o siteExaminar conexões de Decida por escrito quais robôs de IA leem o site
- Analytics de busca para decisão executivaDecidir o que fazer diante da busca generativaExaminar conexões de Decidir o que fazer diante da busca generativa