GEO Universal Framework · Capítulo 3 de 29 · 20 min
Firme a base de SEO antes de pensar em IA
Descubra em qual das quatro etapas da busca o site falha antes de aprovar qualquer verba de conteúdo.
Este capítulo faz parte do curso gratuito GEO Universal Framework.
Um site que o robô não consegue ler não aparece em resposta nenhuma, por melhor que seja o conteúdo. SEO é a base que garante essa leitura, e ela decide o desempenho tanto no Google clássico quanto nas respostas geradas por IA. Aqui você aprende as quatro etapas em que a busca falha, quais robôs existem e o que cobrar da equipe antes de aprovar qualquer verba de conteúdo.
Para quem decide: a decisão é onde entra o primeiro real, se em conteúdo novo ou em conferir que os robôs conseguem ler o site. Errar custa o orçamento inteiro de redação: no cenário ilustrativo deste módulo, seis semanas de redator sênior renderam zero citação porque o firewall devolvia 403 aos robôs havia cinco meses. A pergunta que você leva à equipe: quantas respostas diferentes de 200 demos a robôs de busca nos últimos sete dias?
Ao final você consegue: 1. Diagnosticar, com o log do seu site, se cada categoria de robô consegue ler as páginas que importam. 2. Decidir o que o robots.txt (o aviso na porta que diz a cada robô o que pode ler) permite e recusa por função do robô. 3. Separar o que mudou de fato entre 2024 e 2026 do que só mudou de nome. 4. Recusar orçamento de conteúdo novo enquanto a base devolve erro a robô de busca.
Verificação rápida
Pré-teste, antes de ler o módulo. Uma empresa quer parar de alimentar o treinamento dos modelos de IA, mas continuar aparecendo nas respostas ao vivo desses mesmos assistentes. No robots.txt, qual bloqueio entrega esse resultado?
SEO (Search Engine Optimization) é o conjunto de práticas que torna um conteúdo encontrável, compreensível e elegível a aparecer nos resultados de mecanismos de busca. A frase se decompõe em quatro etapas encadeadas, e cada uma falha por motivo próprio, com instrumento próprio de verificação. Quase todo diagnóstico ruim de SEO acontece porque alguém saltou direto para a quarta.
As quatro etapas têm nomes técnicos que você vai ouvir da equipe. O crawler é o robô que lê o site, como um leitor que visita cada página. A indexação é o arquivo onde o motor guarda o que leu. O sitemap é a lista de páginas que você entrega ao robô, e o canonical é a etiqueta que diz qual versão de uma página é a oficial.
O log de servidor é o livro de visitas do site: registra cada robô que entrou e a resposta que recebeu. Um cenário ilustrativo mostra o custo de não abri-lo. Uma equipe passou seis semanas reescrevendo 30 páginas para ficarem citáveis por IA, com redator sênior, revisão de dados e marcação nova. Três meses depois, nenhuma citação.
Nele, o robô de busca do assistente recebia 403 do firewall havia cinco meses, por uma regra genérica contra scraping. O conteúdo estava certo; ele nunca foi buscado.
- Etapa 1 de 4: Descoberta
O mecanismo sabe que a URL existe. Verifique no sitemap enviado e na cobertura do Search Console.
- Etapa 2 de 4: Rastreio
Ele consegue buscar a URL e recebe 200. Verifique no log de servidor, por user agent.
- Etapa 3 de 4: Renderização e indexação
Ele entende o conteúdo e o guarda. Verifique na inspeção de URL, comparando HTML servido e HTML renderizado.
- Etapa 4 de 4: Serviço
Ele decide mostrar aquilo, em alguma superfície, para alguma consulta. Verifique no relatório de desempenho.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
A linha do tempo que importa, com a herança de cada fase
- Anos 1990Concluído
Diretórios e repetição de palavra
Herança negativa e persistente: a intuição de que existe uma alavanca textual simples capaz de enganar o sistema. Ela ressurge a cada ciclo tecnológico, e voltou em 2025 na forma de arquivos e marcações supostamente secretas para IA.
- Anos 2000Concluído
PageRank transforma link em voto
Nasce a economia de link building. A herança é a ideia de que evidência externa ao seu domínio vale mais que declaração interna, e ela continua correta em 2026, com a moeda mudada de link para menção.
- 2011 a 2019Concluído
Panda, Penguin, Hummingbird, RankBrain e BERT
Panda (2011) contra conteúdo de baixa qualidade, Penguin (2012) contra links manipulativos, Hummingbird (2013) com interpretação semântica, RankBrain (2015) com aprendizado de máquina e BERT (2019) com contexto na consulta. Herança que sustenta este curso: o sistema passou a tratar significado, e deixou de tratar cadeia de caracteres.
- Março de 2024Concluído
INP substitui o FID nos Core Web Vitals
Os limiares seguem inalterados desde então: LCP até 2,5 s, INP até 200 ms e CLS até 0,1, sempre avaliados no percentil 75. Nenhuma métrica nova foi anunciada para 2026.
- 04/03/2026Concluído
Google remove orientação obsoleta de JavaScript SEO
A justificativa oficial é que o Google renderiza JavaScript de forma confiável há anos, o que rebaixa a renderização dinâmica a contorno pontual.
- 07/05/2026Concluído
Fim dos resultados enriquecidos de FAQ
A funcionalidade deixou de existir em 07/05/2026 (entrada do changelog em 08/05/2026) e a documentação correspondente saiu em 15/06/2026.
- 15/05/2026Agora
Guia oficial de otimização para busca com IA
Publicado em 15/05/2026 e atualizado em 10/07/2026, o documento sustenta que otimizar para busca generativa continua sendo SEO. A atualização acrescentou uma seção sobre agentes, apresentada pelo próprio Google como opcional.
- 03/06 a 31/08/2026Agora
Search Console ganha relatório de busca generativa e o controle Search generative AI
Primeiro instrumento nativo de medição da nova superfície: impressões por página, país, dispositivo e data, sem cliques. Lançado em 03/06 e disponível para todos os sites do mundo desde 31/08/2026.
- 18/08 e 24/09/2026Agora
Spam updates de agosto e de 24/09; nenhum core update desde maio
O spam update de setembro pode levar duas semanas. O último core update foi o de maio (21/05 a 02/06); manchetes de core update de agosto ou de setembro vieram de blogs de agregação e não constam do painel.
Dois limiares folclóricos circulam como se fossem oficiais. O primeiro é "INP bom é 150 ms", que aparece em material de fornecedor e contradiz a documentação oficial, onde o limiar é 200 ms no percentil 75. O segundo é tratar a Soft Navigations API como métrica pronta. Ela está em teste de origem do Chrome 147 ao 149, com previsão de ficar sem flag no Chrome 151. A própria ressalva oficial diz que ainda não foi decidido como ela entra no CrUX. Ela importa para aplicações de página única e ainda não é meta de nada. Quando um limiar aparecer num relatório interno, exija o link da documentação. Meta apertada com base em número inventado consome sprint de engenharia sem contrapartida.
Os três pilares, relidos para 2026. O técnico garante descoberta, rastreio, renderização (o robô montando a página como um navegador faria) e indexação. Garante o mesmo para os robôs que não são do Google. Sitemap, robots.txt, códigos de resposta corretos, HTTPS e dados estruturados válidos. É o único pilar inteiramente sob o seu controle e o único que você audita de forma censitária.
Core Web Vitals (as três medidas de velocidade e estabilidade da página) entram aqui como defeito de experiência, e não como alavanca de posição. A própria documentação do Google sobre experiência na página, na versão consultada em 07/09/2026, diz que perseguir pontuação perfeita apenas por SEO pode não ser o melhor uso do tempo. Trate os limiares como piso de produto: corrija o gargalo que o usuário sente e pare de prometer posição em troca.
Conteúdo é o segundo pilar: responder à intenção com profundidade real e atribuição verificável. Em 2026 há um requisito adicional de forma, os trechos autocontidos, que fazem sentido fora da página, porque é assim que uma resposta gerada os utiliza.
Autoridade, o terceiro, reúne os sinais que vivem fora do seu domínio. Continua sendo o pilar mais caro, o mais lento e o que define o teto. E-E-A-T é vocabulário das diretrizes de avaliadores humanos, e o algoritmo não o calcula como fator de ranqueamento. A versão vigente é de 11/09/2025 e já inclui a categoria "YMYL Government, Civics & Society" e exemplos de avaliação de AI Overviews.
Conteúdo em escala sem valor contamina o site inteiro. Em 07/09/2026, John Mueller respondeu no Bluesky a um dono de site que gerou páginas em massa. Os sistemas do Google, escreveu ele, podem ter "perdido a fé" no site com base nas páginas antigas. SEO programático, na mesma resposta, costuma levar a um site que é spam, quase spam ou de baixa qualidade. A avaliação é no nível do site: páginas geradas em massa puxam as boas para baixo. Antes de aprovar mil páginas geradas, pergunte quantas delas alguém leria até o fim.
Sem consultar a figura: escreva as quatro etapas do funil de busca na ordem e, ao lado de cada uma, o instrumento onde você verificaria uma falha naquela etapa especificamente. Depois responda por escrito, com uma frase de justificativa: se o seu tráfego orgânico caiu 30% em duas semanas, qual etapa você investiga primeiro e por quê? A resposta certa não é a etapa quatro.
Qual robô faz o quê no seu site?
| Fornecedor | Treino do modelo | Busca e citação | Ação a pedido do usuário |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | Nenhum: a documentação diz que não rastreia para treinar modelos | PerplexityBot | Perplexity-User, que em geral ignora o robots.txt |
| Meta | Meta-ExternalAgent | Meta-WebIndexer (busca do Meta AI) | Meta-ExternalFetcher, que pode ignorar o robots.txt |
| Google-Extended (treino e grounding de Gemini e Vertex AI) | Googlebot | Via produto |
Bloquear GPTBot ou ClaudeBot deixa o site nas respostas de busca desses assistentes, porque quem alimenta a resposta ao vivo é a coluna do meio; a OpenAI escreve que sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT. A OpenAI mantém ainda um quarto robô, o OAI-AdsBot, que só visita páginas enviadas como anúncio. Perplexity-User e Meta-ExternalFetcher só se controlam por firewall ou regra de servidor.
Google-Extended ou Search generative AI: qual resolve o seu caso?
| Controle | O que governa | O que não faz | Onde se configura |
|---|---|---|---|
| Google-Extended | Treinamento e grounding dos Gemini Apps e do Vertex AI | Não afeta inclusão na Busca, não é sinal de ranking e não retira o site de AI Overviews nem de AI Mode | robots.txt; documentação de 14/07/2026 |
| Search generative AI | Presença em AI Overviews, AI Mode e recursos generativos do Discover: incluir (padrão), excluir ou herdar da propriedade pai | Não afeta treinamento e não é sinal de ranking no restante da Busca; efeito em um a dois dias | Search Console; disponível para todos os sites desde 31/08/2026 |
Quem quer sair das respostas de IA do Google usa o segundo; quem quer sair do treino usa o primeiro. Os dois juntos são a decisão completa, e nenhum deles alcança OpenAI, Anthropic, Perplexity ou Meta.
Exemplo trabalhado: um robots.txt que expressa uma decisão de negócio. O arquivo abaixo é de uma empresa que decidiu recusar treino e aceitar busca. Cada bloco carrega o motivo da escolha, porque um robots.txt sem justificativa registrada é revertido pelo próximo estagiário que ler um post contraditório.
# robots.txt - decisão registrada em 2026-09-07
# Política: recusamos treino, aceitamos busca e citação.
# Revisar a cada trimestre. Não alterar sem atualizar os comentários.
User-agent: *
Allow: /
Sitemap: https://exemplo.com.br/sitemap.xml
# --- Busca e citação: LIBERADOS ---
# São estes que alimentam a resposta ao vivo. Bloqueá-los é
# desaparecer da resposta, que é exatamente o oposto do objetivo.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Meta-WebIndexer
Allow: /
# --- Ação a pedido do usuário: LIBERADOS ---
# Disparados quando uma pessoa real pediu aquela página no chat.
# Bloquear aqui frustra um usuário que já demonstrou intenção.
# Perplexity-User e Meta-ExternalFetcher em geral ignoram este
# arquivo: se a decisão fosse bloqueá-los, seria no firewall.
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
# --- Treino: BLOQUEADOS ---
# Escolha do negócio, não recomendação técnica deste curso.
# Ler o aviso logo abaixo antes de copiar este bloco: ele tem
# efeito de segunda ordem em CDN a partir de 15/09/2026.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: CCBot
Disallow: /
# Não usamos Google-Extended com Disallow porque a decisão acima é
# sobre treino de terceiros. Se optássemos por bloquear, valeria
# registrar que isso NÃO retira o site de AI Overviews nem de AI Mode;
# quem faz isso é o controle Search generative AI, no Search Console.Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Efeito de segunda ordem a partir de 15/09/2026. A Cloudflare classifica robôs em três categorias, Search, Agent e Training, documentadas em 01/07/2026. Para domínios novos, a partir de 15/09/2026, Agent e Training passam a ser bloqueados por padrão em páginas que exibem anúncios, e Search segue permitido. O gatilho é domínio novo com anúncio, independentemente do plano contratado; todo cliente pode recusar os novos padrões antes de 15/09. A parte que quase ninguém ensina: robôs de uso misto, que combinam Search e Training, são bloqueados por inteiro quando o site recusa treino, salvo os que têm o selo "Accountable" dado em 15/09/2026 a Apple, Google e Microsoft. Recusar treino pode tirar o site de um assistente ou buscador menor como efeito colateral. Desde 21/08/2026 o Bot Preference Sync, disponível em todos os planos, escreve no robots.txt o que o painel decidir. Antes de aplicar qualquer política, verifique o padrão do seu CDN e teste em um subdomínio, com log aberto, por sete dias.
Antes de qualquer diagnóstico sofisticado, rode a auditoria de três minutos. Primeiro, busque a sua página mais importante com o user agent (o nome com que o robô se apresenta) do OAI-SearchBot, do Claude-SearchBot e do Meta-WebIndexer, e confira o código de resposta. Segundo, abra o robots.txt em produção, e não o do repositório, que às vezes diverge do que o CDN serve. Terceiro, procure no log dos últimos sete dias qualquer resposta 4XX ou 5XX servida a robô verificado. Bloqueio inadvertido é a causa raiz mais comum e a mais barata de corrigir, e nenhuma reescrita de conteúdo compensa um 403.
Produza o robots.txt da sua organização com o mesmo formato do exemplo, ou seja, com a política declarada no topo e o motivo comentado em cada bloco. Ele está pronto quando atende a três condições: distingue as três funções de robô por fornecedor, registra explicitamente qual decisão de negócio ele expressa, e traz uma linha de data de revisão. Compare com o arquivo que está hoje em produção e anote cada divergência.
Faça agora (15 min)
Você não precisa abrir nenhum arquivo técnico: precisa fazer três pedidos e ler três respostas.
Passo 1: Peça ao time de infraestrutura os últimos sete dias de log
Mande a pergunta por escrito: quantas requisições de OAI-SearchBot, Claude-SearchBot, PerplexityBot, Meta-WebIndexer e Googlebot receberam resposta diferente de 200?
Deu certo quando: Uma tabela com o nome do robô e a contagem por código de resposta.
Erro comum: Aceitar "está tudo certo" sem número.
Passo 2: Peça o robots.txt que está no ar
Abra o endereço do seu site seguido de /robots.txt no celular e pergunte à equipe se o CDN serve o mesmo arquivo do repositório.
Deu certo quando: O arquivo diz, em comentário, qual decisão de negócio ele expressa e quando foi revisado.
Erro comum: Ler o arquivo do repositório e presumir que é o que o robô recebe.
Passo 3: Abra o relatório de IA do Search Console
Peça a quem tem acesso para mostrar as impressões em recursos de IA dos últimos 28 dias e confirmar como está o controle Search generative AI (incluir é o padrão).
Deu certo quando: Você sabe se o site aparece em AI Overviews e AI Mode, e quem decidiu isso.
Erro comum: Confundir esse controle com o Google-Extended, que só trata de treino.
Passo 4: Se o log não existir ou durar menos de 90 dias, abra o chamado de retenção
Sem log você fica cego na única camada que é totalmente sua. O chamado é o entregável desta etapa.
Deu certo quando: Um ticket com prazo e responsável.
Passo 5: Marque a reunião de 30 minutos com a pauta pronta
Três itens: respostas diferentes de 200 a robôs de busca, decisão registrada no robots.txt, estado do controle de IA no Search Console. Conteúdo novo só entra na pauta depois do primeiro item zerado.
Deu certo quando: A pauta cabe em cinco linhas e cada item tem um número ou um sim ou não.
No fim você tem: o número de respostas erradas a robôs de busca na última semana, o robots.txt que está no ar com a decisão registrada e a pauta de uma reunião que decide onde entra o primeiro real.
Na segunda-feira, peça sete dias de log e o robots.txt que está no ar; conteúdo novo só depois que as respostas erradas a robôs de busca forem zero.
A sua base passa nas quatro etapas do funil?
Descoberta e rastreio
0/5Renderização e indexação
0/3Decisão registrada
0/4Perguntas frequentes deste capítulo
Meu tráfego orgânico caiu. Como sei se é AI Overview ou se é problema de base?
Preciso mesmo separar os robôs por função se eu só quero ser citado por todo mundo?
E-E-A-T é fator de ranqueamento?
Vale a pena publicar conteúdo novo se a base ainda tem 403 para robôs de busca?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- Destrave o que impede o robô de ler o sitesugerido pelo grafoApresenta os conceitos “meta-webindexer”, “OAI-SearchBot” e “Claude-SearchBot”, usados em “Firme a base de SEO antes de pensar em IA”.
- Diagnostique em que etapa a busca perde a sua páginasugerido pelo grafoApresenta o conceito “Robots.txt”, usado em “Firme a base de SEO antes de pensar em IA”.
- CursoGlossário Completo de SEO e GEO 2026sugerido pelo grafo29 capítulos de “GEO Universal Framework” usam conceitos apresentados em “Glossário Completo de SEO e GEO 2026”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- E-E-A-T e Qualidade de ConteúdoO que mudou entre 2023 e 2026, e o que custou a quem ignorouExaminar conexões de O que mudou entre 2023 e 2026, e o que custou a quem ignorou
- GEO Intent MappingComo saber se está funcionandoExaminar conexões de Como saber se está funcionando
- SEO ProgramáticoMedir o acervo dentro das respostas de IAExaminar conexões de Medir o acervo dentro das respostas de IA
- Glossário Completo de SEO e GEO 2026Diagnostique em que etapa a busca perde a sua páginaExaminar conexões de Diagnostique em que etapa a busca perde a sua página
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.