Sites podem receber requisições de diferentes agentes relacionados a busca, treinamento, navegação ou uso de conteúdo em produtos de IA. Esses agentes têm finalidades e nomes distintos, e políticas podem mudar com o tempo.
Antes de bloquear um robô, a empresa precisa saber qual atividade quer limitar e quais consequências isso pode ter para descoberta, busca ou recursos de resposta. Robots.txt expressa regras para crawlers que cooperam com o protocolo; não é controle de acesso nem autenticação.
Classifique o tipo de acesso
Leia a documentação atual do provedor para distinguir coleta de treinamento, busca, prévia de link e acesso solicitado por usuário. Um mesmo fornecedor pode usar agentes diferentes para tarefas diferentes.
Confirme requisições em logs e valide identidade quando a decisão tiver impacto operacional. User-agent pode ser falsificado, e uma linha no robots.txt não confirma por si só quem acessou o servidor.
Escreva uma política por finalidade
Liste diretórios, conteúdo público, áreas privadas e recursos que não devem ser rastreados. Defina quem aprova mudanças e como testar a sintaxe para cada agente. Não bloqueie arquivos necessários à renderização das páginas sem avaliar o efeito.
Não use robots.txt para proteger informações confidenciais. Conteúdo privado requer autenticação e controles de acesso adequados; o arquivo de regras é público e pode revelar caminhos que a equipe pretendia manter discretos.
Considere o efeito na descoberta
Uma decisão de bloqueio pode afetar acesso em determinado produto sem impedir que uma URL seja conhecida por outras fontes. Diferencie rastreamento, indexação, treinamento e citação; cada processo pode seguir regras diferentes.
Não prometa que liberar um crawler fará a marca ser citada. Busca, treinamento e citações podem seguir processos distintos, e um levantamento da BuzzStream sobre arquivos robots.txt de sites selecionados de notícias dos EUA e do Reino Unido não mede o efeito causal de bloquear um agente sobre as citações. Use os percentuais apenas como descrição daquela amostra; para a decisão do próprio site, consulte os logs, a documentação do agente e o objetivo editorial.
Pesquisa BuzzStream sobre bloqueios de crawlers em veículos dos EUA e Reino Unido
O controle do Search Console não é uma regra de rastreamento
O Search Console oferece um controle próprio para incluir ou excluir o site das experiências generativas da Pesquisa Google — AI Overviews, AI Mode e recursos generativos do Discover. Segundo o Google, o recurso foi disponibilizado mundialmente em 31 de agosto de 2026. A inclusão é padrão; propriedades filhas herdam a decisão do pai mais próximo que tenha sido configurado, mas podem receber uma escolha própria. O ajuste trata da elegibilidade de conteúdo e links nessas experiências, não substitui robots.txt nem as regras de rastreamento.
Ao excluir o site, links e conteúdo deixam de aparecer nessas experiências ou servir de base para as respostas, mas as páginas continuam podendo aparecer na Busca tradicional; a escolha não altera os sinais de classificação das outras áreas, não muda a participação em Merchant Center ou Ads e não controla treinamento de modelos. O Google-Extended é uma configuração separada para treinamento. A mudança costuma levar alguns dias para se propagar, e o relatório de desempenho de IA generativa do Search Console ajuda a observar impressões e tráfego dessas superfícies antes de decidir.
Controle de IA generativa na Pesquisa — Ajuda do Search Console
Markdown para agentes: teste a negociação de formato antes de adotar
Markdown pode ser oferecido como uma representação alternativa de uma página quando um cliente a solicita por negociação de conteúdo. Isso não é um requisito especial para aparecer nos recursos de IA do Google: a documentação do buscador mantém as práticas de SEO existentes e não exige arquivos ou marcações específicas. Alguns serviços de infraestrutura convertem HTML para Markdown quando a requisição inclui o tipo de mídia aceito; a adoção depende dos agentes que realmente solicitam o formato e da configuração do site.
Antes de testar, confira o cabeçalho Accept observado em requisições verificadas, a paridade entre as versões HTML e Markdown, o Content-Type devolvido e a separação de cache por Accept (Vary). Mantenha conteúdo, canonicalização e controles de acesso coerentes e compare carga, erros e uso observado. Não entregue fatos diferentes a crawlers nem interprete um pedido de Markdown como sinal de citação ou ganho de tráfego.
No ChatGPT Search, descoberta, fonte exibida e citação são etapas diferentes
A OpenAI informa que qualquer site público pode aparecer no ChatGPT Search e recomenda permitir o OAI-SearchBot para que o conteúdo participe de resumos e trechos. Esse robô tem finalidade de busca e é configurado separadamente do GPTBot, relacionado ao treinamento. Permitir o acesso torna o conteúdo elegível; não garante que uma página será recuperada, exibida ou citada.
Uma pesquisa observacional da RESONEO acompanhou mais de 1.200 respostas do ChatGPT em julho de 2026 e distinguiu URLs recuperadas, fontes mostradas, citações no texto e páginas abertas pelo modelo. As etapas não são equivalentes, e os caminhos de recuperação variaram conforme modo e conta nos testes. O estudo usa nomes inferidos por análise técnica, não uma arquitetura oficialmente documentada pela OpenAI; seus números são um retrato de uma amostra e período, não uma regra de classificação.
Overview of OpenAI Crawlers — documentação da OpenAI
O que ChatGPT recupera, mostra e cita — pesquisa da RESONEO
Monitore e revise
Mantenha registro da política, data e motivo. Revise logs, erros, volume de requisições e documentação oficial quando agentes ou produtos mudarem. Atualize a regra somente após verificar o impacto e testar a configuração.
Exemplo de aplicação
Uma equipe encontra muitos acessos de agentes de IA nos logs e decide bloquear tudo. Antes de editar robots.txt, ela separa robôs de treinamento, busca e acesso solicitado por usuário e consulta a documentação oficial de cada finalidade. Depois verifica os nomes e padrões de requisição observados no servidor.
A política distingue páginas públicas, conteúdo privado e arquivos necessários à renderização. Conteúdo confidencial continua protegido por autenticação, não por uma regra pública de rastreamento. A decisão registra quais produtos podem perder acesso e como será revisada.
Checklist antes de publicar
A política deve ter responsável, data, motivo e procedimento de reversão. Teste sintaxe e alcance com URLs representativas e monitore volume e erros após qualquer alteração.
- Finalidade do agente foi identificada.
- User-agent não é tomado como autenticação.
- Conteúdo privado exige controle de acesso real.
- Regra é testada e tem responsável.
Perguntas frequentes
Robots.txt protege conteúdo confidencial? Não. O arquivo orienta crawlers que seguem o protocolo, mas é público e não exige autenticação. Use controles de acesso reais para proteger conteúdo privado.
Bloquear um crawler de IA impede citações da marca? Não é possível concluir isso universalmente. Busca, treinamento, acesso por usuário e citação podem usar processos distintos. Consulte a documentação do agente e não prometa resultado.
Aplicação na rotina
Registre quais agentes acessam o servidor, em que volume e quais caminhos solicitam; o campo de user agent pode ser falsificado e não comprova identidade sozinho. Verifique origem quando a plataforma oferece uma orientação oficial. Depois, escolha por finalidade: rastreamento para busca, treinamento ou uso interno podem ter políticas diferentes. Teste regras em páginas públicas e monitore efeitos em logs e atendimento.