Robots.txt: Como Configurar sem Bloquear o Google por Engano
Um deploy sem revisão pode deixar o painel administrativo aberto para o Google rastrear, ou pior, pode bloquear justamente a página que devia aparecer na busca. O robots.txt controla essa fronteira: diz ao rastreador por onde ele pode passar, antes mesmo de ele abrir a primeira URL. Um erro de uma linha nesse arquivo derruba o tráfego orgânico sem nenhum aviso no painel, porque do ponto de vista do site nada quebrou. Só o rastreador parou de entrar.
O que é o robots.txt
robots.txt é um arquivo de texto simples, publicado na raiz do domínio, que diz a rastreadores automáticos quais caminhos eles podem acessar e quais devem ignorar. Ele segue o Robots Exclusion Protocol, um padrão que buscadores respeitam por convenção, não por imposição técnica do servidor.
Um arquivo básico tem esta forma:
User-agent: *
Disallow: /admin
Disallow: /api
Allow: /
Sitemap: https://www.rochasolutionssh.com.br/sitemap.xml
User-agent define a quem a regra se aplica, com * cobrindo todo rastreador que
respeita o protocolo. Disallow lista caminho bloqueado. Allow libera uma exceção
dentro de um caminho já bloqueado. Sitemap aponta para o arquivo que lista as URLs do
site, discutido em Sitemap XML: como criar e por que ele importa no SEO.
Para que serve o robots.txt, e o que ele não garante
Serve para dizer qual caminho o rastreador pode visitar, não para esconder uma página do resultado de busca. É aqui que a maioria dos projetos erra.
Bloquear uma URL com Disallow impede o Google de rastreá-la, mas não impede que ela
apareça no índice. Se existir um link externo apontando para aquele endereço, o Google
pode listar a URL mesmo assim, só que sem título nem descrição, exibindo a URL pura no
lugar do snippet normal. Esse comportamento é documentado pelo próprio Google e é a
origem do erro mais comum com este arquivo: tratar Disallow como se fosse esconder a
página, quando o resultado real pode ser uma entrada ainda mais estranha no índice.
Quem precisa de verdade remover uma página da busca usa a meta tag noindex na própria
página, ou protege o acesso com autenticação. O robots.txt resolve rastreamento. Essas
duas outras ferramentas resolvem indexação e acesso.
Como criar um robots.txt passo a passo
Criar o arquivo exige menos decisão do que parece. Siga esta ordem:
-
Liste os caminhos que não têm valor para busca: painel administrativo, rotas de API, páginas de busca interna com parâmetro de filtro, ambiente de preview.
-
Decida se algum rastreador específico precisa de regra diferente da regra geral. Na maioria dos projetos, uma única seção com
User-agent: *resolve. -
Declare o sitemap no mesmo arquivo, numa linha com
Sitemap:seguida da URL absoluta, nunca do caminho relativo. -
Em um projeto Next.js com App Router, crie
app/robots.tsusando a Metadata API. O framework serve o resultado em/robots.txtsem precisar escrever o arquivo à mão:import { MetadataRoute } from 'next'; export default function robots(): MetadataRoute.Robots { return { rules: { userAgent: '*', allow: '/', disallow: ['/admin', '/api'], }, sitemap: 'https://www.rochasolutionssh.com.br/sitemap.xml', }; } -
Acesse
/robots.txtdireto no navegador antes de publicar, pra confirmar que o arquivo gerado é o que você esperava. -
Depois do deploy, rode a regra pela ferramenta de teste de robots.txt do Search Console, pra ver se ela bloqueia o que devia e libera o resto.
Erros comuns que bloqueiam o Google sem querer
- Bloquear a pasta de assets do framework, como
/_next/, achando que é um diretório interno sem valor. O Google precisa dela pra renderizar CSS e JavaScript da página, e sem acesso passa a ver a página quebrada no relatório de rastreamento. - Deixar
Disallow: /de um ambiente de staging esquecido depois da virada pra produção, bloqueando o site inteiro sem nenhum sintoma visível pro visitante comum. - Tratar o robots.txt como lugar pra esconder informação sensível. O arquivo é público:
qualquer pessoa lê o conteúdo dele acessando
/robots.txt. Listar um caminho ali é praticamente anunciar onde ele está, não escondê-lo. - Escrever regra pra um
User-agentespecífico achando que ela cobre os demais rastreadores, quando cada seção só vale para o nome declarado nela.
Essa lista conversa direto com o checklist mais amplo de SEO técnico: o que é e como implementar no site. Rastreamento é só o primeiro degrau de uma escada que inclui indexação, performance e dados estruturados, e um robots.txt errado trava o projeto já no primeiro passo.
Robots.txt ajuda um assistente de IA a citar seu conteúdo?
Ajuda de um jeito mais limitado do que ajuda o Google, mas ajuda. Assistentes como
ChatGPT e Perplexity usam rastreadores próprios, identificados por nomes de user-agent
específicos como GPTBot e PerplexityBot, e o robots.txt pode liberar ou bloquear cada
um deles por seção separada, do mesmo jeito que faz com qualquer outro rastreador.
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
O que o robots.txt não faz é explicar o que o site oferece de um jeito que o modelo consiga resumir direto. Esse papel é de outro arquivo, tratado em o que é llms.txt e como criar no seu site: um resumo em markdown pensado pra leitura de modelo de linguagem, não uma lista de permissões de acesso.
Os dois arquivos moram na raiz do domínio e respondem perguntas diferentes: um decide quem entra, o outro explica o que tem lá dentro. Se o robots.txt do seu projeto nunca foi revisado, ou se ele ainda aponta pra uma estrutura de rotas que já mudou, fale com a gente antes que aquela linha esquecida custe um tráfego que já devia ser seu.