rochasolutions
SEO

Robots.txt: Como Configurar sem Bloquear o Google por Engano

Danilo Rocha5 min de leitura

Um deploy sem revisão pode deixar o painel administrativo aberto para o Google rastrear, ou pior, pode bloquear justamente a página que devia aparecer na busca. O robots.txt controla essa fronteira: diz ao rastreador por onde ele pode passar, antes mesmo de ele abrir a primeira URL. Um erro de uma linha nesse arquivo derruba o tráfego orgânico sem nenhum aviso no painel, porque do ponto de vista do site nada quebrou. Só o rastreador parou de entrar.

O que é o robots.txt

robots.txt é um arquivo de texto simples, publicado na raiz do domínio, que diz a rastreadores automáticos quais caminhos eles podem acessar e quais devem ignorar. Ele segue o Robots Exclusion Protocol, um padrão que buscadores respeitam por convenção, não por imposição técnica do servidor.

Um arquivo básico tem esta forma:

User-agent: *
Disallow: /admin
Disallow: /api
Allow: /

Sitemap: https://www.rochasolutionssh.com.br/sitemap.xml

User-agent define a quem a regra se aplica, com * cobrindo todo rastreador que respeita o protocolo. Disallow lista caminho bloqueado. Allow libera uma exceção dentro de um caminho já bloqueado. Sitemap aponta para o arquivo que lista as URLs do site, discutido em Sitemap XML: como criar e por que ele importa no SEO.

Para que serve o robots.txt, e o que ele não garante

Serve para dizer qual caminho o rastreador pode visitar, não para esconder uma página do resultado de busca. É aqui que a maioria dos projetos erra.

Bloquear uma URL com Disallow impede o Google de rastreá-la, mas não impede que ela apareça no índice. Se existir um link externo apontando para aquele endereço, o Google pode listar a URL mesmo assim, só que sem título nem descrição, exibindo a URL pura no lugar do snippet normal. Esse comportamento é documentado pelo próprio Google e é a origem do erro mais comum com este arquivo: tratar Disallow como se fosse esconder a página, quando o resultado real pode ser uma entrada ainda mais estranha no índice.

Quem precisa de verdade remover uma página da busca usa a meta tag noindex na própria página, ou protege o acesso com autenticação. O robots.txt resolve rastreamento. Essas duas outras ferramentas resolvem indexação e acesso.

Como criar um robots.txt passo a passo

Criar o arquivo exige menos decisão do que parece. Siga esta ordem:

  1. Liste os caminhos que não têm valor para busca: painel administrativo, rotas de API, páginas de busca interna com parâmetro de filtro, ambiente de preview.

  2. Decida se algum rastreador específico precisa de regra diferente da regra geral. Na maioria dos projetos, uma única seção com User-agent: * resolve.

  3. Declare o sitemap no mesmo arquivo, numa linha com Sitemap: seguida da URL absoluta, nunca do caminho relativo.

  4. Em um projeto Next.js com App Router, crie app/robots.ts usando a Metadata API. O framework serve o resultado em /robots.txt sem precisar escrever o arquivo à mão:

    import { MetadataRoute } from 'next';
    
    export default function robots(): MetadataRoute.Robots {
      return {
        rules: {
          userAgent: '*',
          allow: '/',
          disallow: ['/admin', '/api'],
        },
        sitemap: 'https://www.rochasolutionssh.com.br/sitemap.xml',
      };
    }
    
  5. Acesse /robots.txt direto no navegador antes de publicar, pra confirmar que o arquivo gerado é o que você esperava.

  6. Depois do deploy, rode a regra pela ferramenta de teste de robots.txt do Search Console, pra ver se ela bloqueia o que devia e libera o resto.

Erros comuns que bloqueiam o Google sem querer

  • Bloquear a pasta de assets do framework, como /_next/, achando que é um diretório interno sem valor. O Google precisa dela pra renderizar CSS e JavaScript da página, e sem acesso passa a ver a página quebrada no relatório de rastreamento.
  • Deixar Disallow: / de um ambiente de staging esquecido depois da virada pra produção, bloqueando o site inteiro sem nenhum sintoma visível pro visitante comum.
  • Tratar o robots.txt como lugar pra esconder informação sensível. O arquivo é público: qualquer pessoa lê o conteúdo dele acessando /robots.txt. Listar um caminho ali é praticamente anunciar onde ele está, não escondê-lo.
  • Escrever regra pra um User-agent específico achando que ela cobre os demais rastreadores, quando cada seção só vale para o nome declarado nela.

Essa lista conversa direto com o checklist mais amplo de SEO técnico: o que é e como implementar no site. Rastreamento é só o primeiro degrau de uma escada que inclui indexação, performance e dados estruturados, e um robots.txt errado trava o projeto já no primeiro passo.

Robots.txt ajuda um assistente de IA a citar seu conteúdo?

Ajuda de um jeito mais limitado do que ajuda o Google, mas ajuda. Assistentes como ChatGPT e Perplexity usam rastreadores próprios, identificados por nomes de user-agent específicos como GPTBot e PerplexityBot, e o robots.txt pode liberar ou bloquear cada um deles por seção separada, do mesmo jeito que faz com qualquer outro rastreador.

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

O que o robots.txt não faz é explicar o que o site oferece de um jeito que o modelo consiga resumir direto. Esse papel é de outro arquivo, tratado em o que é llms.txt e como criar no seu site: um resumo em markdown pensado pra leitura de modelo de linguagem, não uma lista de permissões de acesso.

Os dois arquivos moram na raiz do domínio e respondem perguntas diferentes: um decide quem entra, o outro explica o que tem lá dentro. Se o robots.txt do seu projeto nunca foi revisado, ou se ele ainda aponta pra uma estrutura de rotas que já mudou, fale com a gente antes que aquela linha esquecida custe um tráfego que já devia ser seu.