Pular para o conteúdo
SEO

6 conferências no robots.txt de cada site, antes que ele esconda alguma coisa do Google

Uma linha errada no robots.txt tira o site do Google ou deixa páginas privadas no índice. Seis conferências para fazer em cada site que você cuida.

Por Eduardo Sena · · 4 min de leitura

Arte com o título "O robots.txt de cada site" e um cartão com um robots.txt, com as linhas erradas riscadas e a do sitemap destacada

O robots.txt é o arquivo que ninguém abre até o dia em que um site some do Google. São meia dúzia de linhas, quase sempre copiadas de um site para o outro, e é exatamente por isso que vale conferir: o erro de um costuma estar em todos.

Use esta lista na entrada de um site novo na carteira e uma vez por semestre nos que já estão nela. Ela leva uns dois minutos por site.

1. Ele não tem um "Disallow: /" esquecido

A linha que bloqueia o rastreamento do site inteiro é Disallow: / sob User-agent: *. Ela aparece em site que veio de staging ou de uma hospedagem que "protege" o site em construção. Abra dominio.com.br/robots.txt no navegador e procure. Se estiver lá num site que deveria aparecer no Google, é a primeira correção do dia.

2. Ninguém está usando o robots.txt para esconder página

Esse é o mal-entendido mais comum. O Google é explícito: o robots.txt serve para controlar o rastreamento, e não para manter uma página fora dos resultados. Uma página bloqueada ali ainda pode aparecer na busca, sem descrição, se outro site apontar para ela. Para tirar uma página do índice, use noindex ou proteja com senha.

O próprio WordPress mudou por isso. Até a versão 5.3, a opção "Evitar que mecanismos de busca indexem este site" escrevia um Disallow: / no robots.txt. Desde a 5.3, segundo o anúncio da equipe do núcleo, ela põe uma meta tag noindex nas páginas, porque bloquear o rastreamento podia deixar o site listado.

3. CSS e JavaScript não estão bloqueados

Regras antigas como Disallow: /wp-includes/ ou Disallow: /wp-content/ ainda circulam em tutoriais. Elas impedem o Google de baixar os arquivos que montam a página, e ele passa a ver o site quebrado. A documentação do Google diz que só vale bloquear recursos se a página carregar bem sem eles. No WordPress, quase nunca é o caso.

Pilha de servidores com painéis frontais perfurados numa sala técnica
Foto: Wolfgang Stief / Wikimedia Commons (licença CC0)

4. Ele responde com 200, e não com erro de servidor

Parece detalhe, e a especificação do Google mostra que não é. Se o robots.txt dá 404 (ou outro erro 4xx), o Google entende que não há restrição e rastreia tudo. Se dá erro 5xx, ele pode tratar o site inteiro como bloqueado por um tempo e usar a última versão que conseguiu ler, por até 30 dias. Um plugin de segurança ou uma regra de firewall que bloqueia o robots.txt para robôs pode, sem querer, travar o rastreamento do site.

Confira com o curl -I dominio.com.br/robots.txt: a primeira linha precisa dizer 200.

5. O sitemap está declarado, e no endereço certo

Uma linha Sitemap: https://dominio.com.br/sitemap_index.xml (ou o endereço que o seu plugin de SEO gera) ajuda o Google a achar as páginas. O erro comum é o endereço do sitemap com o domínio antigo, de antes de uma migração, ou com http:// num site que já é só HTTPS. Abra o link: se ele não abrir, a linha está atrapalhando.

6. O arquivo é do site, e não um físico esquecido

O WordPress gera um robots.txt virtual, e os plugins de SEO o editam pelo painel. Mas se alguém subiu um robots.txt de verdade na raiz da hospedagem, ele vence o virtual, e as mudanças feitas no plugin não aparecem. Quando a edição "não pega", procure o arquivo físico.

Monitor com código HTML de uma página web aberto num editor
Foto: Sai Kiran Anagani / Wikimedia Commons (licença CC0)

Uma última observação, da mesma especificação: o Google costuma guardar o robots.txt em cache por até 24 horas. Corrigiu agora, a mudança pode levar um dia para valer.

Para ir além

Vinte robots.txt numa tarde

Se você cuida de dois ou três sites, abrir cada robots.txt no navegador resolve. Acima disso, o trabalho é saber quais sites existem e onde cada um está: no Sites Station, a lista de sites já traz o endereço de cada um, e o monitor de disponibilidade avisa quando um deles começa a responder com erro.

Se a sua carteira passou de uns dez sites, compare os planos e veja qual cabe na sua operação.

Assuntos

  • robots.txt
  • seo
  • google
  • wordpress
  • indexação

Gostou? Receba os próximos posts

Um e-mail quando sai post novo no blog.

Um e-mail quando sai post novo, e só. Sair é um clique, em qualquer e-mail. Privacidade