6 conferências no robots.txt de cada site, antes que ele esconda alguma coisa do Google
Uma linha errada no robots.txt tira o site do Google ou deixa páginas privadas no índice. Seis conferências para fazer em cada site que você cuida.
O robots.txt é o arquivo que ninguém abre até o dia em que um site some do Google. São meia dúzia de linhas, quase sempre copiadas de um site para o outro, e é exatamente por isso que vale conferir: o erro de um costuma estar em todos.
Use esta lista na entrada de um site novo na carteira e uma vez por semestre nos que já estão nela. Ela leva uns dois minutos por site.
1. Ele não tem um "Disallow: /" esquecido
A linha que bloqueia o rastreamento do site inteiro é Disallow: / sob User-agent: *. Ela aparece em site que veio de staging ou de uma hospedagem que "protege" o site em construção. Abra dominio.com.br/robots.txt no navegador e procure. Se estiver lá num site que deveria aparecer no Google, é a primeira correção do dia.
2. Ninguém está usando o robots.txt para esconder página
Esse é o mal-entendido mais comum. O Google é explícito: o robots.txt serve para controlar o rastreamento, e não para manter uma página fora dos resultados. Uma página bloqueada ali ainda pode aparecer na busca, sem descrição, se outro site apontar para ela. Para tirar uma página do índice, use noindex ou proteja com senha.
O próprio WordPress mudou por isso. Até a versão 5.3, a opção "Evitar que mecanismos de busca indexem este site" escrevia um Disallow: / no robots.txt. Desde a 5.3, segundo o anúncio da equipe do núcleo, ela põe uma meta tag noindex nas páginas, porque bloquear o rastreamento podia deixar o site listado.
3. CSS e JavaScript não estão bloqueados
Regras antigas como Disallow: /wp-includes/ ou Disallow: /wp-content/ ainda circulam em tutoriais. Elas impedem o Google de baixar os arquivos que montam a página, e ele passa a ver o site quebrado. A documentação do Google diz que só vale bloquear recursos se a página carregar bem sem eles. No WordPress, quase nunca é o caso.
4. Ele responde com 200, e não com erro de servidor
Parece detalhe, e a especificação do Google mostra que não é. Se o robots.txt dá 404 (ou outro erro 4xx), o Google entende que não há restrição e rastreia tudo. Se dá erro 5xx, ele pode tratar o site inteiro como bloqueado por um tempo e usar a última versão que conseguiu ler, por até 30 dias. Um plugin de segurança ou uma regra de firewall que bloqueia o robots.txt para robôs pode, sem querer, travar o rastreamento do site.
Confira com o curl -I dominio.com.br/robots.txt: a primeira linha precisa dizer 200.
5. O sitemap está declarado, e no endereço certo
Uma linha Sitemap: https://dominio.com.br/sitemap_index.xml (ou o endereço que o seu plugin de SEO gera) ajuda o Google a achar as páginas. O erro comum é o endereço do sitemap com o domínio antigo, de antes de uma migração, ou com http:// num site que já é só HTTPS. Abra o link: se ele não abrir, a linha está atrapalhando.
6. O arquivo é do site, e não um físico esquecido
O WordPress gera um robots.txt virtual, e os plugins de SEO o editam pelo painel. Mas se alguém subiu um robots.txt de verdade na raiz da hospedagem, ele vence o virtual, e as mudanças feitas no plugin não aparecem. Quando a edição "não pega", procure o arquivo físico.
Uma última observação, da mesma especificação: o Google costuma guardar o robots.txt em cache por até 24 horas. Corrigiu agora, a mudança pode levar um dia para valer.
Para ir além
- O site que sumiu do Google por um noindex esquecido: o primo do Disallow: / esquecido
- 6 conferências do sitemap XML em cada site: a outra ponta da linha Sitemap:
- 7 arquivos que os robôs procuram no seu site: o robots.txt não é o único
Vinte robots.txt numa tarde
Se você cuida de dois ou três sites, abrir cada robots.txt no navegador resolve. Acima disso, o trabalho é saber quais sites existem e onde cada um está: no Sites Station, a lista de sites já traz o endereço de cada um, e o monitor de disponibilidade avisa quando um deles começa a responder com erro.
Se a sua carteira passou de uns dez sites, compare os planos e veja qual cabe na sua operação.