Compartilhar
Robots.txt é um arquivo essencial para a otimização de sites e o gerenciamento da forma como motores de busca como o Google rastreiam e indexam o conteúdo de uma página web. Trata-se de um arquivo de texto simples que deve estar na raiz do domínio e que contém um conjunto de diretivas que orientam os robôs — chamados de crawlers ...
+ Saiba mais