Gerador de robots.txt
Diga aos robôs de busca o que podem ou não acessar no seu site e aponte o sitemap. Copie ou baixe o arquivo.
✓ 100% grátis · no seu navegador. O arquivo deve ficar na raiz do site (seusite.com/robots.txt).
Dúvidas
"Bloquear" no robots.txt esconde a página do Google?
Disallow impede o robô de rastrear a página, mas ela ainda pode aparecer na busca sem descrição. Para remover mesmo dos resultados, use noindex na página (meta robots).