Robots.txt: O que é? Como criar?

Robots.txt é um simples arquivo de texto (assim como o nome sugere) que informa aos robôs rastreadores de mecanismo de pesquisa o que você quer que eles acessem ou não. Por padrão, os robôs tendem a rastrear todas as páginas de seu site, logo, a principal utilização do robots.txt é bloquear páginas que você não …

Robots.txt: O que é? Como criar? Leia mais »