Melhore o SEO criando um arquivo robots.txt para seu Site ou Blog

Um arquivo robots.txt tem como função bloquear ou permitir o acesso ao conteúdo do Site ou Blog dos motores de busca (Robos) dos site de buscas que varrem a internet com o objetivo de indexar os sites ou verificar possíveis atualizações dos mesmo desde a última varredura.

Ele é um arquivo no formato *.txt, criado pelo Bloco de notas do Windows ou outro editor de aquivos *.txt, com uma programação muito simples colocado na raiz da hospedagem do Site ou Blog.

MAS O QUE PERMITIR OU BLOQUEAR?

A primeira coisa para se criar um arquivo robots.txt é saber qual o conteúdo do Site ou Blog deverá ser permitido ou bloqueado. Caso queira que todo o conteúdo do Site ou Blog seja indexado, você não precisará de um arquivo robots.txt.

Partindo do princípio de que a maioria dos sites ainda não tem um arquivo robots.txt, permitindo a indexação de todo o site, vamos definir qual o conteúdo não terá a necessidade de ser indexado, até mesmo por segurança.

Tomarei como exemplo nesse tutorial um Blog usando a plataforma WordPress.

A melhor estrutura que eu considero para um arquivo robots.txt para um Blog em WordPress é a seguinte:

# BLOQUEANDO OS DIRETORIOS
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /categoria/
Disallow: /page/
Disallow: */page/
Disallow: /tag/
Disallow: /2011/
Disallow: /feed/
Disallow: /trackback/
Disallow: /*?*
#
#
# REMOVENDO SCRIPTS CSS E AFINS
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.html$
Disallow: /*.asp$
Disallow: /*.aspx$
Disallow: /*.gz$
#
#
# PERMITIR GOOGLE IMAGE
User-agent: Googlebot-Image
Disallow:
Allow: /wp-content/uploads/
#
#
# PERMITIR GOOGLE ADSENSE EM QUALQUER URL
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
#
#
# DECLARANDO O SITEMAP
Sitemap: http://seusite.com/sitemap.xml

ENTENDENDO A ESTRUTURA DO ARQUIVO ROBOTS.TXT:

User-agent: *
Comando usado para definir quais motores de busca (Google, Yahoo, etc) devem indexar ou ignorar os diretórios ou páginas declaras no arquivo robots.txt. Nesse exemplo eu usei * que significa que todos os motores de busca tem permissão para seguir com as regras definidas. Caso queria especificar somente um motor de busca, basta substituir o * por Googlebot (Google) ou Slurp (Yahoo). Caso queria uma lista completa dos motores de busca, acesse esse link do robotstxt.org.

 

Disallow: /cgi-bin/
Comando usado para bloquear a indexação de um diretório ou link exato, nesse caso o cgi-bin.

 

Disallow: /wp-
Comando usado para bloquear  a indexação de qualquer diretório e subpastas ou link que venham a começar com wp-. Esse comando não pode ter a / no final.

 

Disallow: */page/
Comando usado para bloquear  a indexação de um diretório ou link exato que em algum momento contenha a palavra declarada, nesse caso a page.

 

Disallow: /*?*
Comando usado para bloquear  a indexação de qualquer diretório ou link dinâmico. Muitas usuários de WordPress ainda insistem em usar links dinâmicos para seus artigos (http://seusite.com/?p=256) e isso é péssimo para os motores de buscas em relação ao SEO. O correto é usar links permanentes (http://seusite.com/tutorial-como-criar-arquivo-robots-txt-para-seu-site-blog). Para alterar isso basta aessar nosso artigo Tutorial de como alterar os links permanentes no WordPress.

 

Disallow: /*.php$
Comando usado para bloquear a indexação de arquivos terminados em *.php. Qualquer arquivo que contenha uma extensão *.algumacoisa (*.js, *.inc, *.css, *.wmv, *.cgi, *.xhtml, etc) pode ser bloqueado com esse comando. Detalhe para o $ no final. Com ele no final será bloqueado a página que ternina em php, como o exemplo http://seusite.com/pagina.php, mas não a página http://seusite.com/pagina.php?preco=loja.

User-agent: Googlebot-Image
Comando usado para definir que o motor de busca de imagens do Google deva indexar ou ignorar os diretórios ou páginas declaras no arquivo robots.txt.

 

Allow: /wp-content/uploads/
Comando usado para permitir a indexação de qualquer diretório ou link exato. Mesmo declarando o bloqueio Disallow: /wp- o comando Allow: /wp-content/uploads/ permite o acesso dos motores de busca exclusivamente nesse diretório. Permitir o acesso a esse diretório é muito bom pois é nele que o WordPress armazena todas as imagens usadas para os artigos e com isso podemos receber também acessos por buscas de imagens. Sempre é bom nomear essas imagens com o assunto que elas representam antes de enviá-las pelo WordPress. Isso ajuda muito nas buscas.

User-agent: Mediapartners-Google*
Comando usado para definir que o motor de busca do Google Adsense deva permitir ou bloquear os anúncios do adsense nas páginas declaras no arquivo robots.txt. Para os usuários do Google Adsense esse comando é indispensável pois sem ele seu anúncios do adsense serão bloqueados pelo User-agent: *.

 

Allow: /*
Comando usado para permitir a exibição dos anúncios do Google Adsense em todo o site.

Sitemap: http://seusite.com/sitemap.xml
Comando usado para declarar seu Sitemap para que os motores de busca tenham maior facilidade na indexação do seu site. Para o WordPress indico o plugin XML Sitemap Generator for WordPress, ele se encarrega de criar o Sitemap para o site.

Após essa criação do robots.txt, o mesmo deve ser enviado para o diretório do seu site, na raiz, ficando como http://seusite.com/robots.txt.

Feito isso, aconselho o artigo Tutorial como cadastrar seu site em 236 sites de busca automaticamente e aguarde os resultados.

Aproveite e dê uma lida nesses outros artigos sobre robots.txt:

COMO CRIAR UM FICHEIRO ROBOTS.TXT PARA O SEU BLOG OU WEBSITE!
GERINDO O ACESSO DOS ROBOTS AO SEU BLOG
Melhores regras para os Robots.txt do WordPress
O Robots.txt ideal para o WordPress