Neste tópico sobre robots txt será abordado os benefícios do bom uso para os bots do Google e de outros buscadores.

Os user-agent chamado de Googlebot são sem dúvida os mais conhecidos. mas existem no entanto outros user-agents que tem praticamente as mesmas funções, que são: