Por que esta ferramenta é útil
Use o Testador de Caminho Robots.txt quando precisar avaliar um grupo de robots.txt colado em relação a um crawler e um caminho específicos usando as regras de allow ou disallow de correspondência mais longa. O resultado é imediato e fácil de verificar antes de reutilizá-lo.