Por qué esta herramienta es útil
Usa el comprobador de rutas de robots.txt cuando necesites evaluar un grupo de robots.txt pegado con respecto a un rastreador y una ruta específicos mediante reglas de permiso o prohibición de coincidencia más larga. El resultado es inmediato y fácil de verificar antes de volver a utilizarlo.