оценить вставленную группу robots.txt для конкретного краулера и пути, используя правила allow или disallow с наибольшим совпадением.
robots pathПроверка пути Robots.txt
Готово. Ваши рабочие данные остаются в этом браузере.
Почему этот инструмент полезен
Используйте Robots.txt Path Tester, когда нужно проверить вставленную группу robots.txt для конкретного краулера и пути с применением правил allow или disallow по наиболее длинному совпадению. Результат появляется сразу и его легко проверить перед повторным использованием.
Как это работает
Введите значения, запрошенные инструментом Robots.txt Path Tester. Браузер проверяет ввод, выполняет вычисления локально и формирует результат, который можно скопировать, с понятными сообщениями об ошибках.
Практический пример
Практический способ — сначала запустить Robots.txt Path Tester на небольшом образце, подтвердить результат, а затем обработать полное значение или список.
Проверка
Вычисление детерминировано и объясняет ошибки валидации вместо того, чтобы молча изменять неверный ввод.
Граница конфиденциальности
Ввод и вывод остаются на этой вкладке. Копирование и загрузка происходят через API браузера без загрузки на сервер.
Результат паспорта
Каждый запуск сообщает режим инструмента, временную метку и размер входных/выходных данных, чтобы можно было проверить преобразованные данные.