SEO与网站管理员 · 本地运行

Robots.txt 路径测试器

根据最长匹配的允许或禁止规则，针对特定爬虫和路径评估粘贴的 robots.txt 组。

结果

准备就绪。您的工作数据保留在此浏览器中。

为什么这个工具有用

当你需要使用最长匹配的允许或禁止规则，针对特定爬虫和路径评估一组粘贴的 robots.txt 规则时，请使用 Robots.txt 路径测试器。结果会立即显示，并且在你重复使用之前很容易验证。

输入 Robots.txt 路径测试器所要求的值。浏览器会验证输入，在本地执行计算，并生成可复制的结果以及清晰的错误提示。

一个实用的方法是先在一小部分样本上运行 Robots.txt 路径测试器，确认输出结果，然后再处理完整的值或列表。

计算是确定性的，并解释验证错误，而不是默默更改无效输入。

输入和输出保留在此标签页中。复制和下载通过浏览器API完成，无需上传到服务器。

每次运行都会报告其工具模式、时间戳以及输入/输出大小，以便对转换后的数据进行审计。