Robots.txt 生成器
生成简单 robots.txt 文件。
输出
使用场景
新站基础配置
网站上线前，生成包含 sitemap 地址的基础 robots.txt。
爬虫规则审查
在写入生产环境前，先草拟 allow 和 disallow 规则。
SEO 排查
检查爬虫访问规则和 sitemap 提示是否表达清楚。
示例
常见问题
robots.txt 能保证收录吗？+
不能，它只是给爬虫的规则提示。
应该放在哪里？+
放在网站根路径，例如 /robots.txt。
相关工具
API 预览
接口
POST
/api/tools/robots-txt请求
{
"input": "hello world",
"options": {}
}响应
{
"result": "processed output",
"tool": "robots_txt"
}