robots.txt生成 - 搜索引擎爬虫规则

← 返回首页

User-agent (爬虫名称)

抓取策略

禁止抓取的路径 (每行一个)

抓取间隔 Crawl-delay (秒, 0为不设置)

Sitemap地址 (可选)

生成结果