robotstxt 详解:robots.txt 的作用、写法与常见问题

📍 WDQWDWQD987AAAAA:216.73.216.176
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /bf76e527d688.html
📄

robotstxt 是网站根目录下的一份纯文本文件,用于向搜索引擎爬虫说明哪些页面可以抓取、哪些应当避开。它并不强制阻止访问,而是爬虫与站长之间的一种协作约定,因此正确理解 robotstxt 对 SEO 与站点安全都很重要。

robotstxt 的基本作用

当爬虫访问一个站点时,通常会先请求 /robots.txt,再根据其中的规则决定后续抓取范围。robotstxt 可以限制特定目录、特定文件或特定爬虫的访问,也能通过 sitemap 指令帮助爬虫发现站点地图。

robotstxt 的常见写法

例如,禁止所有爬虫访问后台目录,可以写成两行:User-agent 为 *,Disallow 为 /admin/。需要记住,robotstxt 的路径区分大小写,且规则按最长匹配优先。

常见误区与注意事项

第一,robotstxt 不能阻止页面被直接访问,敏感文件应使用权限控制。第二,Disallow 只是不建议抓取,页面仍可能通过外链被收录。第三,不要把 robotstxt 写成 HTML 页面,也不要放错根目录。第四,修改后应使用搜索引擎的抓取测试工具验证,避免误屏蔽整站。

总之,robotstxt 是站点与爬虫沟通的第一道入口。合理配置既能保护隐私目录,又能引导爬虫高效抓取,是每个网站上线前都应检查的基础项。

图1 图2

nginx