robotstxt 是网站根目录下的一份纯文本文件,用于向搜索引擎爬虫说明哪些页面可以抓取、哪些应当避开。它并不强制阻止访问,而是爬虫与站长之间的一种协作约定,因此正确理解 robotstxt 对 SEO 与站点安全都很重要。
当爬虫访问一个站点时,通常会先请求 /robots.txt,再根据其中的规则决定后续抓取范围。robotstxt 可以限制特定目录、特定文件或特定爬虫的访问,也能通过 sitemap 指令帮助爬虫发现站点地图。
例如,禁止所有爬虫访问后台目录,可以写成两行:User-agent 为 *,Disallow 为 /admin/。需要记住,robotstxt 的路径区分大小写,且规则按最长匹配优先。
第一,robotstxt 不能阻止页面被直接访问,敏感文件应使用权限控制。第二,Disallow 只是不建议抓取,页面仍可能通过外链被收录。第三,不要把 robotstxt 写成 HTML 页面,也不要放错根目录。第四,修改后应使用搜索引擎的抓取测试工具验证,避免误屏蔽整站。
总之,robotstxt 是站点与爬虫沟通的第一道入口。合理配置既能保护隐私目录,又能引导爬虫高效抓取,是每个网站上线前都应检查的基础项。