reddit 更新 robots.txt 文件

Reddit 更新 robots.txt 文件 加强爬虫限制

社交平台 Reddit 周二宣布，在接下来的几周内，将更新其机器人排除协议 (robots.txt 文件)，该协议提供有关该平台如何允许和不允许第三方抓取 Reddit 内容的高级说明。除了更新 robots.txt 文件外，Reddit 还将继续对未知的机器人和抓取工具访问该平台网站进行速率限制和/或阻止。此更新不应影响绝大多数使用和享受 Reddit 的用户。善意的行为者，如研究人员和互联网档案馆等组织，仍将能够出于非商业目的访问 Reddit 内容。

—— Reddit