交流评论、关注点赞

  • Facebook Icon脸书专页
  • telegram Icon翻墙交流电报群
  • telegram Icon电报频道
  • RSS订阅禁闻RSS/FEED订阅

Reddit 更新 robots.txt 文件 加强爬虫限制

2024年06月26日 13:00 PDF版 分享转发

Reddit 更新 robots.txt 文件 加强爬虫限制

Reddit 周二宣布,在接下来的几周内,将更新其排除协议 (robots.txt 文件),该协议提供有关该平台如何允许和不允许第三方抓取 Reddit 内容的高级说明。除了更新 robots.txt 文件外,Reddit 还将继续对未知的机器人和抓取工具访问该平台网站进行速率限制和/或阻止。此更新不应影响绝大多数使用和享受 Reddit 的用户。善意的行为者,如研究人员和档案馆等组织,仍将能够出于非商业目的访问 Reddit 内容。

—— Reddit

转自: 风向旗快讯

喜欢、支持,请转发分享↓Follow Us 责任编辑:乔枫