OpenAI 和 Anthropic 无视网络抓取限制

OpenAI 和 Anthropic 无视了防止机器人抓取在线内容的既定规则

据《商业内幕》获悉，世界上最大的两家人工智能公司无视媒体出版商要求其停止免费抓取其网络内容用于模型训练的请求。据了解 TollBit 调查情况的人士以及另一位知情人士称，OpenAI 和 Anthropic 要么无视、要么规避了名为 robots.txt 的既定网络规则，该规则阻止自动抓取网站内容。TollBit 是一家致力于在出版商和人工智能公司之间促成付费许可交易的初创公司，该公司发现有多家人工智能公司存在这种行为，并在周五的信函中通知了某些大型出版商，信函中没有透露被指责规避规则的人工智能公司名字。

—— 商业内幕