亚马逊为绕过限制爬取数据进行人工智能训练要求员工注册 GitHub 账号
在上个月与员工分享的内部备忘录中,亚马逊公司的通用人工智能小组 (AGI) 表示,他们需要来自 GitHub 的“定量和定性元数据”用于人工智能训练。为了解决一个 GitHub 账户每小时只能进行 5000 次数据请求的问题,亚马逊 AGI 团队要求员工创建新的 GitHub 账户并与公司共享。然后,亚马逊可以同时运行所有这些账户,将收集数据的时间缩短到“几周”。备忘录解释道:“使用单个账户抓取所有这些数据将花费许多年。为了加快我们收集元数据的速度,我们要求团队成员创建 GitHub 账户并共享 API 密钥。”
亚马逊公司的领导团队正在鼓励员工帮助该团队收集数据,“只需要花费 5 分钟”。同时,他们表示这一解决方案已经得到亚马逊法务和安全团队的批准,不存在合规问题。当数据在模型中被使用时,亚马逊会注明相似的代码来源和贡献者。
—— 商业内幕
发表回复