出版方最烦的事之一,是给每个AI爬虫单独写一条规则。OpenAI这次站到「共用信号」一边。
OpenAI官网公司新闻称:将尊重robots.txt中的一项通用信号(draft-kelley-aipref-training-preference-signal),让网站运营者向多家参与提供商一次性表达其内容是否可用于基础生成式AI训练的偏好。过去运营者需识别各家爬虫并分别维护规则;共享信号意在降低该成本。公司表示争取在未来数月实现,并将在实施时另发更新;该信号不取代其既有robots.txt爬虫控件,现有控制仍继续适用。
技术背景指向IETF AI Preferences工作组正在推进的词汇与信号讨论。OpenAI称与其他工作组成员同步宣布,并鼓励其他AI提供商同样尊重该信号。对出版商,这是可操作的合规接口;对模型公司,则是把「尊重选择」写成可互操作的工程约定,而不是各说各话的礼貌声明。
需注意:自愿标准不等于法律强制;未参与方仍可按既有方式爬取;「基础训练」口径与微调、检索增强等边界仍待实现细节厘清。与同日「合理使用」立场文章形成组合拳:一边争法律解释,一边给站点可点的开关。
一句话:OpenAI给网站多了一枚「训练可否」的共用开关——接下来看有多少家模型厂愿意一起拧。