昨天早报写过OpenAI尊重robots.txt统一训练偏好；今天补上的是「不止一家、而且有时间表」。出版商终于不用给每个爬虫写一份拒绝信。
据The Next Web近窗报道，Google、Microsoft、OpenAI与Anthropic将尊重robots.txt中的共享AI训练退出信号，站点可用一条规则声明哪些路径不得用于生成式训练。信号来自Anthropic的Kevin Kelley在IETF提交的个人草案，同日谷歌、OpenAI与微软表态支持。令牌示例为__usage_ai-training策略组。Anthropic称已开始在服务中推进，并与既有爬虫控制互补；OpenAI目标「未来数月」落地且现有GPTBot等规则仍有效；谷歌目标2027年（文档口径约2027年初），若站点用新令牌退出且未单独提及Google-Extended，将按屏蔽Google-Extended处理；微软自2027年2月1日起生效，并替代其2023年起使用的部分NoArchive/NoCache标签，另增页面级「接地」（grounding）控制。
草案强调：这是使用偏好声明，不是爬取禁令；未配置该组视为未表态；站点与AI公司的私下协议可覆盖。IETF datatracker标明属个人提交、未经IETF背书。微软明确称新偏好「不建立许可或付费安排」。Meta传播负责人公开表态支持共同信号，但未确认是否执行。欧陆语境下，谷歌称提案与《AI法案》通用AI实践准则中对robots.txt的机器可读偏好认可相一致。
对站长，统一令牌降低合规操作成本；对模型公司，则是把「可发现」与「可训练」继续拆成两道闸。续报点在多方时间表与令牌名，不重复展开昨日单条OpenAI口径。
收尾：一份robots.txt，四家口头对齐——真正考验从2027年开关拨下去那天开始。