OpenAI等四家AI公司支持统一robots.txt退出标准

2026年10月30日，OpenAI在官方新闻中宣布，将遵守一个共享的robots.txt信号，帮助网站运营者向参与该机制的提供商传达其AI训练偏好；该机制面向参与方，网站可通过robots.txt表达是否允许AI训练使用其内容。次日，The Verge报道称，OpenAI、Google、Microsoft和Anthropic表示将采用一项新标准，让出版商可以一次性向多家AI公司表达退出AI抓取的偏好。该标准由Anthropic标准技术负责人Kevin Kelley在IETF提出，以共享policy token的形式写入网站的robots.txt文件；报道称目前网站需要分别向每家AI公司设置偏好。早先报道未披露参与该机制的其他提供商名单、信号的具体字段格式或生效时间，后续报道则明确了四家参与公司及标准提出方与形式。

AI 根据报道生成 · 6 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。