生成式AI正引发一场前所未有的”流量塌方”危机，当聊天机器人直接给出答案时，用户不再点击原始网页，全球内容创作者的生存空间被急剧压缩。在这场技术变革的风暴中，长期倡导开放共享的非营利组织Creative Commons（CC）罕见地调整了立场，谨慎支持”付费爬取”技术，试图为内容生态重建可持续的经济模型。CC以推动知识共享许可（CC协议）闻名于世，今年7月曾提出构建AI数据共享的法律与技术框架。如今面对AI爬虫大规模抓取内容却不再回流流量的现实，CC在最新博客中承认：”若负责任地实施，付费爬取或能帮助网站维持内容创作与公开共享，避免更多内容被迫转入封闭墙内，甚至彻底消失。”
“付费爬取”的核心逻辑简单而直接：当AI公司（如OpenAI、Google、Meta）的爬虫访问网站以训练模型时，需向内容提供方支付费用。这一模式由Cloudflare率先推动，其背后是内容产业的集体焦虑——传统”以内容换流量”的互联网契约已然崩塌。过去，网站乐于被搜索引擎索引，因为搜索结果带来访问与广告收入；而如今，用户在AI对话中获得答案后，几乎不会再点进原始页面。据多项研究显示，新闻出版业的搜索流量已断崖式下滑，中小型媒体首当其冲。大型媒体尚可凭借议价能力与AI巨头签订独家授权协议——如OpenAI与Condé Nast、Axel Springer，Perplexity与Gannett，Amazon与《纽约时报》，Meta与多家出版商——但数以百万计的独立博客、小型新闻站、教育平台却无此筹码。付费爬取若能标准化、自动化，或成为他们的”普惠性收入来源”。
CC的立场并非全然乐观。该组织明确警示：若设计不当，付费爬取可能**加剧网络权力集中**，甚至切断公共利益主体的访问路径。”研究人员、非营利组织、文化遗产机构、教育者等服务于公共利益的群体，不应被付费墙拒之门外”，CC强调。为此，CC提出一系列”负责任付费爬取”原则：不得设为网站默认选项，需由内容方主动启用；避免一刀切的全网规则，尊重网站自主权；支持”限流”而非”封禁”，允许低频或非商业爬取；保障公共利益访问，如学术、教育用途；系统应开源、可互操作，并采用标准化组件。
值得注意的是，付费爬取生态正快速成型。除Cloudflare外，微软正构建面向出版商的AI内容市场；初创公司ProRata.ai、TollBit也在开发类似方案。更关键的是，一个名为**RSL**（Really Simple Licensing）的新标准已获广泛支持。该标准允许网站声明哪些内容可被爬取、用于何种目的，但**不强制阻止爬虫**——一种”声明即授权”的中间路径。Cloudflare、Akamai、Fastly三大CDN巨头已采纳RSL，Yahoo、Ziff Davis、O’Reilly Media等内容方也已加入。CC亦宣布支持RSL，并将其纳入其”CC信号”（CC Signals）项目——该计划旨在为AI时代开发新型内容授权与发现工具。
Creative Commons的立场转变，标志着开放网络理念正与现实经济压力艰难调和。付费爬取未必是完美答案，但在AI吞噬流量、创作者濒临失语的当下，它或许是一场必要的实验：在保护创作激励与维系信息开放之间，寻找一条不致崩塌的窄路。否则，当最后一个独立博客因无以为继而关闭，AI的答案再精准，也将失去其赖以存在的真实世界根基。