为什么可抓取与被收录，决定了你能不能被引用？

Google 只要求一件事，而且那是一条收录要求：“页面必须被收录，并且有资格带摘要出现在 Google 搜索中，满足搜索的技术要求。”同一组文档还写道，生成式功能“植根于我们核心的搜索排名与质量系统”，“出现在 AI Overviews 或 AI Mode 中没有额外要求，也不需要其他特殊优化”，以及“你不需要为出现在这些功能中而新建机器可读文件、AI 文本文件或标记。也没有需要额外添加的 schema.org 结构化数据。”¹

把这段话当成边界来读，而不是鼓励。它一次性排除了整整一类付费建议：AI 专用标记、AI 专用文件、AI 专用提交。负担因此退回到“可被收录、可被抓取、有资格带摘要”这些常规工作上。同一份文档还写明 Google 搜索会忽略 llms.txt，等于用“它本想影响的那个引擎”的权威，为过去两年最流行的 AI 文件提案画上了句号。

搜索侧有两组控制项确实起作用，值得记准：nosnippet、max-snippet 与 data-nosnippet 限制 Google 可以从你的页面展示什么，noindex 则把页面整体移除。屏蔽训练爬虫不在这份清单里，理由见第四节。

频繁到值得作为第一件要查的事：2026 年一篇预印本（经那篇批判性综述转述）发现，AI 答案中已被引用过的 URL 里有 27.1% 没被抓下来，原因是不可访问、已被删除或非文本；同一项工作还把成功取回的 19,154 个页面中约 16% 标记为 AI 生成。² 分母值得点明：它测的是“第三方研究者能不能抓到这个被引用的 URL”，而不是“引用它的那个引擎能不能抓到”。失效模式都很平淡：登录墙、同意弹层、拦爬虫的 WAF 规则、内容其实是图片的页面、如今已 404 的 URL。每一条都是一张技术工单，不是一个内容决策。

关于访问，有两个反方向的错误认知。第一个是“付费墙能把你挡在 AI 答案之外”：一项覆盖 10 万条美国长尾新闻查询、采集于 2025 年 4 月的厂商研究发现，某大报在 AI Overviews 中被引用的内容有超过 96% 指向付费墙内容，因为 Google 的灵活抽样允许 Googlebot 进入付费墙之内。厂商发布；按本课程的出处规则，只描述、不链接。

第二个是“屏蔽爬虫能保护你不被摘要”。哥伦比亚大学 Tow 中心在 2025 年 10 月做了测试，发现智能体浏览器取回了一篇 9,000 词的仅限订阅者文章，而同样两个产品的标准界面却取不到，因为出版方屏蔽的是那些爬虫，而这些浏览器在服务器日志里与 Chrome 无法区分。在屏蔽确实生效的场合，智能体则“拼出了一份复合摘要，取材自关于该文的推文、转载版本、其他媒体的引用以及全网的相关报道”。⁶ 屏蔽改变的是流量归谁，而不是把你从答案里移除。

robots.txt 只是一个请求，真正执行的是你的服务器，而两者不一致的频率比谁都预想的要高。一条拦爬虫规则、一个限流策略，或者一条按地区屏蔽的规则，都可能把 robots.txt 明确放行的爬虫挡掉，而且没有任何地方会报告这件事，因为一次从未完成的抓取不会留下任何可供你发现缺失的展示记录。这道缝隙与上文那个 27.1% 属于同一类问题，而且与引擎内部的行为不同，它完全在你自己可以检查的范围内。

要查就查访问日志，而不是配置文件；要按地址核对，而不是按名字。上表里的每一家厂商都为此公布了机器可读的 IP 地址段。OpenAI 为 OAI-SearchBot、GPTBot 和 ChatGPT-User 各提供了一份 JSON 文件。³ Perplexity 为 PerplexityBot 和 Perplexity-User 各公布了一份，并让防火墙运维方以那些端点为准。⁵ Google 公布了 common-crawlers.json，以及针对特例爬虫和用户触发抓取器的独立文件，同时给出了手工做法：对发起抓取的地址做反向 DNS 查询，结果必须解析到 googlebot.com、google.com 或 googleusercontent.com，再用一次正向查询回到同一个地址。¹⁰

有两个结论值得据此行动。user-agent 字符串不是证据，所以按名字放行等于放行任何愿意发送那串字的东西，而按名字屏蔽也拦不住任何要紧的东西。另外，如果某个搜索令牌在一整周里都没有一次成功抓取，而页面确实在线且被放行，那么屏蔽就发生在 robots.txt 与你的源站之间，这是一张防火墙工单，而不是一张 SEO 工单。