来自索引、扇出与抓取,而其中只有第一步长得像传统 SEO。Google 的文档写明,其 AI 功能「可能使用查询扇出(query fan-out)技术」,围绕子主题与数据源发起多次相关检索,所以人类敲下的那个问题,往往不是检索真正看到的查询。2底下的这些功能「植根于我们核心的搜索排序与质量系统」。3
爬虫层是两套系统肉眼可见的分岔点,而这种拆分是引擎自己写在文档里的,不需要靠猜。OpenAI 用 GPTBot 取训练数据,用 OAI-SearchBot 把站点呈现到 ChatGPT 的搜索功能里,用 ChatGPT-User 抓取用户要求 ChatGPT 打开的页面,文档写着此处「robots.txt 规则可能不适用」。4Perplexity 记录了同样的结构,而它由用户触发的抓取器「通常会忽略 robots.txt 规则」。5

