为什么同一个问题跑两次，AI 给出的答案会不一样。

同一条 prompt 的两次运行之间，至少有四样东西在变，而语言模型的采样 temperature 只是其中一样。沿着AI 搜索如何工作这一阶段描述的管线走：第一样是查询展开。Google 的文档写明，AI Overviews 和 AI Mode“可能会使用一种‘查询扇出’技术……来生成回答”，即跨子话题和数据源发起多次相关搜索。³ 这些子查询是生成出来的，不是查表得到的，所以在任何排序发生之前，不同的子查询集合就已经产生了不同的候选池。

第二样是检索本身。每条生成的子查询打到的是一个持续重新抓取、跨机器分片、还受新鲜度和个性化逻辑影响的实时索引。第三样是选择：候选被合并、去重、重排并裁剪到上下文预算之内，而卡在截断线附近的近似并列，每次运行的解法都不同。第四样是生成：模型决定把选中的来源里的哪一个挂到哪一句话上，一个来源可以被检索到、被读取，然后不被引用。

这四样里有两样位于你能控制的一切之上游，这就是为什么把 temperature 调到零并不能让系统变成确定性的。2026 年的批判性综述把话说得很直白：即便报告了 temperature 为零，它“既固定不了索引，也固定不了检索，更固定不了外部服务的版本”。¹

因为幂律分布把几乎所有人都放进了那条平坦的尾巴，而在尾巴里，运行间的波动大于相邻者之间的差距。如果某个域名在一批 prompt 的 6% 的回答里出现，竞品是 9%，这三个百分点的差距小于你换一个下午重跑同一批 prompt 会看到的离散程度。2026 年 3 月那篇论文的自助法区间在真实域名上就是这么显示的：这种量级的差距落在噪声基底之内。²

至于为什么，其算术没有争议，也不需要任何研究背书。对于在 n 次独立运行上测得的一个比例，若其取值接近 50%，则 95% Wilson 区间的半宽大约是「1.96 除以（n 加 3.84 后再开平方，然后乘二）」。5 次约 ±33 个百分点，10 次约 ±26，30 次约 ±17，100 次约 ±9.6。要比较两个这样的测量值，比如这个月对上个月、你对竞品，需要两个区间互不重叠，这大约还要再多付 40% 的样本量。这是二项分布的算术，不是任何论文的发现；它也解释了为什么五次抽查检测不出任何小于“巨大”的变化。

由此得到一个“在真实预算下什么可检测”的层级：「我们在有些答案里出现、有些里没有」几次运行就够；「我们从几乎不出现变成经常出现」需要几十次；「我们对竞品拉开了三个百分点的份额」，在任何小团队真会跑的样本量下都测不出来。

一张截图是从某个分布里抽的一个样本，而这个分布的离散程度大过内容团队想检测的几乎任何效应。它仍然在三件窄事上有用：证明某种形态的答案是可能出现的、捕捉一处具体的事实错误以便发起更正请求、以及让相关方看清这个界面长什么样。它无法支撑任何关于频率、关于排名、关于随时间变化、或关于竞品的主张。

截图还掩盖了第二种失效方式。引擎彼此之间的差异，大过它们与自己前后的差异：SIGIR 2026 上发表的那项 11,500 条查询的研究报告，Google 自然结果、AI Overviews 与 Gemini 三者之间返回来源的平均 Jaccard 相似度低于 0.2，两两之间为 0.11 到 0.18，而这三个界面来自同一家公司。⁷ 一个界面的截图对其他界面什么都说明不了，所以「我们查过了，我们不在里面」通常只是关于某个下午、某一个界面的陈述。用的是哪个界面、哪个模式、哪个地区，以及是否开启了搜索，都会改变答案，而这些在图片里全都看不见。