一份可辯護的 AI 能見度報告包含什麼？

對照組是你 prompt 面板裡刻意永遠不去動的一塊：不為它寫內容、不為它做站外工作、看起來難看的時候也不把它拿掉。它存在的理由，是讓引擎層面的漂移和你的工作分開顯示。沒有它，在儀表板上「上漲」和「平台更新」分不出來，「下跌」和「運氣差的一個月」也一樣。

建一次就好，在面板建立的時候建。十到十五條就夠，而且它們必須映射面板其餘部分的類別構成：不同類別的漂移速率不一樣，所以一組全是定義類問題的對照組，追不上一次只打到對比類問題的變化。把它和其他東西放進同一套版本方案裡凍結，並且標記清楚，好讓新同事不會不小心為它做優化。

用雙重差分的方式讀它。你的效應大約等於優化組的變化減去對照組的變化。如果兩邊都掉了八個百分點，那是引擎動了，你沒做錯什麼。如果優化組漲了九個百分點而對照組持平，你手上就有證據了。正是這個減法，把一個前後對比的數字變成一條關於你自己工作的主張。

兩條誠實的限制。十來條 prompt 的對照組，自己就帶著很寬的信賴區間，所以請把它的變動讀成方向，而不是精確的修正量：一個有雜訊的數字減掉另一個有雜訊的數字，不會得到一個乾淨的數字，而且這種合併比較需要的資料比任何單邊都多（算術寫在統計檢定力那一篇）。還有，它只能控制那些對兩組同等生效的變化：它抓得住一次模型更換，抓不住一場正好瞄準你正在處理的那些問題的競品攻勢。

願意為這一切付出代價的理由，是平台漂移很大。2026 年那篇批判性綜述把「商業引擎彼此不同，而且會隨時間變化」評為高置信度。¹ 一份廠商時間序列讓這個量級變得具體：從 2025 年 7 月採樣的 190 萬條 AI Overview 引用，到 2026 年 3 月涵蓋 86.3 萬個關鍵字結果頁的 400 萬個被引 URL，被引頁面同時排進自然結果前十名的比例，從約 76% 掉到約 38%。⁶ 一個橫跨那個窗口做前後對比、又沒有對照組的團隊，測到的會是平台，寫下來的卻會是自己的成績。

因為這些引擎看的根本不是同一個網路。SIGIR 2026 一項研究比較了 Google 自然搜尋、AI Overviews 與 Gemini Flash 2.5 對 11,500 條查詢回傳的來源，測得 URL 層級的 Jaccard 相似度：AI Overviews 與自然結果頁之間是 0.18，自然結果與 Gemini 之間是 0.16，兩個 AI 介面之間是 0.11。原文寫道：「無論取哪個查詢子集、比較哪一對搜尋引擎，檢索到的清單都是不相似的，儘管這三者都由 Google 開發。」⁵ 同一家廠商的三個介面就已經彼此不一致。

混合分數於是把讀者需要的東西藏了起來。假設你在一個引擎上是 41%、在另一個上是 9%，那麼 25% 這個平均值對哪一個都不成立；它會在你改權重的時候動，而不是在你的能見度動的時候動。2026 年那篇批判性綜述從審計文獻出發走到同一個地方，指出商業引擎之間存在「來源重疊度低、執行與執行之間差異大，以及持續存在的保真度缺口」。¹

請改成報一張小表：每個引擎一行，各自帶自己的觀測數、信賴區間和面板版本。如果管理層想要一個可追蹤的單一數字，那就讓它是某一個被點名的引擎，並說明為什麼商業上是那一個最要緊。

它該寫「未偵測到變化」，並在旁邊印出本來能被偵測到的變化幅度。「本引擎提及率 31%，觀測 200 次，相對上個月的 29% 未偵測到變化；本面板能偵測到的最小變化約為 13 個百分點」，這句話準確告訴讀者哪些事情弄清楚了、哪些沒有。而「上升 2 個百分點」告訴他們的是假的。

有兩個習慣能保護零結果不被「收拾乾淨」。把每一次執行都留在分母裡，包括那些你根本沒出現的：2026 年那篇批判性綜述的清單就是這樣要求的，而悄悄丟掉空白執行，是一個面板開始討好它自己主人的最常見方式。¹ 還有，要報信賴區間，不要報點估計。2026 年 3 月那篇處理 AI 能見度測量的統計學論文發現，引用計數呈冪律形狀，而排名「在不同樣本之間並不穩定，不只是排在最前面的網域，而是整個高頻被引網域集合都如此」，該文用 bootstrap 重抽樣來報告這種不確定性。⁴ 當一個比率很低或很高時，常態近似會退化，所以精確區間或 bootstrap 區間才是誠實的工具；不過這條屬於普通統計學，不是那篇論文的發現。

請預期零結果是常態：NeurIPS 2025 的 C-SEO Bench 發現，「目前多數 C-SEO 方法不只在很大程度上無效，還經常對文件排序造成負面影響」。⁷ 即便如此，一個數字沒動的月份，很少是一個沒東西可報的月份。你的比率沒變，引用清單還是變了，而該行動的地方就在那裡：誰的頁面頂掉了誰、你自己的哪些頁面從來不出現，以及哪些答案現在開始講關於你的不實之詞。一份價值取決於比率上漲的報告，遲早會被寫成讓比率上漲的報告。