首页/博客/llms.txt 检查器
教程 · AI 可见性

llms.txt 检查器：怎么校验这个文件，它又能改变什么？

七项检查，十分钟内手动跑完；Google、OpenAI 和 Anthropic 在文档里到底怎么说；以及 AI 可见性里任何文本文件都够不着的那一部分。

更新于 2026-09-2012 分钟阅读Bavior 调研无联盟链接
免费跑一次 GEO 体检 直接看 7 项检查
GEO 与 AI 可见性
本页目录
分享本文
一句话回答

llms.txt 检查器确认三件事：/llms.txt 能打开、以文本形式提供、符合提案的格式，也就是一个 H1、一段引用块摘要，以及若干由 markdown 链接组成的 H2 小节。它没法告诉你有没有 AI 引擎读过这个文件，而多数从未读过：一项发布于 2026 年 6 月 15 日、覆盖 137,210 个域名的日志分析发现，97% 的有效文件在 2026 年 5 月一次请求都没收到。3

要点速览
  • 这个文件是 2024 年 9 月 3 日提出的一份提案，不是标准。唯一的必填项是一个 H1，所以“合规”的门槛很低。1
  • Google 自己的指南说搜索会忽略这个文件，也没有任何 AI 厂商在文档里说自家爬虫会读取它。25
  • 真正决定 AI 爬虫能不能进来的设置在别处：robots.txt 里针对各个 user agent 的规则、服务端渲染的 HTML，以及 CDN 的机器人规则。68
  • 站点读得懂只是底线。回答里会不会提到你，取决于引擎引用的第三方来源，这正是 Bavior 衡量并据此行动的部分，而且每一条帖子都要经你批准。
定义

llms.txt 是什么，到底谁在读它？

这个文件是放在站点根目录的一份 markdown 文档，用来给语言模型一张简短的、精选过的地图，标出值得读的页面。Jeremy Howard 于 2024 年 9 月 3 日发布了这份提案，最近一次修改是 2026 年 8 月 10 日。1 格式很小：“一个写明项目或站点名称的 H1，这是唯一的必填部分”，然后是一段引用块摘要，以及若干装着链接列表的 H2 小节。

先看适用范围。作者预期这个文件“主要用于推理而非训练”：也就是一个代理在替用户干活时去抓取文档。1 在 ChatGPT 的回答里被提到，并不是提案描述过的用途。

采用率和读取率指向相反的方向。在 2026 年 6 月那项日志研究里，137,210 个域名中有 28% 发布了这个文件，但其中 97% 的有效文件在 2026 年 5 月一次请求都没有；在确实到来的请求里，AI 检索机器人只占 1.1%，SEO 体检工具则占 21.7%。3 更早一项发布于 2025 年 11 月 7 日、覆盖近 30 万个域名的研究发现采用率为 10.13%，并且“有没有这个文件”与“有没有被引用”之间没有关系。4

厂商的说法一致。Google 的生成式 AI 功能指南（最后更新于 2026 年 7 月 10 日）直接点了这个文件的名：创建它“对你的网站在 Google 搜索中的可见性或排名既无害也无益，因为 Google 搜索会忽略它们”。2 John Mueller 在 r/TechSEO 上说得更直白，据 2026 年 7 月 6 日的报道：“我不知道有任何其他爬虫或 LLM 确认在使用它们”。5 OpenAI 和 Anthropic 在文档里都把 robots.txt 当作控制手段，两家都没有写过自家爬虫会读取这个文件。67

我们的证据综述 《篇幅、schema 与 llms.txt》 涵盖了迄今做过的每一项研究。这些记录证明了什么：格式是真实存在的，也很容易满足。它没解决什么：读者在哪里。

工具

llms.txt 检查器究竟在检查什么？

检查器（有时也叫校验器）本质上是一个 linter。它抓取一个 URL，把响应和提案的语法逐项对照：状态码、第一行的 H1、引用块、链接的写法，有时还会检查每个链接能否打开。和 HTML 校验器一样，它抓的是意外。

这类意外很常见。单页应用会对任何未知路径返回自己的 HTML 外壳和一个 200，于是 /llms.txt“存在”，里面却是一个登录页。对着预发布环境跑的生成器，把预发布 URL 写进了生产环境。2026 年 6 月那项日志研究在统计有效文件之前，就不得不先筛掉软 404 和伪装成 markdown 的 HTML。3

有两个问题在任何检查器的能力之外。有没有东西请求过这个文件？只有你的服务器日志知道。你的买家读到的回答里有没有你？一个绿色的结果只是关于语法的结论，从来不是关于可见性的结论。

Priya 是一位独立创始人，卖一款面向美发沙龙、每月 49 美元的预约工具；她是这种模式的一个示意性合成人物。她上线了一个由生成器产出、含 212 条链接的文件，看着校验器变绿。六周后，日志显示 /llms.txt 共收到 41 次请求：38 次来自 SEO 体检工具，3 次来自身份不明的机器人，没有一次来自 AI 检索机器人。ChatGPT 对“最好的沙龙预约软件”的回答依然点名了三个竞品，并引用了两个 Reddit 帖子。文件是合规的，可她在意的东西一点没动。

Bavior 没有的东西

Bavior 不提供 llms.txt 检查器，免费的 GEO 体检也不会校验这个文件。与其给一个证据表明没人读的文件打分，我们宁愿把下面这七项检查直接交给你。我们在 bavior.com 上也发布了一份，并且对它不抱任何期待。

教程

怎么手动检查一个 llms.txt 文件？

七项检查，一个终端加一个文本编辑器，大约十分钟。前两项就能抓出大多数坏文件。

检查项怎么做通过的标准
1. 文件存在于根目录请求响应头：curl -sI https://yourdomain.com/llms.txtHTTP 200，且没有被重定向到首页或登录页
2. 以文本形式提供看这个响应里的 content-type 头text/plain 或 text/markdown，绝不能是 text/html。提案没有规定 MIME 类型；日志研究就是这样筛掉假文件的3
3. 文件以一个 H1 开头打开文件，读第一行有且只有一行以单个 # 开头，写明站点名称：这是唯一的必填项1
4. 紧接着是引用块摘要找以 > 开头的那一行一两句话，陌生人读完就能复述你卖什么
5. 链接列表放在 H2 之下逐条对照写法 - [name](url): note没有裸 URL，没有 HTML 标签，列表里不嵌套标题
6. 每个链接都能打开提取所有 URL 并逐个请求（命令见下）全部 200，全部是生产环境 URL，且没有一个被你的 robots.txt 禁止
7. 文件经过精选且保持更新与站点地图和最近一次发版对照可跳过的链接放在名为 Optional 的 H2 下；没有已下线的产品或过期的价格
 
# Acme Scheduling

> Appointment scheduling for salons and clinics. Plans from $49 per month.

## Docs
- [Quick start](https://acme.example/docs/quick-start.md): setup in ten minutes
- [API reference](https://acme.example/docs/api.md)

## Optional
- [Changelog](https://acme.example/changelog.md)
grep -o 'https://[^)]*' llms.txt | xargs -n1 curl -s -o /dev/null -w "%{http_code} %{url_effective}\n"

第一段代码是一个能通过检查的最小文件。第二段是第六项检查用的单行命令：它会在每个 URL 旁边打印状态码。这七项检查证明了什么：文件格式正确、可以访问，并且如实反映了你的站点。它们没解决什么：会不会有爬虫来要这个文件。

爬虫访问

哪些 AI 爬虫设置比这个文件更重要？

01

robots.txt 放行了每一个 AI 爬虫吗？

OpenAI 在文档里列出了三个代理：用于训练的 GPTBot、用于 ChatGPT 搜索的 OAI-SearchBot，以及处理用户主动发起操作的 ChatGPT-User。它的措辞很直接：“选择屏蔽 OAI-SearchBot 的站点不会出现在 ChatGPT 搜索的回答中”，而改动大约需要 24 小时才会生效。6 Anthropic 列出了 ClaudeBot、Claude-User 和 Claude-SearchBot，并表示它们会遵守 robots.txt。7

02

内容在 JavaScript 运行之前就在 HTML 里吗？

一项发布于 2024 年 12 月 17 日的网络层分析发现，“目前没有任何一个主要 AI 爬虫会渲染 JavaScript”。ChatGPT 的爬虫有 11.50% 的请求抓取了 JavaScript 文件，Claude 的是 23.84%，但两者都不执行。8 查看网页源代码，搜一句你在屏幕上看得到的话。

03

你的 CDN 是不是拦掉了 robots.txt 放行的东西？

2025 年 7 月 1 日，Cloudflare 宣布它正在“把默认设置改为屏蔽 AI 爬虫，除非它们为内容向创作者付费”。9 你的 robots.txt 可以说“可以”，而边缘节点说“不行”，所以要把 CDN 的机器人设置和这个文件对照着看。

Owen 是一家 30 人物流 SaaS 公司的市场负责人，也是第二个示意性合成人物。他的文件通过了上面每一项检查。但他的 robots.txt 里还留着一条针对 OAI-SearchBot 的 Disallow，是 2024 年一位外包人员贴进去的，没人记得这回事。整整 19 个月，这家公司一边自己退出了 ChatGPT 搜索，一边每月付给代理商 2,500 美元做“AI SEO”。修复只花了四分钟。

这些检查证明了什么：AI 爬虫够得着、也读得了你的页面。它们没解决什么：引擎有没有理由选你。

文件够不着的那一部分

是什么决定 AI 引擎会不会提到你？

是引擎检索到的那些来源，而对买家问题来说，它们大多不是你的页面。一项发布于 2025 年 11 月 10 日的研究覆盖了 217,000 条提问中的 248,000 个 Reddit URL，发现 ChatGPT 搜索有 13% 的回答带 Reddit 链接，Google AI Mode 为 9%，Perplexity 为 4%，而且被引用的帖子大多点赞不到 20。10 一个把问题答清楚的小帖子会被引用。合规的文件只是让你读得懂；它根本不在这场比赛里。

这正是 Bavior 要解决的问题。它按计划把一组固定的买家提问投给 ChatGPT、Gemini、Perplexity 和 Google AI Overviews，并为每一条回答记录：有没有提到你、引用了哪些页面。由此得到两个数字：提及份额，即回答中提到你的比例；以及引用份额，即被引用来源中属于你的比例。

Top Cited Domains 卡片列出引擎引用最多的站点，每个站点带一个 Type 标签，例如 UGC、Reference、Editorial 或 Competitor。

Bavior overview cards: Top Cited Domains with a Type column labelling reddit.com as UGC and other sites as Reference, Competitor, Editorial or Other, Top Mentioned Prompts with a mention percentage for each prompt, and an AI Models ring showing 180 scans split across ChatGPT, Gemini, Google AI Overview and Perplexity
数据来自演示工作区的示例数据；所有数字均为演示数字。红框：Type 列。

点开某一条提问，Citation Events 会逐条列出每个回答的引擎、国家、日期、Mentioned 或 Not mentioned 标签、被引用的页面，以及一个 View answer 按钮。这就是检查器给不出的证据：引擎倚重了哪个页面，回答里有没有你的名字。

Bavior prompt detail: citation counts by engine for ChatGPT, Gemini, Perplexity and Google AI Overview, a by-country card, and two Citation Events, one from Google AI Overview labelled Mentioned and one from Perplexity labelled Not mentioned, each with its date, cited page title, answer excerpt and a View answer button
数据来自演示工作区的示例数据，其中的产品名均为虚构。红框：Mentioned 与 Not mentioned 标签。

接下来是仪表盘跳过的那一半。如果被引用的来源是一个仍在活跃的 Reddit 帖子，Bavior 会先读该 subreddit 的规则，用你的口吻起草一条回复，并把它放进审批队列。在你批准之前，什么都不会发布；批准后的回复会从 Bavior 的高 karma 老账号发出，或者从你自己的账号发出。如果某个 subreddit 要求披露商业关联，那就披露。衡量这一侧的说明见 AI 可见性页面。

Lena 是一家 12 人客服工单创业公司的增长负责人，她是一个示意性合成人物，用来说明这两半如何衔接。她那 20 条买家提问里，有 3 条回答提到了她的产品，提及份额 15%，而被引用的域名里排在前面的是 Reddit 帖子。五周里，她批准了 14 条草稿中的 9 条。下一次运行时，20 条回答里有 7 条提到了她。没有任何工具，包括这一个，能保证你出现在某一条具体的回答里。会变化的是整组提问上的份额。

这证明了什么：你所在品类的回答是由哪些来源拼出来的。它没解决什么：引擎的选择规则，没有哪一家公开过。

制作文件

该不该用 llms.txt 生成器？

如果你确实想要这个文件，那就用，然后动手修改它给你的结果。生成器会爬你的站点地图，为每个 URL 都写一条。这和“精选地图”正好相反：一个 400 条链接的文件，根本没告诉代理哪十个页面才重要。

四处修改能让输出变得值得上线。把列表删到只剩陌生人需要的页面：定价、文档、对比、政策。引用块自己写。把更新日志挪到 Optional 下面。然后把七项检查再跑一遍，因为预发布 URL 正是从生成器里来的。

预算一小时，排在爬虫访问修复之后，而不是之前。生成器证明了什么：这个文件可以很便宜地做出来。它没解决什么：这里所有不属于语法的部分。

GEO 体检

GEO 体检工具检查什么，它处在哪个位置？

GEO 体检问的是：引擎能不能抓取、解析并引用你的页面，所以它位于文件检查和回答衡量之间。免费的 Bavior GEO 体检在免费账户里运行：你提交一个域名，它抓取你的关键页面，并按结构化标记、内容结构、meta 和引用密度给每个页面打分（满分 100）。每个问题都会附上修复办法，报告通过邮件送达。它不是即时出结果的。

它不给 llms.txt、robots.txt、JavaScript 渲染或 CDN 规则打分，这也是这些检查会写在本文里的原因。体检免费运行一次。每周复测属于付费套餐，按月付每月 99 美元起，按年付折合每月 79.17 美元（截至 2026 年 9 月 20 日）。

工作顺序

这周该先修什么，按什么顺序？

  1. 爬虫访问。在 robots.txt 里搜上面提到的六个 user agent，然后看一遍 CDN 的机器人规则。
  2. 查看源代码测试。如果原始 HTML 里找不到你定价页上的那句话，先把它修好，再做别的。
  3. 给关键页面做一次 GEO 体检。修掉高严重度的问题，再复测。
  4. 建立提及份额的基线。用 15 到 20 条买家提问，记录谁被提到。免费的 AI 可见性检测可以给你第一次读数。
  5. 被引用的那些帖子。回答帖子里真正在问的问题，每条回复都先批准再发出。
  6. 最后才是那个文件。生成、修改、跑完七项检查，然后往前走。

这份提案在 2026 年 8 月 10 日出了第二版，所以这个顺序只是对当下证据的解读。如果哪个主流引擎在文档里写明会读取这个文件，第六步就该往前挪。在那之前，检查器是十分钟的活儿，真正该花时间的，是你的买家读到的回答所依据的那些来源。

来源：全部于 2026 年 9 月 20 日抓取并核查。文中具名人物均为示意性合成人物，并非客户。
  1. Jeremy Howard，《The /llms.txt file》，发布于 2024 年 9 月 3 日，修改于 2026 年 8 月 10 日：llmstxt.org
  2. Google Search Central，生成式 AI 功能优化指南，最后更新于 2026 年 7 月 10 日：developers.google.com/search/docs/fundamentals/ai-optimization-guide
  3. Ahrefs，《We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read》，发布于 2026 年 6 月 15 日：ahrefs.com/blog/llmstxt-study
  4. SE Ranking，LLMs.txt 与 AI 引用研究，近 30 万个域名，发布于 2025 年 11 月 7 日：seranking.com/blog/llms-txt
  5. Search Engine Journal，Roger Montti，发布于 2026 年 7 月 6 日，引述 John Mueller 在 r/TechSEO 上的发言：searchenginejournal.com
  6. OpenAI，爬虫官方文档（GPTBot、OAI-SearchBot、ChatGPT-User）：developers.openai.com/api/docs/bots
  7. Anthropic，爬虫支持文章（ClaudeBot、Claude-User、Claude-SearchBot）：support.claude.com
  8. Vercel，《The rise of the AI crawler》，发布于 2024 年 12 月 17 日：vercel.com/blog/the-rise-of-the-ai-crawler
  9. Cloudflare，Matthew Prince，《Content Independence Day》，发布于 2025 年 7 月 1 日：blog.cloudflare.com
  10. Semrush，《We Analyzed 248K Reddit Posts》，发布于 2025 年 11 月 10 日：semrush.com/blog/reddit-ai-search-visibility-study

继续阅读

学习 GEO 篇幅、schema 与 llms.txt：测试到底说明了什么

写给创始人：长度、schema 与 llms.txt 对 AI 引用到底被测过什么、由谁来测，以及每项测试在结构上看不到什么。

 产品 免费 GEO 体检

检查页面结构、元信息和引用，为 AI 搜索优化提供参考。 技术 GEO 检查能确认什么？

 产品 免费 AI 可见性检测

研究 AI 回答中的品牌提及和引用来源。 AI 可见性检查应记录什么？

 博客 最好的 GEO 工具对比

面向创始人的 GEO 工具对比：11 款 AI 可见性工具，价格于 2026 年 8 月 30 日复核，并说明哪些结论真有证据支撑。

 博客 AI 可见性：监控与执行

AI 可见度监测工具只给你一个分数，它不会替你把分数抬上去。写给创始人：分数没能解决的问题，以及真正能改变它的 4 条执行路线。
常见问题

你想知道的，都在这里。

什么是 llms.txt 检查器？

llms.txt 检查器是针对单个文件的语法检查工具。它请求 /llms.txt，确认返回 200 且以文本形式提供，再把内容与提案规定的格式对照：一个 H1、一段引用块摘要，以及若干由 markdown 链接组成的 H2 小节。至于有没有 AI 爬虫来请求过这个文件，它一概不知。

Google 会使用 llms.txt 吗？

不会。Google 的生成式 AI 功能指南（最后更新于 2026 年 7 月 10 日）写明 Google 搜索会忽略这类文件，所以创建它对你的可见性和排名既无害也无益。John Mueller 在 2026 年 7 月于 r/TechSEO 上重申了这一点，并补充说他不知道有任何其他爬虫确认在使用它。

llms.txt 和 robots.txt 是一回事吗？

不是。robots.txt 设定的是访问规则，OpenAI、Anthropic 和 Google 的爬虫都在文档里写明会遵守。另一个文件只是一份提案：用 markdown 列出你最重要页面的地图，目前没有任何主流引擎在文档里说会读取它。robots.txt 写错可能让你从 ChatGPT 搜索里消失；那份地图写错，则量不出任何变化。

我需要 llms.txt 生成器吗？

只有在你已经决定发布这个文件时才需要。生成器能省掉打字的功夫，但它会把站点地图里的每个 URL 都列进去，这就违背了“精选地图”的初衷。把输出删到只剩陌生人真正需要的页面，摘要自己写，然后再跑一遍那七项检查。预算一小时，并且排在爬虫访问问题修完之后。

Bavior 的 GEO 体检会检查 llms.txt 吗？

不会。Bavior 的免费 GEO 体检按结构化标记、内容结构、meta 和引用密度四个维度给每个页面打分（满分 100），并把报告发到你的邮箱。它不给 llms.txt、robots.txt、JavaScript 渲染或 CDN 规则打分。这几项手动检查各只需一分钟，步骤都在本文里。

Bavior 编辑部