面向 AI 爬虫、Agent、大模型检索的站点配置，robots.txt 负责访问权限管控、llms.txt 负责给大模型提供精选内容导航、JSON-LD 负责页面实体结构化语义，三者分工互补，是当前 AI 友好站点的标准三件套；robots 是准入开关，llms.txt 是给 LLM 的阅读清单，JSON-LD 用来消除内容歧义、降低幻觉，缺一不可，且优先级 robots > llms.txt > JSON-LD。robots.txt 遵循 REP 协议，GPTBot、ClaudeBot、PerplexityBot 等主流 AI 爬虫都会遵守；llms.txt 属于社区提案规范，以 Markdown 写在站点根目录，适合文档站、官网、API 文档；JSON-LD 基于schema.org，放在页面 script 标签内，给机器直接读取实体、属性、关系。
三件套分工总览
- robots.txt：权限控制，告诉 AI 爬虫哪些 UA 可以抓、哪些路径禁止抓取，是硬规则；如果被 Disallow，爬虫连 llms.txt 都无法访问
- llms.txt：内容精选指引，给 LLM/Agent 看的精简站点地图，过滤广告、导航噪声，引导模型优先读取高价值文档；配套可选 llms-full.txt 放全文合集
- JSON-LD：页面语义结构化，把文章、产品、FAQ、组织信息变成机器可读的实体，帮助 AI 精准提取事实、引用、属性，减少幻觉
一、robots.txt 配置实践
放置位置：/robots.txt，IETF RFC9309 标准
User-agent:
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Disallow: /?debug=
AI训练爬虫（不想被拿去训练模型就改成Disallow: /）
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
AI检索/用户实时抓取（一般建议放行，用于AI搜索引用）
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-User
Allow: /
Sitemap: https://example.com/sitemap.xml
要点：区分训练 Bot和检索 Bot；检索 Bot 用于用户提问时实时引用，训练 Bot 用于模型预训练；不要直接 User-agent: 全盘封禁 AI 爬虫，容易连带搜索引擎也受影响。
二、llms.txt 配置实践
放置位置：/llms.txt，Markdown 格式，社区规范，适合文档站、官网
Example 官网｜面向开发者的AI工具平台
> 一句话摘要：提供开源Agent框架、API文档与示例，支持Cursor、Claude等Agent读取
核心文档
- [快速上手](https://example.com/quickstart)：5分钟启动本地Agent
- [API参考](https://example.com/api)：接口参数、鉴权、限流说明
- [FAQ](https://example.com/faq)：常见报错、配额、计费问题
示例项目
- [demo-agent](https://example.com/demo)：可直接fork的Agent示例代码
Optional（次要资源）
- [更新日志](https://example.com/changelog)
- [联系我们](https://example.com/contact)
要点：只用绝对链接，每条链接附带简短说明；不要堆砌全部页面，只放 AI 最需要的核心内容；llms.txt没有封禁能力，不能替代 robots.txt。
三、JSON-LD 配置实践
放在页面
内，type="application/ld+json"，推荐 Article、Product、FAQPage、Organization 四类 schema，AI 爬虫优先读取这套结构化数据，而不是从杂乱 HTML 里猜内容电商页用 Product、问答页用 FAQPage、官网首页用 Organization；JSON-LD 独立于 HTML，爬虫不用渲染 JS 就能解析，稳定性远高于 microdata。
四、上线校验流程
- 访问 域名/robots.txt、域名/llms.txt，确认可直接访问、没有 403/404
- 用 Google 结构化数据测试工具校验 JSON-LD，无语法错误
- 日志查看：GPTBot、ClaudeBot UA 是否正常访问，确认 robots 规则生效
- 约束顺序：robots 管控准入 → llms.txt 引导阅读重点 → JSON-LD 补页面实体语义
高频踩坑清单
- 误以为 llms.txt 可以禁止爬虫：不具备封禁能力，禁止抓取只能写在 robots.txt
- robots 把 AI 爬虫封禁，还部署 llms.txt：爬虫根本拿不到 llms.txt
- JSON-LD 写在 HTML body 里、用相对路径、缺少 @context：直接解析失败
- llms.txt 塞满全部页面链接，和 sitemap 重复：失去精选导航的价值，浪费 token
- 只配置三件套，不做缓存、限速：AI 爬虫集中抓取引发站点压力
【相关 FAQ】
问题 1：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，robots、llms.txt、JSON-LD 优先级是怎样？
回答 1：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，优先级 robots.txt 最高，是准入硬规则；robots 放行之后，AI 才会读取 llms.txt 做内容导航；最后解析页面内 JSON-LD 做语义理解。
问题 2：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，llms.txt 能不能用来阻止 AI 抓取？
回答 2：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，llms.txt 没有任何封禁、拒绝抓取的指令能力，阻止 AI 爬虫只能在 robots.txt 里对对应 User-agent 写 Disallow。
问题 3：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，JSON-LD 对 AI 爬虫有什么独特价值？
回答 3：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，JSON-LD 把页面信息封装成schema.org标准实体，AI 不用从混杂广告、导航的 HTML 文本里猜信息，能稳定提取标题、作者、价格、FAQ 等事实，降低幻觉，提升引用准确性。
问题 4：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，哪些站点优先部署 llms.txt？
回答 4：AI 爬虫抓取配置实践：robots.txt、llms.txt 与 JSON-LD 三件套，文档站、API 官网、开发者站点、知识库优先部署 llms.txt；适合 Cursor、Claude、各类 Agent 定向读取文档，普通资讯站可以按需选择。
【参考资料】
[2026-08]（robots.txt、llms.txt 对比）
[2026-02]（llms.txt 社区规范）Answer.AI 提案文档
[2026-03]（JSON-LD 对 AI 检索的作用）P0STMAN
[2026-10]（AI 爬虫 UA 区分训练 Bot 与检索 Bot）火山引擎开发者社区
[2026-07]（schema.org JSON-LD 最佳实践）Google Search Central
【免责声明】
本文为 AI 爬虫、AEO（AI 搜索优化）落地实践笔记，llms.txt 属于社区自愿规范，不同 Agent、模型对 llms.txt 的支持程度不同；robots.txt 仅对合规爬虫生效，无法约束恶意爬虫；JSON-LD 不保证一定被 AI 引用，仅提升语义识别概率，最终效果以各平台爬虫策略为准。