发布于 2025-10-08 · 约 10 分钟阅读
一、什么是 llms.txt
llms.txt 是一个放置于网站根目录的纯文本文件，专门面向生成式引擎（LLM）爬虫，声明网站的核心内容摘要、关键页面列表与 AI 友好的内容映射。类似于 robots.txt 控制传统爬虫的抓取范围，llms.txt 帮助 LLM 爬虫快速定位高价值内容，提升品牌在 AI 答案中被正确引用的概率。
llms.txt 由社区于 2025 年提出，规范发布于 llmstxt.org。其设计理念是：生成式引擎的爬虫不需要抓取整个网站，而是需要一个「内容目录」来快速了解网站的核心价值与关键页面。
二、llms.txt 的核心字段
llms.txt 采用简单的 key: value 语法，核心字段包括：
Title：网站名称Description：网站一句话简介（80 字内）Url：网站根 URLUpdated：最后更新时间Pages：关键页面列表（每行一个，含 URL 与一句话描述）
# llms.txt - FlyAI 官网
Title: FlyAI GEO - 生成式引擎优化（GEO）平台
Description: FlyAI GEO 帮助企业提升在 12+ 生成式引擎中的 AI 搜索可见性，提供诊断、结构化、Schema 生成与引用监测全链路工具。
Url: https://www.flyai66.top
Updated: 2025-10-08
[Pages]
https://www.flyai66.top/ - 首页：产品概述与核心价值
https://www.flyai66.top/product - 产品：4 项核心能力详解
https://www.flyai66.top/pricing - 定价：三档套餐与功能对比
https://www.flyai66.top/solutions - 行业方案：B2B SaaS / 出海品牌 / 内容团队 / 代理商
https://www.flyai66.top/docs - 产品文档：快速开始与 API 参考
https://www.flyai66.top/blog - 博客：GEO 方法论与最佳实践三、llms.txt 与 robots.txt 的协作
llms.txt 与 robots.txt 是互补关系，互不冲突：
- robots.txt：控制所有爬虫（含传统爬虫与 LLM 爬虫）的抓取范围与频率，是「抓取白名单/黑名单」。
- llms.txt：仅面向 LLM 爬虫，提供网站内容摘要与关键页面映射，是「内容目录」。
建议同时配置两者：robots.txt 确保 LLM 爬虫能抓取核心页面，llms.txt 告诉爬虫哪些页面最重要。根据 Google robots.txt 文档，robots.txt 不保证页面不被索引，仅控制抓取；llms.txt 则不影响抓取，仅影响内容理解优先级。
四、llms.txt 最佳实践
- Description 控制在 80 字内：直接回答「这个网站是做什么的」，避免营销套话。
- Pages 列出 5-15 个核心页面：按重要性排序，每个页面附一句话描述。
- 每周更新 Updated 字段：让 LLM 爬虫知道内容是新鲜的。
- 使用绝对 URL：避免相对路径导致爬虫解析错误。
- 与 sitemap.xml 保持一致：llms.txt 中的页面应在 sitemap.xml 中存在。
- 避免包含低价值页面：如登录页、搜索结果页、分页页。
五、实测效果
FlyAI GEO 监测平台数据显示，配置规范的 llms.txt 后，品牌在生成式引擎中的引用率平均提升约 [待补充：真实提升百分比]（数据基于 [待补充：真实样本量] 个样本，统计周期 [待补充：真实周期]）。提升幅度与网站原有内容质量正相关：内容越结构化，llms.txt 的增益越明显。
参考资料：llmstxt.org 官方规范、Wikipedia - robots.txt、sitemaps.org 协议。