联系我们

选择国家和城市

我们在美國的办公室

  • 纽约
    Division Street 40, New York, 10002
    +1 (347) 620-09-02
  • 華盛頓哥倫比亞特區
    L Street Northwest 1200, Washington, 20005
    +1 (347) 620-09-02

llms.txt:它是什么、您需不需要、以及怎么写

谢尔盖·卡尔普(纽约), 联合创始人 / CTO

几乎每做一次AI可见度审计,我们都会被问到同一个问题:“有人说我们得有个llms.txt文件。那是什么?没有它AI真的就看不到我们网站吗?”这问得不无道理。llms.txt被说成是进入ChatGPT的魔法开关,在线的llms.txt生成器承诺一分钟出一个成品文件,而真正靠谱、实用的信息却很难找。

简短的回答是:llms.txt是您网站写给大语言模型看的一张纯文本名片。它有用,但它不是魔法。下面我们会讲清这个文件是什么、从哪来、里面该写什么、llms-full.txt有什么不同、生成器能不能信、怎么在WordPress、Shopify、Webflow、Wix、Squarespace或自有主机上发布它,以及怎么确认它真的在起作用。

核心要点

llms.txt是写给AI看的网站纯文本摘要。添加成本低、风险小,但不保证任何效果,而且前提是AI爬虫能访问您的网站。

先说清楚:AI是怎么读您的网站的

当有人问ChatGPT、Perplexity、Gemini或Claude“小型销售团队用哪个CRM最好”时,他拿到的是一段AI回答:一段现成的、连贯的文字,里面有推荐意见,而且往往还附着信息出处的网站链接。在Google里,类似的回答会以AI Overview的形式出现在常规结果之上;在聊天助手里,它带着引用出现在对话中。很多人根本不会再往下看。

为了写出这段话,AI会找到相关页面,打开它们,把意思提取出来。而一个典型的网页对机器来说是很别扭的:导航菜单、横幅、弹窗、脚本和反复出现的模块。真正要紧的那条事实被埋在页面的边角料里,而模型的时间和能处理的文本量都是有限的。这个想法就是这么来的:干脆给模型一份干净的摘要。

llms.txt是什么?

llms.txt是一个用Markdown写的简单文本文档。它放在网站根目录,通过类似example.com/llms.txt的地址打开。文件里简要说明这家公司或这个项目是做什么的,并列出最重要页面的链接,每条链接配一句话描述。道理很简单:语言模型不必再去弄懂您的网站是怎么组织的,因为要紧的东西都集中在一处了。

这个格式是2024年作为一项开放倡议提出来的。这里必须把话说直白:llms.txt不是官方标准,主流AI厂商也没有正式确认他们在生成回答时使用它。这个文件不保证您会被ChatGPT引用,也不保证您会出现在Google AI Overviews里,谁要是这么承诺,就是在误导您。

那我们为什么还要给客户做一份?

  • 成本低。给一家服务型企业写一份像样的文件,一两个小时就够了。
  • 没有风险。这个文件不会干扰任何东西,也不影响常规的收录。
  • 它逼您把话说清楚。要写llms.txt,您就得回答“我们是谁、我们卖什么、哪些页面最重要”。很多公司根本没把这些答案写下来过。
  • 已经有工具在读它。AI编程助手和会浏览网页的AI智能体都可能用到它。万一哪天主流AI搜索引擎开始把它算进去,您手上已经有了。

llms.txt、robots.txt与sitemap.xml的区别

这几个文件经常被搞混,但它们干的是不同的活。

文件 面向谁 作用 地位
robots.txt 所有爬虫 告诉爬虫网站的哪些部分可以访问、哪些不可以 被广泛接受的标准
sitemap.xml 搜索引擎爬虫 列出您希望被收录的页面 被广泛接受的标准
llms.txt 语言模型与AI智能体 解释含义:您是谁,哪些页面最重要 提议中的格式,未经主流AI厂商正式确认
llms-full.txt 语言模型与AI智能体 把关键内容的全文放进一个文件里 同一格式的扩展

核心要点是:llms.txt既不放行也不拦截任何东西。如果robots.txt或服务器上的机器人防护把AI爬虫挡在门外,那么写得再好的llms.txt也没用,因为根本没人能拿到它。先把访问打开——具体怎么做,见我们的指南GPTBot、ClaudeBot、PerplexityBot以及其他AI爬虫

llms.txt里该写什么

这个格式在设计上要让人和机器读起来都同样容易。基本结构是这样的:

  • 一个一级标题,写公司或项目的名称。这是唯一必需的元素。
  • 一段引用式的概述,一到三行:您做什么、为谁做、在哪里做。
  • 一小段事实:成立年份、服务范围、关键条款。
  • 若干二级章节,比如服务、价格、关于我们、常见问题和联系方式。
  • 每个章节里的链接:页面标题、网址,加上一句话说明这个页面上有什么。
  • 一个“可选”章节,放次要页面,空间紧张时可以跳过。

llms.txt示例

下面是一个虚构的例子,主角是一家虚构的商用暖通空调工程公司。公司名称、网址和条款都是编的。请换成您自己的事实,而且要取自一份统一、经过核实的公司信息清单。

# NorthAir HVAC

> 为餐厅、咖啡馆和写字楼设计并安装通风与空调系统。自2010年起服务本都市区。

免费上门勘察。交钥匙安装,施工质保3年。网站上的价格不含设备。

## 服务

- [餐厅通风](https://example.com/services/restaurant-ventilation): 设计、安装、报批、工期与价格
- [办公空调](https://example.com/services/office-air-conditioning): 设备选型、安装、维保
- [维保套餐](https://example.com/services/maintenance): 保养周期、合同价格、紧急上门

## 价格

- [价目表](https://example.com/pricing): 按面积计算的设计与安装费用

## 关于我们

- [关于我们](https://example.com/about): 资质、团队、成立年份
- [工程案例](https://example.com/projects): 已完工项目,附照片与项目细节

## 常见问题

- [常见问题](https://example.com/faq): 需不需要做设计、安装要多久、质保覆盖哪些内容

## 联系方式

- [联系我们](https://example.com/contact): 办公地址、电话、营业时间

## 可选

- [博客](https://example.com/blog): 关于设备选型和餐厅相关规范要求的文章

注意这个例子里缺了什么。没有“行业领先”“品质第一”之类的口号。没有把每一个页面都列出来,因为那是sitemap.xml的活。没有功能性页面、购物车和用户中心。只留下理解这家公司、回答客户问题所必需的东西。

最容易被违反的几条规则

  • 链接指向规范的HTTPS网址,不带UTM参数,也不经过跳转;
  • 事实要和您的网站、地图标注、目录站一致:同样的价格、同样的地址、同样的公司名;
  • 每条链接的描述要说明页面里有什么,而不是把标题重复一遍;
  • 文件用UTF-8保存,否则带音标符号的字母和特殊字符会变成乱码;
  • 文件要跟着网站一起更新:改了价格、加了服务,llms.txt就要跟着改。

llms-full.txt:什么时候需要完整版

这个格式有一个扩展,叫llms-full.txt。如果说llms.txt是一份带链接的目录,那llms-full.txt就是内容本身:把关键页面的正文合进一个Markdown文档里。模型不用再去点链接,因为东西全在里面了。

这个版本最初是为软件文档设计的——开发者或AI编程助手需要一次性载入整套API参考。典型的服务型企业用到它的时候少一些。以下情况才值得做:

  • 您有一个复杂的产品,带文档、指南、套餐和各种限制说明;
  • 重要内容被拆散在很多短页面里,单独看就没了意思;
  • 您的网站有一个客户经常查阅的技术知识库。

llms-full.txt最大的风险是过时。它是您内容的第二份副本,如果不能在网站每次变动时自动重新生成,两三个月之后里面就会是旧价格。对一个普通的公司网站来说,一份用心做的llms.txt就够了。

llms.txt生成器:省时间,但代替不了动脑子

市面上有在线的llms.txt生成器、CMS插件,以及能抓取网站自动生成文件的脚本。生成器能帮您快速拿到第一版草稿,网站大的时候尤其如此。但自动生成的结果有几个可以预见的毛病:

  • 什么都往文件里塞。标签页、筛选页、分页和新闻归档——生成器并不知道对您的生意来说什么才重要。
  • 描述是从meta标签里抄的。如果您的meta描述是好几年前为搜索引擎写的,进llms.txt的就是那些东西。
  • 公司事实是缺的。生成器不会知道您的服务范围、条款和成立年份,要是它自己猜,那就更糟了。
  • 文件永远不会更新。一次性导出的东西,几个月后就和网站对不上了。

我们的做法是:网站大的时候先用生成器出第一版草稿,然后只保留真正要紧的15~40条链接,概述和事实部分手写,并逐条对照公司信息清单核实。

怎么把llms.txt加到网站上

这个文件必须正好在example.com/llms.txt打开,不能放在子目录,也不能放在子域名上。具体怎么弄上去,取决于您用的是什么平台。

自有主机或服务器上的自建网站

用SFTP、SSH或者主机商的文件管理器,把文件上传到网站根目录,也就是robots.txt所在的那个位置。如果您的网站跑在带独立public目录的框架上,就放到那个目录里。然后确认路由规则和缓存层会原样返回这个文件,而不是把请求拦下来、回一个带样式的404页面。

WordPress

自托管的WordPress通常可以通过主机账号访问根目录,所以直接上传做好的文件即可。也有一些插件能生成llms.txt;如果您用插件,请按照对待任何生成器的同一套规则去检查它的输出。托管版或平台托管的WordPress套餐可能限制根目录的文件访问权限,这要看您的套餐允许什么。

Shopify、Wix、Squarespace和Webflow

托管型建站平台和电商平台一般不会让您直接访问根目录,而具体能做什么,取决于平台、您的套餐,以及会随时间变化的各种设置。先查一下平台当前的文档或设置,看有没有办法在域名根目录添加自定义文件或自定义路由。如果没有,常见的绕行办法有:

  • 在域名前面用CDN或反向代理来提供这个文件,让它在根地址上返回llms.txt;
  • 把/llms.txt跳转到别处托管的一份副本,这更简单但可靠性差一些,因为并不是每个工具都会跟随跳转;
  • 用平台应用市场里的某个应用或集成(如果有的话),并检查它实际发布出来的是什么。

选哪种取决于您的项目是怎么搭的,所以最好和管理网站与域名的人一起定。

llms.txt和robots.txt:需要在里面声明吗?

不需要。robots.txt里并没有专门针对llms.txt的指令。这个文件靠它的标准地址被找到,就像robots.txt自己在example.com/robots.txt被找到一样。不过还是打开robots.txt看两件事。第一,它没有拦住您希望进站的AI爬虫。第二,它里面没有一条一刀切屏蔽.txt文件的规则——老模板里有时会带着这种东西。

llms.txt与SEO:它影响排名吗?

没有哪个搜索引擎确认过把llms.txt当作排名信号,它也替代不了robots.txt、sitemap.xml或Schema标记。把它看成AI搜索优化里一个小小的辅助环节,而不是一项SEO手段。它能做到的,是给AI工具一份干净、准确的公司摘要。它做不到的,是把一个弱网站变强。

llms.txt检查:怎么确认它真的能用

在线的llms.txt检查工具和校验器能确认文件符合格式,但它们说不了内容是否准确、是否有用。发布之后,请自己把这份简短的清单过一遍:

  • example.com/llms.txt能在浏览器隐私窗口里打开,不需要登录,也不发生跳转;
  • 服务器返回200状态码(在浏览器开发者工具的网络面板里就能看到);
  • 文件以纯文本显示,字符没有乱码,浏览器不会试图把它下载下来;
  • 里面的每个链接都能打开,并返回200状态码;
  • 您的防火墙、CDN或机器人防护没有拦下爬虫对这个文件的请求——这一点可以在服务器日志里确认;
  • 发布之后,服务器日志会显示有哪些机器人请求过这个文件。

最后这一条,是唯一诚实地弄清有没有人读您llms.txt的办法。去问AI助手“你读过我的llms.txt吗”毫无意义:它的回答什么也证明不了。

llms.txt能做什么,不能做什么

我们说点实在的。光靠这个文件,不会让贵公司进入AI回答。如果您的网站上没有能正面回答客户问题的页面,如果内容只能靠脚本加载出来,如果没有第三方网站在写您,那llms.txt改变不了任何事。AI助手主要依靠搜索、页面内容和来源的权威性。GEO建立在扎实的传统SEO之上,而不是建立在几个辅助文件上。

不过,和其余工作配合起来,llms.txt就成了一个有用的细节:一份干净的事实摘要,与您的网站、您的Schema标记以及第三方来源都对得上。它在整盘棋里的位置,可以看我们的AI搜索优化清单

我们如何做llms.txt以及围绕它的一切

AI搜索优化自2002年起从事SEO。我们服务过全球100多家客户,持有Google与Yandex认证,网站与AI可见度由同一个团队从头负责到尾。我们既服务纽约的企业,也服务国际市场的企业。

我们把llms.txt的撰写和发布作为网站技术优化的一部分,但它只是众多任务中的一项。服务包含:

  • 针对您网站以及您所在行业AI回答的AI可见度审计;
  • 提示词研究:您的客户会向AI助手提出的那些问题;
  • 技术优化:AI爬虫的抓取权限、llms.txt、Schema标记、速度、错误修复;
  • 为AI回答而写的新内容;
  • 在第三方网站上的品牌提及;
  • 在外部来源上发表文章,为贵公司和公司专家积累权威性;
  • 持续的AI可见度监测。

AI评估的是您整个网站,所以我们从第一天起就把整站接手过来,从技术优化一直做到GEO。我们保证交付GEO任务、修复错误,并让您的网站快速跟上AI搜索不断变化的要求。我们不承诺AI回答中的具体位置:这件事谁也没法诚实地承诺。

月费为每月290美元,含前10小时工作时长。每增加1小时45美元。GEO工作按实际工时结算:只对当月完成并交付的工作开票。没有折扣,也没有免费月。

预约通话。我们会检查AI爬虫能不能访问您的网站,用核实过的事实做出一份llms.txt,并告诉您还有什么在把您挡在AI回答之外。

更多文章

AI搜索优化:如何让ChatGPT、Google AI Overviews和Perplexity推荐您的企业

AI助手只推荐它找得到、看得懂、信得过的企业。AI搜索优化让您的网站被引用,让您的公司在AI回答中被点名。

阅读文章

什么是生成式引擎优化(GEO)?写给企业主的GEO与SEO对比

GEO、AEO、LLMO和AI SEO说的是同一个目标:让AI推荐您的企业。GEO建立在SEO之上,两者缺一不可。

阅读文章

预约与AI搜索优化专家通话

我们会让您看到ChatGPT、Google AI Overviews、Perplexity等AI助手如何评价您的企业和竞争对手——以及您的网站内外需要做哪些改变。

纽约, 美國

切尔西·夏克

Division Street 40, New York, 10002, 纽约

+1 (347) 620-09-02

united-states-new-york-city-zh@promo-yar.ru