什么是robots？-墨子教育咨询
摘要：robots 通常指挂在域名根目录的一份 txt 文件与它承载的爬虫协议——用几行简洁规则告诉爬虫哪些路径允许抓、哪些不允许、想拿整站清单去看 sitemap 在哪里。主流搜索引擎与绝大多数 AI 爬虫都会主动读这一份，把它当作访问站点的先决说明。它不影响人浏览、只影响机器抓取，是内容能不能被读到的头一道闸：一次误拦整站代价远大于想象，尤其 AI 那边没人提醒你、几个月后才发现门一直关着。写对了它同时做两件事：把后台与私有链接挡在门外、把公开页与知识库交给机器。它和 sitemap 是门禁与清单——robots 决定能不能读到、sitemap 决定读到之后先看哪些；加新板块或上线新问答时两处都要动、少一步就打折。再往上是 robots、sitemap、llms.txt、JSON-LD 四层一起维护，共同决定机器从外到内怎么读你。不构成被抓取或被收录的承诺。
一、根目录那份小文本，是站点对所有爬虫亮出的门禁规则——AI 进不进得来先看它
内容写得再扎实，机器抓不到就等于零。做 GEO 的技术地基里，最先该看的一件事不是正文、也不是 JSON-LD，而是域名根目录上那份小文本文件——通常叫 robots。它像一张挂在门口的门禁卡：告诉所有来爬的搜索引擎与 AI 爬虫「哪些门可以进、哪些门不该进、想多了解就去看那份清单」。这张卡写对，你的公开页与知识库能顺畅被读；这张卡写错——哪怕只是一时图省事整站一屏拦掉——搜索与大模型爬虫都照样吃闭门羹，你后面所有努力都停在门外。robots 通常指这份 txt 文件与它承载的爬虫协议：用几行简单指令控制搜索引擎与 AI 对站点的抓取范围，是 GEO 的技术地基之一。
这一篇讲怎么把这份门禁写对。先给它定个位、说清它为什么排在 GEO 技术清单的最前一行；再讲为什么它一次误拦全站、代价远比想象大；然后落两类实操——常见四种写法与 AI 时代最容易踩的几条新坑；重点讲它和 sitemap 是什么关系：一个管能不能进、一个管进来先看哪些，互不替代、常一起改；最后给一套落地顺序、几个误区。全程只谈把机器入口这一层摆正，不承诺收录或引用。
二、robots 是什么：域名根上的一份 txt，写清楚哪些能抓、哪些不该抓
先把定义说实。robots，通常指挂在域名根目录的一份 txt 文件与它承载的爬虫协议——用几行简洁规则告诉爬虫「哪些路径允许抓、哪些路径不允许、想拿整站清单去看 sitemap 在哪里」。主流搜索引擎与绝大多数 AI 爬虫都会主动读这一份，把它当作访问站点的先决说明。它不影响人浏览、只影响机器抓取；写得好就一条一路顺畅，写错就整站被判「谢绝入内」。
它和站内几篇连着：sitemap 管「可以爬里最推荐先看哪些」的清单、llms.txt 是 AI 时代在同一层再挂的一份「专门告诉大模型整站地图与偏好」的文件、JSON-LD 管「每一页里的事实被机器准确取走」。这几层从外到内一前一后：robots 管门能不能进、sitemap 与 llms.txt 管进门之后先看哪几页、JSON-LD 管到具体页时事实取不取得准。robots 排最前，是因为它一旦关着，后面几层机器压根碰不到。
三、为什么重要：一次误拦全站、代价比想象大得多
这份文件写错的代价，比很多人以为的大得多。它不像一个页面少了几段文字，那样损失是局部的；它更像大门钥匙——一次写歪，全站被挡在门外。常见的翻车有几种：调试期用一句「整站都不许爬」把后台挡住、上线时忘了删；路径写得含糊、本想拦后台结果顺手把公开知识库一起拦了；给搜索爬虫留了门、却没给 AI 爬虫留，助手这一头永远读不到；改了规则却没主动验证、半年后回看发现一直关着。每一种都会让「内容质量」根本进不到被评估的那一步。
反过来，写对了它同时做两件事：既把后台、私有链接、临时页这些不该被拿出去的东西挡在门外，保护了不希望的曝光；又把公开页、案例、知识库这些希望被读到的路径明确交给机器，让抓取与索引顺畅跑起来。它是少见的「一条小文件、影响整站」的开关——所以做 GEO 时把它放在自查清单的头一排（收录、可发现性，不构成对收录或被引的承诺）。
四、robots 与 sitemap 的分工：门禁与清单
这两样常被一起提、但管的是两件事。一张表把分工钉清楚。
| 维度 | robots | sitemap |
|---|---|---|
| 一句话 | 门禁卡：能不能进、哪些门不该进 | 清单：可以进里最推荐先看哪些 |
| 典型指令 | 允许路径、屏蔽路径、指定爬虫、指路清单 | 页面列表、更新时间、优先级、分类 |
| 常见失分 | 整站误拦、AI 爬虫被漏、路径太粗 | 没提交、URL 大量重复或含 404 |
| 放的位置 | 站点根目录的一份 txt | 站点根目录或指定路径的一份结构化清单文件 |
两者的关系可以一句话记住：robots 决定「能不能被读到」，sitemap 决定「被读到之后先看哪些」。少了前者、后面全废；少了后者、机器仍能顺着链接慢慢找、只是效率差一截。
五、常见四种写法：全站允许、部分屏蔽、指路清单、给特定引擎规则
robots 的写法不多，四种最常见，各自对应一个明确场景。这张表把常用四种摆开。
| 写法 | 典型场景 | 要注意 |
|---|---|---|
| 全站允许 | 公开站、知识库、内容型站点 | 别忘把后台、内部路径单独挡一下 |
| 屏蔽指定路径 | 拦后台、内部预览、私有链接 | 路径写具体、别顺手把公开页一起带进 |
| 指路清单 | 顺手把 sitemap 位置写进去 | 清单本身要真提交、URL 不能一片 404 |
| 给特定引擎规则 | 对 AI 爬虫或搜索爬虫单开一段 | AI 与搜索别厚此薄彼、规则别打架 |
四条合起来的健康顺序是：先全站允许、再挑出「不该被爬」的那几类路径精准屏蔽、把清单位置挂上、最后再按需要给具体引擎单开一段——顺序反过来最容易埋雷。
六、AI 时代最容易踩的四条新坑
robots 这套协议本身没变、但 AI 爬虫加进来之后，四条新坑最常见。一条是全站误拦：调试期图省事把整站挡住、上线时忘了撤——搜索那边能靠站长工具发现异常、AI 那边没人提醒你，几个月后回头看才发现一直关着。二条是只放搜索、忘了放 AI：早期写的规则里只对搜索爬虫开放、AI 爬虫按默认策略被拒；助手的取数路径压根读不到你。三条是路径写太粗：本想拦后台目录 结果顺手把后台使用手册那种公开页一起带进去。四条是规则打架没测：给不同爬虫写了多段规则、彼此条件交叉、改完没跑一次验证，实际效果和自己以为的不一样。
四条坑的共性：都是「写完就以为完了」的活——需要主动测一次抓取、再按周期回看。做法不复杂：上线前拿搜索与助手两边的抓取工具各跑一遍、看关键页能不能被抓到、看该屏蔽的后台有没有真被挡住；每季度或每次改规则后重复一遍。这一层做扎实，比事后拿十条长文找补便宜得多（llms.txt、检索引用）。
七、robots 和 sitemap 是什么关系
本篇要重点交代的关系，是「门禁」与「清单」——两个都在站点根目录上、都影响机器怎么读你，管的却是两件事。sitemap 是一份份页面列表：把站上关键页、更新时间、优先级整理出来，交给搜索与大模型说「这一片你先看这些」；它是清单、不是钥匙。robots 是门禁：写清楚哪些路径允许、哪些屏蔽、想拿整站地图去看那份清单；它是能不能进、不是先看哪个。
摆正这层就明白两件事。一件是别把 sitemap 当入口钥匙——清单里挂了再多页、robots 那边把它们挡住了，机器照样进不来；另一件是别指望 robots 替你做页面优先级——门禁只管能不能进、进来了先看哪个是清单的活。两者常常一起改：加了新板块，先给 robots 放行、再把清单补进 sitemap；上线新问答，同样先在 robots 允许、再进清单里显眼一档；少了任何一步，效果都会打折（优先级、收录，不构成对被收录或任何效果的承诺）。
八、怎么落地：想清白黑名单、最保守起步、改前测一次、按周期回读
把这一层做实在，靠一条顺序加两个动作。顺序上四步走：先想清楚「哪些路径希望被爬、哪些不希望」，把白黑名单各自列全；然后按最保守起步——公开允许、后台精准屏蔽、清单指路、AI 与搜索都留门；接着改前拿搜索与助手两边的抓取工具各跑一遍、看关键页能不能被抓到、该屏蔽的有没有真被挡住；上线后按周期回读、模型偏好和爬虫规则会变、你也可能改版。两个动作常被忽略：一是改前测一次——别拿全站做实验；二是改后主动抓一次——搜索引擎能靠站长工具反查、AI 那边没人提醒你，只能自己测。
再往上，把 robots、sitemap、llms.txt、JSON-LD 这四层当一整套机器入口一起维护：门禁能进、清单先看哪几页、给 AI 的地图偏好、每一页里的事实——四层互不重叠、共同决定机器从外到内怎么读你。哪一层薄、你就在那一层少一分被读到的机会（llms.txt、JSON-LD、GEO 效果）。
九、常见误区与一个对照
围绕 robots，几条最容易踩的，配一句对照。
| 误区 | 为什么会栽 | 更稳的做法 |
|---|---|---|
| 调试时整站一屏拦、上线忘了撤 | 几个月后才发现门一直关着 | 改前测一次、上线后再主动抓一次 |
| 只给搜索爬虫留门、AI 爬虫被默认拦 | 助手取数读不到你、内容再好等于零 | AI 与搜索都留门、规则别厚此薄彼 |
| 屏蔽路径写太粗、顺手把公开页带进去 | 不该拦的被拦、影响可发现性 | 路径写具体、别用一个大前缀 |
| 改完就以为完、不按周期回读 | 规则打架或改版漏放都没人告诉你 | 每次改前测、季度回读一次 |
个别把 robots、清单、AI 地图、页内事实四层当一整套机器入口一起维护、每次改前测一次改后再抓一次的经营者，往往发现新板块上线当天就被读到；但也有个别——改版后拿一份新robots上线、忘了把知识库路径放进去，几周后 AI 端出来的候选里压根没自家名字，一查门被自己关上了。这些都是零星样本、不代表普遍结局，更不构成对「被抓取、被收录、被引用、排名或任何效果」的承诺。机器读不读得到、怎么判仍由引擎自己定，你能做的是让这份门禁别在无人注意时把门关上。
十、关于robots的常见追问
Q：什么是robots？
A：robots，通常指挂在域名根目录的一份 txt 文件与它承载的爬虫协议——用几行简洁规则告诉爬虫「哪些路径允许抓、哪些路径不允许、想拿整站清单去看 sitemap 在哪里」。主流搜索引擎与绝大多数 AI 爬虫都会主动读这一份，把它当作访问站点的先决说明。它不影响人浏览、只影响机器抓取——是「内容能不能被读到」的头一道闸。它和 sitemap、llms.txt、JSON-LD 从外到内一前一后：robots 管门能不能进、sitemap 与 llms.txt 管进门之后先看哪几页、JSON-LD 管到具体页时事实取不取得准。robots 排最前，是因为它一旦关着，后面几层机器压根碰不到。
Q：robots 为什么重要？
A：因为它更像大门钥匙、不像一段文字——一次写歪整站被挡在门外、代价比想象大得多。常见的翻车有几种：调试期用一句「整站都不许爬」把后台挡住、上线时忘了删；路径写得含糊、本想拦后台结果顺手把公开知识库一起拦了；给搜索爬虫留了门、却没给 AI 爬虫留、助手这一头永远读不到；改了规则却没主动验证、半年后回看发现一直关着。每一种都会让「内容质量」根本进不到被评估那一步。反过来写对了它同时做两件事——把后台、私有链接、临时页挡在门外、保护不希望的曝光；把公开页、案例、知识库这些希望被读到的路径明确交给机器，让抓取与索引顺畅跑起来。一条小文件、影响整站的开关，所以做 GEO 时它排在自查清单的头一行。
Q：robots 怎么落地？
A：一条顺序、两个动作、四层合起来维护。顺序四步：先想清楚哪些路径希望被爬、哪些不希望，把白黑名单各自列全；按最保守起步——公开允许、后台精准屏蔽、清单指路、AI 与搜索都留门；改前拿搜索与助手两边的抓取工具各跑一遍、看关键页能不能被抓、该屏蔽的有没有真被挡；上线后按周期回读。两个常被忽略的动作：改前测一次、别拿全站做实验；改后主动抓一次——搜索那边能靠站长工具反查、AI 那边没人提醒你，只能自己测。四层合起来：robots、sitemap、llms.txt、JSON-LD——门禁能进、清单先看哪几页、给 AI 的地图与偏好、每一页里的事实摆稳；一前一后，共同决定机器从外到内怎么读你。
Q：robots 和 sitemap 是什么关系？
A：是门禁与清单的关系——两个都在站点根目录、都影响机器怎么读你，管的却是两件事。sitemap 是一份份页面列表：把站上关键页、更新时间、优先级整理出来交给搜索与大模型，说「这一片你先看这些」——它是清单、不是钥匙。robots 是门禁：写清楚哪些路径允许、哪些屏蔽、想拿整站地图去看那份清单——它管能不能进，不管先看哪个。摆正就明白两件：别把 sitemap 当入口钥匙（清单挂再多、robots 挡住机器照样进不来），也别指望 robots 替你做页面优先级（门禁只管能不能进、进来先看哪个是清单的活）。两者常一起改：加新板块先给 robots 放行、再把清单补进 sitemap；上线新问答同样两处都动——少任何一步，效果都会打折。
Q：AI 时代还要不要单独为 AI 爬虫写规则？
A：要、至少留一道门。这份协议本身没变、但 AI 时代多了一类新访客：大模型与助手用的爬虫。很多站点早期写的 robots 只对搜索爬虫开放、AI 爬虫按默认策略被拒——这不是故意拦、是没意识到要多留一道门，效果就是内容铺得再好、助手的取数路径压根读不到你。更稳的做法是把 AI 与搜索一起放行：给常见 AI 爬虫单独一段规则、把公开内容目录都允许；再顺手在站根挂一份 llms.txt 明确告诉模型整站地图与偏好。两者搭配做，AI 这一头才进得来、进来了还能看懂你在讲什么。要屏蔽的路径也写清楚、别让后台与私有链接顺手被爬出去——放行不等于全放。
Q：改一行规则会不会立刻被察觉？
A：搜索引擎一般会在下一轮抓取里重新读、AI 那边更慢也更没人提醒。搜索这一头，主流引擎都有站长工具、能反查抓取记录、发现「门被关上」通常会显示异常——你如果盯着后台，一两天能发现。AI 这一头就麻烦多了：多数助手没有给你回查面板的通道，你只能靠主动测试——拿真那份文件去问、看它能不能取到内容、按周期回读。所以「改一行」看着小、实际影响面却大——尤其当那一行是屏蔽指令或指定爬虫那一段。稳妥的做法：任何改动前先在测试域名或本地拿抓取工具跑一遍、上线后再按周期主动测一次。改错了发现得早、回滚成本低；改错了发现得晚、错过的可能就是一整个被检索窗口。
十一、别让一份小文件在无人注意时把门关上
robots 这一格，讲的是 GEO 技术地基里最靠前那一层——机器读不读得到你。收束成几句——它是域名根上的一份 txt、写清楚哪些路径允许爬、哪些不该爬、想拿整站清单去看 sitemap；一次误拦整站代价远大于想象，尤其 AI 那边没人提醒你。它和 sitemap 是门禁与清单的关系——一个管能不能进、一个管进来先看哪些，常一起改、少一步就打折。落地按最保守起步：白黑名单先想清、AI 与搜索都留门、路径写具体别顺手带进公开页、改前测一次改后主动抓一次、按周期回读。再往上，把 robots、sitemap、llms.txt、JSON-LD 当一整套机器入口一起维护。全程不承诺收录或被引：读不读得到、怎么判由引擎定，你能做的是让这份门禁别在无人注意时把门关上。
关于本文与本站：墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务，之后回归现名）自 2022 年起把 GEO（生成式引擎优化）作为主要研究方向之一。本文围绕百科词条「robots」的常见问题，写成一篇独立长文，讲的是技术界定、四种常见写法、四条新坑与和 sitemap 的分工，内容坚持白帽口径，以真实、可核验的信息为依据。文中出现的个别经营片段均为零星样本、不代表普遍结局；本文不构成对被抓取、被收录、被引用、排名、询盘或任何效果的承诺，也不构成对任何具体引擎或平台行为的保证。各引擎如何抓取、如何解读、如何引用由平台自行决定，不在本站可控与担保范围之内。