什么是robots 配置？-墨子教育咨询

摘要：robots 配置，指对机器抓取与索引行为施加规则的全部设置面——横跨三层：站根层（robots.txt 声明路径级抓取许可）、页面层（meta 标签声明单页索引与跟进）、传输层（HTTP 头 X-Robots-Tag 对图片 PDF 等无法嵌标签的对象代言）。题眼：运维甩工单「不就根目录那个 txt 吗，一个文件改出三套需求？」；内容组对质的却是同一页三句话——站根放行、页面 noindex、响应头挂 all：「仨地方三句话，爬虫信谁？」新纪要一句：robots 不是文件是三层系统，先定谁的话算数。落地三件：场景归层（整类路径别让爬→站根；单页别让收→页面；非网页与改不动源码的→传输层；要爬不要收→跟进与索引分写——判据是作用面不是顺手）；优先级两铁律（抓取门先于索引令：txt 拦住的页其标签形同对墙喊话——想让它听见「别收我」先得让它进得来；一页生死只许一层开口）；变更纪律（三层同册、三样验法、撤拦先对名册、48 小时复验——机器只认现在读到的那一版）。与 txt 词条卷、放行卷分账：法典、门规、总装三本账同一扇门。托管平台只改道：选项要单点、默认要验收、搬家要清点。

一、技术例会上运维把工单甩回内容组，一句话点燃全场：「robots 不就是根目录那个 txt 吗？一张文件写尽写废，内容组还天天提「这页要设 robots」的需求——一个文件你们改出三套需求来，到底谁不懂技术？」内容负责人拿着平板回来对质，屏幕上是一份抓取异常清单：同一页「课程详情」，站点文件里放行、页面标签里 noindex、响应头里又挂着 all——「你说不就一个文件：那这一页现在到底算开门还是闭门？仨地方三句话，爬虫信谁？」运维盯着那页看了半分钟没吭声——那天例会定下的新纪要只有一句：robots 不是一张文件，是一套三层说话的系统，先定「谁的话算数」，再谈怎么设

那句「仨地方三句话」问出的正是「robots 配置」这门课的全题：robots 配置，指对机器抓取与索引行为施加规则的全部设置面——它横跨三层：站根层（robots.txt 文件，对全体访客声明路径级抓取许可）、页面层（meta robots 标签，对单页声明索引与跟进指令）、传输层（HTTP 响应头 X-Robots-Tag，对无法嵌标签的对象——图片、PDF、老系统吐出的页面——下达同等指令）；三层的作用对象、生效范围、优先级关系各有脾气，配置的功夫全在「哪句话该在哪层说、多层的句子怎么不打架」。分界钉牢：robots.txt 词条卷讲站根那层的语法、robots 放行 卷讲开门的策略与名册（#526）、索引标记 卷讲页面层的开关——本卷是把三层合成一套配置工程的总装卷：层间优先级、场景归层法、变更纪律三件事。这一篇按老规矩先排雷——三层配置最常犯的四宗错；再给归层落地法；然后交代与相邻两卷的分账；末尾讲为什么。全程只谈配置工程，不承诺设完即无误。

二、先排雷：三层配置的四宗最常见错法

四错同根：把三层当一张文件管——其实它是三个岗位的三班倒：站根层管大门（对所有人）、页面层管房间（对进得来的人）、传输层管特殊货（对没门牌的对象）；岗位话没说清，机器只好凑着听。那页「课程详情」的三句话病案就摆在那儿：正确做法只留一层表态（该页要「不被索引」→ 撤 txt 拦截 + 页面 noindex 单点说清），其余两层保持沉默——配置的审美不是每层都写，是一句话只在一层说。

三、怎么落地：归层法、优先级课、变更纪律

头件·场景归层（哪句话在哪层说）：立一张归层表——「整类路径别让爬」（内部系统、参数页、测试站）→站根层：这是 txt 的正职（#526 后巷清单在此落成文件）；「单页别让收」（草稿、结果页、低质历史页）→页面层：noindex 精准点杀；「非网页对象与改不动源码的页」（PDF、图片、老 CMS 的输出）→传输层：头标签代说；「既要爬又不让收」的页（要它被读链接权重、不要它进索引）→页面层跟进与索引分写（noindex,follow 的门道）——归层的判据是作用面而不是顺手：先问这句话影响多大一片，再问哪层管得着。

次件·优先级课（冲突时机器信谁）：两条铁律写进团队共识——抓取门先于索引令：txt 拦住的页，其上的任何标签形同对墙喊话（所以「想 noindex 的页必须先把 txt 放它出来」是反直觉的头一句：要让机器听见「别收我」，先得让它进得来——那句运维的沉默就沉默在这）；同一页多层表态时，机器按保守面执行且各家细规不一：与其赌各家怎么仲裁，不如定自家家规：一页之生死，只许一层开口——归层表加这条「单点表态」纪律，冲突从源头消掉大半。

末件·变更纪律（改配置如换锁芯）：三层同册登记（路径、页面、头规则一张变更台账：动机、生效日、验收人）；每次动层跑对表验收：站根层用抓取工具实测读到的版本、页面层查渲染快照、传输层用头部检查器对 PDF 抽检——三层三样验法，缺一层就留一层暗账；大促、改版、换系统三窗口设「配置冻结+专项复核」（#519 事故窗口的配置版）；撤除类变更双倍小心：撤拦等于开门，先对 #526 名册确认门外站着谁。验收两数：矛盾表态清零数、变更 48 小时复验率。

四、和 robots.txt 词条、放行卷怎么分账：一物三卷的家规

本家三卷的名字都带 robots，分账钉清免得串门。robots.txt 词条卷 是法典本：那个站根文本的语法、指令集、协议史与「礼貌而非强制」的性质；robots 放行卷 是门房术：以站根层为工具的策略经营——三圈名册、门限分道、验收闭环（开门该开到哪条线，那卷答）；本卷是总装台账：管三层作为一个配置系统的协同——归层、优先级、变更三纪律（同样叫 robots，一个讲条文、一个讲门道、一个讲体系）。三卷最常见的串戏：拿着放行卷的名册来总装卷要语法解释、拿着法典的语法去答「这页该在哪层说」——各卷的题各卷答，但有一件事只有本卷管：三层合说一句话时的秩序。给读者的动线建议：新站从放行卷起（先有门册）→ 有非网页对象与精细需求时进本卷（归层）→ 逐行抠语法回法典卷。判语：robots.txt 是一部法典、放行是一套门规、配置是一场总装——三本账记的是同一扇门，记法各异，缺哪本都会有一面墙的账没人对。

五、为什么重要：配置系统是抓取时代的版本管理

为什么给「配置」这个工程词立总装卷？因为它管的是这门学科里最便宜的确定性。三层账：其一，三层是机构对机器说话的全部官方渠道——口径对了机器，就是这三处：文案写得再正，配置层一句矛盾话，抵得过内容组十页澄清（那句 noindex 被拦在门后的页，就是内容在替配置背锅）；把三层当「一套官方发言系统」管，是从「会写文件」到「会开发布会」的升格。其二，它兜住全链最隐蔽的复利事故——配置不像错引有家长来投诉：它的失误以「月」为单位沉在索引里（该删的在多活、该进的在门外），发现时往往已积累了整个版本的错账；#521 估值闸、#526 门房、#524 一码源自带错的账本里，配置层事故都是隐形股本——季度对表是本卷独一份的复利防御。其三，它是组织接口学的显影——运维与内容那场「谁不懂技术」的对质，本卷把它译成工序：归层表=职责说明书、变更台账=交接班记录、三样验法=互相验收的手——配置系统的整齐，本质是这两个部门知道彼此的话在哪层说；机器人不调解矛盾，它只忠实执行矛盾。风险对称：三层齐设别成三层齐乱——单点表态纪律先于一切技巧；小站九成需求站根一层说尽，别为「配齐三层」硬找活干；也别把冻结纪律做成立法恐惧——配置该改就改，改完必验：怕改不改与乱改不看，是同一枚硬币的两面。它跟顺序跑偏连着：先归层再写规则、先验收再庆祝——顺序倒了的队，三层是三个各说各话的喇叭。

六、常见误区与一个对照

围绕 robots 配置，几条最容易踩的，配一句对照。

个别把归层表跑顺的队，最实在的变化是那场架不吵了：内容组提「这页别让收」的需求单，默认带「归层：页面层；txt 确认不拦」两栏——工单从踢皮球变成对表，运维不再觉得「一个文件改八遍」，内容不再觉得「我说的话没人听」：一句话有了固定的嘴，三层都有了耳朵；撤拦双倍小心也救过一次：运营要撤的测试目录拦截，对表发现里面有三百页半成品的活动页——先清理后开门，那扇门要是直接拆了，#526 的「垃圾吃配额」账单当场重写一次；但也有个别——三层纪律背得滚瓜烂熟，唯独没人对现网：台账美轮美奂，线上那个 txt 还是建站模板里的整站 Disallow——配置学的最后一页不是写在纸上的：三层说得再齐，机器只认现在读到的那一版。这些都是零星样本、不代表普遍结局，更不构成对「被端出、被挂名、说得准、排名或任何效果的承诺」。三层顺不顺，机器读到的那一版最诚实。

七、关于 robots 配置 的常见追问

Q：什么是robots 配置？

A：robots 配置，指对机器抓取与索引行为施加规则的全部设置面——横跨三层：站根层（robots.txt，对全体访客声明路径级抓取许可）、页面层（meta robots 标签，对单页声明索引与跟进指令）、传输层（HTTP 头 X-Robots-Tag，对图片、PDF、老系统页面等无法嵌标签的对象下达同等指令）。题眼：例会上运维甩工单「robots 不就根目录那个 txt 吗，一个文件你们改出三套需求，谁不懂技术」；内容负责人对质回来的是同一页「课程详情」的三句话——站根放行、页面 noindex、响应头挂着 all：「这一页现在到底算开门还是闭门？仨地方三句话，爬虫信谁？」那天新纪要一句：robots 不是一张文件，是三层说话的系统，先定谁的话算数再谈怎么设。与相邻分账：txt 词条卷管法典语法、放行卷管门房策略、索引标记卷管页面开关，本卷管三层总装的归层、优先级与变更纪律。

Q：robots 配置 怎么落地？

A：归层法、优先级课、变更纪律。归层表（哪句话哪层说）：整类路径别让爬→站根层（txt 正职）；单页别让收→页面层 noindex 点杀；非网页对象与改不动源码的页→传输层头标签代言；既要爬又不让收→页面层跟进与索引分写。判据是作用面不是顺手：先问影响多大一片，再问哪层管得着。优先级两铁律：抓取门先于索引令——txt 拦住的页，其上标签形同对墙喊话；所以想让机器听见「别收我」，先得让它进得来（反直觉的头一句，运维的沉默就沉默在这）；同页多层表态机器按保守面执行且各家细规不一——与其赌仲裁，不如定家规：一页生死只许一层开口，冲突从源头消掉。变更纪律：三层同册变更台账（动机、生效日、验收人）；每次动层三样验法（站根用抓取工具实测、页面查渲染快照、传输对 PDF 抽检头部）；大促改版换系统三窗口设冻结加专项复核；撤拦双倍小心——撤拦即开门，先对 #526 名册确认门外站着谁。验收两数：矛盾表态清零数、变更 48 小时复验率。

Q：robots 配置 为什么重要？

A：配置系统是抓取时代的版本管理。三层是机构对机器说话的全部官方渠道——配置层一句矛盾话，抵得过内容组十页澄清；被拦在门后的 noindex，是内容在替配置背锅；把三层当一套官方发言系统管，是从会写文件到会开发布会的升格。它兜住最隐蔽的复利事故：配置失误不像错引那样有家长投诉，它以月为单位沉在索引里——该删的在多活、该进的在门外，发现时已积整个版本的错账；季度对表是独一份复利防御。它是组织接口学的显影：那句「谁不懂技术」的对质，译成工序就是归层表等于职责说明书、变更台账等于交接班记录、三样验法等于互相验收的手——配置系统的整齐，本质是两个部门知道彼此的话在哪层说；机器人不调解矛盾，它只忠实执行矛盾。对称提醒：单点表态先于一切技巧，小站九成需求站根一层说尽，别为配齐三层硬找活干；也别把冻结成立法恐惧——改完必验，怕改不改与乱改不看是同一枚硬币两面。

Q：三层归层、单点表态、48 小时复验这套流程，对只有两三个人管站的队是不是太重？怎么裁到够用？

A：裁到一句话一个表就够——小队不跑体系，跑纪律：三层学问压缩成「一句话只在一层说」加「改完第二天看一眼」。具体两件：一、归层口诀贴屏——「整目录的事写文件，单页的事写标签，文件改动的第二天用爬虫视角看一眼」：三句覆盖三层与复验，不用台账（队小，纪律的载体是口令不是表格——表格没人填，口令有人念）；二、两个时点替代一套流程——上线新功能时点（问一句：这东西机器该不该看见，答案落成一处写）与月度十五分钟巡检（跑一遍现网三查：txt 还是不是想要的、核心页标签在不在、一个 PDF 头部有没有——#526 四查的小队版）；月度巡检就是小队的全部「变更纪律」：不记台账，记下「上次巡检日」，超期即做。要防的小队独有风险三处：建站模板与插件「好心」塞的规则（装一个扩展顺手写一行 txt 的事，一年能攒三层考古层——每季度看一眼那两个文件被谁动过）、测试环境拦法抄生产（测试站用「域名级整体拦」而不是改生产文件加注释——注释会被删，独立拦法不会串门）、离职交接忘这茬（口令表最后一行：改过什么、哪天改的、验了没——写在 readme 一行就值回这套流程）。判语：小队版配置学=一句口诀+两个时点+三处独坑：体系的重量在纪律不在工具——三个人守一扇门，守得过大厦保安亭。它跟单点表态、撤拦对表各条连着：归层表的大队版与口诀的小队版，说的是同一家规——机器面前，话少而清楚者胜。

Q：页面加了 noindex 好几个月了，搜索里还能查到那页——是标签没生效，还是引擎说话不算数？

A：两个都先别定罪——noindex「没消失」的账，八成排在链路与定义上，四步查：一、查它进门没——那页的抓取许可是不是被拦（#526 铁律的反面：拦着的路 noindex 永远读不到，标签在墙内喊话：抓取检查一看便知）；二、查它还在被谁介绍——站内导航、旧文章、站点地图里还挂着它的链接，甚至站外还有人引用：「不收录」不等于「不出现」——被强链接的页，摘要条目（只题不链或带快照）可能继续露面，这是标签语义被误解的头一处；要它彻底消失，撤链接+下线内容才是全步骤，标签只管索引不管除名；三、查生效面——多模板与缓存站点：「这一页」加了、同类页走的另一个模板没加；CDN 缓存了带标签前的旧版：抽查十页同族而非一页了事；四、都排除再谈时差——重抓与索引更新按各自队列走（#521 后厨账），数周到数月是常态不是怠工；急的走移除工具，但移除与索引是两套机制：移除管展示急停、索引按自家队列——别拿移除记录断言「引擎答应过彻底没有」。交底：各家对 noindex 细节（多久复查、被强链接时怎么处理）没有统一承诺，且会变——把「查它进门、查谁介绍、查生效面」当自查三连，比研究它的脾气便宜。判语：noindex 是「别让收」不是「让消失」——想让它人间蒸发，拔的是链接与内容，标签只关索引那扇门。它跟归层表、门先于收各条连着：本卷那句「机器人不调解矛盾」在此最灵——先查自家三层还有谁在替它说话。

Q：我们用的是自助建站平台，robots 文件与标签都不让直接改——三层配置学是不是整套作废？

A：不作废，改道——平台托管下，配置学从「动手层」退成「选项层+验收层」，纪律照样值钱。三手：一、摸平台给了哪几层——主流自助平台通常留三个口：可视化开关（「站点可见性」整站级，本质是替你写站根层与页面层）、单页 SEO 面板（页面层选项）、robots 文本框或「高级设置」（有的给全文、有的只给追加区）；先画自家「可动层地图」：三层里你能说话的那几层，说错才轮得到背锅；二、选项层更要单点表态——平台开关彼此会打架（整站设为「不可见」时，单页 noindex 全是废话；「隐藏此页」与「禁止抓取」在平台文档里常是两码事）：本卷纪律在托管环境升格为铁律——一句话只在一处设，改前想清楚这句话落在哪层、别处有没有它的回声；三、验收从「读文件」改成「读行为」——看不到源码不要紧：抓取模拟器看 robots 实况、查某页响应头与快照、拿 site 检索做周对照——你管不了后厨，但菜端上来的样子你说了算。要交底的两处暗坑：平台的默认值会随套餐与版本变（一次「升级」悄悄改可见性设定，事故无声——月度巡检在托管环境比自建更要）；导出与搬家时平台层设置带不走（换平台的迁移清单里，robots 三层是隐形资产：迁移前逐项截图存档，重配后逐项对表）。判语：托管不是免修配置学，是换了考试形式：从写作题变选择题加改错题——选项要单点，默认要验收，搬家要清点。它跟现网对表、月度巡检各条连着：机器读到的那一版，从来不分你用的是哪种建站方式。

八、一句话只在一层说

robots 配置这一格，讲的是三层系统的总装纪律。收束成几句——场景归层、单点表态、门先于收、撤拦对表、改完必验。全程不承诺设完即无误：仲裁细规它家定——但自家话可以说得只有一句：三层最怕的不是设错，是三层都在设；机器读到的那一版整齐了，全链的账就有了统一的底稿。那场例会的火没烧起来：新纪要钉在两个部门的墙上，就一行字——「先定谁的话算数」。

关于本文与本站：墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务，之后回归现名）自 2022 年起把 GEO（生成式引擎优化）作为主要研究方向之一。本文围绕百科词条「robots 配置」的常见问题，写成一篇独立长文，讲的是三层归层、优先级与变更纪律，内容坚持白帽口径，以真实、可核验的信息为依据。文中出现的个别经营片段均为零星样本、不代表普遍结局；本文不构成对被端出、被挂名、说得准、排名或任何效果的承诺，也不构成对任何具体引擎行为的保证。各引擎对配置细节的处理不一，实操以届时实测与官方文档为准。