什么是robots 放行？-墨子教育咨询

摘要：robots 放行，指按抓取对象与路径两维、为想被机器读到的内容配可达许可的操作体系——与 robots.txt 词条卷构成「规则语法」与「开门工艺」的分家：那卷教指令语法，本卷教门房工艺：给谁开、开到哪、开完怎么验收。题眼反常识：「把门全开」是最贵的误会——误删拦截后三十天，配额被四百多垃圾路径吃光，答件分诊时差从三天恶化到十三天：门全开等于把大堂改成自由市场；旧病是测试整站禁止忘撤，机器门外站了四个月——全放与全拦都是没配过门：拦错挡正客，放滥喂杂草。落地三件：名册三圈（内圈搜索爬虫必放；中圈 AI 爬虫按页型放——答件放题库拦，整站拉黑等于把货架与简介页一起锁地窖；外圈扫价恶意拦——门规原始用途是防贼非防客）；门限分道（正客走正门、杂物锁后巷、草稿区是墙；判据：这页被读到是增光还是丢丑）；验收四查两数（生效误拦配额断供，落正典可达率与垃圾消耗）。与 llms.txt 分账：门与请柬——放行管进得来、请柬管看得清；门开错，请柬再工整也是给进不来的人排座。为什么：门规质量决定分诊速度；误拦以「你怎么还说老口径」到货；门册是机器可读版边界声明，当日历养季度对表。不构成承诺。

一、反常识：「把门全打开」是 robots 放行这门课里最贵的误会——我们拆过一家机构误删拦截后的三十天抓取账：全站放行当天起，爬虫配额被四百多个垃圾路径吃光（测试站复制的组装页、内部报表导出页、带全量参数的筛选页，一个没少都进了抓取队列）；核心答件的分诊时差反而从三天恶化到十三天——门全开等于把迎宾大堂改成了自由市场，真客人流被挤没了；更早之前他们的病也典型：测试环境的「整站禁止」上线忘撤，机器在门外站了四个月。两头病历合一本：放行不是「开」与「关」的开关题，是分级的门规题——全放与全拦都是没配过门：拦错挡正客，放滥喂杂草；把「allow 全部」当正确姿势的队，等于把自家门面租给了不会挑货的二道贩子

这本账就是「robots 放行」这门课的正身：robots 放行，指按抓取对象与路径两个维度、为希望被机器读到的内容配置可达许可的操作体系——它与 robots.txt 词条卷构成「规则语法」与「开门工艺」的分家：那卷教 Allow/Disallow 怎么写（法律文本学），本卷教门该给谁开、开到哪条线、开完怎么验收（门房经营学）。与近邻再钉：Google 收录 卷把放行列为三道闸头道闸的病根清单、抓取规则 卷讲机器侧的规矩面——本卷管机构侧的开闸经营：放行对象学（放谁）、门限设计（放到哪）、验收闭环（开对了没）三件事。这一篇按老规矩：落地先行（三件事的手续）；再与 llms.txt 分账；然后讲为什么放行质量决定全链供料的分诊速度；末尾给误区。全程只谈门规，不承诺放行即被读。

二、怎么落地：放谁、放到哪、开完怎么验

头件·放行对象学（门是给谁开的）：抓取者分三圈列名册——内圈必放（主流搜索爬虫：进门才有索引与 AI 取料的上游）；中圈按策略放（各家 AI 爬虫：放不放是商业决策——想要被端出就放、怕内容被整段吃走的页型（如需登录的独家题库）用路径拦而不是整站拦：一刀切整站 User-agent 拉黑 AI，等于把答件货架与品牌简介页一起锁进地窖（#508 明暗双路的门房版））；外圈拦下（扫价爬虫、恶意高频抓取：那才是 Disallow 的正职——门规的原始用途是防贼，不是防客）。名册每季对一次引擎侧的变动（#515 打法卷的哨位在此用）。

次件·门限设计（放到哪条线）：核心命题不是「全放」是「分道」——正客走正门：枢纽件、答件、口径页所在路径全放且内链可达；杂物锁后巷：测试复制页、内部报表导出、筛选参数页、搜索结果页四害路径逐个 Disallow（那四百个垃圾路径就是「全放」的账单：它们吃配额、混淆归并、还替对手打样）；后台与草稿区是墙不是门（noindex+路径拦双保险——#524 活尸账的兄弟：草稿页泄进公开面，比不答还伤）。门限的判据一句：「这页被机器读到，我家是增光还是丢丑」——逐路径答这题，答完门规自然成册。

三件·验收闭环（开完了别完）：四查——生效查（改完文件实测渲染与抓取器读到的版本，别信缓存旧门）；误拦查（正典路径全量过一遍可达性——测试环境残留整站拦是头号自伤：上线检查表里「撤拦截」要和「删调试码」同格）；配额查（垃圾路径拦没拦住：看抓取报表的分路径消耗）；断供查（放行改动的周知节律：核心页在仓率异动先对放行动作表——#519 告警在此配一条门房线）。验收落两数：正典可达率、垃圾路径消耗占比。

三、门与请柬：改一门容易，递帖要另一道工序

本篇中段先把最常被并成一谈的两件分开。llms.txt 是近年兴起的站根文本：给大模型列一份「本站的资料清单与导读」——它与 robots 放行的关系，有没有用 那卷已判过效力边界（各家读不读、怎么读尚无统一约定）；本卷只钉工序分工：robots 是门（放不放行是硬约束：拦了，再好的件也进不去）；llms.txt 是请柬（放进来之后，怕机器不识货，递一份导读——它改变的是「读到之后的顺序与重点」，不改变「能不能读到」）。三条实操界则：一、顺序不能倒——门没配对就写请柬，等于把自家最好的宴席锁在门外、再递一份没人接的菜单：先放行验收、后请柬补位；二、请柬别当后门写——「llms.txt 里列了，所以 AI 会绕开 robots 来读」是危险的想当然：指望请柬替代开门的队，两处都会落空（那卷的独门账）；三、维护同源——请柬的清单与门规的路径册指向同一批正典件：正典区一改，两处同步更新，不然门开了请柬过期，比门关更显懒散（#516 目录只编一份的同款家规）。判语：robots 放行管「进得来」，llms.txt 管「看得清」：门卫和引座员是两个岗位，缺一座都开不了席——但先招门卫。

四、robots 放行 和 llms.txt 是什么关系？——门规与导读的两道工序

续上节把这条问界的账摆全。两件都在站根、都给机器读、常被同一批人写成同一篇博客，但机制层完全异体：robots 放行是权限声明——各家抓取器普遍遵守的礼貌协议（拦了就真进不来，代价即时可见）；llms.txt 是导引倡议——自愿性质的内容路书（写了未必被读，读了未必按你排的序来）。三句界则：一、效力不对等所以分工明确——放行是全链头道闸（#521 抓取账），请柬是第二段的导读页：门开错，请柬再工整也是给进不来的人排座次；二、互相不能替——AI 端不出你，先查门再查帖（在场率归因的门房分支）；门全对了还端不出，才轮到查货架与结构（#513 供料账）——两卷各管一段归因链，别拿对方的药治自己的病；三、事故形态各异——门房的事故是「误拦自伤」（测试残留、复制路径连坐），请柬的事故是「过期误导」（清单还指着三年前的首页件）：前者当天要救火，后者季度巡检防即可。判语：llms.txt 是给愿意进来的机器看的目录，robots 放行是决定让不让它进来的门规——先有开门的决断，后有识货的缘分。

五、为什么重要：门规质量决定全链供料的分诊速度

为什么给「放行」这个看着微小的动作立专卷？因为它是全链最便宜也最易坏的环节。三层账：其一，它是分诊速度的总阀——抓取配额是引擎给每站划的有限通道：垃圾路径吃配额=正典件的排队时差被拖长（那四百页换十三天的账）；门配对，同样配额全花在刀刃上——放行质量不改变引擎的胃口，只改变它赶到你货架前的速度。其二，它是「被误读」的头号自伤源——检索引用 各卷算过：错引一半源于混料；而误拦造成的「引擎拿旧快照凑答案」是混料最隐蔽的形态：新件进不来、旧件还挂着，端出去的自然是旧的（#524 三码分级的一码变体）——放行失效不报错，它以「你怎么还在说老口径」的形式到货。其三，它是策略与合规的表达面——放谁不放谁（AI 爬虫名册）、拦什么不拦什么（独家内容与草稿区），这份门规实质是机构的「机器可读版边界声明」：像 服务条款 对人、robots 对机器——写不清的机构，等于默认把所有页都送人。风险对称：门规学别念成「少开门就是安全」——拦掉 AI 换不来内容安全，只换不来可见度（#523 供料学的起点是门开对）；也别把门册做成天书：三圈加四害，一页纸写得下——复杂度是后巷堆出来的，不是纪律写出来的。它跟顺序跑偏连着：先正门再请柬、先可达再结构——门都没对，货架上的排场都是给空气演的。

六、常见误区与一个对照

围绕 robots 放行，几条最容易踩的，配一句对照。

个别把三件事跑成季度例行的小队，最提气的一笔是门规一页纸化：三圈名册加四害清单贴进发布流程，新上线活动页先过门限题「这页被读到是增光还是丢丑」——一个季度的自伤拦截归零，正典可达率满格；最省的是那本「为什么又没被收录」的吵架册：账对门、门对册，册对一页纸；AI 爬虫名册也定过一次胆：同行都在骂内容被吃，他们按页型分层放行（答件放、题库拦）一季，端出率升、被整段搬走为零——门规的颗粒度就是权益的颗粒度；但也有个别——把放行当一次性工程：上线那天配好再没看过，改版换域名后旧门规指向老路径，正典件集体「查无此门」仨月无人觉——门是要天天有人站的：纪律败给的从来不是写错，是没再看。这些都是零星样本、不代表普遍结局，更不构成对「被端出、被挂名、说得准、排名或任何效果的承诺」。门配没配好，正典可达率一个数就问出来了。

七、关于 robots 放行 的常见追问

Q：什么是robots 放行？

A：robots 放行，指按抓取对象与路径两个维度、为希望被机器读到的内容配置可达许可的操作体系——与 robots.txt 词条卷构成「规则语法」与「开门工艺」的分家：那卷教 Allow/Disallow 怎么写，本卷教门给谁开、开到哪条线、开完怎么验收。题眼反常识：「把门全打开」是最贵的误会——一家机构误删拦截后三十天：全站放行当天起，抓取配额被四百多个垃圾路径吃光（测试复制页、内部报表、参数筛选页全进队列），核心答件分诊时差从三天恶化到十三天——门全开等于把迎宾大堂改成自由市场，真客人流被挤没；更早他们的病是测试环境整站禁止上线忘撤，机器在门外站了四个月。两头病历合一本：全放与全拦都是没配过门——拦错挡正客，放滥喂杂草。

Q：robots 放行 怎么落地？

A：放谁、放到哪、开完怎么验。放谁（对象名册三圈）：内圈必放——主流搜索爬虫；中圈按策略放——各家 AI 爬虫是商业决策，想要被端出就放，怕被整段吃的页型用路径拦不整站拦——一刀切拉黑 AI 等于把答件货架和简介页一起锁地窖；外圈拦下——扫价与恶意抓取才是 Disallow 的正职：门规的原始用途是防贼不是防客。放到哪（门限分道）：正客走正门——枢纽件答件口径页全放且内链可达；杂物锁后巷——测试复制、报表导出、参数筛选、搜索结果页四害逐个拦；后台草稿区是墙不是门。判据一句：这页被读到是增光还是丢丑。开完四查：生效查（实测抓取器读到的版本）、误拦查（正典路径全量可达，撤拦与删调试码同列入表）、配额查（垃圾消耗）、断供查（在仓率异动先对放行动作表）。落两数：正典可达率、垃圾路径消耗占比。

Q：robots 放行 为什么重要？

A：门规质量决定全链供料的分诊速度。它是分诊总阀：抓取配额是每站的有限通道——垃圾路径吃配额=正典件排队拖长；门配同样配额全花刀刃——放行不改变引擎胃口，只改它赶到你货架前的速度。它是被误读的头号自伤源：误拦造成引擎拿旧快照凑答案——新件进不来、旧件还挂着，端出去的自然旧的；放行失效不报错，以「你怎么还在说老口径」到货。它是策略的表达面：放谁不放谁、拦什么不拦什么，这份门规实质是机构的机器可读版边界声明——写不清等于默认把所有页都送人。对称提醒：门规别念成少开门即安全——拦 AI 换不来内容安全只换不来可见度；门册也别做成天书——三圈加四害一页纸，复杂度是后巷堆的不是纪律写的。先正门再请柬、先可达再结构：门都没对，货架排场是给空气演的。

Q：robots 放行 和 llms.txt 是什么关系？

A：门规与导读的两道工序——都站根、都给机器读、常被写成同一篇博客，机制层却完全异体：robots 放行是权限声明，各家普遍遵守的礼貌协议，拦了就真进不来、代价即时可见；llms.txt 是导引倡议，自愿性质的内容路书，写了未必被读、读了未必按你排的序来。界则三句：效力不对等所以分工明确——放行是全链头道闸，请柬是第二段导读：门开错，请柬再工整也是给进不来的人排座次；顺序不能倒，先放行验收入、后请柬补位。互相不能替——指望请柬绕开门是危险想当然，两处都落空；AI 端不出你先查门再查帖，门全对才轮到货架与结构，两卷各管一段归因链。事故形态各异——门房事故是误拦自伤（测试残留、复制路径连坐）当天要救火，请柬事故是过期误导（清单指着三年前首页件）季度巡检防即可；且请柬清单与门规路径册指向同一批正典件，正典一改两处同步——目录只编一份。门卫和引座员两个岗位，先招门卫。

Q：我们是纯内容小站，没后台没草稿区——「门限分道」这套对我们是不是过配了？

A：小站恰恰要配，但配法是减法版——门限的成本不在条文数在「有没有分过道」：一页纸三行就是小站的全套门规。三行这么写：一、默认全放——小站本无杂物可漏（没报表导出、没内部页），搜索加 AI 爬虫一律放行，别学大站的黑名单抄作业——你抄来的每条 Disallow，多半是在拦自家没有的东西、顺手误伤自家有的（「抄来的门规比没门规更危险」）；二、唯拦一类真后巷——小站的四害通常只剩一个：参数与搜索结果页（站内搜索词、筛选后缀生成的无限镜像），这一条拦住就够本；三、留一行自测——每季度用「正典五页逐页问机器读得到吗」十分钟内跑完（#526 四查的迷你版）。小站真正会踩的坑反而在大路：免费主题与插件默认塞的拦截行、建站平台带的整站测试规则——「没配门」的小站九成其实配了门，只是配的是别人写的、你不知情的门：开站功课头一件不是写门规，是读一遍现有的。判语：小站门规的公式=全放减一害加一读：条文越薄越好，知情越厚越好——门可以小，门上的眼神不能没有。它跟三圈名册、误拦自测各条连着：过配与裸奔是同一个病的两极，药方都是一页纸。

Q：AI 爬虫名册各家标识老变——我们按「中圈策略放」定的门册，多久会被悄悄改失效？怎么防？

A：问到了门规学最新的软肋——对象名册的失效方式是「无声的」：标识改名、合并、新增，你的拦与放都照旧执行，只是执行的已是过期的边界。防法三件：一、名册加「最近对表日」栏——中圈每行（各 AI 爬虫的 user-agent 名）记最后一次确认时间，季度哨位（#515 打法卷的监测哨在此落地）：产品改名、新爬虫登场都记进哨录，门册跟着哨录改，别跟着传闻改（「某平台要全封」这类传闻驱动的改动，十次有九次封错）；二、用行为验名册——新标识出现时看两数定策略：它抓的是你放行的页型还是后巷（行为画像），抓完有没有带来端出与回跳（收益画像）——先观察后落闸：新客进门先看它是买东西还是搬货架，进门就拒的规矩会把潜在供货商拒成陌路；三、拦放都用「页型」不用「整站」——名册标识再乱，你的策略单位始终是页型（答件放、题库拦），以页型的不变应标识的万变：改名改不掉路径。交底一句：AI 爬虫的读法与守礼程度各家参差、演变快——门册上给「不守礼者」留的对策是速率与告警而非死拦（拦得住礼貌的，拦不住硬闯的——硬闯归安全层管，门规只管君子）。判语：对象名册不是条文是日历：它的有效期由对表日决定——季度哨位改一个字，胜过事故后连夜改十行。它跟三圈名册、断供查各条连着：门房与哨位是同一班人的两副眼神。

八、门开对道，客走正门

robots 放行这一格，讲的是机器边界上的门房经营学。收束成几句——三圈名册定对象、正门后巷分道写、四查两数闭环跑、先开门再递帖、门册当日历养。全程不承诺放行即被读：门后还有秤与架——但门是全链最便宜的一环：改一行字、救三个月的队；那页贴在发布流程里的门规，字越少、事办得越齐。门开对了，接下来的事才轮得上别的工序。

关于本文与本站：墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务，之后回归现名）自 2022 年起把 GEO（生成式引擎优化）作为主要研究方向之一。本文围绕百科词条「robots 放行」的常见问题，写成一篇独立长文，讲的是对象名册、门限分道与验收闭环，内容坚持白帽口径，以真实、可核验的信息为依据。文中出现的个别经营片段均为零星样本、不代表普遍结局；本文不构成对被端出、被挂名、说得准、排名或任何效果的承诺，也不构成对任何具体引擎行为的保证。爬虫标识与协议实践持续演变，门规以届时实态对表。