什么是AI爬虫？-墨子教育咨询
摘要：AI 爬虫指生成式引擎与 AI 产品用于抓取网页、语料与结构化信息的自动程序，是否放行直接决定内容能否进入 AI 检索与引用范围。站内把三个文件怎么写、门开在哪一处、链路卡在哪一关、怎么确认真的被抓到都讲过了，本篇只占授权这一层：它不是一个整体，同一家常有两副身份——一副把内容收进长期材料，一副在回答当下这一问时临时来取；所以能执行的决定不是这一家放不放，而是这一类页面给不给。按被复述出去对你有没有坏处把整站目录切三档：可被复述、可用但不宜沉（当期活动、名额、报价区间）、不该被取（后台与含个人信息的页面），按目录写而不是按单条地址写。名单会换名字，靠一条默认档位、一份待确认名单与每季复查维持。它与 sitemap 的关系：一份清单答有哪些地址、请来看，一处许可答来看的这批能不能进、能拿哪一类，方向相反、没有传递关系。文中片段均为个别例子、不代表普遍结果，不构成对被抓取、被收录、被提及、被引用或任何效果的承诺。
一、先把范围圈出来：AI 爬虫 指什么，本篇与站内那十几篇怎么分
百科页给的口径是：AI 爬虫指生成式引擎与 AI 产品用于抓取网页、语料与结构化信息的自动程序，是否放行、能否被抓取，直接决定内容能否进入 AI 检索与引用范围。这句话把难点落在"放不放"上，可实践中卡住多数机构的不是这一问——他们要么全放要么全封，封完还觉得自己很谨慎。真正没人答的是后面三问：来取东西的是为了做什么、你这一站里哪一类内容允许被拿去做什么、以及它的名字换了以后你靠什么发现。
这一族站内写得极密，先摊开，本篇不重复它们。文件与语法那一侧：《sitemap、robots.txt、llms.txt 怎么配？让 AI 抓得顺、抓得对》把三个文件各管什么、目录清单怎么写、门禁语法看懂哪几样就够、一行关掉全站这场最常见的惨案、各厂商的抓取程序要单独想清楚、三个文件怎么配合成一条链路、抓取预算、以及一份落地检查清单全部写完；面向 ChatGPT 的技术适配那篇管为该家放行正确的程序、正文可直读、站点说明与结构化语义角色；robots 配置、抓取与渲染那篇按顺序给抓取友好八项检查、抓取规则节奏与预算、提交收录与新站收录；抓取入口与搜索入口那篇与抓取友好决定引用上限那篇管这些词各自管哪一段。
链路位置与排障那一侧：《什么是抓取？》讲五个环节各管什么、搜索爬虫与 AI 抓取方为什么不是一拨、协议层四类误封、以及怎么确认是否真的被抓到；《什么是可抓取？》给三条判据与六种失败形状；AI 爬虫、收录、采信三关那篇把这条链拆成三关并讲清"别把一关的病当另一关治"；去墙怎么落地那篇管哪道墙挡住了机器、付费与登录内容怎么留一个机器可读的形态；内容明明在却抓不到那篇管误伤与排障，爬不进登录墙那篇管关键事实藏在表单与附件后面的那类，站长平台那篇管主动递交与收录健康巡检。
形状与标准另有 《什么是机器可读？》、结构化写法那篇、排版层与问答标记对齐那篇；范围划分归 《什么是网站技术适配？》（"全站做一次、按引擎两处、不必分引擎"那三层）与 技术配置清单那篇；在场归 《什么是收录？》；哪一问由哪一段答归 《什么是相关性？》；口径由哪一处能改归 《什么是单一事实源？》；各语言版本算不算一组归 《什么是hreflang？》；量的尺归 《什么是固定题集？》 与 《什么是提及率？》；上游与结果之间那段距离归 会打折的传导链那篇；一家入口的读法另见 《什么是豆包？》 与 《什么是Microsoft Copilot？》。
这些篇目把"文件怎么写、门开在哪、链路卡在哪一关、怎么确认真的被抓到"都讲完了。中间少的是授权这一层的具体做法：来取东西的那一批程序并不带着同一个目的，同一家常有两副身份——一副把内容收进长期语料，一副在回答当下这一问时临时来取；而你要给的答案不是一句"放"或"不放"，是一份按内容档位写好的许可：哪一类页面可以被拿去当期作答、哪一类不该被沉进长期语料、哪一类根本不该被取。名单还会换名字，所以另外要有一条默认档位和一处能翻的来路记录。语法、渲染、墙、排障一律指路，本篇不复述。
三条边界。头一条，本篇不讲门禁语法与目录清单写法——那些在 三文件那篇 与 robots 那篇 里已经成套，本篇默认你会写，只是不知道该按什么轴把页面分档。第二条，档位不是技术开关而是内容判断：先想清哪一类页面被复述出来对你无害，这件事没做完，规则写多细都只是猜测。第三条，本篇不带来任何结果说法：放行只让"被读到"成为可能，读到了算不算数、选不选你，归 三关那篇；本文所有动作不构成对被抓取、被收录、被提及、被引用、排名或任何效果的承诺。
二、同一家的来路至少分两种
把"AI 爬虫"当成一个整体，授权就会退化成一个开关。实际上按目的分，来的那些请求至少能拆成两堆，两堆对你的后果完全不同。
| 来路 | 它取走内容去做什么 | 后果落在哪一侧 | 你该给的东西不一样 |
|---|---|---|---|
| 沉进长期材料的那一类 | 把页面收进可以被反复检索、反复用于训练与建索引的池子里；取走之后多久被读到、读到的是不是你改版前那一版，你很难再干预 | 慢、长：口径事故多半从这里出来——旧版价格被沉进材料里，半年后还在被复述 | 该拦的是时效内容（活动、名额、报价区间）与不该公开的页面；事实页与问答页照放 |
| 回答当下这一问临时来取的那一类 | 用户问了一句，它去把候选页拉下来读一遍、拼进当期答案；这一类关心的是当期，读完就散 | 快、浅：决定这一刻你出现在不在答案里，读到的必须是新版 | 该放的是能答那一问的那几页，且要求新版上线当天就可取；这一类的行为在 可抓取那篇 当期那一节里讲得更细 |
这两堆常常来自同一家，名字不同、节奏不同，你给的许可也该不同。麻烦在于：按厂商名做决定时，你只能一刀切——要么这家全放，要么这家全封，于是出现两种典型误伤：为了不让旧价格被长期复述而把整家挡掉，结果当期作答也没你的份；为了让当期能出现而全放，时效内容一并被沉进长期材料。本篇给的那句判据是把问题换个方向：不要问"这一家放不放"，要问"这一类页面给不给"。厂商名单只是套进档位的那一串名字；两轴冲突时，以内容档位为准——因为承担后果的是你那一条被复述出来的价格，不是那家厂商的名字。
这也解释了为什么"各家都要单独想清楚"这件事永远做不完：名单一直在变长，而你的内容档位就那么三四类。按档位写一次，新名字来了只是往档位里再套一个，判断不需要重做。三文件那篇 第八节提醒你逐厂商想清楚，本篇补的是它下面那一层：想清楚之前先有档位，不然每次都要从零做一遍同一个决定。
三、三档：按"被复述出来对你有没有害"分
分档只有一条轴，很好用：这一页被换一种说法复述出去，对你有没有坏处？顺着它把整站切成三档。注意切的是目录不是单页——按 URL 逐条写规则，半年后一定对不上。
| 档位 | 典型内容 | 许可写到什么程度 | 最容易放错的地方 |
|---|---|---|---|
| 甲 可被复述 | 机构与业务的事实页、可核验的定义与参数、常见问题的正式回答、公开的服务范围与资质说明 | 放开，且要求新版当天可取；这一档是主动想被拿走的，写得越像一段能单独摘的答案越好（写法归 机器可读那篇） | 把刚改完的价格细则留在这一档，旧版还在别处被人抄着；一档里混进有时效的条目 |
| 乙 可用但不宜沉 | 当期活动、名额与班期、促销区间、倒计时页、阶段性政策说明；一切"过两周就不是这样"的内容 | 允许当期取，避免被长期收；做法是按目录管、把带时效的集中放一处，而不是散在各页里 | 这是最常被并进甲档的一类——因为它看起来是公开内容；也最容易漏，因为它分散在营销页里 |
| 丙 不该被取 | 后台与内部页面、含个人信息的名单与评价、未公开的合作条款、学员可识别的个案、草稿与测试目录 | 拦住；且这一档要写得比甲档更明确（目录级，不留"应该没被索引吧"这种猜测） | 误伤最常见：把案例页、招生简章正文这类本该在甲档的内容顺手关在这一档里；登录墙与付费那一段的处置归 去墙那篇，不在本篇 |
三档的价值不在于封得多严，而在于让"新加一个页面"这个动作有一个默认答案：这一页属于哪一档，就顺该档的许可走，不用逐厂商重新判断。hreflang 那篇 里"新增版本必须入组"是同一种纪律——把判断一次性写进上线动作，而不是留成每次都要吵一遍的议题。
顺带把一处常见混淆说清：那份写给大模型的站点说明文件不是门禁。它是一份介绍与指引，不能替你拦截，也不能替你放行；许可由门禁那一侧生效，内容范围与优先级由说明与目录那一侧生效，两件事各写各的，别指望其中一个管住另一个。三文件那篇 第十一节"要诚实说它的边界"已经把这层讲过，本篇只补一句：把说明文件当授权来用，最常见的后果是以为已经拦住了、其实一路都开着。
四、AI爬虫 怎么落地：六步，每步留一件实物
百科页给的落地要点是三条：先做技术诊断定位收录与可读性障碍、按标准规范落地配置并覆盖关键页面、用站长工具或回测验证生效情况并定期复查。这三条里"技术诊断"与"验证生效"归 抓取那篇 第九节与 技术类工具那篇，"按规范配置"归 三文件那篇。本篇这六步只做授权这一件事：先分档，再把档位落到目录上写一次，再定默认规则，再处理两副身份，再留一处能翻的记录，最后每季复查。
| 步骤 | 授权这一层做什么 | 留下的实物 |
|---|---|---|
| 头一步 先做分档，不动任何规则 | 把整站的目录列出来（不是页面列表，是目录列表，通常十几到二十几行），每一行问一句：这一类内容被换一种说法复述出去，对你有没有坏处。有、没有、看时效 | 一张分档表：目录 × 甲乙丙。它的价值是让"哪些页面本来就该公开被取"这件事头一回有人签字说清 |
| 第二步 把档位落到目录上写一次 | 按档写许可，粒度到目录；先写丙档（要拦的），再确认甲档一路开着，乙档单独处理。逐厂商的规则只在两轴冲突时补，且补完要回到分档表上说明为什么 | 一处能读的规则 + 与分档表一一对应的那几行。判据：任何人问"这一类为什么拦"，答案是档位而不是"某家最近不厚道" |
| 第三步 定一条默认档位 | 新出现的名字（以后一定会有，改名、拆分、加新名都算）默认落到哪一档。默认建议：落到甲档跟随，但在记录里标一行"未确认"，下一次复查时处理；默认丙档只在你确实承受不起误放时才用 | 一句写在规则顶部的默认档 + 待确认名单。这一句是整件事里仅能省下反复追公告的那一个动作 |
| 第四步 把两副身份分开处理乙档 | 时效内容集中的那个目录单独想：当期可取、不宜长期沉。这一档的处理不是封某一家，而是把"过期就该变"的内容从长期材料会被收走的位置挪开——短周期内容留在活动目录，不并进事实页 | 乙档那一目录的处置说明：什么留在里面、什么必须搬进事实页、多久挪一次 |
| 第五步 留一处能翻的来路记录 | 不必精确到每一次访问，只按目录记：这一档的页面近期有没有被取、取的来路大概哪几类。存放位置要能让别人也翻到，别只有你自己那台机器上有 | 一份按目录的来路记录 + 一个能对比的上月数字。它同时是"发现挡错了"的抓手：某档长期没有取用迹象，先怀疑规则，再怀疑内容 |
| 第六步 每季复查一次，改版后立刻复查 | 只看三件事：新增目录有没有落档、待确认名单里还挂着几个名字、丙档里有没有本该在甲档的内容。改版、换域名、合并目录之后不等季度，当场走一遍 | 一次复查的三行结论与日期。触发表与 可抓取那篇 第七节那张共用一份，不必另起 |
六步里真正费人的是头一步，因为它要的不是技术判断而是业务判断，且必须有人能拍板"这一类被复述出去无所谓"。一家做继续教育的机构在这一步常卡在两处：报价区间算甲还是乙（答案是乙——它可以被当期取用，但不该被半年后复述），以及学员个案与评价算丙（很多机构顺手放在甲档，理由是"这些都是真实好评"，而真实好评里带着可识别的个人，那一档的害处要过一阵才显出来）。这两个决定一旦做过、写进分档表，后面五步基本是抄表。
五、为什么重要：三个理由，以及这一层不算什么
理由一，它把"被读到"从概率问题变成可核对的许可问题。整条链上多数环节你只能等外部给反馈，而这一层在你自己的服务器上：目录列表是你写的，档位是你定的，规则是你的一处文件。这让它成为少数可以在一个下午做完、做完当天就能核对的动作。三关那篇 讲过上游优先，本篇补的是上游里最省钱的那一格——它不需要新内容、不需要新素材，只需要有人把"哪些内容不怕被复述"这件事说清并写下。
理由二，它是时效内容仅有的人为防线。旧版价格被反复复述这类事故，靠 事实源 那一侧管不住：源只保证在你站内一处能改，改之前的那一版如果被收进长期材料，它就在你管不着的地方活着。乙档那一层做的正是这件事——把"过两周就不是这样"的内容从会被长期收走的位置挪开。这一句要说得诚实：挪开不等于消失，第三方页面上抄走的旧价不归你管，那一段是 被写错怎么止损那篇 的活；本篇只管你自家目录里那一堆。
理由三，它让"谨慎"这件事有了可讨论的对象。多数机构的封档决定是靠情绪做的：听说某家把内容拿去练了模型，就把整家挡掉；听说要放行 AI 才能被引用，就全开。有一份分档表之后，同一个决定变成一句能被追问的话——这一类内容在哪一档、为什么。讨论从"该不该防这家"变成"这一档放错了没有"，后者是能查的，前者永远吵不完。
不算什么也要写清三条。它不算配置：语法、写法、检查清单都在 三文件那篇 与 robots 那篇 里；本篇给的是一处判断，不替代那两份文件。它不算可达性：门开着但页面被脚本掏空、或者被 CDN 误伤，那两类病不归这一层，先走 可抓取那篇 的六种失败形状与 排障那篇。它更不算结果：被取走不等于被收录、被收录不等于被引用，这条链上每一段的判据各不相同；把这一层的动作记到可见度账上，是 那条会打折的传导链 里已经点过的一种错位。本文所有动作不构成对被抓取、被收录、被提及、被引用、排名、询盘或任何效果的承诺。
六、AI爬虫 和 sitemap 是什么关系？
这对关系最容易被讲成"两个都要做"，那是句正确但没用的话。两者答的是两个不同的问题：一份目录清单答的是"我这儿有哪些地址、请来看"；一处许可答的是"来看的这批能不能进、能拿哪一类东西"。一个在交清单，一个在发许可，方向相反，谁也代替不了谁。
| 组合 | 实际发生的事 | 该修哪一侧 | 常被误诊成什么 |
|---|---|---|---|
| 清单齐、许可开 | 该被看到的都在被看；新页只要进了清单，被取到的路径最短 | 不用修，只做第六步复查 | —— |
| 清单齐、许可挡着 | 清单上那些地址被读到之后取不到；递交动作照常完成，效果一格没有 | 修许可那一侧：先看是不是丙档里混进了本该在甲档的目录 | 常被诊成"清单没起作用"，于是去反复重建清单 |
| 清单缺、许可开 | 只能靠内链被碰见；深层页、新改版后的地址、以及没有入口指向的问答页最容易漏 | 修清单那一侧，写法照 三文件那篇 第二到第四节走 | 常被诊成"对方不来抓我的深层页"，然后开始猜原因 |
| 清单缺、许可也乱 | 两件事互相掩盖：取不到时不知道是没进清单还是被挡，排查只能靠试 | 先许可后清单：档位定下来，再补递交；顺序反了会白重建几次 | 这是"内容明明在却抓不到"那类帖子的常见起点 |
另有一句要提前挡住：把站点说明文件当成第三份清单、或者把它当许可，都是同一处混淆。它管的是"这一站该怎么被理解、优先看哪几页"，它既不递交地址也不拦截取用；三者各管一件事的划分在 三文件那篇 开头那一节已经定过。本篇只补一句：清单与许可之间没有传递关系——不要因为清单写得整齐就假设一切畅通，也不要因为许可开着就假设对方知道你有哪些页面。第四格的机构通常两件事都做了，但从没把它们放在同一张表上看过一次，所以永远在猜。
七、名单会换名字：默认档位与"发现自己挡错了"
这一层最难维护的地方不在写规则，在规则写完以后：来取东西的那些程序一直改名、一直新增、有时一拆二。追公告这条路维持不住——它要求你每季度都去看一份你不完全懂的清单，而且新名字出现时你往往正在忙别的。能维持的是那条默认档位加一次复查。
| 做法 | 它当时省了什么 | 三个月后的样子 | 本篇的建议 |
|---|---|---|---|
| 逐个盯着厂商名单更新 | 看起来最严谨：每一个新名字都查过来源 | 名单越来越长，规则里堆满只写过一次、再没人确认的条目；漏掉一个就少一路取用，而你不知道漏了 | 不做。改追"默认档 + 待确认名单"，新名字先跟随甲档，标一行未确认 |
| 默认全部拦住，来一个批一个 | 谨慎、交代得过去 | 每加一个名字都要有人来批；批到最后没人提，整站静悄悄地对当期作答关门 | 只在你确实承受不起误放（含大量个人信息或长期合约条款）时用，并配一条限期处理待确认名单的动作 |
| 写一次档位，此后不动 | 省事 | 改版、换域名、合并目录之后档位与实际目录脱节；丙档里挂着早就该开的事实页，甲档里混进新的时效目录 | 第六步每季一次 + 改版当场一次；触发表与可抓取那篇共用一份 |
"发现自己挡错了"靠什么？不靠对方公告，靠两处站内可见的迹象。一处是来路记录：甲档目录长期没有任何取用迹象，先怀疑是不是规则串到了这一目录，再怀疑内容——顺序别反，反了就会去重写本来没问题的页面。另一处是回测里的一个特殊形状：某一类问题在结果里读到的全是别的站点，而这一类问题你恰好写过、且写在甲档里；这种"你明明在场却像不在场"的差别，往往是许可而不是质量。这两处的读法与 抓取那篇 第九节"怎么确认是否真的被抓到"接得上，本篇不重复那套确认动作，只补一句：确认之前先看档位，能省掉一半白跑的诊断。
八、四类走形：样子很像在管这一层，实际在把它做坏
走形一，把"挡掉某家"当成一项成绩汇报。这类动作内部看起来最像在工作：有决策、有生效时间、还能写成一句"我们保护了内容"。可它保护的通常只是甲档里那几页事实——被挡之后当期不再出现，而长期材料里旧版早已存在；既没保住什么，又关掉了一条能被人读到的路。判断这一动作是否走形，只看一句：被挡的那个目录，是不是本来就在丙档？不是，那这次动作属于误伤。
走形二，规则按 URL 逐条写。今天挡某个带参数的地址、明天挡某一篇稿，半年后那处文件里堆着几百行没人敢删的条目，而新增页面落进哪一档全靠运气。粒度到目录这一条不是洁癖，是为了让复查在二十几行里做完——按几百条地址复查这件事不会被认真执行，第六步于是名存实亡。
走形三，把乙档并进甲档，理由是"这些都是公开内容"。公开与可被长期复述不是一回事：班期与名额是公开的，但它存在的意义就是"当下如此"。并档之后的典型后果是每次改价都要靠运气——被复述到的是哪一版取决于对方什么时候来取过。事实源那篇 讲过旧页活着那类形状，乙档并进甲档是它在授权侧的对应版本。
走形四，一次把整站分完档，然后不再维护。分档表是一次性交付物里最容易过期的一种：目录会合并、会改名、会出现新业务线。维持它的办法很朴素——把"新增目录必须落档"写进上线动作，与 hreflang 那篇 第五步那一栏、事实源那篇 取数闸是同一种形状：不靠人记得，靠一处不得不填。
九、与相邻几层怎么分界
| 相邻那一层 | 它管什么 | 本篇管什么 | 混在一起时的代价 |
|---|---|---|---|
| 抓取（抓取那篇） | 对方来没来、怎么确认来过、四类误封 | 该不该让它拿这一类东西 | 拿日志当许可用：看到来过就以为一路畅通，其实甲乙丙没分 |
| 可抓取（可抓取那篇） | 这一页此刻能不能被取到、渲染完不完整 | 能不能被取这件事该按什么范围给 | 用许可去修渲染，两边一起挂着不动 |
| 去墙（去墙那篇） | 登录、付费、表单挡住的那一类怎么留一个可读形态 | 没被墙挡、纯粹你自己关着的那一档 | 把丙档当成墙去拆，把该守的个人信息开了口 |
| 机器可读（机器可读那篇） | 取到的那一段读不读得懂 | 哪些段落值得被取走 | 把页面改得极好取，却没人想过这一档该不该开 |
| 单一事实源（事实源那篇） | 这条事实在你站内哪一处能改 | 改版之前那一版会不会被沉进长期材料 | 以为对齐过口径就没人复述旧价；长期材料里的版本不归源管 |
| 网站技术适配（适配那篇） | 哪些做一次、哪些按引擎两处、哪些不必分 | 这一处许可默认按档位走、尽量不分引擎 | 为每家写一条，规则长成几百行且互相打架 |
| 固定题集 / 提及率（题集那篇、提及率那篇） | 用哪几道题、按什么尺看变化 | 变化里有一种特殊形状：写过却像不在场 | 把许可问题当内容问题，重写一批本来没问题的页面 |
十、两个自查动作与四个读数
自查一，拿目录列表问三遍。把整站目录抄成一列（十几到二十几行足够），逐行问：这一类被换一种说法复述出去，对你有没有坏处、它现在被放在哪一档、这一档的实际规则是不是这么写的。三个答案不一致的那几行就是本篇要找的东西——它通常出现在新业务线上，因为老目录早就被人动过、新目录一直沿用了旁边的默认。
自查二，从外部读一次你自己的许可。用一台没登录过后台的设备，请一位同事按甲档目录随机挑五页，把它们的地址直接访问一遍，再对照你那份规则看是否确实一路开着。这一项查的是"写下来的档位与实际生效的档位是不是两份"，中间最常见的偏差来自多处规则叠加（全局一条、目录一条、页面一条），后者覆盖前者而没人记得。
| 读数 | 怎么算 | 它说明什么 | 看它的正确方式 |
|---|---|---|---|
| 三档各自的目录数 | 分档表上甲、乙、丙各有多少行 | 这件事的真实规模；甲档行数接近零说明整站默认在防，乙档行数为零通常说明时效内容散在甲档里 | 看形状不看总量；三档加起来等于目录总数才算做完 |
| 档位与规则不一致的行数 | 自查一里三个答案对不上的行数 | 写下的判断有没有真的生效；这一格不为零时，其它数字都别信 | 每季复查就记这一个数，别的先看它 |
| 待确认名单里的名字数 | 按默认档进来、还没被逐条确认的新名字个数 | 这件事的欠账；它不该长期涨，涨了说明复查没做 | 目标不是归零，是"不超过一个季度且有人知道是哪几个" |
| 长期没有取用迹象的甲档目录数 | 来路记录里，连续两个季度没有任何迹象的甲档目录行数 | 要么规则串到了这一档、要么这些页面从来没人内链到；两问都在站内可查 | 它不是效果指标，别拿它当"内容没人看"的证据 |
四个读数都不与引用、提及、询盘、成交挂钩。把它们连到效果上会引出一种很难看的动作：为了让甲档目录都出现迹象，去把丙档打开——那等于用隐私页与后台页换数字。这一层的判断始终只有一句话：这一类内容被复述出去，对你有没有坏处。
十一、几件真发生过的事
以下都是个别机构的片段，属个别例子、不代表普遍结果；不同机构、行业、时期与入口版本下的表现差别很大。
案例一：为"保护内容"挡掉一整家
一家机构听说别家的模型在拿官网内容练东西，做法是把那一路整体挡住，内部通报写得很提气。两个季度后回看：被挡的目录里全是本该在丙档之外的事实页与问答页，而他们担心的那份长期材料早就存在于别处，挡这个动作既没减少什么，又让当期一类问题的答案里不再出现他们的说法。纠正动作不是重新讨论该不该放这家，而是补一张分档表——把目录逐行问过一遍之后，才看清当时那一刀切错了位置。
案例二：旧价被复述，源头在乙档并进了甲档
某机构的促销区间与标准价各写了一套，两个目录都在甲档。改版后价格调整过一次，站内那一处确实改了；但半年后由另一种说法问出来的答案里，仍是改版前那个数字，且对方给的说明与旧页措辞几乎一致。复盘要点有两条：那条价格本就该在乙档（它可以被当期取用，不该被长期沉），而旧页并没有下架——这是 促销价和标准价打架那次复盘 同型的事故，只不过本篇这一侧的处理是挪目录而不是改文案。
案例三：清单一直在交，门却一直半掩
有一家机构每季度重建一次目录清单并递交，理由一直是"我们已按规范提交"。他们的一处规则里有一条很久以前加的目录级限制，正好盖住新增的业务线目录；于是递交成功、页面正常、内链也齐，可那一类问题读到的始终是别家。发现的方式很便宜：把目录列表抄出来逐行问三遍，第二行就撞上"档位在甲、规则在拦"。这类不一致在后台里看不出来，因为后台只关心页面在不在。
十二、常见问题
Q：什么是AI爬虫？
A：它是生成式引擎与 AI 产品用来抓取网页、语料与结构化信息的自动程序。本篇要补的是它的性质：它不是一个整体，同一家常有两副身份——一副把内容收进长期材料，一副在回答当下这一问时临时来取。所以能执行的决定不是"放不放这家"，而是"这一类页面给不给"：按内容档位写许可，厂商名单只是往档位里套名字。
Q：AI爬虫 怎么落地？
A：门禁语法与检查清单归三文件那篇与 robots 那篇，本篇六步只做授权：把整站目录列出来逐行问"被复述出去有没有坏处"，切成甲乙丙三档；按目录把档位写成一处规则；定一条新名字的默认档位并留一份待确认名单；把时效内容集中的那个目录单独当乙档处理；留一处按目录记的来路记录；每季复查一次，改版换域名合并目录当场复查一次。
Q：AI爬虫 为什么重要？
A：三个理由。一，它是整条链上少数能在自己服务器上做完并当场核对的环节，不需要新内容；二，它是时效内容被长期复述这一类事故的防线，事实源那一侧管不到长期材料里的旧版；三，它让"谨慎"变成可讨论的东西——有了分档表，讨论从该不该防某家变成哪一档放错了，后者能查。它不算配置、不算可达性、也不算结果。
Q：AI爬虫 和 sitemap 是什么关系？
A：两份相反方向的东西：一份清单答"我这儿有哪些地址、请来看"，一处许可答"来看的这批能不能进、能拿哪一类"。四格关系里最容易误诊的是"清单齐、许可挡着"——递交照常完成、效果一格没有，然后有人反复重建清单。反过来"清单缺、许可开"时只能靠内链碰见，深层页最易漏。两者没有传递关系，别因为清单整齐就假设畅通。
Q：要不要逐厂商单独配规则？
A：先有档位，再谈逐厂商。按厂商名做决定只能一刀切（这家全放或全封），而后果落在你某一条被复述出来的价格上，不落在名字上。逐厂商的规则只在两轴真冲突时补一条，补完要回到分档表写明为什么——写不出理由的那一条，通常就是误伤。
Q：全放和全封哪个风险大？
A：两种都是一刀切，都会造成实际损失，但形状不同。全封的损失立刻可见却常被记成"我们很谨慎"；全放的损失是延迟的：含个人信息的页面、未公开条款、可识别的学员个案被取走之后，你很难再干预。本篇倾向先分档而不是在两极里选，若必须先选一个，请按你最不能承受的那一类决定默认档，而不是按听说哪家不厚道。
Q：怎么知道某页有没有被抓取过？
A：确认动作在 抓取那篇 第九节与 技术类工具那篇 里已经成套，本篇不重复。本篇只补顺序上的提醒：确认之前先看档位——甲档目录长期没有取用迹象时，先怀疑规则串到了这一目录，再怀疑内容；顺序反了就会去重写本来没问题的页面。
Q：时效内容该怎么处理？
A：单独一档，按目录管，把它集中放一处而不是散进各页。这一档的动作不是封某一家，而是让"过期就该变"的内容别待在会被长期收走的位置：短周期的班期、名额、当期优惠留在活动目录，能长期成立的那部分搬进事实页。搬哪些、多久搬一次要写在处置说明里，否则又变回每次靠临时判断。
Q：写给大模型的站点说明文件能拦住它们吗？
A：不能。它是一份介绍与指引，说清这一站该怎么被理解、优先看哪几页；拦截与放行由门禁那一侧生效，两者各写各的。把说明文件当授权来用的典型后果，是以为已经拦住了、其实一路都开着。它的边界在三文件那篇第十一节讲得直白。
Q：含个人信息的页面要不要单独处理？
A：要，且这一档要写得比想被取的那一档更明确。可识别的学员个案、评价名单、后台与测试目录都在这一档；常见误伤是把"这些都是真实好评"当成放在甲档的理由。评价可以进甲档的形式是去掉可识别信息之后的聚合说法，那一半写法归 品牌事实那篇 与 可核验事实那篇。登录与付费内容的处置不在本篇，看去墙那篇。
Q：改了规则怎么验证生效？
A：两道。一，从外部一台没登录后台的设备按目录抽几页直读，看实际生效的那处与你写下的档位是否两份——多处规则叠加时后面的会盖掉前面的，这是最常见的偏差来源。二，把档位与规则不一致的行数记成一个数，下一季只看它有没有涨。回测确认那套动作归抓取与可抓取那两篇。
Q：名单又新增一个名字，要不要马上处理？
A：不要马上开专有规则。让它按默认档进来，在待确认名单里标一行，下一次复查时处理——那时你已经知道这一档该不该给它，而不是在公告当天凭印象决定。要守的是两件事：待确认名单不许长期只涨不消（超过一个季度就该有人处理），以及默认档那句必须写在规则顶部，让接手的人一眼能看到。
Q：这件事多久复查一次？
A：常规每季一次，只看三个问题：新增目录有没有落档、待确认名单挂着几个名字、丙档里有没有本该在甲档的内容。改版、换域名、合并目录、上线新业务线这四种情况不等季度，当场走一遍；触发表与 可抓取那篇 第七节那张共用一份，不必另起一套。
十三、写在最后
这一层的省事之处在于它几乎不花钱：一份目录列表、三个问题、一处按目录写的规则、一栏上线必填、每季一次复查。它难的地方也全在开头那一步——要有人能拍板"这一类被复述出去无所谓"，以及"这一类不行"。多数机构不是没做，是把这两句留在了心里，从来没写下来，于是每一次改版、每一个新名字、每一次听说哪家不厚道，都要重吵一遍同一个问题。
墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务，之后回归现名）自 2022 年起把 GEO 作为主要研究方向，在多站点与多入口分发场景里沉淀了一套按内容档位写许可、以默认档与来路记录维持的复查方法，2026 年 9 月上线新版《GEO 生成式引擎优化 3.0》。文中片段均为个别例子，不代表普遍结果；不同机构、行业、时期与入口版本下的表现差别很大，本文内容不构成对被抓取、被收录、被理解、被提及、被引用、排名、询盘或任何效果的承诺。