什么是抓取规则？-墨子教育咨询

摘要：抓取规则，指约束自动化程序可看哪些、禁看哪些、怎么看的声明体系——四层：根目录告示文件（准入）、页内行为标签（礼数）、平台后台开关、各家 AI 爬虫按名单放行。题眼：收录暴跌查三天无果，破案是十年前防抄袭挂的「全体谢绝」老告示没摘——花十万做内容，一行配置锁进保险柜。天性：最沉默（浏览器打得开不等于爬虫进得来）又权限最大——内容再好，规则拦着，一切归零。落地：查（季度体检搜禁行遗留、改版加回归检查）、分（按名单分级开门——内容层全开、事务层收紧；放不放 AI 客先答「要不要模型引用你」，抄来的门规等于替别人做主）、立（告示准入、标签礼数、地图指路）。验收：机器视角对照测；门规是收录异常的头个嫌疑人。与抓取、可达性分账：动作、路与告示，排障倒着查。告示是建议不是铁锁——守礼人才看纸。为什么：门规拿了一票否决权——禁行即整体蒸发且静默生效；访客从一家蜘蛛变成一族 AI 客，一刀切过时；内容后果头一回大于技术后果——管内容的季度读一遍门上的纸。门规全绿只证明没人拦你，不证明有人要你。封不封 AI 是经营题：蒸发、让渡、中间道三张价目表摆上桌。先拆误禁再分访客后精分层。不构成承诺。

一、「运维报了个吓人的告警：新做的答案分析工具，三家模型一家都抓不到我们——查了三天的代码、渲染、防火墙，最后破案是建站模板里一行老配置：根目录那份『通行告示』文件写着谢绝一切来访者——那是老板十年前防抄袭挂的牌子，一直没摘」

一次乌龙把「抓取规则」这科目推到台前：全站收录暴跌查不出病灶，最后破案是根目录那份多年没人看一眼的通行告示（行业里俗称「路书」或「机器人告示」）——一行早年的「全体谢绝」，如今把搜索引擎和三家答案引擎一并挡在门外。复盘会上技术总监的总结很扎心：我们花了十万块做内容，用一行免费配置把它锁进了保险柜。这件事的普遍性在于：抓取规则是网站上最沉默的一层——不坏没人想起它，写反了没人看得见（你自己在浏览器里永远打得开，爬虫的世界你看不见）；而它的权限又极大：一行字符就能让全站内容对答案引擎凭空蒸发。抓取规则，指约束自动化程序「可看哪些、禁看哪些、怎么看」的声明体系——根目录告示文件、页内行为标签、平台后台开关三层组成，近年又添了第四层：各家 AI 爬虫的单独放行或拒绝。对做 GEO 的内容团队，这层从「运维的杂事」升格成「头道门票」：内容再好，规则拦着，一切归零——本篇就讲这四层规矩怎么立、怎么查、怎么既不裸奔也不自锁。

这一篇按老规矩先排雷——抓取规则的三条误会；再摆它与抓取、可达性诸卷的账界——动作、路与告示；然后给落地法——查告示、分访客、立分层；末尾讲为什么这层「沉默配置」在答案时代一票否决。全程只谈把门开对，不承诺放开即收录。

二、先排雷：关于抓取规则的三条误会

三条同根：这层的后果不可见——页面照常给人看、流量悄悄归零，病灶藏在你永远不巡检的地方。与近邻分账：抓取 卷记「来访者按门牌收料」的动作账，抓取可达性 卷管路通不通（渲染、速度、死链），AI爬虫 卷认访客名单（哪些是模型家的）；本卷管告示本身——门上这四层纸写什么、怎么写给对的访客看：路再通、名单再熟，你挂「谢绝入内」谁都不进。

三、怎么落地：查告示、分访客、立分层三道

头步查告示（先止血再优化）：季度一页体检——①根目录通行告示实读一遍（重点搜罗历史遗留的「全体禁行」条目，模板自带的尤其要看）；②全站页内行为标签抽查（「可摘要、可存档」这类许可词是否被模板统一设成了禁行）；③平台后台（搜索站长工具的收录开关与规则建议区）有无误设；④改任何前端结构，把「告示层回归检查」列进发布清单——防的不是写错，是改版顺手把老告示带回来（那行十年的「谢绝一切」多半就是某次模板迁移的赠品）。

次步分访客（把「进不进」写成名单而不是铁闸）：现代告示已能按访客身份分类放行——传统搜索蜘蛛与各家 AI 爬虫是两类甚至多类访客；GEO 立场的默认策略：内容层全开（该被读的被读）、事务层收紧（下单、账户、私有数据一律禁行）；要不要放 AI 客进，答一道生意题：你要不要模型引用你——要，就开内容区并配站点地图喂路；不要，也要想清楚「不被引用」在答案时代的代价（#453 三层账）再签；最怕的是没想清楚随大流设禁——抄来的告示等于替别人做门规。

末步立分层（四层纸各写各的）：告示文件管整站准入（允许清单在前、禁行清单在后、路径写精确）；页内标签管单页待遇（能不能摘要、能不能存档，答题件全许可、隐私页禁行）；站点地图（地图卷 那卷管账）管喂路——三样配合才是完整门规：告示开门、标签定礼数、地图指路；提交与回访管新增与变更（提交收录 卷的主动报到处）。验收土法两桩：机器视角对照测——用无痕与「以爬虫身份访问」两种方式各取一遍关键页，凡「人进得去、客吃闭门」的差异逐个过堂；回测反推——新页发布一周，引擎题面里查无此文先查告示再怀疑内容——收录异常，门规永远是头个嫌疑人。按优先级：先把全站性的误禁拆了再谈精细分层——铁闸不拆，分层白分。

四、和抓取、可达性怎么分账：动作、路与告示

本篇收尾把三卷的流水理直。抓取 卷是动作账：来访者按什么节奏收料、频次与配额——它发生在门开之后；抓取可达性 卷是路况账：门开了路通不通——渲染出不出得来、速度超不超标、链接断没断；本卷是告示账：门开不开、开给谁、以什么礼数开。三卷的排障顺序恰好倒过来查：收录异常先查告示（最便宜、最沉默、最致命的排头一位），再查路（可达性），最后才怀疑动作本身——多数「玄学不收录」破案都是这两层之一。与总闸 收录与引用 接一棒：门规修完只是进了候选池，端不端讲内容成色（#453/#468 那边补）；再记一条边界：告示是建议不是铁锁——守规矩的客人才看告示，真小偷从不抬头；所以门规防的是误入与消耗，护不住机密——真私密的东西靠权限与加密，不靠门口那张纸；把告示当防盗门，是这层最容易的滥用。判语：抓取卷管客人干活、可达卷管路好走，本卷管你把门上的纸贴对——贴错了，客人再勤快也只能在门外转。

五、为什么重要：答案时代，门规是一票否决的前置项

为什么给「一行字」立一卷？因为它在新时代的杀伤半径变了。三层账：其一，一票否决权变重——页面时代禁行顶多少收几个词；答案时代，模型池子进不去=在全部答题场景蒸发（#453 的池子论），一纸禁行告十条好内容的状；且这个否决静默生效——你看不见、报表不报错、客户投诉「你们网上怎么查不到」时，根因还是那行字。其二，访客结构变了——门前来客从一家搜索蜘蛛变成一族 AI 爬虫（各家名字、脾气、用途不一），一刀切的「全体欢迎」或「全体谢绝」都过时：要的是按名单分级开门——次步那道生意题，每个内容团队如今都躲不过。其三，责任界面错位——这层历史上归运维或建站外包，内容团队无权无感；而 GEO 让它的内容后果头一回大于技术后果（拦掉的是自家被引上限）——管内容的必须学会看门上的纸，哪怕不改它，至少每季度读它一遍。风险对称：分层不是裸奔——事务页、账户区、私有接口照禁（放开整站的「激进」是把保险柜也搬来店堂）；也别沉迷门规精进——告示全绿只到「可被读」，读得好不好看内容的账，别在门缝里找被引的成就感。它跟顺序跑偏连着：先拆误禁、再分访客、后精分层——顺序反了是给没人走的门雕花。

六、常见误区与一个对照

围绕抓取规则，几条最容易踩的，配一句对照。

个别把门规体检立进季度的团队，最值的是一次速胜：新活动页上线两天没进池，回查发现是测试环境的全站禁行开关忘了摘——从上线到排除只花了二十分钟，搁过去这案子要悬一个月；AI 访客的分级开门做完后，被引面的扩大肉眼可测——而他们的体会很朴素：没做什么新内容，只是把门上的纸换对了；但也有个别——把分层做成了迷宫：十几条按访客名单的差异化规则叠加，谁也不敢动、每季度都「再等等看」，一处笔误把答题区整段禁行了仨月没人发现——门规的头一美德是可读懂自己的配置：写不清的规矩等于埋着的雷。这些都是零星样本、不代表普遍结局，更不构成对「被端出、被挂名、说得准、排名或任何效果」的承诺。进不进来归门上的纸；纸贴没贴对，归你季度读没读。

七、关于抓取规则的常见追问

Q：什么是抓取规则？

A：抓取规则，指约束自动化程序可看哪些、禁看哪些、怎么看的声明体系——四层组成：根目录通行告示文件（整站准入）、页内行为标签（单页礼数：可否摘要存档）、平台后台开关（站长工具的收录设置）、以及新增一层：各家 AI 爬虫的按名单放行或拒绝。题眼：全站收录暴跌查了三天代码渲染防火墙，破案是十年前防抄袭挂的「全体谢绝」老告示一直没摘——花十万做内容，用一行免费配置锁进保险柜。这层的天性：最沉默（不坏没人想起，写反了看不见——浏览器打得开不等于爬虫进得来）又权限最大（一行字符让全站内容对答案引擎凭空蒸发）。对内容团队升格成头道门票：内容再好，规则拦着，一切归零——把门开对，既不裸奔也不自锁。

Q：抓取规则 怎么落地？

A：查告示、分访客、立分层。查（季度一页体检+发布清单回归检查）：根目录告示实读搜历史禁行遗留、页内标签抽查许可词、后台开关核对、改版必查老告示回流。分：现代告示能按访客身份分级——GEO 默认策略是内容层全开、事务层收紧（下单账户私有数据禁行）；放不放 AI 客先答生意题「要不要模型引用你」——最怕没想清随大流设禁，抄来的门规等于替别人做主。立：告示管准入（允许在前禁行在后路径精确）、标签定待遇、地图喂路、提交报新增——三样配合才算完整门规。验收：机器视角对照测（人进得去客吃闭门逐个过堂）、新页一周无收录先查告示再疑内容。先拆全站误禁，再谈精细分层——铁闸不拆分层白分。

Q：抓取规则 为什么重要？

A：答案时代门规拿到了一票否决权。否决变重：页面时代禁行顶多少收几个词，模型池子进不去等于全部答题场景蒸发——一纸禁行告十条好内容的状，且静默生效：报表不报错，客户问「怎么查不到你们」时根因还是那行字。访客变了：门前从一家搜索蜘蛛变成一族 AI 爬虫，一刀切欢迎或谢绝都过时，要按名单分级开门——每队都躲不过这道生意题。责任错位：这层历史上归运维外包，内容团队无权无感；如今它的内容后果头一回大于技术后果——管内容的至少每季度把门上的纸读一遍。对称提醒：分层不是裸奔，事务页照禁、机密靠权限不靠那张纸（守礼人才看告示，小偷不抬头）；也别沉迷门规精进——告示全绿只到可被读，被引成色归内容的账。先拆误禁、再分访客、后精分层。

Q：外包建站交付了，让技术把「抓取配置」设成「安全优先、全部禁止」——这话听着哪里不对？

A：不对劲在把门规当成了安防题，它其实是生意题——「全禁最安全」是技术岗的免责逻辑，不是你的经营逻辑。三步对话拆包裹：一、问清「防什么」：后台与账户页怕被抓——对，那些本来就该在禁行清单里；答题页与介绍页怕什么？「怕被学走」——回到老板那道题，门规防君子不防小人，对公开内容而言「禁」换来的安全感是幻觉，丢的入场券是真的——把两页清单摊开，让他自己看：全禁把两类页锁在了一起；二、给他「分开的方案」：技术要的安全感用「事务区全禁+内容区放」的结构同样满足，还少背一个「网站查无此站」的锅——外包的话术漏洞恰在偷懒：分层是细活，全禁是一行字——用一行字糊弄你，用全站的引扣了账；三、验收权拿回自己手里：门规改动走内容团队会签，交付后机器视角对照测一遍关键页——本卷那条铁律在这落地：浏览器打得开不等于爬虫进得来，谁签收谁负责；往后改版迁移，回归检查表上「告示层」一栏必须有你方签名。顺带记一笔长期账：外包按「稳妥」默认全禁的行业惯性很重（出了收录事故赖他没设禁的极少，赖你「为什么让爬虫进」的多——他的激励函数和你不同），门规这层的主导权必须内化，可以代执行、不能代决策。判语：「安全优先全禁止」不是技术方案，是免责方案——你的收录上限，别拿别人的安全感预算买单。它跟池子账、会签分工各卷连着：门口的纸要外人写，也得自家眼睛每季度读——签收那一刻，账就过户到你名下了。

Q：照书把告示全放开了，站长后台也全绿了——页还是没进池，这层的账是不是算完了？

A：算完的是门票，不是名次——门规全绿只证明「没人拦你」，不证明「有人要你」；接下来按三卷接力查，别再回门口翻账。排查顺位记死：一查路（可达性卷的账）——新页是不是渲染出来的空壳、速度超标没、内部链接到不到（门开着路断了，客人依旧到不了客厅）；二查牌（索引标记 卷的账）——页内有没有「本页不入围」的隐性标签（告示放行了、页面自己挂免战牌，两处规矩打架时以更严者生效）；三查料（收录与引用卷）——同题面池子里已有足量成色件，你的页没到端取线——「进了门没上桌」是内容账不是门账；四查时——新站新域有考察期，收录节奏本来就慢（按季不按周看曲线）。给一张三段体检单自查：门（告示全绿）→路（可达全通）→牌（无自禁标签）——三段全绿还无收录，才是内容侧的题；常见就卡第二段：前端框架改版把正文藏进脚本里，人眼看页面好好的、客人取回的是白页——可达性的账永远比告示的账隐蔽一层。判语：放开门规是把自己从被告席移到候补席——离上桌还差内容的分量，别拿门账的清零当终局的欠账。它跟排查顺序、白页案各卷连着：收录是一条链，门规只是链环头一个——链条不通电，从前往后一节节摸，摸到哪停哪修，别摸通一环就宣布灯坏在开关。

Q：老板听说 AI 爬虫「偷学内容不付钱」，下令全封——这道题怎么接？

A：硬顶或阳奉阴违都亏——先把情绪题翻译成生意题，再拿账交卷。三步接法：一步把「偷学」拆开问：老板心疼的是什么？训练侧「白读不成名」（各家的口径与退出机制不同，属行业治理进程），检索侧「被引用带客」实打实送流量（#479 直访账、#483 近钱尾）——两本账混在一起才吓人，分开算就有得谈。二步拿三种姿势的代价摆桌面：全封=答案场景整体蒸发（报表永远看不到你们，静默的），全开=让渡选择权（被动），中间道=内容区对检索类访客开、训练授权走各家申请与退出通道自己选——多数机构的真实利益在中间道，全封是把门票和保险一起烧了。三步用可逆方案交卷：不必一次定终身——先开检索类、挂「更新中」声明、季度回测被引与带客两数上桌，数字谈续约；同时把老板的真顾虑（内容被原样搬运、竞品白嫖）交给他爱听的锁：署名与出处纪律本来就是引用卷的强项，搬运靠水印与维权，不靠封门——封门拦不住小人只拦自己人（本卷三误会之一）。判语：「封不封 AI」不是技术题是经营题——把蒸发、让渡、中间道三张价目表摆上桌，老板自己会选那条能收回来的路。它跟池子账、直访账各卷连着：门上的纸每季度重写一次，每次都用数字落笔——沉默的层，最怕每季度被拉进光里读一遍。

八、把门上的纸，贴给对的访客

抓取规则这一格，讲的是沉默层的一票否决学。收束成几句——季度读告示、按名单开门、四层各写各的、机器视角对测；先拆误禁、再分访客、后精分层。全程不承诺放开即收录：门票只保入场——但保险柜里的内容连被评价的资格都没有：答案时代最贵的冤枉，是自家好料死在自己挂的那张「谢绝入内」上——门常查，纸常读，光常进。

关于本文与本站：墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务，之后回归现名）自 2022 年起把 GEO（生成式引擎优化）作为主要研究方向之一。本文围绕百科词条「抓取规则」的常见问题，写成一篇独立长文，讲的是门规四层、按名单开门与机器视角对测，内容坚持白帽口径，以真实、可核验的信息为依据。文中出现的个别经营片段均为零星样本、不代表普遍结局；本文不构成对被端出、被挂名、说得准、排名或任何效果的承诺，也不构成对任何具体引擎或平台行为的保证。各程序如何遵守门规、如何收录内容由平台自行决定，不在本站可控与担保范围之内。