什么是可抓取？-墨子教育咨询

摘要：可抓取指页面能被搜索引擎与 AI 爬虫顺利访问并读取正文的状态，受 robots、渲染与站点结构影响，是收录与 GEO 的前提。站内讲抓取动作与五个环节、四段链路排查、配置清单与各平台排障的几篇不重复，本篇只占标准与验收这一层：它是一个会被破坏的状态而不是配完就永久成立的配置项，成立要靠三判据都过（能取到、取到的是正文、取到的是当期版本）；失效分六种形状（完全取不到、取到壳、取到旧的、只取到摘要、各家门不一样、抓到错的），后四种最常被当前两种误诊；重验不按日历而按六类触发事件（改版换模板、换域名或加速层、加登录验证付费墙、改主体信息与价格、增删站点地图、装新插件与安全组件），记录只留四格但必留“由通过变不通过”的起因。它与 ChatGPT 的关系核心是当期：开启联网回答时实时抓取并筛选网页，所以改完一处价格或地址要隔几天确认取回的是哪一版，而脚本生成的部分与图片里的结论常常不在它取到的那份里。文中片段均为个别例子、不代表普遍结果，不构成对被抓取、被收录、被引用或任何效果的承诺。

一、先把范围圈出来：可抓取 指什么，本篇与站内那几篇怎么分

百科页给的口径是：可抓取指页面能被搜索引擎与 AI 爬虫顺利访问并读取正文的状态，受 robots、渲染与站点结构影响，是收录与 GEO 的前提。这句话里被忽略的是"状态"两个字——它不是一个配置项，配完 robots 就永久成立；它是一个需要当场验证、并且会在你不知不觉时被破坏的状态。多数站点的问题不是没配好，而是配过一次之后没人再看。

这条线站内写过的先摊开，本篇不重复它们。链路与配置那一侧：《什么是抓取？》管抓取这个动作本身——它在链上的位置、五个环节各管什么、搜索爬虫与 AI 抓取方为什么不是一拨、对方找上门的四条路、协议层的四类误封；《可抓取性怎么落地：从屏蔽检查到渲染验证四段链路》管排查顺序与长期跑的检查节奏；robots 配置与渲染那篇、《sitemap、robots.txt、llms.txt 到底怎么配？GEO 技术配置清单》、性能与渲染排查那篇、哪些页面该让机器读到那篇各管一段配置；自查那篇与不懂技术要不要折腾那篇面向不下场的人。现象与平台那一侧：墙、内容分发网络误伤与付费墙的抓取排障、某一家的抓取要过四道门、脚本渲染与服务端直出的引用差异、贴链接直读读不到时的机器可读改造、把挡住机器的那道门打开。概念与关系那一侧：为什么抓取友好决定引用上限、抓取入口与搜索入口的区别、爬虫、收录、采信三关分别卡在哪。

这些篇目分别管动作、链路顺序、配置项与平台现象，中间少了一件事：什么叫"这个页面已经可抓取"——用什么判据当场认定、这个状态会以哪几种形状失效、以及什么事件之后必须重新验一次。本篇只占标准与验收这一层：三条判据、六种失败形状、一张复验触发表。配置怎么改、链路怎么查，一律指路，不复述命令与文件写法。

三条边界。头一条，本篇只处理你自己这一侧能看到的东西（返回了什么、取到的是不是正文、是不是当期版本），不去推测任何一家爬虫的内部行为。第二条，"可抓取"是三判据都过才算成立，不是"没被屏蔽"就算——只查屏蔽会把一半失效留在暗处。第三条，这件事做完只让你进入"能被读到"的范围，不保证被收录、不保证被引用，更不带来任何效果承诺。

二、三条判据：什么才算"这个页面可抓取"

把定义换成能当场验的三句话，验收就有了落点。三句都要在同一个页面上成立，才算这个页面处于可抓取状态。

三条里判据二最容易被跳过，因为界面上一切正常。第三条最贵：它不是"抓不到"而是"抓到过时的你"，后果比抓不到更难发现——外部确实引用了你，引用的是一年前那个价格与地址。这一条在 讲内容时效维护那篇 里有对应动作（标时间、更新即替换），本篇只把它放进验收判据里：没验过第三条，就不能宣布这个页面可抓取。

还有一处定义上的提醒："顺利访问并读取正文"里，读取正文这一步跨了两个责任方——你能保证的是发出去的内容是文字、是当期版本；机器愿不愿意读、读到多少不在你手里。所以三判据是对自己这一侧的验收标准，不是对外部行为的预测。

三、六种失败形状：都表现为"它没说到我"，成因完全不同

把失效分成六种形状，价值在于避免把后四种当前两种修。多数整改失败的原因是没分清形状就直接去改 robots 或加结构化标注。

六种形状里最后两种最常被误诊。"各家门不一样"会被当成"我们被屏蔽了"，于是一通改配置，其实只是各家读取方式不同；"抓到错的"会被当成"没被抓到"，于是继续加页面，其实需要处理的是那些主体信息不全的老页面。这两种形状的辨认动作都很便宜：按对象分别取一次、把取回内容里的主体信息与你现在的基准对一次。

另外要划清一条界线：可抓取只负责"取到"这一段，取到之后读不读得懂、认不认你，属于另一层。结构与可摘写法、口径与采信都有专篇，本篇不越过去——把读不懂误诊成抓不到，会做出一堆技术上没毛病却依旧没用的改动。

四、可抓取 怎么落地：六步，每步留一件实物

百科页给的落地口径是四段：诊断现状（收录、内容、信源与当前表现）、制定方案（明确目标、优先级与抓手）、执行落地（按方案改造内容与技术并建设信源）、监测复盘（用回测与台账验证效果并迭代）；落地要点里还有一条很关键：把它固化为可重复的流程而非一次性动作。这四段按验收这一层走完，是六步。

第六步里"从通过变成不通过"这一项，是整套做法里最省心的保险。状态被破坏往往发生在别的事件里——有人加了一道验证、换了一个加速层、把某个模块改成脚本生成。只看这一轮的通过率看不出问题，看哪几页由好变坏立刻能把责任事件找出来。

五、可抓取 为什么重要：三个理由，以及它不算什么

百科页给的理由是它影响内容能否被搜索引擎与大模型发现、理解并引用，是 GEO 效果的关键环节之一。这句话在讲引用上限那篇里已经论证过；本篇从状态与验收的角度补三条更具体的理由。

头一条，它是这条链上会悄悄退回去的那一环。内容写好了不会自己变差，口径定了不会自己散；但可抓取会因为一次改版、一次插件更新、一次加速层策略调整而失效，而且失效时界面上一切正常。正因为它会退，它需要复验节奏——这也是百科口径里"固化为流程而非一次性动作"的实际含义。

第二条，它决定后面所有工作能不能被看到。这一点讲链路的篇目都说过：这一步不通，后面写得再准也没人取到。本篇只补一个数量感觉——按三判据验过一次，多数站点会发现一两页卡在最基本的地方：要么正文只在界面里出现，要么旧地址上的价格还挂在那儿被反复取到。

第三条，它是少数不需要长期占用预算、却能明确划清责任的事。三判据的验收不需要买工具，一次一两小时能过十几页；把它写成一张表和一条触发规则之后，出现争议时能说清"这一页在某日为不可抓取状态，起因是某次改动"，这比事后靠印象讨论省太多工夫。

它不算什么，四条说清。它不保证收录——取到与收进来是两件事，见 《什么是收录？》；不保证被引用——引用是取到之后与别的内容比较的结果；不是配一次就永久成立的状态；更不是页面做得慢或不好看的问题，性能那一段归 性能与渲染排查那篇。把这三件事混成一件，最常见的后果是拿着"我们技术都改过了"的结论继续等外部说法变化。

六、可抓取 和 ChatGPT 是什么关系：当期抓取把这件事变成"每次都要对"

百科页给的口径是两者同属 GEO 体系、相互配合。这句话在 ChatGPT 上要说得更硬：《什么是ChatGPT？》已经把"当它开启联网回答时，会实时抓取并筛选网页，这一步决定当期你能不能被引用"这件事拆开讲过——可抓取在这个入口上不是一次配置就结束的事，而是一次次发生在别人提问的那一刻。

这条关系上有三点要跟别处不同。

一是时效压力更大。同一句问话，上周答得好可能因为当时取到的是你旧页。所以第三条判据（取到的是当期版本）在这个入口上比在搜索侧更要紧：改完一处价格或地址，隔几天用不带脚本的方式再看一次取回的是哪一版；这条动作在 复测那篇 里属于"什么时候该发起一次复测"的触发项之一。

二是它取的可能不是你界面看到的那一份。这类入口在检索时读到的往往是文本版本，界面里由脚本生成的部分、图片里的结论、需要点开才出现的价格表，都可能不在它取到的那份里。写法上的对应调整（结论在开头、一段一问、关键事实以文字在场）归 可摘写法那篇 与 答案骨架那篇，本篇只把它归入第二判据的失效形状：不是没被抓，是抓到的是壳。

三是语言与实体这条线在这里更敏感。同一个页面中英文写法不一致、主体名与旧名混用，跨语言取一次答案就会露出来。这一段 那篇第七节讲得比我细，本篇只补一句验收动作：拿一句另一种语言的问题去取一次内容，看看落在哪一版页面上——这一步常常翻出你以为早就没人看的老页面。

合起来看，这条关系的可用结论是一句：在实时抓取这种场合，可抓取不是一条你与平台之间配好就完事的关系，而是每一刻都在发生的一次取用；你这一侧能做的只是让三判据长期成立，并把复验绑定在改版这类事件上。至于这个入口会不会取你、取到之后怎么排序，本篇不猜也不承诺。

七、什么事件之后必须重验：一张触发表

把可抓取当状态维护，核心不是定期全量扫一遍（没人能长期坚持），而是把重验绑在会破坏它的事件上。这张表的作用是让重验发生在对的时间，而不是等到外部说法不对了再回头查。

记录只留四格，多了没人填：页面地址、这一轮的三条判定、由哪一事件引起（如果是变坏）、重验通过日。第三格是这张表上最值钱的一处——它把"状态退回去"和某次具体改动对上，下一次同类改动之前就知道要防。

八、四类常见误区

百科页列了三条：把可抓取孤立看待、忽视它与 ChatGPT、联网检索、抓取的配合；只做一次、不做持续监测；重数量轻质量，忽略口径准确与可核验性。加上实践中第四条，一起说。

孤立看待的表现为把它当成技术部门的一件事。判据二与判据三其实由内容决定：正文写在图片里、结论只在点开才出现的组件里、改完价格没确认外部取到哪一版，这三件都是内容工作而不是技术工作。要配的东西由 技术配置清单那篇 管，判据这一层的验收却必须由写内容的人参与。

只做一次的表现为上线前查一遍就归档。这一节第七张表已经说明它为什么会被破坏；一轮验收的有效期基本到下一次改动为止。四段链路那篇 末尾给的长期检查节奏可以直接沿用，本篇不再另给一套频率。

重数量轻质量的表现为追求"全站都过"。全站几百页里，多数没人问也没人取；真正需要判据都过的是那十几页被问到过、写着主体信息与价格的。先把关键页验干净，比给全站做一遍的表面结论有用——这条取舍与 《什么是优先级？》 讲的是同一件事。

第四条是把它当"已解决"报上去。技术项做完容易宣布完成，但可抓取的成立要外部取一次内容才能确认，而这一动作的判据是取回内容里那句话在不在、是不是当期版本。只报"配置改过了"，就是把判据一当成三条判据，也是后面误判的起点。

九、四道分界：可抓、收录、读得懂、被引用

这四个词经常被混着说成"AI 那边没问题了"。把它们分开，才知道一次现象该找哪一层。

把四层分开之后有一条实用推论：四层各自有各自的处置方式，一次现象不要跨层下结论。外部没说到你可能因为四层里任何一层，从最靠前的查起才省事——先按判据验自己能验的那一层，剩下的才去查收录与说法。反过来，跳过可抓取直接改内容写法，往往是在一处不通的地方反复修。

十、怎么测、怎么记：四个读数

这一层不许做成"通过率百分比汇报"，因为一页通过与否只有这两种状态，全站通过率会把关键的少数页埋掉。四个读数各有具体问题。

读数一，关键页里未过三判据的页数与是哪几条。直接列页，不折算成百分比。它回答"现在有几页在最基础上就没通"。

读数二，按失效形状的分拣结果。六类各几页。它回答"该往哪一批做法派活"，也是防误诊的那个读数——如果八成都落在"取到壳"，那要动的是渲染方式而不是 robots 文件。

读数三，由通过变不通过的页数与起因。这一读数只在跨轮之间算，配合触发表看，能直接把状态退回和某次改动对上。

读数四，外部取到版本与当期版本的核对数。抽几问看外部说法里那几个字段与你现在页面一致不一致。它回答"抓到了是不是抓对了"，也是判据三在外部这一侧的对应读数；口径本身怎么定归 统一口径那批，本篇只数对上的条数。

记法固定：一页一行、一轮一份，行里只有地址、三条判定、形状标记、起因、通过日五格。这张表不需要工具，一张表就能跑；真要上工具也不要——先让这张表跑满两轮，再谈自动化。

十一、几件真发生过的事

案例·界面都对，取回的是壳

一处见过的情形：某站的问答页在浏览器里一切正常，改过几轮写法仍不见外部引用，于是怀疑到内容与选题上。按判据二验一次——在取回的内容里搜正文原话，搜不到：那几页的正文是由脚本在浏览器里生成的，取回去只剩标题与导航。改成服务端直出之后，先前那几轮内容上的改动才开始有可见反应。这是个别例子，不代表普遍结果；它说明的是形状分拣要早于内容返工。

案例·新页上线，旧版还在被取

另一处是价格：改了报价，页面看起来是新的，但外部几次说法里仍是旧数字。查下来旧地址没有做跳转、也没进清单，缓存那一层还在发旧版；两处都改成指向新页并确认取回的是新版之后，说法才跟着换。这件事的麻烦处在于它不属于"抓不到"——内容确实被抓了，抓到的是过时的你。这也是个别例子，不构成对时效或一致性的任何承诺。

案例·加了一道安全组件之后

还有一回：站点装了新的安全防护，界面与后台测试都没问题，一周后外部说法整批消失。按触发表反查，起因就在这次改动——取内容的请求被按来源特征挡掉了。重验之后加了一条放行，并把这一件写进记录里当起因。这个例子留下的规矩是：任何"为安全或防攻击加的开关"上线次日，关键页要重验一遍；这是所有触发动作里最便宜的一种。这也是个别例子，不代表普遍结果。

十二、常见问题

Q：什么是可抓取？

A：按百科页的口径，它指页面能被搜索引擎与 AI 爬虫顺利访问并读取正文的状态，受 robots、渲染与站点结构影响，是收录与 GEO 的前提。按本篇的用法，它是一个要当场验、也会被破坏的状态，成立的标准是三判据都过：能取到、取到的是正文、取到的是当期版本。只查有没有被屏蔽只覆盖判据一，会漏掉壳页与旧版两条。

Q：可抓取 怎么落地？

A：百科页给的四段是诊断现状、制定方案、执行落地、监测复盘，落地要点里强调要固化为可重复流程而非一次性动作。按验收这一层走六步：圈出被问到过与承接业务的那十几到几十页、逐页过三判据并按六种失效形状标记、按形状分组派活而不是逐页临时想、改完用同样取法重验而不是只改、写下改版与加门这类必须重验的触发事件并指定责任人、每轮只记"几页没过"与"哪几页由通过变不通过"两件事。配置项的具体写法归站内技术配置清单那批篇目。

Q：可抓取 为什么重要？

A：三条理由。它是这条链上会悄悄退回去的那一环——改版、换加速层、装安全组件都可能让它失效，而界面上一切正常；它决定后面所有工作能不能被取到，这一步不通时改内容写法是白费；它验收成本极低却能划清责任，一张四格记录就能把"状态退回"和某次改动对上。它不算什么也说清：不保证收录、不保证被引用，不是配一次就永久成立，也不等于页面性能与外观的问题。

Q：可抓取 和 ChatGPT 是什么关系？

A：关系的核心是"当期"。这类入口在开启联网回答时会实时抓取并筛选网页，这一步决定当期你能不能被引用，所以可抓取在这里不是一次配好的关系，而是发生在别人提问那一刻的一次取用。三点跟别处不同：判据三（取到的是当期版本）比搜索侧更要紧，改完价格或地址要隔几天确认取回的是哪一版；它取到的往往只是文字版本，脚本生成的部分与图片里的结论可能不在其中；跨语言与主体名混用在这里更容易暴露，拿另一种语言的问题取一次就能看到落在哪一版页面。

Q：怎么自己验一次，不靠工具行不行？

A：行，三判据各有一个土办法。判据一：用不带脚本的方式访问地址，看拿到的是正常内容还是要求登录或验证。判据二：在拿回的那份里搜一句你写在正文里的原话，搜不到就说明界面有而内容没有。判据三：拿你最近改过的某一处具体表述去对，看取回的是新的还是旧的。三个动作加起来一页不超过五分钟，比装一个监测工具见效快。

Q：多久要重验一次？

A：不要按日历定频率，要按事件定。改版换模板、换域名或服务器或加速层、加登录验证付费墙、改主体信息与价格、增删站点地图、装新插件或安全组件——这六类之后各重验一轮，触发表里写清了各验什么、多久内做。没有这些事件时，一个季度抽关键页扫一遍足够；按日历做全量扫描的团队多数撑不过两轮。

Q：抓取和可抓取是一回事吗？

A：不是，一个是动作一个是状态。《什么是抓取？》讲动作那一侧：它在链上的位置、五个环节、搜索爬虫与 AI 抓取方为什么不是一拨、对方有哪几条路找上门。本篇讲状态那一侧：什么叫这个页面已经能被顺利取到正文与当期版本。两者要分开是因为动作你控制不了，状态里有一半可以——把可抓抓取混着说，容易去讨论自己改不动的那一半。

Q：robots 文件配好了，是不是就可抓取？

A：不是。robots 只处理访问协议这一层，它放行不等于取回的内容里有正文，也不等于取到的是当期版本；反过来，很多"取不到"其实来自登录墙、来源限制或安全组件，跟这个文件无关。文件与站点地图、结构化标注各自管什么，技术配置清单那篇讲得比本篇细；本篇只负责一句：把协议层配好当成三条判据都过，是误判率最高的一种。

Q：改了页面但外部还在说旧的，先查什么？

A：按判据三的顺序查：先用不带脚本的方式取一次，看拿到的是新版还是旧版；如果取回的是旧版，查缓存与旧地址的重定向去向；如果取回的是新版而外部说法仍是旧的，那就不是可抓取的锅，要往收录与取用时机那一层查（《什么是收录？》、三关那篇）。这个顺序省下很多无谓的内容返工——跳过它直接改写法，常见结局是三层同时改了一遍而哪层都没定论。

Q：不懂技术的人能管这件事吗？

A：判据二与判据三大部分能管：正文里的关键事实不要只写在图片和附件里、改完价格要确认取回的是新版、新增页面要确认在清单里——这三件都是内容决定而不是代码决定。要改配置与渲染方式那部分确实需要人配合，怎么配合、需要提到什么程度，不懂技术要不要折腾那篇给过一份分工说法。

Q：做这些会不会让机器更容易命中我？

A：本篇只处理"取得到、取得对"这件事，它是必要条件不是充分条件，也不产生任何命中或引用的保证。把写法改得能被摘走归可摘写作那一层，把口径统一归品牌事实那一层；本篇给的是验收标准与重验触发。如果有人把这几层打包成"确保被引用"的说法，那已经越出这件事能负责的范围，边界见 承诺边界那篇。

Q：这套判据会不会很快过时？

A：三判据的形状不太会过时——只要页面还靠被取回内容来供读取，"取到、取到正文、取到当期版本"这三问就一直成立。会过时的是各家的访问策略与文件形态：哪些标识要放行、有没有新的清单文件、哪种渲染方式会被读，这些一季要重看一次。所以本篇把验收与触发写死、把具体配置全部指向专篇，就是为了在改配置时不必改方法。

十三、写在最后

把可抓取从一个配置项改回它本来的性质——一个会被破坏的状态——这件事的做法就清楚了：用三判据当场认定，按六种形状分拣失效，把重验绑在改版与加门这些事件上，每轮只多记一列"由通过变成不通过"。剩下的都是别人的判断，不归你管也不归本篇管。

要改哪一处配置、按什么顺序查链路，站内那批技术篇目讲得比本篇细；本篇只回答一个问题：什么时候你有资格说这一页已经能被读到。

墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务后回归现名）自 2022 年起把 GEO 作为主要研究方向，日常交付里包含按三判据做关键页验收、按失效形状分拣处置与把重验绑定在改版事件上的做法，2026 年 9 月上线新版《GEO 生成式引擎优化 3.0》。文中片段均为个别例子，不代表普遍结果；文中提及的占比与耗时均为参考口径，不构成对被抓取、被收录、被提及、被引用、排名或任何效果的承诺。