什么是抓取可达性？-墨子教育咨询
摘要：抓取可达性指关键页面能不能被爬虫与大模型的检索程序实际访问并读到正文的难易程度，把路径畅通、脚本渲染出正文、没有被墙屏蔽这几关合起来看，是收录、召回、引用这条链最前面的地基——不是"允不允许抓"这一条规则，而是"机器这一端够不够得着实质内容"的整体判断。区别于问"过没过合格线"的可抓取、那个动作本身抓取、更宽的可发现性，以及只占其中一关的前端渲染。为什么重要：模型不会引用它够不着的东西，写得再准只要卡在墙、脚本、误拦后面就在那轮检索里缺席，且可达性会随改版悄悄漂移。落地三步循环——用机器视角体检查清单、按成本从低到高逐墙疏通并把关键事实前置墙外、用真实问法回测被读到几成滚动维护。文中并回答抓取可达性和登录墙的关系：登录墙是可达性最典型的一类拦路但可达性比它宽，登录墙也不只是可达性问题，接法不是拆墙而是把高频被问的价格、时间、规则、资质前置到墙外够得着的页。
一、先说清楚这篇占哪几格
"抓取可达性"这五个字，别急着理解成"再确认一遍抓取规则文件放没放行"这么一件小事。这一篇占的是一张综合体检表：从爬虫或大模型的检索程序出发，你那些关键页面到底能不能被它真正读到——路径通不通、脚本跑没跑出正文、有没有一堵墙横在中间，三样合起来看，才是"可达性"。它不是某个单点开关，而是"这一页对机器来说存不存在"的总判断。
这篇讲三件事，相邻格各有专篇、点到为止：
- 定位：抓取可达性说的是哪一段路，它和可抓取、抓取、可发现性、前端渲染、登录墙这些相邻概念怎么分工；
- 为什么 + 怎么落地：为什么"内容写得再对，机器读不到就等于对引擎不存在"，怎么把一处处堵住可达性的墙逐墙疏通、把关键事实前置到墙外；
- 关系：抓取可达性和登录墙是什么关系——为什么登录墙是可达性最典型的一类拦路，却又不是它的全部。
至于渲染怎么改、去墙的具体动作、收录提交这些更细的技术活儿，站内有专篇展开，本文只把脉络接上。
二、抓取可达性说的是哪一段路
把它放回"内容从你的服务器走到 AI 答案里"这条链上看。一段话要进模型的引用，大致得过几道关：机器得先找得到这个地址，再打得开、抓得动，抓到后还得能从返回内容里读出正文，读出来了才谈得上理解、召回、引用。抓取可达性管的是前面这几关合起来的难易程度——不是"允不允许抓"这一条规则，而是"实际上够不够得着"的整体状态。
这里有个容易忽视的落差：页面在浏览器里看着齐全，不代表机器那端也齐全。人打开网页，浏览器会把脚本跑完、把懒加载的图片补上、把登录后才显的内容显出来；而很多抓取程序读到的是脚本运行前那份光秃秃的响应，或者压根没登录、进不去那扇门。于是就出现"人看着有、机器读着空"的失明。抓取可达性要盯的，正是机器这一端的视角：用它的眼睛看，这一页还剩多少能被读到的实质内容。
三、它和相邻几格怎么分工
抓取可达性身边站着一串近义的技术词，最容易被拉来混用。先把边界画清，本文不替它们各自展开，只说分工。
| 概念 | 它讲的是 | 和抓取可达性的分工 |
|---|---|---|
| 抓取 | 爬虫访问并获取网页原始内容这个动作本身 | 抓取是动作，可达性是这个动作能不能顺利发生的难易度；一个是"去做"，一个是"够不够得着" |
| 可抓取 | 页面处于能被顺利访问、读取正文的合格状态 | 可抓取偏"过没过线"的是非判断；可达性在它之上再看"有多难、卡在哪一关"，是一张程度体检表 |
| 可发现性 | 内容被引擎与用户找到的整体难易，含语义匹配、外链 | 可发现性更宽，可达性是它靠技术地基那一层——先够得着，才谈得上被找到、被匹配 |
| 前端渲染 | 正文要等浏览器执行脚本后才拼出来的过程 | 渲染只是可达性可能卡住的其中一关（脚本墙）；可达性还管路径、屏蔽、墙，不止渲染 |
| 登录墙 | 内容锁在账号后面、不登录读不到 | 登录墙是可达性最典型的一类拦路，但只是其中一堵；详见本篇第九节 |
一句话记牢：可抓取问"合不合格"，可达性问"有多通、卡在哪"，可发现性问"找不找得到"。三者串在同一条链上，但各管一段，别拿一个词替掉另一个。
四、为什么它重要：读不到，就等于对引擎不存在
做大模型检索的内容侧，有一个残酷前提：模型不会引用它够不着的东西。今天多数引擎给答案前会临场去网上抓一轮，抓得到才有得选；你写得再准、再有据，只要卡在某堵墙、某段脚本、某个被误拦的路径后面，那一轮检索里你就是缺席的。缺席不是"少一次机会"，而是把这条问题的答案位置，白让给了别人。
可达性还是收录、召回、引用这条链最前面的一环。这一环没通，后面每个环节都在拿一份"残缺的甚至空白的你"去做判断：召不到你的正文，模型只能凭参数记忆或旁人的转述来编，结果常常是说错、说漏、或者干脆张冠李戴。反过来，可达性做扎实，未必保证被引用，但它决定引用这件事有没有可能发生——是那条链条的地基，不是锦上添花。
还有一层常被忽略：可达性会悄悄漂移。一次改版、换域名没做跳转、上了新的登录策略、把价目表改成图片、站点加了内容分发网络的验证——这些动作当时都不报错，却可能一夜之间把机器读正文的路堵窄。所以它不是一次配好就一劳永逸的开关，而是要周期性回看的状态。
五、三种最常见的"可达性堵墙"
把"读不到"拆开看，教育机构的站点上最常撞见的是三堵墙。认清是哪一堵，才好对症下药。
- 账号墙（登录 / 付费墙）：关键事实藏在"登录后才显"的课程详情、报名页、会员资料、付费白皮书里。爬虫和大模型的检索程序没有账号，抓到的只是一句"请先登录"，正文对它始终缺席。这是三堵里最隐蔽、也最要命的一堵——页面明明存在、人明明看得到，机器就是够不着。
- 脚本墙（渲染墙）：正文由前端脚本在浏览器里跑出来，抓到的是脚本运行前那份近乎空白的响应；内容在，可只活在脚本执行之后，抓取方读到的是执行之前。判断方法是关掉脚本再看这一页还剩多少字。
- 介质墙（图片 / 附件墙）：把课表、价目、师资、招生简章做成一张图片、一个附件摆在那里。人一眼看懂，机器若没配可读的文字层，抓到的只是一张图和一个文件名，里面的事实一条也没进去。
这三堵墙之外，还有两类"没成墙却也拦路"的情况：抓取规则文件把该放行的目录误拦了，以及状态码与跳转出了问题（改版没做跳转、把抓取方引到错误页）。它们同样计入可达性诊断。
六、动手先做一遍体检
别一上来就改文案。可达性的活儿，头一步是换到机器的视角，看这些页到底能被读到几成。几种不看代码也能上手的体检法：
- 关脚本看纯文本：把浏览器的脚本执行关掉（或用"查看源码 / 纯文本快照"的口子），再看关键页还剩多少实质内容。剩得越少，说明正文越依赖脚本，脚本墙越重。
- 不带登录地访问：用一个没登录的身份（无痕窗口、或直接把地址交给一个抓取预览工具）去打开报名页、课程详情、资料页。看到的若是"请先登录"，账号墙就实锤了。
- 认字不认图：检查课表、价目、师资这些关键事实，是文字还是图片 / 附件。只有图片、旁边没文字层的，介质墙无疑。
- 查放行与跳转：核对抓取规则文件有没有把该开放的目录误拦；改版、迁移过的页面，状态码和跳转有没有把抓取方带到错页或死页。
体检产出不是"改不改"的冲动，而是一张清单：哪些关键页、卡在哪一堵墙、影响的是哪一类真实提问。后面所有疏通，都对着这张清单来。
七、逐墙疏通，把关键事实前置到墙外
认清墙之后，疏通有先后，别平均用力。核心原则是一句话：能让机器读到的，优先让它读到；非锁不可的，把最要紧的事实挪到锁外面去。
- 对脚本墙：让关键正文在脚本运行前的那份响应里就已经存在（服务端就把内容渲染进页面），而不是等浏览器现拼。这是"人看着有、机器读着空"最直接的解法。
- 对介质墙：图片、附件里的关键事实，配一层机器读得到的文字——同页写清课表 / 价目的正文、给图配准描述，别把事实只封在图里。
- 对账号墙：这是最讲权衡的一堵。全站公开往往不现实（涉及报名、付费、隐私），但被用户高频问到的那几条事实——价格区间、开课时间、退费规则、资质——不该整条锁在登录后面。把这些前置到墙外的公开页（课程介绍页、常见问题页、招生简章）先讲明白，登录后再给的是个性化明细，机器至少抓得到主干。
- 对误拦与跳转：修正抓取规则文件的放行、给改版页面配好跳转，属于"低成本、见效快"的一类，优先处理。
这里要划清一条界：疏通可达性不等于把什么都扒光公开。该留的账号、付费机制不必拆；要做的是让"关于你的那些关键事实"有一份站在墙外、机器够得着的版本。墙里墙外各归其位，事实的主干先站进能被读到的地方。
八、回测被读到几成，滚动维护
改完不能靠感觉收工。可达性的验收口径很朴素——再拿机器的眼睛看一遍：这些关键事实，现在到底被读到几成。具体做两件事：
- 用真实问法回测：把用户真会问的那些问题（"你们某某课程多少钱""怎么退费""什么时候开课"）丢给几个引擎，看答案里关于你的部分是准的、全的，还是空白 / 说岔。答案里能引到你的公开事实，说明这条路的可达性通了；还在编、还在漏，多半仍有墙。
- 建成周期性动作：可达性会漂移（第四节说过），所以回测不是一次性的，要按固定题集定期重跑，改版、换域名、上线新登录策略之后额外加测一轮。发现回落，回到第六节的体检清单定位是哪堵墙又冒出来了。
九、抓取可达性和登录墙是什么关系
这是本篇要正面接的一段关系，也是实操里最容易想拧的一处。一句话摆明：登录墙是抓取可达性最典型的一类拦路，但可达性比登录墙宽；而登录墙也不只是可达性问题。
先看"宽"这一头。把可达性弄丢的，除了账号 / 登录墙，还有脚本墙、介质墙、误拦、跳转失败好几种。只盯着"要不要取消登录"，会漏掉一大半读不到的原因——很多人登录策略没动、页面照样对机器是空的，病根在脚本或图片那边。所以登录墙只是可达性堵墙里的一类，治登录墙不等于治好了可达性。
再看"登录墙不只是可达性问题"这一头。登录墙背后牵的是账号体系、付费转化、用户隐私这些决策，它不是"为了 GEO 该不该拆"这么简单，多数机构也不该为被引用而全站裸奔。两者正确的接法是：可达性视角不逼你拆墙，而是逼你回答——哪些关键事实必须留在墙外才够得着。把高频被问的价格、时间、规则、资质前置到公开可达的页，把个性化明细留给墙内，账号与转化照旧，可达性也守住了。这就是"部分深度内容在墙后"（可接受）与"关键事实整条在墙后"（要治）的区别。
十、可达性最容易走形的三种情形
同样叫"我在做可达性"，做出来的东西常常变形。三种典型走形，对照自查。
| 走形 | 看着像什么 | 实际丢了什么 / 怎么纠 |
|---|---|---|
| 只查登录、不查别的 | "我把报名页做成免登录了，可达性搞定了" | 漏了脚本墙、介质墙、误拦与跳转——页面照样对机器是空的。纠法：按第六节把四关一次体检全，别只盯一堵墙 |
| 为被引用把全站扒光 | "要让 AI 读到，就得全都公开" | 把账号、付费、隐私这些正当机制误伤，业务受损。纠法：只把关键事实主干前置到墙外，个性化明细照旧留墙内 |
| 配完就不再回看 | "去年调好了，今年还用那套结论" | 可达性会随改版、迁移、新策略悄悄漂移，旧结论早失效。纠法：按周期用真实问法回测，大改动后加测一轮 |
十一、该按什么顺序动
如果站点上几处问题叠在一起，别乱枪打鸟。一条省力的顺序：先扫低成本高确定性的（误拦、跳转、图片配文字层），再动脚本渲染（让正文进脚本前的响应），最后处理账号墙这条要权衡的（把高频事实前置到公开页）。前三类疏通见效快、风险小，账号墙涉及业务决策，放到最后从长计议。
落到具体一家机构，个别例子是这样的：有机构把课表和退费规则做成一张报名后才能看的图，人尽皆知的常见问题，模型却一条抓不到，答案里只能含糊带过甚至说错。把它拆成两步——图片旁补一层公开文字、把价格区间与退费主干挪进一张免登录的常见问题页——账号与报名流程一点没动，那几条高频问法的可达性就补上了。这只是便于说明的个别例子，不代表普遍结果；每家卡在哪堵墙、哪些事实该前置，仍要对着自己的体检清单判断。
十二、常见问题
Q：什么是抓取可达性？
A：指关键页面能不能被爬虫与大模型的检索程序实际访问并读到正文的难易程度，涵盖路径畅通、脚本渲染出正文、没有被墙屏蔽这几关合起来的状态。它是收录、召回、引用这条链最前面的地基——不是"允不允许抓"这一条规则，而是"机器这一端够不够得着实质内容"的整体判断。
Q：抓取可达性 为什么重要？
A：因为模型不会引用它够不着的东西。多数引擎给答案前会临场去网上抓一轮，抓不到你就在那轮里缺席，答案位置白让给别人；即便被召回到，读到的若是残缺或空白版本，也容易说错、说漏、张冠李戴。可达性不保证被引用，却决定引用有没有可能发生，是整条链的地基。
Q：抓取可达性 怎么落地？
A：三步循环。一是诊断——用机器的视角做体检：关脚本看纯文本、不带登录访问、认字不认图、查放行与跳转，列出一张"哪些页卡在哪堵墙"的清单；二是疏通——先改误拦、跳转、图片补文字层这类低成本项，再让正文进脚本前的响应，最后把关键事实前置到墙外公开页；三是回测——用真实问法定期重测被读到几成，滚动维护。
Q：抓取可达性 和 登录墙 是什么关系？
A：登录墙是可达性最典型的一类拦路，但可达性比登录墙宽——把机器读不到的还有脚本墙、介质墙、误拦、跳转失败，只治登录墙治不好整体可达性。反过来，登录墙也不只是可达性问题，它背后牵账号、付费、隐私的正当决策。正确接法不是拆墙，而是把高频被问的关键事实（价格、时间、规则、资质）前置到墙外够得着的页，个性化明细照旧留墙内。
Q：抓取可达性和可抓取是一回事吗？
A：近但有别。可抓取偏"过没过合格线"的是非判断——这页能不能被抓到；抓取是那个动作本身。可达性在它之上再看难易与卡点：不止问"通不通"，还问"有多难、卡在哪一关、被读到几成"，是一张程度体检表。
Q：页面人看着齐全，为什么说机器读着空？
A：因为人和机器读的不是同一份。浏览器会把脚本跑完、把登录后内容显出来、把懒加载图片补上；抓取程序常读到脚本运行前那份近空白的响应，或没登录进不去那扇门。判断办法很简单——关掉脚本、用没登录的身份各看一遍，剩多少字就是机器实际能读到多少。
Q：为了可达性是不是要把站点全公开？
A：不必，也不该。疏通可达性不等于把账号、付费、隐私机制全扒光。真正要做的是让"关于你的关键事实"有一份站在墙外、够得着的版本：主干信息公开，个性化明细留墙内。业务机制照常，可达性也守住，两者不打架。
Q：抓取可达性和可发现性怎么分？
A：一条链上前后两段。可发现性更宽，讲内容被引擎与用户找到的整体难易，含语义匹配、外链等；可达性是它靠技术地基的那一层——先够得着正文，才谈得上被找到、被匹配。可达性差，可发现性多半也起不来。
Q：改了之后怎么确认真的通了？
A：靠回测，不靠感觉。把用户真会问的问题丢给几个引擎，看答案里关于你的部分是准的、全的，还是空白 / 说岔；能引到你的公开事实，说明这条路通了。再按固定题集定期重跑，改版或换策略后加测一轮，发现回落就回到体检清单定位是哪堵墙又冒出来。
Q：可达性会自己变差吗？
A：会，而且是悄悄变。一次改版、换域名没做跳转、上线新的登录策略、把价目改成图片、给站点加了内容分发网络验证，当时都不报错，却可能一夜之间把机器读正文的路堵窄。所以可达性不是配好就归档的开关，而是要周期性回看的状态。
Q：只有一张价目图片，也算可达性问题吗？
A：算，这是最常见的介质墙。价格被做成一张图摆在页上，人一眼看懂，可机器若没配文字层，抓到的只是一个文件名，里面的数字一条也没进去——用户问"多少钱"时，模型自然引不到你。解法不复杂：同页把价目用正文再写一遍、给图配准描述，事实就从"只活在图里"变成"够得着"。
Q：技术适配有专篇，这篇还要看吗？
A：要。前端渲染、网站技术适配这些专篇各讲一门手艺；本篇占的是"把路径、渲染、屏蔽合起来，用机器视角评估够不够得着"这张体检表的视角，并专门接了"和登录墙什么关系"这段。先看清卡在哪，再去各篇学怎么修，顺序更顺。
十三、写在最后
把全篇收拢成一句能带走的话：抓取可达性不是"确认一遍有没有放行"，而是"换到机器的眼睛，看关键事实到底被读到几成，再把一堵堵拦路的墙逐墙疏通、把最要紧的话挪到墙外够得着的地方"。先体检出清单、再按成本从低到高疏通、最后用真实问法回测滚动——可达性这条地基守住了，后面的收录、召回、引用才有得谈。
关于本站的口径：墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务，之后回归现名）自 2022 年起把 GEO（生成式引擎优化）作为主要研究方向之一，上述内容来自其公开研究与项目实践的整理。文中提及的诊断方法、疏通动作与例子均为便于说明的个别例子，不代表普遍结果；不构成对被理解、被收录、被提及、被引用、排名、询盘或任何效果的承诺。具体到某个站点卡在哪堵墙、哪些事实该前置，请结合自身现状判断。