AI 爬虫到底来没来？把服务器日志读成一份抓取账的方法-墨子教育咨询

摘要：日志里混着扫描器伪造的 UA、CDN 回源请求和成片的静态资源记录，直接数条数常常得出相反结论。本文讲三步减法：按官方地址段去噪、把请求降成页面、再算覆盖深度与状态码结构，附三种数据源对比、抓取预算的排队逻辑、抓取与引用分开看的四种组合，以及按周记账与二十分钟月度流程。不构成对任何排名、引用或效果的承诺。

「我们的站，AI 到底来没来？」这个问题听起来像玄学，其实有账可查：服务器日志里留着每一条请求。麻烦在于，这份账很脏——一次阅读会被记成几十行请求，扫描器会冒充爬虫，用了 CDN 之后源站这边还只剩回声。

所以读日志不是「下载下来数一数」，而是分三步做减法：先去掉不是爬虫的、再去掉不是页面的、最后才算趋势。这篇把这三步拆开讲，顺带说清一个更常见的混淆——「来过」和「被用上」根本是两件事，处理方式完全相反。

为什么在站长工具之外，还得自己留一份日志

各家平台的站长工具确实会给抓取数据，可它有三个限制你绕不过去：只覆盖自家爬虫、时间窗口固定、明细粒度由平台决定。你想知道「上周三那篇新文章有没有被读过」，多数工具给不出这么细的答案。

服务端日志不一样。哪台机器、什么时候、用什么身份、请求了哪个地址、拿到什么状态码，全在你的硬盘上。它不解释含义，但也不替你筛选，你看到的就是发生过的请求。

代价是它很脏。一次正常的页面浏览，在日志里可能是几十行：网页本身、样式、脚本、字体、图片、埋点、favicon。所以下面所有的统计方法，本质上都是在做减法——先去掉噪声，再谈趋势。

还有一件事得提前说：日志的留存期往往比想象中短。有些主机默认只留七天，出了问题再去翻已经没了。至少保留九十天，按月归档一份压缩包，占不了多少空间，却能让你在回想「上个月改完到底有没有动」时拿得出依据。

日志会骗你的三个地方

穿着同样外衣的扫描器

User-Agent 是一行可以随便写的字符串。有人拿安全扫描工具跑全站，顺手把身份改成一个知名爬虫的名字，你照样会在日志里看到「它来了」。只按名字统计，得到的往往是虚高的热闹。

你打开的可能不是源站日志

用了 CDN 或反向代理之后，大部分请求停在边缘节点。源站日志里剩下的，多半是回源请求，数量远小于真实抓取。拿它算频次，会得出「爬虫很少来」的错误结论。

条数不等于页面数

一篇带三十张图的文章，被抓一次可能产生三十多条记录。按条数排名，永远是图片多的页面赢，可这对判断「内容有没有被读到」毫无帮助。

先弄清手里这份日志能记到什么

动笔算之前，花十分钟确认数据源，比后面返工省事得多：

三种数据能互相印证，但不要混在一张表里算。判断抓取趋势用日志，判断收录情况用站长工具，两边的数字本来就不该相等。

认身份：按官方公布的规则核对，别凭印象

每个主流平台都会公开自己的爬虫名称与地址段。这件事没有捷径：去官方文档抄一份，逐字核对，再用地址段验证一遍。凡是 UA 对得上、来源地址不在名单里的，先当噪声处理。

建议维护一张自己的小表，固定四列：平台、UA 里可用于识别的片段、是否做地址段验证、我们最希望它读哪几个页面。这张表写一次能用很久，新人接手也不用重新摸。

还有一个容易忽略的细节：同一个平台常有多个用途不同的爬虫，有的负责发现链接，有的负责渲染页面，有的代表用户在对话里实时取页。它们对同一篇文章的兴趣并不一样，混在一起统计会把信号抹平。

频次是最容易被高估的指标

「上周被抓了 400 次」听起来不错，可它至少可能是三种完全不同的情况：一是 400 个不同地址各来一次，说明覆盖面在扩；二是同一个列表页被反复刷新 400 次，说明你在浪费对方的预算；三是 40 个页面各来 10 次，说明有页面在被反复核对。

所以频次必须和另外两个数一起看：去重后的地址数，以及这些地址里有多少是你真正希望被读的。三个数放在一起，才能说清「抓得多」到底是好事还是噪音。

再换个角度想：对方的抓取额度是共享的，你站里能生成多少地址，就等于把这块额度切成多少份。地址越多，每份越薄。

抓取预算这件事，说穿了是排队

每个站点在对方那里都有一份隐性的额度：一定时间内来多少次、每次最多读多少个地址。这个额度不会因为你宣传得多就变大，只会因为你的站「好读」而被用得更充分。

好读的定义很朴素：从首页到正文的点击数少、链接地址稳定、没有成片的死链与跳转、同一份内容不在多个地址上重复出现。反过来，几千个参数页、日历页、筛选页堆在站里，额度先被这些页消耗掉，真正想曝光的文章排在后面，轮不上。

所以优化抓取的头一个动作常常是删，而不是加。把重复的合并、把没人看的关掉、把分页收敛到固定几页，剩下的地址反而被抓得更频繁。这不是玄学，是排队的必然结果。

三个量，能判断抓取质量

三张数摆在一起，很多争论就没了。比如覆盖深度很低但频次很高，问题在站内结构：链接太深、导航太乱、列表页反复变。覆盖深度尚可但落地页集中在列表页，问题在正文抓不到：模板把内容藏在了脚本里。

还有一个不用等数据的测法：站内搜索。你自己在站内搜「客户最可能问的那句话」，如果前三条里没有一篇真正回答它的页面，那 AI 那边大概率也找不到。这件事今天就能测，不用等报表。

把「来过」和「被用上」拆成两件事

这两件事经常被混着谈，处理方向却完全相反。日志只能回答前一件，后一件要靠自己去问、去测。四种组合值得分开列：

• 既抓过又被引用：继续加固，把同题材的邻近问题也补成可摘取的段落。
• 抓过但没被引用：问题在表达。结论太靠后、事实散落、口径与别处冲突，都会让内容在比对时被跳过。
• 没抓到却被引用：对方读的是别处的转载或目录页。先去把那些页面的口径对齐，再让官网成为更完整的版本。
• 既没抓也没被引用：先解决可达性：能否从站内链接走到、robots 是否放过、正文是否需要脚本渲染。

把四类分开之后，你会发现真正需要写新内容的只有一类，其余三类都是修结构、改口径的活。

四类里最容易被误判的是第三种。看到品牌出现在答案里，就以为自己的页面被读了，其实对方引用的是别处的转载。这两种情况的处理路径差得很远：改自己的站要等对方重抓，可能几周后才见动静；去对齐那些被引用的源，下一周就能看到变化。

一段两个月的观察记录

有个做工业配件的客户，站上一千多个地址，其中大半是参数组合生成的分页。他们最初的日志看着挺热闹，一天两三百条抓取，可去重地址只有六十几个，还集中在前三页列表上。

后来做了三件事：把可以合并的参数页并成一处、sitemap 只留一百二十个真正要曝光的地址、每篇文章开头补一段能独立成段的结论。八周后再看日志，抓取条数没涨多少，去重地址从六十多涨到一百一十多，404 占比从三成降到个位数。同期他们在几个平台的被引用情况有小幅变化，但样本太小，只能当个观察，不代表普遍结果。

这个记录值得记下来的地方，不是数字，而是顺序：先减少要抓的东西，再谈让抓得更深。多数团队的顺序是反的，一直加页面，然后抱怨抓取不够。

日志一片空白，通常是这三处卡住

robots 里有一行不该有的禁止

改版时顺手抄来的 robots.txt，可能带着对全站的禁止规则，或者把某个目录挡得比预期宽。这类问题不会报错，只会让日志安静下来。检查方式是本地抓一份 robots，把那几行逐条读，而不是只看有没有「Disallow」这个词。

正文靠脚本拼出来

抓取方拿到的是一个空壳页面，正文要执行脚本之后才出现。对方如果只做轻量渲染，读到的就是空白。判断方法很土但有效：关掉脚本，用浏览器打开页面，看还剩多少正文。

前面的防护把人机校验也拦了

某些防护策略会把非浏览器的请求直接挡掉，返回一个验证页。日志里全是 403 或挑战页，抓取自然为零。这类情况要和运维一起确认白名单，而不是自己反复改内容。

按周记一张五行表，比看总览有用

很多后台会给一张漂亮的曲线图，可曲线看不出「哪一类页面被漏了」。建议自己维护一张五行表，每周填一次：抓取条数、去重地址数、200 占比、重点页面是否被抓、本周改了什么。

最后那列最重要。没有改动记录的日志表，只是一串数字；有了改动记录，你才能回答「这次改完，抓取有没有变化」这种真正有用的问题。

顺便提醒一个时间尺度的问题：抓取的变化常有延迟，改完第二三天没动静是常态。至少看两周，别一天一变地调，那样任何结论都站不住。

填表时尽量守住同一口径：同一份日志来源、同一套去噪规则。口径一换，数字就没法比，记了也白记。

非技术同事也能做的一份周报

日志不必只给技术看。每周花十分钟，把三个数抄到一页纸上，团队其他人也读得懂：本周被抓的页面数、其中新页面有几个、有哪些页面连续两周一次没被抓。

第三个数最有行动价值。连续两周没被抓的页面，要么是链接太深没人指过去，要么是内容与站内其他页重复、被判为不必再读。无论哪种，都该在下一轮处理掉，而不是继续往上加新文章。

这张纸还有个副作用：它让「GEO 做得怎么样」从感觉变成了可以讨论的具体问题，开会时不必争谁更懂 AI。

读日志时最容易下的三个错结论

数字本身不会说话，怎么解释才是关键。下面三种解释出现频率最高，也最容易把人带偏：

• 「抓取量降了，是被降权了」：先看你自己是不是减少了地址数。合并参数页、收敛分页之后，条数下降是预期结果，不是惩罚。
• 「某天暴涨，是被重视了」：多数暴涨来自你重推了 sitemap、改了结构，或者某个扫描器当天扫了全站。看时间点，比看总量有用。
• 「一个平台来了，其他平台也该来」：各家节奏与技术栈差异很大，用一个平台的数据去推断全体，结论往往是错的。

为了讨好爬虫，三件蠢事别做

头一件是造无限可分页。日历、标签组合、搜索结果都能生成无数地址，抓取额度被这些页面吃掉，正文反而轮不上。第二件是把内容锁在登录或留资之后，对方读不到，等于不存在。第三件是让正文完全靠脚本渲染，界面好看，抓取侧却是空的。

这三件事的共同点是：它们都能在后台指标上做出「内容丰富」的样子，却让真正该被读的那几页更难被读到。

交叉验证：三层数据各管一段

日志回答「来没来」，站长工具回答「收没收」，站内检索回答「有没有值得读的东西」。三层对不上，恰恰是最有价值的线索。

比如日志显示某篇文章被抓了十几次，站长工具里却查不到收录，那多半是页面被判为低质或重复；再比如收录正常、对话里却从不出现，那要回到表达层面看结论是否够前置。三层一起看，问题定位会比单看一层快很多。

一套二十分钟的月度流程

1. 取数：导出最近三十天的访问日志，字段至少保留时间、来源地址、UA、路径、状态码。
2. 去噪：按官方 UA 与地址段筛一遍，把明显伪造的记录剔掉。
3. 降维：把静态资源与跳转请求排除，只留页面级请求。
4. 归类：按页面类型分组，算出覆盖深度与状态码结构。
5. 对照：翻出上个月的同一张表，找出变化最大的两类页面。
6. 落动作：只挑一件最影响覆盖的事去做，写进下周的安排。

整个流程不需要写代码，电子表格就够。难的不是技术，是每月固定做一次，并且把改动记在旁边。

如果团队只有你一个人，把流程砍成两步也能用：先看去重地址数，再看重点页面是否被抓。这两个数能回答八成问题，剩下的等有空再细分。

这门课里对应的几节

日志这条线上的方法，在《网站GEO优化：从域名到页面模板的 AI 友好改造》里排在后期：一节讲怎么从日志里看各平台的抓取差异，一节讲根据日志反馈决定下一批写什么，还有一节讲文章页模板为什么直接影响被抓的深度。这三节连起来看，比单看其中一节更容易搭起自己的节奏。

课程页在这里：网站GEO优化。对应的课时也可以直接跳：网站日志分析、结合日志新增内容、文章创建引导抓取。

写在最后

读日志这件事，短期看很枯燥，长期看是最省钱的一步。它让你不必猜「是不是内容不行」，而是能指着某一类页面说：这里没被读到，先修这里。

下次再有人问「AI 到底有没有来」，你不用回答感觉，把那张五行表递过去就行。本文提到的方法与观察基于我们的实施经验，不构成对任何排名、引用量或效果的承诺，具体结论请以自己的日志与实测为准。

如果只记住一句话：先让站变少、变好读，再去谈内容怎么更值得被摘。顺序反了，力气白费，而且很容易把日志读成情绪。