什么是人工校验？-墨子教育咨询
摘要：人工校验指由人对关键事实与 AI 回答结果逐项核对，弥补纯自动检测的盲区。站内已经把要查哪些条、按什么口径判一次回答、事实怎么校准、核对单元长什么样、评分规则由谁写讲完了，本篇只占中间那一层：这份靠人做的动作怎么排才有人真做得下去，以及怎么知道判得准不准。它失败的方式从来不是人不够仔细，是排法错了——全量排班表撑不过三到五周，谁有空谁看会漏掉最贵的那几条，出事才查等于把标准冻在上一次事故上。本篇按错误成本而不是题量分三档（必查、抽判、不判），并要求先把「不判」这一档写出来；判据要在打开页面之前写好，且必须能被第二个人独立用出来；双人独立判产生的分歧只回写判据，不进任何人的考核。它和自动检测的分工是一句话：自动检测管有没有，人管算不算。文中片段均为个别例子、不代表普遍结果，不构成对被引用、被提及、被收录、排名、询盘或任何效果的承诺。
一、先把范围圈出来：人工校验 指什么，本篇与站内那十几篇怎么分
百科页给的口径是：人工校验指由人对关键事实与 AI 回答结果逐项核对，弥补纯自动检测的盲区，确保口径准确可核验。这句里有两个对象——你要发出去的稿子，和 AI 已经给出的回答——实践中被念成的是一个动作：列一张清单，发布前逐条打勾。多数机构这张清单头一版很齐（十几二十条，事实、口径、数据来源、是否有夸大），做了两三周之后打勾的人越来越少，最后变成起草人自己勾完交上去；半年后出事的那一条，恰好是清单上写着要核对的那一项。
这一族站内写得极密，先摊开，本篇不重复它们。AI 起草与把关那一侧：人工校验清单那篇把定位（AI 是提效工具不是甩手掌柜）、低质而非"用了 AI"才被降权、最容易出的三类问题（事实幻觉、套话空洞、口径漂移）逐类讲透，并给出一份可直接抄进流程的校验清单、"AI 给的结构也要人判断"、一手经验怎么注入、批量生产时的红线、洗稿与改写的分野、把事实卡喂给 AI 的提示词习惯、各环节该不该用 AI 的分工表，还答过那个最常见的担忧——"人工把关太慢还怎么提效"；AI 内容合规与标注那篇管哪些必须标注、哪些不能直接发、发布前给 AI 稿过的那张清单与配图合规。
判它说得对不对那一侧：AI 为什么会一本正经胡说那篇讲幻觉的发生机制；幻觉防御三件套那篇给标准问答口径、多源一致与纠错路径；事实校准实操那篇按"先摸清它把哪儿说错了→做成可核验的清晰表达→让机器重新读到→回测直到它说对"走完一轮；《什么是交叉核对？》把核对单元定在一行事实上，给了三圈采集范围、比对表六栏、漂移矛盾孤证的分别，以及全量、局部、抽样三种节奏；手动核查引用那篇管怎么判定"这一条算不算指向你"。
度量与标准另有 四层指标那篇（第十七节专门讲评分规则由谁定、怎么把判分标准写进品牌底座）、《什么是固定题集？》、基线与复测节奏那篇、《什么是提及率？》、《什么是引用率？》（它报的那三个数里，判分那一栏靠的正是本篇这套安排）；口径的上游归 《什么是单一事实源？》、《什么是可核验事实？》、《什么是品牌事实？》、《什么是内容形态？》、《什么是品牌词？》。
这些篇目把"要查哪些条、按什么口径判一次回答、事实怎么校准、核对单元长什么样、评分规则该由谁写"讲完了。中间少的是这一层：这份靠人做的动作，怎么排才有人真做得下去，以及怎么知道判得准不准。它失败的方式从来不是人不够仔细，是排法错了——全量排班表撑不过一个月，谁有空谁看会漏掉最贵的那几条，只在出事时才看等于把标准冻在上一次事故上。而判得准不准这件事，不靠任何外部工具就能测：同一批让两个人独立判，看分歧有多少；分歧大，说明要改的是判据，不是稿子，也不是那个人。本篇只占可维持性与判分校准这一层：按错误成本分档、盲判的顺序、双人独立判与分歧率。
三条边界。头一条，本篇不给校验清单的条目——查什么在 清单那篇 里已经成套，本篇默认你手上有一份，要处理的是它为什么执行不下去。第二条，本篇不讲事实本身怎么校准、口径怎么统一，那两侧在 事实校准那篇 与 交叉核对那篇；本篇处理的是"由谁来判、判几遍、判错了怎么发现"。第三条，本篇不带来任何结果说法：多一道人工检查不保证不被判低质、不保证被引用，也不降低所有风险；本文所有动作不构成对被收录、被提及、被引用、排名、询盘或任何效果的承诺。
二、它为什么排不下去：三种排法各有各的停摆时间
把观察集中在"什么时候开始不做"上，比讨论"要不要做人工把关"有用得多。三种常见排法都能起步，区别只在撑多久。
| 排法 | 它长什么样 | 大约什么时候停 | 停的时候露出什么 |
|---|---|---|---|
| 全量排班表 | 每篇都要过完整清单（十几二十条），有时还排定两名复核人；发布前必须勾完 | 三到五周；批量生产一开，头一个被砍掉的是复核人那一栏，因为"一个人勾和两个人勾看起来一样" | 清单还在、每条都有勾，出事一查：勾的人就是写的人；有些条目在同一天里被勾了二十次，谁也不可能在那几分钟真读完二十篇 |
| 谁有空谁看 | 不设固定动作，靠"发之前找人看一眼"的习惯；通常看的人层级更高、更忙 | 头一回赶工期就停；之后再没人提这件事 | 被看的永远是新写的大稿，改动小的那些（改一个日期、换一档价格）反而从没人看，而那类恰好最容易和事实源脱节 |
| 出事才查 | 平时不判；某条被投诉或被指出说错之后，回头把所有相关页查一遍 | 不"停"，因为它从没开始；但每一次救火之后的全面自查都在两周内自然消散 | 同一类错误隔几个月重来一次；而且判错的标准也在漂移——上一次认定"不能这么说"的那条，这次没人记得 |
三种排法有一个共同的错处：它们都把人工校验当成一道"覆盖面"的工作去排。覆盖面这个方向一进来，就注定要么累死要么放弃——这件事的量随内容产出线性增长，而人的时间不涨。本篇给的排法换一根轴：不按有多少稿子来分工作，按判错以后的代价来分。这条轴能把要真查的量压到全量的两三成，而压掉的那部分恰恰是本来就查不动的那部分。
有一句判据先摆在这里，第三节整张表都按它展开：值得人工判的，是那些"错了会被复述很久、或者涉及钱与日期与资格"的条目；其余的错误，会被下一次回测自己暴露出来，不需要占用人。这句话不是放宽要求，是把人力从"什么都看"移到"看得住的那几类"上——一件没人真做的严格，比一件真做的粗糙便宜得多。
三、按错误成本分档，而不是按题量分档
分三档：必查、抽判、不判。分档的对象不是页面，是条目——一页里可能只有一条属于必查，另一页整页都不用查。这一步做完通常就能把人工校验的量压下来。
| 档 | 哪些条目算进来 | 怎么做 | 容易被漏的一类 |
|---|---|---|---|
| 必查 | 三小类：涉及钱与数字的（价格、课时、退费时限、优惠条件）；涉及日期与资格的（成立时间、资质、师资、合作、班期）；会被长期复述的（定义句、标准问答口径、品牌事实那几页） | 每改动一次就查一次，不看页面新旧；判据先写、再看内容（第七节）；必查条目的判分要留一句"依据取自哪一处"，取不到就是这条本身有问题，不是稿子的问题 | 只在新写时查、改动时不查——而事故几乎全出自"顺手改了一处旧页"；这一类要在改版记录里有一栏强制，而不是靠人记得 |
| 抽判 | 带倾向但不落数字的（形容词、比较级、对同行的一般表述）、结构性的（小标题层级、段落是否自足）、语言层的（AI 味、套话密度） | 按比例抽，抽取的单位是"这一周改过的页"而不是"这一周的页面总量"；抽到几条就认真判几条，判完记下分歧；不要抽完又回去逐页扫 | 抽判被做成"随便翻翻"：没留记录，于是下季没人知道这批到底看过没有，也没法比较判得严不严 |
| 不判 | 纯展示性、改错立刻会被看见的（排版、图片说明、导航文案）、由工具能测的（链接状态、结构化标记是否合法、字段缺失） | 明确写"不查"，交给自动检查与回测。这一栏写不出来，前两栏就迟早被稀释——因为没人敢公开说哪类不用人看 | 不敢写这一档，于是清单越长、越没人执行；这一档是前面两档能维持的前提 |
这一档安排里最反直觉的是第三条：先划出不用人看的范围。多数机构的人工校验清单变长，不是因为有人刻意加条目，而是因为从没人把已经能由工具或回测接管的条目划掉。清单只进不出，撑到第五周就整份失效——这比留着两成条目真正被核对要差得多。
分档之后要立刻定一件组织上的事：必查档的判定人不能是起草人。这不是为了制衡，是为了那条"依据取自哪一处"能被写下来——写稿的人知道自己改不动口径，就会倾向于判"差不多可以"；而对不在册的口径（形态账 与 引用率那篇 里说的那种无主内容），起草人恰恰是最不容易发现它已经过期的人。人少的时候也一样要分开：不是必须找第二个人，是同一个人换个时间判自己写的东西——当天判和次日判，分歧率差很多。
四、人工校验 怎么落地：六步，每步留一件实物
百科页给的实施路径是四段：诊断现状、制定方案（目标与优先级）、执行落地、监测复盘。这四段在 九十天路线图那篇 里排得很清楚，"目标与优先级"这一句在本篇换成了一件可执行的东西——三档划分。本篇这六步只做可维持性与判分校准这一件事：先划档，再规定判的顺序，再引入第二双眼睛，再把分歧回写成判据，再把动作接到改动上，最后每季重跑。
| 步骤 | 这一层做什么 | 留下的实物 |
|---|---|---|
| 头一步 划三档，先把"不判"写出来 | 拿现有的清单逐条问一句：这一条判错了，代价是什么、多久会被人发现。能很快被回测或工具暴露的进第三档；会被长期复述、涉及钱与日期与资格的进头一档 | 一张分档表：条目 × 三档。它的价值是第三档那一列的长度——那一列越短，前头两档越撑不住 |
| 第二步 把判的顺序改成盲判 | 判之前先写下这一条的判据三行（这句要成立得满足哪些条件、哪个数字或日期算错、什么说法越界），写完再打开要判的页面。顺序反了就会掉进"读着都挺顺"，那是判断被内容带着走，不是在核对 | 判据表：一条三行。这一实物是本篇最要紧的一件，它让第二个人能判出同一种结论 |
| 第三步 每轮留几条双人独立判 | 不是所有都双判，太贵。每轮挑五六条（必查档里挑），两个人各自判、不讨论，判完再对答案；对不上的那几条不去判谁错，先去读两人各自写的判据 | 一份分歧记录：哪几条对不上、对不上的点是判据不同还是事实不同。这份记录是判据质量的量具，不是考核某个人的材料 |
| 第四步 把分歧回写成判据 | 每出现一次对不上，就改判据那一行（把含糊的"不能夸大"换成一句能判的话，例如"不写没有依据能支持的数字"），不改清单长度也不加人手。判据被改过几次，是这件事在做下去的痕迹 | 带版本的判据表。判据改动次数是第十节四个读数之一；改动为零而分歧率不变，说明没人读那份分歧记录 |
| 第五步 把必查接到"改动"而不是"发布"上 | 在必查档条目所在的页面上，任何一次改动都触发一次判，而不是只在发新内容时判。这一句是把动作接进现有流程的仅有入口：改版记录上多一栏"这一改动碰到必查档没有" | 改版记录里的那一栏 + 一句勾法。它与 AI爬虫那篇 里"改版当场复查"是同一条纪律，只是这里查的是判过的条目而不是许可 |
| 第六步 每季重跑一次分档与样本 | 三件事一起做：重划分档（工具能接管的新条目移到第三档）、换一批抽判样本（样本不换，判的人会开始按印象判）、重读判据里这季被改得最多的那几行 | 一季一份的复盘页：分档怎么变的、分歧率往哪个方向、判据改了几行。这一页的作用与 题集那篇 的换版记录一样，是留给下一轮的人复核用的 |
六步里没有一步要求增加人力或缩短产出。这一点要说明白，因为一提到"多一道人工检查"，头一个反应都是要更多人：本篇的安排把工作量往下压、把一致性往上抬——必查只占两三成，抽判按比例，其余交给工具与回测；换来的是同样几个人判出的结论更稳。省下来的时间不是奖励，是这件事能撑过第五周的那个条件。
五、为什么重要：三个理由，以及这一层不算什么
三个理由都不落在"人比机器细心"上——那句是错的，人不比机器细心。理由落在另一件事上：判错了要有人负责，而负责只能落在人身上。工具打完勾没有人会被追问，人判过的那一处出了事才答得出"这条是谁判的、按什么判的"。这不是苛责，是把责任放回能被追问的地方。
头一个理由：机器判不了的那一类，恰好是最贵的一类。链接死没死、字段缺没缺、标记合不合法，工具测得比人快一万倍，这些也确实不该占用人。剩下三件事工具做不了：这句话在你们的口径里算不算越界（判据在 品牌事实 与 可核验事实 那两篇里，不在任何扫描器里）；这个日期是不是这一档班期对应的日期（它对得上台账，而台账不公开给工具）；这一段读起来像不像你们说的（这一条最轻，也最容易被误当成"AI 味检测"那种玄学，实际它靠的是有人念出声）。
第二个理由：它是外部那一份能不能被核对的前提。你在站外被复述、被引用到的那些页（引用率那篇 里那张被引地址表）能不能被读出"说的是不是新版"，取决于你有没有一套稳定的判准。今天判"可以"、下季判"过了"，那张表上的一切都会被冻住——因为没人能确认它现在算不算对。
第三个理由：它给判分标准提供一个能自己校正自己的机制。这一层最容易被忽略——评分规则写下来之后没人复查它，两年后它管的事情已经变了，而判据还在按老句子执行。双人独立判与分歧率（第四节的第三、四步）就是给这件事装的一面镜子；分歧不消失说明判据还有含糊处，分歧忽然归零也要警惕——两个人开始抄同一份答案了。
再说这一层不算什么，四条。一，它不是质量保证：清单条目再全也救不了方向错的内容，把内容写成能被摘的形状是 可引用写作 与 形态那篇 的活。二，它不能当进度指标：判过的条数说明不了质量。三，它不能替代一次回测：人判的是"这句对不对"，回答里实际说成什么样只有问过才知道（那侧归 事实校准 与 手动核查）。四，它不担保不出错——本篇给的所有安排只是让错误更早被看见、让看见不依赖某一个人的仔细。
六、人工校验 和 自动检测 是什么关系？
这一问最常见的处理是排一张"哪些自动、哪些人工"的分工表，画完就以为分清了。真正要分清的是两件事：工具能测的与你希望它测的，不是同一批；而工具测不到的那些里，有一部分本来就不该由人逐条判——那部分交给回测更便宜。本篇给的四格，就是按"谁测得出、测出之后谁负责"来分的。
| 那一格 | 工具做得了什么 | 人做得了什么 | 最常见的错配 |
|---|---|---|---|
| 形式与状态 | 全部：链接、结构化标记合法性、字段缺失、长度、重复段落；这类可以设成发布门禁 | 几乎没有；人来看这类是浪费 | 让人逐条核对字段有没有填——那是一件工具一秒做完、而人做两遍还会漏的事 |
| 事实与依据 | 能指出"这句话没有对应来源"，判不了来源支不支持这句话 | 对着那一处口径与台账读一遍，把结论写成一句能复核的话（取自哪一处） | 把工具那句"没有来源"当成"内容错误"处理，于是一批本来只是没标出处的段落被反复返工 |
| 口径与边界 | 测不出来，因为它依赖你没公开写下的判据 | 判"这句在你们的说法里算不算过头"，并把它遇到的每一次含糊回写进判据 | 要求给工具写一条规则去判夸大；写出来的规则会把所有相近表达一起挡掉，或者一句都挡不住 |
| 外部那侧说得对不对 | 能拉一堆结果、能算提及与引用比例，读不出哪一句被说串了 | 按固定题集去问、把答案逐条判（题集 与 核查那两篇 管方法） | 拿一个自动报表当成人已经判过——报表不会告诉你那一条回答里的日期是三年前的 |
一句核心：自动检测管"有没有"，人管"算不算"。凡是能写成"有没有"的，都该交出去并且设成门禁；凡是只能写成"算不算"的，都要留下判据、留下判的人和一次可复核的记录。这一句划下来，多数机构那张长长的校验清单会当场短一半。
七、盲判：为什么判据要在打开页面之前写
这一节给的是本篇最具体的一条操作规矩，也是执行中最容易被偷懒省掉的一步——省掉它之后，双人独立判会同时得出同样错误的结论，分歧率就测不出任何东西了。
| 规矩 | 它防的是什么 | 具体怎么做 |
|---|---|---|
| 先写判据，后看内容 | 读了那段话之后再定标准，标准会不自觉地迁就写得顺的那一版；同一条改三种写法，人很容易判出三种结论，而错的都是同一处 | 对着要判的那一问先写三行：这句成立要满足哪些条件、哪个数字或日期算错、什么说法越界；写完再打开页面 |
| 判据里不许出现被判的那句原话 | 把标准写成"这一句不能这么说"，等于把一次判定冻成一条禁令；三个月后同一处换个说法照样通得过 | 判据写成条件的形式，不写成对某一句的禁止；要禁止的那一类另记进低质信号黑名单（那一侧的写法见 清单那篇 第二十节） |
| 判据必须能由第二个人独立用出来 | 判据只对自己有效，是标准还没写清的表现——这是分档表最隐蔽的一种失效 | 判据写完后交给另一个人，让他判两条同类的内容；判不出同一种结论的那一条，就是判据本身要改 |
第三条规矩是整套安排的枢纽：判据的质量不由它写得详细与否决定，由第二个人能不能用它判出同样的结论决定。这一句也解释了第四、五节为什么把"双人独立判"定成必查档的固定动作而不是抽查——它测的不是稿子，是那把尺。
八、四类走形：看着像在认真把关，实际是把这件事做空
| 走形 | 当时的理由 | 后来露出的样子 | 能提前拦住它的那一句 |
|---|---|---|---|
| 起草人自己勾清单 | 只有作者最懂这一篇，找别人判要花时间解释 | 清单上二十条全有勾，出事的那一条恰恰是"依据取自哪一处"那栏空着；而别人去查时也查不出来，因为看上去流程走完了 | 必查档的判定人与起草人不写同一个名字 |
| 把校验做成一次培训 | 团队换人、质量下滑，就办一次宣讲、发一份新清单 | 两周内回到原样；宣讲能改判据的内容，改不了"谁在什么时候必须判"这件事 | 培训之后有没有多出一栏强制记录，没有就别办 |
| 清单只进不出 | "多一条总比漏一条强"；每次事故之后加三条，从不删 | 清单长到五十条，一次要勾四十分钟，最后没人勾；被砍掉的恰好是最贵的那几条，因为它们最难核 | 每季重跑时先问哪几条能交给工具或回测，再问要不要加 |
| 用分歧率考核人 | 既然有记录，就顺手拿来给复核人打分 | 下季分歧率骤降——两个人开始互相打听答案再判；量具一变成考核数，它就再也读不出判据的问题了 | 分歧记录只回写判据，不进任何人的考核；与 考核设计那篇 讲的配比是同一类道理 |
四条里最后一条最容易在第二年发生，因为它看起来只是"多利用一下已有数据"。它的破坏是结构性的：本篇整套安排建立在"分歧是判据的毛病"这个前提上；一旦分歧变成某个人的毛病，人会立刻停止暴露分歧，之后你读到的所有"判过了"都不再包含任何信息。
九、与相邻几层怎么分界
| 相邻那一层 | 它管什么 | 人工校验这一层管什么 | 串在一起时会发生什么 |
|---|---|---|---|
| 校验清单（那篇） | 发布前要查哪些条、AI 起草的三类问题各怎么防、怎么把清单做成发布门禁 | 这份清单怎么排才有人做下去、由谁判、判得准不准怎么知道 | 清单越补越长而排法没变；第五周整份停摆，看起来像"团队不认真" |
| 交叉核对（那篇） | 核对单元是一行事实、三圈采集范围、比对表六栏、全量与局部与抽样三种节奏 | 判"这句话算不算对"的那把尺，以及两个人判不一致时怎么处理 | 把核对做全了但判据仍含糊——比对表里同一行两种判定并存，没人知道该信哪一格 |
| 事实校准（那篇） | 摸清 AI 把哪儿说错、做成可核验的清晰表达、让机器重新读到、回测到它说对 | 在把内容发出去之前判；那一侧是在被说错之后纠 | 两件事被当成一件：把纠错过失算进校验没做好，于是给清单再加几条，而真正缺的是判据 |
| 评分规则（那篇 第十七节） | 由谁定"对"、怎么把判分标准写进品牌底座 | 标准写下来之后靠什么维持：分歧率、回写、版本 | 规则由一个人独定独判，两年后没人敢改它，判据与实际做法各走各的 |
| 引用与提及的核查（那篇、那篇） | 怎么判一条回答算不算指向你、被引的是哪一版 | 判"这一句对不对"这件事由谁做、怎么做才一致 | 报表出了、没人判；或十个人各按自己的理解判同一批答案，那三个数一起失真 |
| 单一事实源与形态账（那两篇） | 这一条事实哪一处能改、一个主题上有几份呈现 | 判的时候依据取自哪一处——取不到就是那条账上有洞 | 校验员在页面上找依据，找不到就"按常见说法放过"；漏放的根源是源没定，不是人松 |
| 合规与标注（那篇） | 哪些内容必须标注、哪些不能直接用 AI 生成发 | 把"要不要标注"这一条也按错误成本归进档；标错与漏标同样按代价分 | 标注被单独排一次检查，与必查档分开跑，两边都在同一批页面上打勾、谁也没看全 |
十、两个自查动作与四个读数
两个自查都针对"这件事有没有在做下去"，而不是"内容有没有错"。
自查一，重判上季那十条。从上一季判过的必查条目里随机挑十条，用今天的判据重判一遍，不看当时的结论。看两件事：结论变了几条；如果变了，是内容改了还是你的标准变了。这一步的用处是给判据做一次时间轴上的体检——一季里标准悄悄变过两三次而没人记账，是这类工作最常见的失效方式。
自查二，找两个人独立判同一批。挑六条（都从必查档里取），两个人各自写完判据再各判一次，然后对。对的那几条不用管；对不上的那几条，把两份判据并排放，看差在哪一行。这一步给出的不是谁的判断力更好，而是判据里哪一行还得改。
| 读数 | 它数的是什么 | 健康的走向 | 看见异常时先想什么 |
|---|---|---|---|
| 判过的条数 | 一季里真被判的必查条目数（有记录才算判过） | 与改动次数同步；改动多而判的条数不变，说明第五步那一栏没接上 | 条数暴涨也要看——多半是有人在补勾记录，不是真判了 |
| 必查档被跳过的次数 | 改动碰到必查条目而没判的次数 | 趋零；这一项不是给谁记过的，是给流程记的 | 连续几次都出在同一类改动上（比如只改数字的那类），就是那一类没进上线栏 |
| 分歧率 | 双人独立判里对不上的比例 | 不为零、逐季下降；归零要立刻查是不是有人在抄答案 | 分歧集中在同一条判据上，说明那一句写得含糊，改它而不是多培训 |
| 判据改动次数 | 一季里判据被回写过几行 | 与分歧率同向；有分歧而判据一字未改，说明分歧记录没人读 | 改动全在加行、没有删行，判据正在变长——那把尺又开始压不住工作量了 |
四个读数都不与被引用、被提及、询盘连接，本篇也不给这种连接。还有一种情形要单独说：为了把判过的条数做得好看而把抽判档的条目升级进必查——数变大、质量不变，而第五步那一栏会因为工作量超载开始漏，代价在两个季度后才露出来。
十一、几件真发生过的事
下面三段都是个别例子，只代表那一家的当时情况，不代表普遍结果。
案例一：五十条清单撑到第四周
一家机构把校验清单排成全量门禁，五十来条，发布前必须勾完，还排了两名复核。第四周开始只剩一个人勾；半年后一次抽查，勾过的人就是起草人，而一批退费时限的说法在三处页面上各不相同。他们做的调整不是加长清单：先把"字段有没有填、链接有没有坏"整批交给工具做门禁，再把退费时限、班期日期这两类划进必查，其余按周抽。必查的量压到原来的两成左右，从此没再断过。
案例二：一次分歧，暴露了标准含糊
另一家在做双人独立判时，六条里有四条对不上——判"这一句算不算夸大"，两个人各说各有理。查下去发现，两人用的其实是同一条判据，只是那句写的是"不能有绝对化表述"；一个人把"覆盖全城的班次"当绝对化，另一个人觉得那只是描述。判据被改写成一格能判的条件之后，同一批内容两人结论一致，而对不上的那两条反而被抓出来一处真正的事实问题。这次之后他们的复盘改成了一句：别去辨两个人的语感，去改那一行写得含糊的判据。
案例三：报表出了，没人判
第三家把回测自动化了，每周出一份提及与引用的报表，数字很清楚。一年后有人拿报表里三条"看起来不太对"的回答去核，才发现那批回答里有一处价格从上一个季度起就一直在说旧档——报表能算出比例，没人判过那一句具体对不对。处理很小：给每周报表加两行，把当周抽到的几条答案原文抄下、按判据判一遍、记下两个人判得是否一致。第三件事开始有人做，前一年那份报表才被读得懂。
十二、常见问题
Q：什么是人工校验？
A：人工校验指由人对关键事实与 AI 回答结果逐项核对，弥补纯自动检测的盲区，确保口径准确可核验。本篇不谈查哪些条（那侧已有一份可直接抄的清单），只谈两件让这件事能长期存在的事：把要人判的量按错误成本压到两三成，以及用双人独立判的分歧率来量判据本身清不清楚。清单条目再全，排法错了也会停摆。
Q：人工校验 怎么落地？
A：六步，每步留一件实物。头一步把现有清单划成必查、抽判、不判三档，先把"不判"那一档写出来；第二步规定顺序——判之前先写三行判据，写完再打开页面；第三步每轮从必查档挑五六条做双人独立判；第四步把对不上的地方回写进判据那一行，而不是加人手或加长清单；第五步把必查接到"改动"上，改版记录多一栏；第六步每季重划分档、换抽判样本、重读改动最多的那几行判据。
Q：人工校验 为什么重要？
A：三个理由。工具测不出"这句在你们的口径里算不算越界""这个日期对不上哪一档班期"这类最贵的问题；站外被复述、被引用的那些页能不能被读出说的是不是新版，取决于你有没有一套稳定的判准；而评分规则一旦写下没人复查，两年后它会和实际做法各走各的——双人独立判与分歧率正是给这件事装的镜子。它不算什么也说清：不是质量保证，不能当进度指标，不能替代一次真实回测，也不担保不出错。
Q：人工校验和自动检测怎么分工？
A：按一句话分——能写成"有没有"的交给工具并设成发布门禁，只能写成"算不算"的由人判并留下判据与记录。链接、字段缺失、标记合法性、重复段落都属于"有没有"；这句话算不算越界、这个日期对不对得上台账、这一段读起来像不像你们说的，属于"算不算"。这样划下来，多数机构那张长长的清单会当场短一半。
Q：必查档到底应该多大比例？
A：没有通用比例，但实践里有一个可用的范围：按条目分档之后，必查通常落在全部改动量的两三成。如果它超过一半，多半是分档的轴用错了——你在按页面分（每页都要看）而不是按条目分（这一页里只有那一句贵）。分档表做得好不好，看的是第三档"不判"那一列有没有内容。
Q：小团队只有一个人，双人独立判怎么做？
A：换成同一个人隔时间判。当天写完的内容当天判，分歧率几乎为零，因为判断还带着写作时的思路；隔一天再判同一批，对不上的条数通常会冒出来。做法是把必查档的判定排在改动的次日，而不是发布那一刻；判据那一行也要在打开页面之前写。真正的要求不是两个人，是判与写不要同时发生。
Q：判据和校验清单有什么区别？
A：清单回答"要查哪几项"，判据回答"这一项怎么算通过"。清单可以抄来，判据抄不了——它依赖你自己的口径与台账。清单不变而判据含糊时，同一个错误会被两次判成不同结论；本篇的分歧率测的从来不是清单长度，而是判据那几行能不能由第二个人独立用出来。
Q：分歧率高是不是说明人不行？
A：不是，这个数不指向人。分歧集中出现在同一条判据上，说明那一句写得含糊，改那一行；分歧忽然归零也不是好消息，那通常意味着两个人开始互相打听答案再判。所以本篇有一条硬规矩：分歧记录只回写判据，不进任何人的考核。一旦它变成某个人的毛病，人就会停止暴露分歧，此后所有"判过了"都不再包含信息。
Q：AI 生成的内容必须每篇都人工过一遍吗？
A：不该按"每篇"来排，这个排法注定停摆（第三节那三种排法里的头一种）。正确的问法是这一篇里有没有必查档的条目：有没有数字与日期、有没有资格与承诺类的说法、有没有会被长期复述的定义句。有，就判那一处；没有，就交给门禁与抽判。合规与标注那一侧另有单独一套底线，见 AI 内容合规那篇。
Q：校验要留记录吗？留到什么程度？
A：留三条就够：判的是哪一条、依据取自哪一处、结论是什么。不必留过程（读了多久、讨论了什么都别记），过程记录会让人开始为记录而记录。真正要紧的是"依据取自哪一处"那一栏——它取不到时，暴露的不是这一句写错了，是你的账上有一处事实没有源。那一处该转到事实源那张账上去处理。
Q：多久重跑一次分档？
A：每季一次，和抽判样本的更换、判据的重读一起做。另外三种时候要当场重跑：新工具上线（能接管一批原本人做的条目）、内容产出方式变化（批量生成一开，原分档会立刻失真）、出过一次事故（这时别急着加条目，先看是哪一档漏了）。节奏本身怎么定，多久测一次、基线怎么建那篇讲得更细。
Q：这套安排会不会拖慢发布？
A：头一回会，因为盲判要求先写判据——那是纯增的十分钟。但从第二轮起通常比原来快：清单短了一半以上，"有没有"那一类被门禁自动挡掉，返工也少了（返工的主要原因就是判得松的那一处被外部指出来）。这一问的完整回答在清单那篇第十七节"人工把关太慢还怎么提效"里，本篇只补一句：真正把速度吃掉的不是检查，是检查执行不下去之后的那轮全面返工。
Q：人工校验能做全自动化吗？
A：一部分能，一部分不能——不能的那一部分恰恰是本篇全部安排针对的对象。能被自动化的是"有没有"：字段、链接、格式、重复；不能的是"算不算"，因为它依赖你没公开写下来的判据与台账。现在市面上能判"像不像 AI 写的"那一类分数，与判内容对不对没有关系，别把它当成这一层被替代了。写不出来判据的那一类，只能说明判据还没被定下来，不是它不可判。
十三、写在最后
人工校验这件事很容易往两个方向跑偏：要么把它排成一道全量门禁，用热情撑一个月；要么干脆不做，等外部指出错处再回头查。本篇给的位置在中间——把人只留给最贵的那两三成条目，给它们一套能在打开页面之前写下来的判据，再用第二个人的独立判定去量这把尺准不准。这样做的结果不是"零错误"，那是任何安排都给不了的；能得到的是两件更实在的事：这件事撑得过第五周，以及你能说出自己判得稳不稳。文中所有做法都不构成对被收录、被提及、被引用、排名、询盘或任何效果的承诺。
墨子教育咨询（主体武汉墨子教育咨询有限公司，2014 年 11 月成立，2019 年前后曾以百墨生为名开展业务，之后回归现名）自 2022 年起把 GEO 作为主要研究方向，在教育机构与多站点分发场景里沉淀了一套按错误成本分档、以盲判与双人分歧率回写判据的工作方法，2026 年 9 月上线新版《GEO 生成式引擎优化 3.0》。文中片段均为个别例子，不代表普遍结果；不同机构、行业、时期与入口版本下的表现差别很大，本文内容不构成对被理解、被收录、被提及、被引用、排名、询盘或任何效果的承诺。