度量:从可见度到归因
不能度量的优化,最后都变成讲故事。本篇建立指标口径、监测方法与实验设计,让 GEO 的投入与产出之间至少有可讨论的桥梁。
39指标体系:可见度、引用率、提及份额与倾向
GEO 的讨论之所以容易滑向玄学,是因为缺少一套能被反复计算的口径。同一个“AI 提到了我们”,在不同团队嘴里可能指完全不同的东西:有人指答案里出现了品牌名,有人指答案末尾挂了链接,有人指答案把我们的价格说对了。这三种情况的商业价值差别巨大,必须分开度量。
先区分四件事
被提及(presence)。答案文本中出现了品牌名、产品名或创始人名。这是最低门槛,只说明模型“知道有你”,不说明它推荐你。被推荐(recommendation)。答案在给出选项时把你列入其中,或使用了倾向性表述。被引用(citation)。答案把某个页面列为来源,用户可点击核对。被准确描述(accuracy)。答案对你的事实陈述——业务范围、价格、地域、资质——与事实库一致。
这四件事的关系不是递进的:有的品牌被频繁提及却总被描述错;有的页面被大量引用但品牌名从未出现;有的答案推荐了你却没有任何来源链接。如果不分开记录,就会出现“数据很好看、线索没变化”的尴尬。
六个基础指标与口径
| 指标 | 计算口径 | 采集方式 | 常见口径陷阱 |
|---|---|---|---|
| 可见度 | 问题集中出现品牌名的问题数 ÷ 总问题数 | 固定问题集逐条提问 | 问题集变动导致不可比 |
| 提及份额 | 本品牌提及次数 ÷ 该问题集内所有同类品牌提及次数 | 同上,需记录竞品 | 竞品名单随意增减 |
| 首提率 | 品牌在答案中被提及的顺位为 1 的问题数 ÷ 被提及问题数 | 人工判读或文本定位 | 把“列表第几个”当成“推荐强度” |
| 引用率 | 答案来源中包含本站域名的问题数 ÷ 总问题数 | 读取来源区 | 把“提及”误记为“引用” |
| 描述准确率 | 事实陈述正确的条目数 ÷ 被陈述的事实条目数 | 逐条比对事实库 | 只统计“有没有提”,不核对“说得对不对” |
| 答案稳定性 | 同一问题多次提问中,主结论一致的次数 ÷ 提问次数 | 同一时段重复 3 次 | 单次结果直接下结论 |
这些指标都不需要平台开放接口,靠一张结构化的记录表就能完成。关键不在工具,而在口径固定:问题集固定、竞品名单固定、判定规则固定、采集时段固定。任何一项变动,都要在报告里注明“口径变更,不与上期直接比较”。
倾向:被提及不等于被推荐
倾向(sentiment)是最容易被误用的指标。模型输出的语气往往克制,很少出现明显褒贬,更多的是“适合 / 不太适合”这类条件式判断。因此判定倾向时,不宜做粗粒度的“正/负”二分,建议改成四档:推荐(明确列入建议名单)、中性罗列(与其他选项并列,无倾向)、限定推荐(在特定条件下推荐,如“预算充足时可考虑”)、负面或警示(提及缺点、争议、风险)。
四档比二分更贴近真实情况,也更能指导动作。比如大量“限定推荐”说明你的定位清晰但覆盖面窄,需要补充适用场景内容;大量“中性罗列”说明你只是名单里的一个名字,缺乏差异化证据;出现“负面或警示”则要立刻回到事实核查,看是信息错误还是真实口碑问题。
复合指标怎么设才不荒谬
很多团队希望用一个数字概括 GEO 效果,于是把各项指标加权求和。这在管理层沟通上确实方便,但必须避免两个陷阱:一是权重随意(为了让数字好看而调权重),二是把不可比的项相加(把“被提及”和“被成交”放在同一个公式里)。
一个相对稳妥的复合指标是“有效可见度”:只统计同时满足“被提及 + 描述准确 + 非负面”的问题数占比。它牺牲了一部分信息量,但很难被操纵,也不容易误导。若需要体现推荐强度,可以再加一层“推荐度”:在有效可见的问题中,属于“推荐”或“限定推荐”的比例。
指标的价值来自可比较。宁可少几个指标,也要保证每一期用同样的方法测。口径变更必须留痕,否则任何“增长”都无法被验证。
把指标翻译成业务语言
管理层不关心“提及份额从 12% 到 15%”,他们关心“客户在选型时会不会想到我们”。因此每期报告建议做一次翻译:把指标变化对应到具体场景。例如“在‘武汉 GEO 培训’这类地域问题上,我们从偶尔出现变成稳定出现,意味着本地搜索意图的客户更可能在第一步就接触到我们”。
翻译要克制,不做因果承诺。可以说“同步出现”,不能说“因此带来了多少线索”。这种克制短期内会让报告显得不够“有成绩”,长期却能让 GEO 在组织里获得可信度——而可信度是预算能否持续的前提。
40监测方法:人工抽样的偏差控制与工具化
生成式引擎没有对外的“排名查询接口”,也没有稳定的结果页。这意味着 GEO 监测天然带有抽样性质:你看到的永远是一部分答案,而不是全部。承认这一点,然后想办法把偏差控制住,比追求“全量数据”更现实。
为什么人工抽样仍是基准
原因有三个。其一,多数产品不提供可编程的查询接口,第三方工具的数据来源不透明,口径无法验证。其二,答案受登录状态、地区、设备、历史对话影响,同一问题在不同账号下可能不同。其三,答案包含语义判断(是否推荐、描述是否准确),纯文本匹配很难替代人读一遍。
因此建议把监测分成两层:人工抽样作为基准,用于校准与判读语义;自动化采集作为趋势,用于提高频次、发现异常。当两者冲突时,以人工抽样为准,并检查自动化规则是否需要调整。
问题集怎么设计
问题集是整个监测体系的地基。设计原则是“分层 + 固定 + 可扩展”。分层指按意图类型分组,每组的商业含义不同:
| 层级 | 示例 | 反映什么 | 建议数量 |
|---|---|---|---|
| 品类词 | GEO 优化是什么、GEO 培训哪家好 | 品类认知与赛道占位 | 8–12 |
| 场景词 | 预算十万怎么做 AI 获客 | 解决方案覆盖度 | 10–15 |
| 地域词 | 武汉 GEO 服务商、光谷 AI 营销公司 | 本地实体关联 | 5–10 |
| 品牌词 | 墨子教育咨询怎么样、墨子教育 GEO 课程 | 品牌认知准确度 | 5–8 |
| 对比词 | A 与 B 哪个适合中小企业 | 差异化叙事 | 5–8 |
| 长尾问句 | GEO 和 SEO 冲突吗、没有官网能做 GEO 吗 | 内容纵深 | 15–20 |
问题总数控制在 50–70 条比较合适:少于 50 条,单条波动会主导整体数字;多于 70 条,人工维护成本会让人放弃。问题一旦确定,至少稳定运行一个季度再评估是否调整,中途增删要在报告中标注。
偏差从哪里来
时段偏差。工作日与周末、白天与深夜的答案可能有差异,尤其是涉及时效性内容时。固定采集时段能减少噪音。账号偏差。登录账号、会员等级、历史对话都会影响结果,建议使用干净账号与独立会话。地域偏差。部分产品按 IP 提供本地化结果,跨地区团队测同一问题会得到不同答案,需在记录中标注采集地。措辞偏差。“哪家好”和“推荐几个”会引导出不同风格的答案,问题文本必须逐字固定。版本偏差。模型升级往往在一夜之间改变答案分布,因此要记录采集日期,并在报告中对“版本切换点”单独说明。
还有一个容易被忽略的偏差:观察者偏差。人工判读时,执行者知道自己在为哪个品牌做优化,容易把模糊表述读成“推荐”。控制方法是双人独立判读、抽样复核,或制定明确的判读规则卡(什么算推荐、什么算罗列),并在培训时用统一案例校准。
记录表的最小字段
一条记录至少包含:采集日期、采集人、平台与版本、采集地、账号状态、问题原文、答案全文(或截图)、品牌是否出现、出现顺位、描述要点、事实是否正确、倾向档位、来源链接列表、备注。字段看起来多,但真正需要人工填的只有判断类字段,其余可以复制粘贴。
建议用表格工具而非文档记录,原因是可以筛选、透视、做图。若团队有技术资源,把表格换成数据库,前端做一个录入页,后端做聚合查询,效率会明显提升。但要避免过度工程化——在问题集稳定之前,任何复杂的仪表盘都是浪费。
工具化的边界
自动化采集能解决频次问题,但有两条边界必须守住。第一是合规边界:不使用非公开接口、不绕过访问控制、不高频请求影响对方服务;只采集公开可见的答案文本。第二是可解释边界:自动化判读的规则要能被人工复核,出现异常时能定位到原始记录。
现实中的做法通常是“半自动”:脚本负责批量提交问题与保存原文,人工负责判读关键字段。这样既提高了效率,又保留了语义判断的准确性。当问题集与判读规则都足够稳定后,再逐步把简单判断(是否出现品牌名、来源域名是否包含本站)交给程序。
市面上一些工具会给出一个综合分数,看起来专业,但其数据来源、样本量、判读规则往往不公开。用它做内部趋势参考可以,用它向客户证明效果则需要谨慎,因为对方一旦追问口径,你很难自圆其说。
41归因难题:AI 引用与线索、成交之间的距离
一个客户在 AI 里问了三个问题,看到你的名字,两周后在手机地图里搜到你的门店,进店成交。这条链路上没有任何一次点击带着来源标记,传统的渠道报表里,他会被记成“自然到店”或“品牌词搜索”。这就是 GEO 归因的现实起点。
为什么归因特别难
没有可靠的来源标记。多数 AI 客户端在用户点击来源链接时,要么不带 referrer,要么以应用内浏览器打开,落地页看到的往往只是一次直接访问。即便是网页端,来源参数也常被裁剪。
决策链路被拉长。AI 常出现在认知与比较阶段,真正的成交发生在数周之后、在另一个设备上、由另一个人完成。多点触达的链路里,任何单点归因都会失真。
答案本身不可点击。大量用户只看结论,不去点来源。品牌被“看见”了,但没有产生任何可记录的访问。
品牌搜索被 AI 激发。用户在 AI 里看到你的名字,转头去搜索引擎搜品牌词。这部分增长会被记在 SEO 或品牌投放名下,与 GEO 无关——至少在报表上无关。
可用的代理信号
既然无法精确归因,就要接受“组合证据”的思路:用多个弱信号互相印证,而不是指望一个强信号。常用的代理信号包括:
| 信号 | 可信度 | 采集难度 | 说明 |
|---|---|---|---|
| 品牌词搜索量 | 中 | 低 | 需排除投放与公关事件干扰 |
| 直接访问占比 | 中低 | 低 | 包含收藏、书签、输入网址 |
| 咨询首句“我在 AI 上看到” | 高(有偏) | 低 | 只有主动提及者会被记录 |
| 专属落地页访问 | 高 | 中 | 需在内容中埋可识别路径 |
| 优惠码/口令 | 高 | 中 | 适合活动型场景 |
| 销售首触问卷 | 高(样本小) | 中 | 依赖销售执行一致性 |
| 品牌认知调研 | 中高 | 高 | 周期长,适合年度 |
这些信号单独看都不足以证明因果,但放在一起能形成合理判断。例如:某季度问题集可见度从 18% 升到 31%,同期品牌词搜索量上升 22%,客服记录中“AI 推荐”提及从 3 条增至 17 条,三条线索方向一致,就可以支持“GEO 投入产生了可见度与认知层面的变化”这一结论。注意措辞是“支持”,不是“证明”。
三种归因模型的取舍
末次触点。把功劳给成交前最后一次可识别来源。优点是简单,缺点是系统性低估认知型工作,GEO 在这种模型下几乎永远拿不到功劳。首次触点。把功劳给链路起点。优点是能体现认知价值,缺点是容易高估,且首触往往不可知。增量法。不看单条链路,而看“做了与不做”的差异。这是最接近真相的方法,但需要对照组,实施门槛高。
实践中的折中方案是“增量优先、证言补充”:能用对照设计的场景(如分站、分区域、分产品线)尽量用增量法;无法做对照的场景,用客户证言与咨询记录做补充说明,并在报告中明确标注证据等级。
把“不可归因”讲清楚,反而更专业
很多服务方不愿意承认归因困难,因为承认了就显得“没法证明效果”。但从企业决策的角度,一个能清楚说明“哪些能测、哪些只能推断、推断的可信度有多高”的团队,比一个拍胸脯保证 ROI 的团队更值得长期合作。
具体做法是在提案阶段就写明度量方案:本期用哪些指标、用什么方法采集、预期能看到什么级别的证据、哪些结论不会给出。把预期管理前置,后续就不会因为“为什么没有线索增长”而互相指责。
任何声称能把 AI 引用精确折算成线索成本的工具,都值得追问其数据链路。在缺少来源标记的环境里,精确到个位数的 ROI 通常只是模型假设的产物。
42实验设计:轻量 A/B 与时间断点观察
企业做 GEO 实验,条件远不如互联网产品团队:样本小、无法随机分组、平台不配合、周期长。但这不意味着只能凭感觉。只要设计得当,仍然可以获得“这件事大概率有用”的证据。
能做什么,不能做什么
能做的:页面级对照、问题集分组对照、站点级对照、时间断点前后对比、内容版本替换观察。不能做的:对同一个用户在平台内做随机分流、控制模型版本、拿到平台侧的曝光数据、在短时间内获得统计显著的大样本。
承认这些限制之后,实验目标要从“证明因果”下调为“排除明显无效”。这个目标听起来保守,实际价值很高:它能把预算从无效动作上挪走,也能避免把偶然波动当成方法有效。
四种可落地的设计
| 设计 | 做法 | 适用场景 | 主要局限 |
|---|---|---|---|
| 页面版本对照 | 同一主题写两个版本,分别部署在结构相似的两个 URL,观察被引用情况 | 验证写作方法(如是否加摘要段) | 两个 URL 权重不同,难完全对等 |
| 问题集分组 | 把问题集分成处理组与对照组,只针对处理组补内容 | 验证内容覆盖对可见度的影响 | 组间难度天然不同,需配对设计 |
| 站点级对照 | 在分站做优化,主站保持原样 | 站群或多地站点企业 | 站点基础差异大 |
| 时间断点 | 记录变更前后各 4–6 周的数据,标注变更日志 | 无法做对照时的保底方案 | 季节、投放、公关事件干扰 |
其中“问题集分组”性价比很高:不需要改站点,只要挑 15 条问题集中补内容,另 15 条保持不动,两个月后比较两组的可见度变化。分组时要注意配对——两组的品类分布、难度、当前可见度尽量接近,否则结论会被组间差异污染。
变更日志是实验的前提
没有变更日志,任何前后对比都是自欺。日志至少记录:日期、变更内容、影响页面、执行人、预期影响的问题集。当数据出现变化时,先翻日志,再解释原因。
日志的另一个作用是防止“多重变更”。如果一个月内同时改了标题结构、加了结构化数据、发了十篇新文章、换了服务器,那么无论结果好坏都无法归因。建议把变更分批:这一轮只改内容结构,下一轮只改技术项,给每轮留出观察窗口。
观察窗口与噪音
生成式引擎的索引与答案更新有延迟,短则几天,长则数周。观察窗口建议不少于 4 周,理想是 6–8 周。窗口内不要频繁改动同一批页面,否则等于不断重置实验。
噪音控制方面,可以做两件小事:一是每次采集重复 3 次取多数结论,降低单次随机性;二是同时记录一个“稳定对照问题”(与你无关的常识问题),如果连它都剧烈波动,说明平台整体在变化,当期数据不宜过度解读。
结果怎么读
实验结果的呈现应当包含三部分:变化幅度、证据强度、替代解释。例如“处理组可见度从 20% 升至 47%,对照组从 20% 升至 27%,差异 20 个百分点;样本 15 条问题,置信度有限;同期该平台整体对教育类内容引用增加,可能部分解释对照组的上升”。
这样写看起来不够“漂亮”,但它经得起追问。相反,只报“提升 135%”而不提对照组,一旦对方追问就会陷入被动。
先有结论再找数据,是 GEO 报告里最常见的毛病。避免方法很简单:实验开始前把“什么结果算成功、什么结果算失败”写下来,事后不改。
43复盘节奏:月度、季度与年度的三层机制
GEO 的动作是连续的,效果的显现是延迟的,平台的规则是变动的。这三件事叠加在一起,决定了复盘不能只做一次,也不能天天做。合理的节奏是三层:月度看执行,季度看策略,年度看资产。
月度:只回答“做完没有”
月度的主角是执行,不是结论。核心问题是:计划的内容写完了吗?技术项改完了吗?抓取与索引有没有异常?问题集快照有没有按时采集?
建议的月度议程只有四页:产出(新增/更新页面数量、覆盖的问题集)、技术(抓取量、状态码分布、索引变化)、快照(可见度与准确率的当期值,不做趋势判断)、阻塞(需要谁决策、卡在哪)。会议控制在 45 分钟内,避免变成汇报表演。
月度最容易犯的错是“用一个月的数据下结论”。一个月的波动很可能来自平台更新或采样噪音,据此调整策略往往越调越乱。月度的正确姿态是“记录 + 排障”,把判断留给季度。
季度:回答“有没有用、要不要改”
季度是策略层。此时数据积累到可以看趋势,也应该做一次横向比较:与上季度比、与竞品比、与不同平台比。
| 模块 | 看什么 | 输出 |
|---|---|---|
| 趋势 | 可见度、提及份额、引用率、准确率的季度变化 | 趋势图 + 一句话结论 |
| 结构 | 哪些问题层在涨、哪些在跌 | 下一季度的内容优先级 |
| 竞品 | 竞品在同类问题中的表现与话术 | 差异化叙事建议 |
| 平台 | 各平台差异与本期规则变动 | 资源重新分配建议 |
| 事实 | 事实一致性巡检结果 | 需修复的错误清单 |
| 合规 | 内容抽检中的违规用语与夸大表述 | 整改项与培训需求 |
季度复盘的价值在于“取舍”。资源永远不够,季度是明确“停掉什么”的时机:某些问题层连续两个季度没有变化,说明投入产出不匹配,应当收缩;某些平台份额持续下滑但客户并不在那里,可以降低优先级。
年度:回答“能力长在哪”
年度不复盘单个项目,而复盘资产。要问的是:事实库是否完整、是否被真正使用?站点技术底座是否还支撑得住?团队是否形成了可复用的模板与流程?这一年沉淀下来的内容,明年还能不能用?
年度的产出应当是三样东西:一份更新后的事实库与页面基线、一份下一年度的方法论修订(哪些经验升级为规范、哪些规范被证伪)、一份能力清单(团队会做什么、还缺什么、是否需要外部协作)。
复盘会怎么开才不流于形式
三个具体建议。第一,数据先发、会前阅读,会上不再逐页念数字,直接讨论差异与决策。第二,每个结论必须带动作:谁、做什么、什么时候完成;没有动作的结论不进纪要。第三,专门留十分钟讲“没做好的”,并规定这十分钟不许辩解,只讲事实与改进。
还有一个反直觉的建议:把“本期没有变化”也当成一种结论。很多团队不敢写“无变化”,于是硬找一些微小波动来解释,久而久之报告失去可信度。承认某段时间没有进展,反而是专业的表现。
月度管执行与排障,季度管取舍与策略,年度管资产与能力。混在一起开,就会变成每月争论战略、每年补救执行。
本白皮书由墨子教育原创编写,可在注明作者与出处的前提下引用与转载;引用格式见版权与引用。
文中所述方法与观察基于公开资料与项目实践整理,各平台算法持续迭代,不构成对任何具体结果的承诺。