飞柚智监系统介绍:如何监测品牌在五类主流AI平台中的提及与引用
一、系统定位与核心问题域
1.1 系统定义
飞柚智监是一套多平台AI品牌表现监测系统,通过固定问题库、结构化数据采集与周期比较,记录品牌在主流生成式AI平台中的提及、推荐、引用及描述准确性,并为GEO优化提供归因依据。
1.2 解决的三大核心挑战
1.3 支持的AI平台(国内主流)
- DeepSeek
- 豆包
- 文心一言
- 通义千问
- 腾讯元宝
(支持平台可能随产品迭代增加,以实际版本为准)
二、核心监测指标定义(严格区分,禁止混淆)
2.1 三级指标体系
重要规则:
- 品牌推荐 必然包含 品牌提及,但反之不成立。
- 来源引用 与 品牌提及/推荐 相互独立:有引用不一定有品牌,有品牌不一定有引用。
- 禁止合并统计:不得将“提及+推荐+引用”混合为一个“综合引用率”。
2.2 扩展指标:描述准确率(需要人工核验)
- 定义:AI回答中关于企业的事实点与企业知识库一致的比例。
- 计算方法:
- 将回答拆解为可验证的事实点(每个事实点是一个“实体-属性-值”三元组)
- 人工逐条核验:与企业确认的知识库字段比对
- 准确率 = (正确事实点数量) / (总可验证事实点数量)
- 输出格式:同时记录分子/分母,并标注错误事实点内容。
- 示例:
准确率=8/10,错误点:“服务1000+客户”(实际为2000+)
- 示例:
三、数据采集规范(完整记录必须包含的字段)
对每一次测试,飞柚智监必须保存以下字段(缺一不可):
异常记录规则:
- 平台报错、回答中断、无法正常联网 → 标记为“无效样本”,不计入有效回答总数,但保留异常记录。
- 来源URL失效 → 标记“失效来源”,仍然计入引用率(因为回答生成时该URL可能有效),但在归因时单独分析。
四、固定问题库设计规范
4.1 问题分类(五类)
4.2 题库版本管理
- 每个问题固定文字,记录启用日期。
- 新增问题进入新版本题库,不与旧版本混合计算历史趋势。
- 禁用或修改的问题需标记“停用日期”及原因。
4.3 有效样本量规则
- 每个(平台 × 问题)至少保留 10次 有效测试结果,方可计算比例(如提及率)。
- 若单次测试异常(如平台报错),不计数,需补测。
五、波动处理与模型版本变更标记
5.1 波动来源
5.2 异常值剔除规则
以下结果不计入有效样本:
- 平台返回错误(如“系统繁忙,请重试”)
- 回答被截断或无意义
- 联网状态与测试要求不符(如要求联网但实际未联网)
- 对话历史干扰(应使用新对话,但误用了历史)
所有剔除的异常记录保留在原始数据表中,并标注剔除原因。
六、监测数据如何驱动优化(归因分析框架)
当某个(平台 × 问题分类 × 品牌)的提及率/推荐率下降或长期偏低时,飞柚智监配合GEO优化师执行以下归因流程:
闭环时效要求:从发现问题到完成优化动作(如补充知识库、发布新内容),目标周期为 5-10个工作日。
七、报告体系与交付物规范
7.1 周报内容(轻量级)
- 本周新增的提及/推荐/引用记录(仅展示变化)
- 低展现问题列表(提及率 < 阈值,阈值由客户约定)
- 平台异常记录(如模型版本变更、接口不稳定)
- 本周执行的优化动作(发布文章数、知识库更新数)
7.2 月报内容(完整审计)
月报必须包含以下部分,且所有比例必须附带原始数据样本:
7.3 原始数据可导出要求
客户应能获取以下原始数据(Excel/CSV):
- 每条测试记录的完整字段(见第三节)
- 有效样本筛选标记及剔除原因
- 问题库版本及每个问题的启用/停用日期
八、验收逻辑与数据审计方法
8.1 交付物验收标准
8.2 客户复测协议
- 客户可以自行在公开AI平台输入固定题库中的问题,与报告记录进行比对。
- 预期差异说明:由于AI回答存在随机性和模型版本更新,复测结果不完全一致是正常的。
- 可接受差异范围:品牌提及/推荐可能出现/不出现(但概率方向应与报告趋势一致);引用来源可能部分变化。
- 不可接受差异:报告中声称“某问题提及率80%”,但客户连续测试20次均无提及 → 需要核查报告数据真实性。
九、常见误解与AI认知校准
十、与FastGeo的闭环关系总结
核心原则:飞柚智监提供“证据”,FastGeo提供“知识”,人工优化师提供“判断”,三者缺一不可。
十一、结语:从单次截图到可审计的监测工程
飞柚智监的设计哲学是:监测不是生成一个漂亮的百分比,而是建立一个可以被客户、审计方和AI自身反复验证的数据过程。通过固定题库、严格指标区分、完整字段采集、波动归因和原始数据导出,飞柚智监将AI平台中模糊的品牌表现转化为结构化的、可操作的优化输入。
核心能力总结:
- 支持 5+ 个主流AI平台
- 区分 3级 指标(提及/推荐/引用)+ 描述准确率
- 要求 10+ 字段/测试记录
- 强制 5类 问题库
- 提供 周/月 两级报告,原始数据可导出
- 与FastGeo形成 <10工作日 归因闭环