aishifu 研究笔记 H3 案例库 关于 联系 EN

我们自己的欠账:最高优先级那一档,98.9% 还没通过复核

Alpha Lay ·

前面几篇都在讲数据说了什么。这一篇讲数据本身有多不可靠——包括我们自己造成的那部分。

数据是怎么来的

每条案例有三个状态字段:

发现一:95.1% 记录都处于「待复核」状态

记录状态条数占比
可检索待语义复核1,21295.1%
元数据冲突待核403.1%
复合对比样本221.7%

没有一条案例是「已完全复核」状态。 这个字段体系里根本没有那个值——我们从一开始就把目标设成了「可以先检索」,而复核是永久欠账。

发现二:707 条只到「自动候选」,而且这两组标记完全重合

看质量标记:

质量标记条数
标签为自动候选707
本轮云端ffmpeg技术证据707
模式未核实324
短提示词51
元数据冲突40
弱分类依据26
复合对比画面22
拉片覆盖不足90%5

前两个标记的条数完全一样,而且是同一批 707 条案例。 这不是巧合:它表示这 707 条是同一个处理路径产出的——只做了云端 ffmpeg 技术提取,标签全部来自自动候选,没有任何人工复核。

那么剩下 567 条呢?

条数
非自动候选(有额外处理路径)567
其中状态为「可检索待语义复核」505
其中「复合对比样本」22
其中「元数据冲突待核」40

567 条里,454 条的来源类型是「原发布者原文照录」——也就是标签直接来自原帖文字,可信度高于自动候选,但依然没有经过语义复核。

发现三:我们定义的「最高优先级」,恰恰是复核最少的

这是我们最该认的一条。优先级字段把案例分成三档,P0 的定义是「当前短剧」——按我们自己写的意图,这是最该先看懂、最该先复核的一档:

优先级样本待语义复核比例
P0(当前短剧)26326098.9%
P1(跨题材技法)44142496.1%
P2(未来类型)57052892.6%

我们认为最重要的一档,复核率最低(98.9% 待复核)。 这显然是流程设计失误:优先级的分配发生在采集阶段,复核却一直没排上队,于是「优先级」只影响了一件事——它被索引的先后顺序,没有影响质量。

而且 P0 里 194 条(73.8%)连语音检测都没跑(详见语音检测那篇)。优先级字段在我们这里,目前只起到了「标签」作用,没起到「资源分配」作用。

发现四:几个小规模但值得留意的质量标记

质量标记条数含义
拉片覆盖不足90%5对视频逐帧/逐镜分析时,覆盖的时间比例不到 90%(全部是 16 秒以上的长片)
弱分类依据26分类依据不足,容易被误判
元数据冲突40不同来源对同一字段给出不同值
短提示词51提示词过短,无法据此复现

「拉片覆盖不足90%」只有 5 条,但全部集中在长视频上——正好是我们最需要逐镜分析的那一类。这个巧合值得警惕:越是复杂的长片,我们的分析覆盖率越低。

这些数字能拿来干什么

如果你在引用我们前面的任何一篇:把这一篇当作前置声明。那些文章的结论方向是可靠的(它们用到的都是 ori、dur 这类客观测量字段),但凡是涉及题材、技法、风格的分类结论,分母里都混着 95% 未复核的数据。

如果你在做自己的标注流程:这是一个完整的反面案例。核心教训是——「待复核」必须是一个有限队列,不能是一个默认状态。我们把复核做成了「以后有空再说」,结果是 1,212 条排在那里,而且优先级最高的排在最后。

如果你在评估任何自动标注数据集:问三个问题就够了——① 自动候选占多少?② 有多少经过人工复核?③ 复核的优先级是怎么排的?我们这个库的答案是 55.5%、不到 5%、且排错了。

方法与局限

数据可查

每条案例的状态与质量标记都在详情里公开:https://cases.aishifu.shop/