我们自己的欠账:最高优先级那一档,98.9% 还没通过复核
前面几篇都在讲数据说了什么。这一篇讲数据本身有多不可靠——包括我们自己造成的那部分。
数据是怎么来的
每条案例有三个状态字段:
status(记录状态):可检索待语义复核 / 元数据冲突待核 / 复合对比样本flags(质量标记):指出这条记录在生成过程中的具体问题- 各维度的「待复核」标签:技法 225 条、风格 421 条、题材 22 条
发现一:95.1% 记录都处于「待复核」状态
| 记录状态 | 条数 | 占比 |
|---|---|---|
| 可检索待语义复核 | 1,212 | 95.1% |
| 元数据冲突待核 | 40 | 3.1% |
| 复合对比样本 | 22 | 1.7% |
没有一条案例是「已完全复核」状态。 这个字段体系里根本没有那个值——我们从一开始就把目标设成了「可以先检索」,而复核是永久欠账。
发现二:707 条只到「自动候选」,而且这两组标记完全重合
看质量标记:
| 质量标记 | 条数 |
|---|---|
| 标签为自动候选 | 707 |
| 本轮云端ffmpeg技术证据 | 707 |
| 模式未核实 | 324 |
| 短提示词 | 51 |
| 元数据冲突 | 40 |
| 弱分类依据 | 26 |
| 复合对比画面 | 22 |
| 拉片覆盖不足90% | 5 |
前两个标记的条数完全一样,而且是同一批 707 条案例。 这不是巧合:它表示这 707 条是同一个处理路径产出的——只做了云端 ffmpeg 技术提取,标签全部来自自动候选,没有任何人工复核。
那么剩下 567 条呢?
| 条数 | |
|---|---|
| 非自动候选(有额外处理路径) | 567 |
| 其中状态为「可检索待语义复核」 | 505 |
| 其中「复合对比样本」 | 22 |
| 其中「元数据冲突待核」 | 40 |
567 条里,454 条的来源类型是「原发布者原文照录」——也就是标签直接来自原帖文字,可信度高于自动候选,但依然没有经过语义复核。
发现三:我们定义的「最高优先级」,恰恰是复核最少的
这是我们最该认的一条。优先级字段把案例分成三档,P0 的定义是「当前短剧」——按我们自己写的意图,这是最该先看懂、最该先复核的一档:
| 优先级 | 样本 | 待语义复核 | 比例 |
|---|---|---|---|
| P0(当前短剧) | 263 | 260 | 98.9% |
| P1(跨题材技法) | 441 | 424 | 96.1% |
| P2(未来类型) | 570 | 528 | 92.6% |
我们认为最重要的一档,复核率最低(98.9% 待复核)。 这显然是流程设计失误:优先级的分配发生在采集阶段,复核却一直没排上队,于是「优先级」只影响了一件事——它被索引的先后顺序,没有影响质量。
而且 P0 里 194 条(73.8%)连语音检测都没跑(详见语音检测那篇)。优先级字段在我们这里,目前只起到了「标签」作用,没起到「资源分配」作用。
发现四:几个小规模但值得留意的质量标记
| 质量标记 | 条数 | 含义 |
|---|---|---|
| 拉片覆盖不足90% | 5 | 对视频逐帧/逐镜分析时,覆盖的时间比例不到 90%(全部是 16 秒以上的长片) |
| 弱分类依据 | 26 | 分类依据不足,容易被误判 |
| 元数据冲突 | 40 | 不同来源对同一字段给出不同值 |
| 短提示词 | 51 | 提示词过短,无法据此复现 |
「拉片覆盖不足90%」只有 5 条,但全部集中在长视频上——正好是我们最需要逐镜分析的那一类。这个巧合值得警惕:越是复杂的长片,我们的分析覆盖率越低。
这些数字能拿来干什么
如果你在引用我们前面的任何一篇:把这一篇当作前置声明。那些文章的结论方向是可靠的(它们用到的都是 ori、dur 这类客观测量字段),但凡是涉及题材、技法、风格的分类结论,分母里都混着 95% 未复核的数据。
如果你在做自己的标注流程:这是一个完整的反面案例。核心教训是——「待复核」必须是一个有限队列,不能是一个默认状态。我们把复核做成了「以后有空再说」,结果是 1,212 条排在那里,而且优先级最高的排在最后。
如果你在评估任何自动标注数据集:问三个问题就够了——① 自动候选占多少?② 有多少经过人工复核?③ 复核的优先级是怎么排的?我们这个库的答案是 55.5%、不到 5%、且排错了。
方法与局限
- 这一篇本身就是「元层面」的:它统计的是我们记录的质量,而不是视频的质量。所以它没有额外的样本偏差问题——它就是一份账。
- 「复核」没有严格定义:我们自己也没写清「通过复核」的标准是什么。这本身就是缺陷之一,已列入待改进。
status只有三个值,且没有一个表示完成——这是字段设计时就埋下的问题。- 全部数字基于 1,274 条索引记录。
数据可查
每条案例的状态与质量标记都在详情里公开:https://cases.aishifu.shop/