内容与声音类型
区分对白、旁白、内心独白、电话音、画面文字、歌词，以及哭笑、喘息等表演声；决定哪些进入配音，哪些保留原声。
真实短剧片段 · 四名说话人 · 角色归属对照
近 30 个完整生产日，视频本地化任务量估算约 28.3 万，其中短剧及剧情娱乐内容约 11.1 万。
日均约 9,400视频本地化任务量估算
99.93%中文剧情内容识别一次通过率
86 种 / 130 个目标语言 / 地区版本覆盖
336 个创作者细分来源市场触达
SCENE FIRST01 02 03 04 05 06
识别台词之前，先回答六个问题
配音开始之前，系统先要判断谁在说、声音从哪里来、这段该不该配、应该怎样演；这些信息也会影响翻译、字幕和跨集一致性。
剧情事实
人名、动作、否定、数量和因果不能被噪声、口音或错误断句改变。
角色与出声位置
结合声音与画面判断谁在说、来自画内还是画外；换装、遮挡和快切后仍要认出同一角色，并保留性别、年龄与身份。
对话关系
分清说话对象和人物间的强弱关系，称谓与潜台词才不会理解错。
表演与连续性
识别威胁、反讽、哽咽、哭笑和克制，也判断哪些相邻字幕属于同一段呼吸和情绪推进。
声画时间
整句边界、词或 Token 级时间线索与句内停顿，都会影响字幕和配音能否对上画面。
MULTIMODAL UNDERSTANDING
台词听不清时，画面和上下文也能提供判断依据
当音乐盖住尾音、角色背对镜头或多人同时开口时，只靠音频很容易判断错。VMEG 会同时参考画面和前后剧情。查看多模态方法 ↗
声音
台词、停顿、语气与环境声
听见画面
出镜角色、口型、动作与屏幕文字
看见上下文
前后对白、人物关系与跨集信息
记住理解这场戏正在如何发生
后续翻译和配音会同时收到台词、角色、情绪与时间位置。
REAL PRODUCTION CASE
一个说话人错误，会怎样传到成片？
同一片源的 00:59.89–01:15.00 出现四个角色：父亲、女儿、孙子和另一名成年男性。这里仅展示判断角色归属所需的 15 秒片段，比较人工确认、对照模型和 VMEG 的结果。
源片 00:59.89–01:15.00 · 局部画面与原声 · 仅技术展示，原始内容版权归内容权利方所有。
人工确认4 名说话人
父亲、女儿、孙子与另一名成年男性。
对照模型2 组角色被合并
女儿与孙子被当成同一人，父亲与另一名男性也被合并。
VMEG 结果四个角色分别识别
为后续的角色翻译、音色分配和跨片段一致性保留正确归属。
角色被合并→音色分配错位→同一角色的声音前后不一致
这个片段只说明角色归属问题，不代表整集的 WER、DER 或字幕质量。模型对照截图、完整方法和 DER 评测讨论见 说话人分离生产评测 ↗
FROM RECOGNITION TO PRODUCTIONINPUT STRUCTURED UNDERSTANDING
源字幕一旦出错，翻译和配音也会跟着错
先把字听对，把字幕条切准。翻译和配音还需要人物关系、情绪、语言与时间信息。查看完整方法 ↗
原始视频
对白、画面、屏幕文字、音乐、动作与前后剧情同时发生。
→
能直接进入生产的识别结果
SRT 之外，还要保留下游会用到的场景信息。
口语文本说话人角色与性别画内 / 画外人物关系是否进入配音声音事件情绪与风格分段语言停顿与边界连续语意段跨集上下文
→
翻译完整句子、术语、上下文与人物关系
字幕准确边界、可读速度、分句与换行
角色化配音角色、性别、年龄、声音来源与表演提示
音色分配稳定的说话人身份与跨集一致性
声画与口型真实语音边界、停顿与精确时间位置
人工质检高风险片段、修改记录与可追溯信息
PRODUCTION READY
拿不准的地方，要能找出来
识别系统会犯错。可靠的链路要能找到漏句、时间异常和低置信片段，再决定重试还是交给人工复核。
1
找出可能漏掉的台词对照声音活动与字幕结果，定位可能未被识别的对白。
2
局部重试与补全只重新处理有问题的片段，减少对正确结果的扰动。
3
校正时间边界避免字幕切断语义，也避免后续配音被迫抢拍或拖拍。
4
集中复核不确定片段把高风险片段集中给人工复核，让注意力用在最需要的地方。
HOW WE TEST
30 日生产样本评测不能只看字词识别率
目标是交付可核对的台词、角色、内容类型与时间位置，而不只是一段转写文本。上方 15 秒案例中，人工确认 4 名说话人，VMEG 分出 4 名，对照模型只分出 2 名；这是单个片段的角色归属对照，不是整集准确率。字词、说话人和字幕条仍需分别用人工参考评测。
同一片源、同一人工参考下分别检查字词、角色、覆盖和时间边界。
+
检查剧情是否被改写、不该配音的内容是否被分流，以及翻译和配音前需要人工修正多少处。
强背景音乐哭腔与耳语多人抢话画外音电话音与内心独白口音与快语速屏幕文字跨集人物变化
01台词与剧情事实
WER / CER 之外，单独复核人名、数字、否定与关键动作。
02说话人与角色
用 DER 和人工角色映射查合并、拆分与台词错归属。
03内容类型
对白、歌词、画面文字与非语音事件是否进入正确的后续流程。
04表达线索
停顿、说话风格和情绪提示是否有可听证据；情绪模型先作辅助定位。
05时间与覆盖
逐句边界、漏句和重叠对白，对人工时间轴分别核验。
06下游返工
翻译与配音前，每分钟需要人工修正多少台词、角色或时间点。
中文剧情识别一次通过率来自独立 QC 样本，反映样本中的重新识别需求，不等同于实验室字符准确率。
SERIES MEMORY · VIDEO UNDERSTANDING
这一集确认的角色，成为下一集的已知信息
同一剧集项目中的角色库保存角色档案、每集的说话人关联和按目标语言绑定的音色。下一集的说话人可以与已有角色比对，匹配后继续使用同一角色身份与音色。
保存角色名、性别、参考声纹和出现记录，供后续剧集比对。
把每集识别出的说话人与剧集角色关联；可人工合并、解除关联或修正。
按目标语言绑定角色音色，复用已确认的音色，减少同一角色前后变声。
初次出现登记角色
把当集说话人与角色档案关联，记录名称、性别和可用声纹。
后续剧集匹配已有角色
结合名称、性别和声纹寻找候选；无法可靠匹配时保留新角色。
人工校正修正关联
对误合并或重复建档的角色，可调整单集关联并合并角色。
生成配音沿用角色音色
在适用的声音路线中复用该语言下的音色，未命中时重新克隆。
质检回测指标角色跨集错配率重复建档率人工关联修正率音色复用命中率
当前跨集资产聚焦角色关联与音色复用，不把亲属关系或身份反转当作已自动识别的角色属性。
先理解剧情，再做翻译和配音。
识别先理清台词、角色、情绪和时间，再把可用的底稿交给后续环节。