为什么视频里有音乐时，自动字幕会缺失？

为什么音乐会让字幕消失？

• 语音识别主要是用说话的声音训练的。 唱歌会拉长字音，鼓点和乐器会盖住区分不同词的声音。关于歌词转录的研究发现，不同歌曲的准确率差别很大，而同样的歌词用说的方式念出来，识别要可靠得多（NLP4MusA 2024）。
• 它是分段听的。 Whisper 等广泛使用的模型，按大约 30 秒的窗口处理音频。如果模型判断某个窗口里语音很少，就可能提前结束，所以缺失的一段最长可达半分钟左右。
• 不会有任何提示。 转录结果看起来是完整的，也不报错。
• 重试很少有用。 同一个文件再跑一次，通常会在同一个地方缺失。

这种情况在歌曲和背景音乐里最常见，但语速很快时、以及在某些语言里也会出现。

怎么判断字幕漏掉了内容？

• 有人在说话或唱歌，但好几秒都没有字幕。
• 某个词在画面上停留的时间，远远长于它被说出的时间。
• 音乐过渡之后，字幕和说话内容对不上了。

发布前，把所有有音乐或声音重叠的段落都播放一遍。

怎么补上缺失的字幕？

1. 只对缺失的那一段重新转录。 把这一段剪成单独的短片段，单独做字幕。片段短了，模型就能重新开始。
2. 在加音乐之前给人声做字幕。 如果你还有工程文件，就用只有人声的音轨转录，或者先把音乐调小。
3. 短的空缺直接手打。 只缺一两句时，这样往往最快。
4. 用能复查空缺的工具，这样就不用自己去找。

把整条音轨调响并不是可靠的办法。在我们的测试里，这样做并没有减少空缺。

我们实测发现了什么

我们研究了几十个带歌曲、背景音乐或快语速的真实视频，把三家语音识别服务的五种配置放在一起对比。每一种都会漏掉一些段落，没有哪一种能完全避免。

把每个空缺单独复查一遍，能找回大部分缺失的词。找回的词里有一小部分（我们的测试中约为每 100 个词 3 个）和独立识别的结果对不上，所以找回的文字应该先检查，再加入字幕。

CaptionBolt 怎么处理

CaptionBolt 的"深度扫描"会找出字幕里的空白和长时间停留的词，并逐一复查，让你不用重新打字，就能找回被音乐掩盖的歌词和对白。

1. 打开项目，进入 文本编辑。
2. 点击 深度扫描。
3. 对照原声播放每一段找回的内容，留下你想要的。
4. 一步加入字幕，也可以撤销。

所有套餐都能使用深度扫描，不消耗处理分钟。上传后 14 天内的项目都可以使用。已完成的项目，先点 再次编辑 创建可编辑的副本。找回的句子常常是小写、没有标点，像修改其他字幕一样在文本编辑器里整理即可。

什么情况下找不回来？

纯音乐、哼唱，或者被噪音、其他人声盖住的声音，任何工具都可能识别不出来。这些句子需要你自己打。CaptionBolt 基于自己的转录稿生成字幕，不导入歌词或字幕文件，所以想直接粘贴现成的歌词，需要用别的工具。

字幕补齐之后，想调样式可以看怎样让字幕一个词一个词地蹦出来。