Por que as legendas automáticas somem quando o vídeo tem música?

Por que a música faz as legendas sumirem?

• O reconhecimento de voz é treinado principalmente com fala. Cantar alonga as palavras, e batidas e instrumentos cobrem os sons que diferenciam uma palavra da outra. Pesquisas sobre transcrição de letras cantadas mostram que a precisão varia muito de música para música, enquanto as mesmas letras faladas são transcritas com muito mais confiabilidade (NLP4MusA 2024).
• Ele ouve em blocos. Modelos muito usados, como o Whisper, processam o áudio em janelas de cerca de 30 segundos. Se o modelo conclui que uma janela tem pouca fala, pode parar antes, então um trecho perdido pode durar até meio minuto.
• Nada avisa você. A transcrição parece completa. Nenhum erro aparece.
• Tentar de novo raramente adianta. Processar o mesmo arquivo outra vez costuma gerar o mesmo buraco.

É mais comum com músicas e trilha de fundo, mas também pode acontecer com fala rápida e em alguns idiomas.

Como saber se as minhas legendas pularam algo?

• Alguém está falando ou cantando, mas nenhuma legenda aparece por vários segundos.
• Uma palavra fica na tela muito mais tempo do que levou para ser dita.
• Depois de uma pausa musical, as legendas não batem mais com o que está sendo dito.

Antes de publicar, assista a cada trecho que tenha música ou sons sobrepostos.

Como corrijo as legendas que faltam?

1. Transcreva de novo só o trecho que falta. Corte esse trecho em um clipe curto separado e legende-o sozinho. Um clipe curto dá ao modelo um novo começo.
2. Legende a voz antes de colocar a música. Se você ainda tem o projeto, transcreva a faixa só de voz ou abaixe a música antes.
3. Digite à mão os buracos curtos. Para uma ou duas linhas, costuma ser o mais rápido.
4. Use uma ferramenta que revise os buracos para não precisar procurá-los você mesmo.

Aumentar o volume da faixa inteira não é uma solução confiável. Nos nossos testes, isso não reduziu os buracos.

O que descobrimos nos testes

Estudamos dezenas de vídeos reais com músicas, trilha de fundo e fala rápida, e comparamos lado a lado cinco configurações de três serviços de reconhecimento de voz. Todas pularam alguns trechos; nenhuma evitou o problema por completo.

Revisar cada buraco separadamente recuperou a maior parte das palavras que faltavam. Uma pequena parte das palavras recuperadas, cerca de 3 em cada 100 nos nossos testes, não bateu com uma transcrição independente, então o texto recuperado deve ser revisado antes de ser adicionado.

Como o CaptionBolt resolve isso

A Análise profunda do CaptionBolt encontra os buracos e as palavras que ficam tempo demais nas suas legendas e revisa cada um, para você recuperar letras e falas escondidas sob a música sem digitá-las de novo.

1. Abra o seu projeto e vá ao Editor de texto.
2. Clique em Análise profunda.
3. Ouça cada trecho recuperado junto com o áudio original e fique com os que quiser.
4. Adicione todos em uma única etapa. Dá para desfazer.

A Análise profunda está disponível em todos os planos e não consome minutos de processamento. Ela funciona em projetos enviados nos últimos 14 dias. Em um projeto já concluído, escolha antes Editar novamente para criar uma cópia editável. As linhas recuperadas costumam vir em minúsculas e sem pontuação, então ajuste-as como qualquer outra legenda no Editor de texto.

Quando as palavras não podem ser recuperadas?

Música pura, cantarolar ou uma voz enterrada sob ruído ou outras pessoas falando podem não ser reconhecidos por nenhuma ferramenta. Digite essas linhas você mesmo. O CaptionBolt cria as legendas a partir da própria transcrição e não importa arquivos de letra nem de legenda, então para colar uma letra pronta você precisa de outra ferramenta.

Para dar estilo às legendas depois de completas, veja como fazer as legendas aparecerem uma palavra de cada vez.