¿Por qué faltan subtítulos automáticos cuando un video tiene música?

¿Por qué la música hace desaparecer los subtítulos?

• El reconocimiento de voz se entrena sobre todo con habla. Al cantar, las palabras se alargan, y los ritmos y los instrumentos tapan los sonidos que distinguen unas palabras de otras. Las investigaciones sobre la transcripción de letras cantadas encuentran que la precisión varía mucho de una canción a otra, mientras que las mismas letras dichas en voz alta se transcriben con mucha más fiabilidad (NLP4MusA 2024).
• Escucha por bloques. Modelos muy usados como Whisper procesan el audio en ventanas de unos 30 segundos. Si el modelo decide que una ventana tiene poca voz, puede detenerse antes, así que un tramo perdido puede durar hasta medio minuto.
• Nada te avisa. La transcripción parece completa. No aparece ningún error.
• Reintentar rara vez ayuda. Procesar el mismo archivo otra vez suele dar el mismo hueco.

Es más común con canciones y música de fondo, pero también puede pasar con un habla rápida y en algunos idiomas.

¿Cómo sé si mis subtítulos se saltaron algo?

• Alguien habla o canta, pero durante varios segundos no aparece ningún subtítulo.
• Una palabra se queda en pantalla mucho más tiempo del que tardó en decirse.
• Después de una pausa musical, los subtítulos ya no coinciden con lo que se dice.

Antes de publicar, reproduce cada parte que tenga música o sonidos superpuestos.

¿Cómo arreglo los subtítulos que faltan?

1. Vuelve a transcribir solo la parte que falta. Corta ese tramo en un clip corto aparte y subtitúlalo por separado. Un clip corto le da al modelo un nuevo comienzo.
2. Subtitula la voz antes de agregar la música. Si todavía tienes el proyecto, transcribe la pista de voz sola o baja la música primero.
3. Escribe a mano los huecos cortos. Para una o dos líneas, suele ser lo más rápido.
4. Usa una herramienta que revise los huecos para no tener que buscarlos tú.

Subir el volumen de toda la pista no es una solución fiable. En nuestras pruebas no redujo los huecos.

Lo que encontramos al probarlo

Estudiamos decenas de videos reales con canciones, música de fondo y habla rápida, y comparamos lado a lado cinco configuraciones de tres servicios de reconocimiento de voz. Todas se saltaron algunos tramos; ninguna evitó el problema por completo.

Revisar cada hueco por separado recuperó la mayoría de las palabras que faltaban. Una pequeña parte de las palabras recuperadas, unas 3 de cada 100 en nuestras pruebas, no coincidió con una transcripción independiente, así que el texto recuperado debe revisarse antes de agregarlo.

Cómo lo resuelve CaptionBolt

El Análisis profundo de CaptionBolt encuentra los huecos y las palabras que se quedan demasiado tiempo en tus subtítulos y revisa cada uno, para que recuperes letras y diálogos ocultos bajo la música sin volver a escribirlos.

1. Abre tu proyecto y ve al Editor de texto.
2. Haz clic en Análisis profundo.
3. Reproduce cada fragmento recuperado junto al audio original y conserva los que quieras.
4. Agrégalos en un solo paso. Puedes deshacerlo.

El Análisis profundo está disponible en todos los planes y no consume minutos de procesamiento. Funciona con proyectos subidos en los últimos 14 días. Si el proyecto ya está terminado, elige primero Editar de nuevo para crear una copia editable. Las líneas recuperadas suelen estar en minúsculas y sin puntuación, así que ordénalas como cualquier otro subtítulo en el Editor de texto.

¿Cuándo no se pueden recuperar las palabras?

Ninguna herramienta puede garantizar que reconozca música sola, tarareos o una voz enterrada bajo ruido u otras personas hablando. Escribe esas líneas tú. CaptionBolt crea los subtítulos a partir de su propia transcripción y no importa archivos de letras ni de subtítulos, así que para pegar una letra ya hecha necesitas otra herramienta.

Para darles estilo cuando estén completos, consulta cómo hacer que los subtítulos aparezcan palabra por palabra.