Perché i sottotitoli automatici mancano quando un video ha la musica?

Perché la musica fa sparire i sottotitoli?

• Il riconoscimento vocale è addestrato soprattutto sul parlato. Il canto allunga le parole, e ritmi e strumenti coprono i suoni che distinguono una parola dall'altra. Le ricerche sulla trascrizione dei testi cantati rilevano che la precisione varia molto da una canzone all'altra, mentre gli stessi testi detti a voce vengono trascritti in modo molto più affidabile (NLP4MusA 2024).
• Ascolta a blocchi. Modelli molto diffusi come Whisper elaborano l'audio in finestre di circa 30 secondi. Se il modello decide che una finestra contiene poco parlato, può fermarsi prima, quindi un tratto mancante può durare fino a mezzo minuto circa.
• Nessun avviso. La trascrizione sembra completa. Non compare alcun errore.
• Riprovare aiuta di rado. Elaborare di nuovo lo stesso file di solito produce lo stesso buco.

Succede più spesso con canzoni e musica di sottofondo, ma può capitare anche con un parlato veloce e in alcune lingue.

Come capisco se i miei sottotitoli hanno saltato qualcosa?

• Qualcuno parla o canta, ma per diversi secondi non compare alcun sottotitolo.
• Una parola resta sullo schermo molto più a lungo del tempo in cui è stata pronunciata.
• Dopo una pausa musicale, i sottotitoli non corrispondono più a ciò che viene detto.

Prima di pubblicare, riproduci ogni tratto che contiene musica o suoni sovrapposti.

Come sistemo i sottotitoli mancanti?

1. Ritrascrivi solo il tratto mancante. Taglia quel tratto in una breve clip a parte e sottotitolalo da solo. Una clip breve dà al modello un nuovo inizio.
2. Sottotitola la voce prima di aggiungere la musica. Se hai ancora il progetto, trascrivi la traccia della sola voce oppure abbassa prima la musica.
3. Scrivi a mano i buchi brevi. Per una o due righe spesso è la cosa più veloce.
4. Usa uno strumento che ricontrolla i buchi, così non devi cercarli tu.

Alzare il volume di tutta la traccia non è una soluzione affidabile. Nei nostri test non ha ridotto i buchi.

Cosa abbiamo scoperto nei test

Abbiamo studiato decine di video reali con canzoni, musica di sottofondo e parlato veloce, e confrontato fianco a fianco cinque configurazioni di tre servizi di riconoscimento vocale. Tutte hanno saltato alcuni tratti; nessuna ha evitato del tutto il problema.

Ricontrollare ogni buco separatamente ha recuperato la maggior parte delle parole mancanti. Una piccola parte delle parole recuperate, circa 3 su 100 nei nostri test, non corrispondeva a una trascrizione indipendente, quindi il testo recuperato va controllato prima di aggiungerlo.

Come lo gestisce CaptionBolt

L'Analisi approfondita di CaptionBolt trova i buchi e le parole che restano troppo a lungo nei sottotitoli e ricontrolla ciascuno, così recuperi testi e dialoghi nascosti sotto la musica senza riscriverli.

1. Apri il progetto e vai all'Editor testo.
2. Fai clic su Analisi approfondita.
3. Riproduci ogni passaggio recuperato insieme all'audio originale e tieni quelli che vuoi.
4. Aggiungili in un solo passaggio. Puoi annullare.

L'Analisi approfondita è disponibile in tutti i piani e non consuma minuti di elaborazione. Funziona sui progetti caricati negli ultimi 14 giorni. Per un progetto già completato, scegli prima Modifica di nuovo per creare una copia modificabile. Le righe recuperate sono spesso in minuscolo e senza punteggiatura, quindi sistemale come qualsiasi altro sottotitolo nell'Editor testo.

Quando le parole non si possono recuperare?

Musica pura, canticchiato o una voce sepolta sotto il rumore o altre persone che parlano potrebbero non essere riconosciuti da nessuno strumento. Scrivi tu quelle righe. CaptionBolt crea i sottotitoli dalla propria trascrizione e non importa file di testi o di sottotitoli, quindi per incollare un testo già pronto serve un altro strumento.

Per dare stile ai sottotitoli una volta completi, vedi come far comparire i sottotitoli una parola alla volta.