Dlaczego w filmach z muzyką brakuje automatycznych napisów?

Dlaczego muzyka sprawia, że napisy znikają?

• Rozpoznawanie mowy uczy się głównie na mowie. Śpiew wydłuża słowa, a rytm i instrumenty zagłuszają dźwięki, które pozwalają odróżnić jedno słowo od drugiego. Badania nad transkrypcją śpiewanych tekstów pokazują, że dokładność bardzo różni się w zależności od utworu, a te same słowa wypowiedziane zwykłym głosem są rozpoznawane znacznie pewniej (NLP4MusA 2024).
• Słucha fragmentami. Popularne modele, takie jak Whisper, przetwarzają dźwięk w oknach po około 30 sekund. Jeśli model uzna, że w oknie jest mało mowy, może zakończyć je wcześniej, więc brakujący fragment może trwać nawet około pół minuty.
• Nic Cię nie ostrzega. Transkrypcja wygląda na kompletną. Nie pojawia się żaden błąd.
• Ponowna próba rzadko pomaga. Ponowne przetworzenie tego samego pliku zwykle daje tę samą lukę.

Najczęściej zdarza się to przy piosenkach i muzyce w tle, ale może też wystąpić przy szybkiej mowie i w niektórych językach.

Jak sprawdzić, czy w napisach czegoś brakuje?

• Ktoś mówi lub śpiewa, ale przez kilka sekund nie ma żadnych napisów.
• Jedno słowo zostaje na ekranie znacznie dłużej, niż trwało jego wypowiedzenie.
• Po przerwie muzycznej napisy przestają pasować do tego, co jest mówione.

Przed publikacją odtwórz każdy fragment, w którym jest muzyka lub nakładające się dźwięki.

Jak uzupełnić brakujące napisy?

1. Transkrybuj ponownie tylko brakujący fragment. Wytnij go jako osobny krótki klip i dodaj do niego napisy osobno. Krótki klip daje modelowi nowy start.
2. Dodaj napisy do głosu, zanim dołożysz muzykę. Jeśli masz jeszcze projekt, transkrybuj samą ścieżkę głosu albo najpierw ścisz muzykę.
3. Krótkie luki dopisz ręcznie. Przy jednej czy dwóch linijkach to często najszybsze.
4. Użyj narzędzia, które ponownie sprawdza luki, żeby nie szukać ich samodzielnie.

Podgłośnienie całej ścieżki nie jest pewnym rozwiązaniem. W naszych testach nie zmniejszyło liczby luk.

Co wykazały nasze testy

Przeanalizowaliśmy dziesiątki prawdziwych filmów z piosenkami, muzyką w tle i szybką mową i porównaliśmy obok siebie pięć konfiguracji trzech usług rozpoznawania mowy. Każda z nich pominęła jakieś fragmenty; żadna nie uniknęła problemu całkowicie.

Ponowne sprawdzenie każdej luki osobno odzyskało większość brakujących słów. Niewielka część odzyskanych słów – w naszych testach około 3 na 100 – nie zgadzała się z niezależną transkrypcją, dlatego odzyskany tekst warto sprawdzić przed dodaniem.

Jak radzi sobie z tym CaptionBolt

Głębokie skanowanie w CaptionBolt znajduje luki i słowa, które za długo zostają na ekranie, i sprawdza każde z tych miejsc ponownie, żebyś mógł odzyskać teksty piosenek i dialogi ukryte pod muzyką bez przepisywania ich.

1. Otwórz projekt i przejdź do Edytora tekstu.
2. Kliknij Głębokie skanowanie.
3. Odtwórz każdy odzyskany fragment razem z oryginalnym dźwiękiem i zostaw te, które chcesz.
4. Dodaj je w jednym kroku. Możesz to cofnąć.

Głębokie skanowanie jest dostępne w każdym planie i nie zużywa minut przetwarzania. Działa w projektach przesłanych w ciągu ostatnich 14 dni. W ukończonym projekcie najpierw wybierz Edytuj ponownie, żeby utworzyć kopię do edycji. Odzyskane linijki często są zapisane małymi literami i bez interpunkcji, więc popraw je jak każdy inny napis w Edytorze tekstu.

Kiedy słów nie da się odzyskać?

Samej muzyki, nucenia albo głosu zagłuszonego hałasem lub innymi mówiącymi może nie rozpoznać żadne narzędzie. Te linijki dopisz samodzielnie. CaptionBolt tworzy napisy na podstawie własnej transkrypcji i nie importuje plików z tekstami piosenek ani z napisami, więc do wklejenia gotowego tekstu piosenki potrzebujesz innego narzędzia.

Żeby nadać napisom styl, gdy już są kompletne, zobacz, jak sprawić, żeby napisy pojawiały się słowo po słowie.