我要畫面上出現的字,跟實際唱出來的一致。目錄給我的是官方歌詞,但錄音可能會多唱一次副歌、把主歌縮短,或再加一段結尾。一份正確的歌曲文字,還不能算是一支好用的歌詞影片。
歌詞管線有兩件事要做:先弄清楚唱了哪些行,再把這些行放進時間軸。把這兩個問題分開看,遇到文字沒問題、時間軸卻很糟的檔案時,會比較好修。
這是《Stream of Worship》系列的一部分。上一篇:建立歌曲目錄。下一篇:分析歌曲:速度、調性、段落與意義。
產生歌詞從錄音開始
LRC 產生會先試 YouTube 字幕,有設定的話再試 Qwen3 ASR,最後才是 Whisper。字幕本身就有文字和時間,能省掉一次轉錄。手動上傳仍然是操作者另外做的事。
字幕 worker 優先選中文軌,並請 LLM 對照官方歌詞修正文字,同時保留時間碼。順序和重複次數以錄音為準;官方文字用來幫忙判斷聽起來很像的字。不然修一修,可能就把現場的編曲改回紙上那個比較短的版本了。
字幕軌還是可能不完整,或時間對得很差。就算是人工提供的字幕軌,也可能只涵蓋演出的一部分。字幕只是起點;有字幕,不代表產出的 LRC 就可以直接發布。
字幕拿不到或碰到頻率限制時,自動工作會往 ASR 走。Qwen3 額度用完的話,會等一次重置再試一次,之後才交給 Whisper。但如果是明確指定用某個產生器,就不一樣了:它失敗就回報失敗,不會默默換一個來源。要比同一段錄音上不同產生器的表現時,這個區別很有用。
先辨識歌聲,再修正文字
做 ASR 時,服務可以在辨識之前先準備好人聲軌。有現成的乾人聲分軌就直接重用;沒有的話就送分離需求,等結果回來。Qwen3 和 Whisper 都用這份共用的音訊選擇,不會各自再處理一次同一段錄音。
優先使用乾人聲;如果分離結果有普通的人聲軌,也可以用。若已要求準備人聲、卻沒拿到可用的分軌,工作就失敗。它不會偷偷拿整首混音去轉錄。關掉分軌使用時仍然可以餵整首混音,但那是明確的選擇。
Qwen3 回傳的是帶時間戳的詞句。一個標準文字比對會把夠相似的辨識結果對到官方歌詞,然後交給 LLM 修成一行一行的歌詞。Whisper 再提供另一組帶時間的詞句,讓 LLM 跟同一份文字對照。兩種情況下,任務都包含保留實際唱出的重複。
這段產生程式碼裡也會看到「alignment」這個詞。這裡指的是把標準歌詞的行配到轉錄的時間戳。它不是下面會講的那個獨立的聲學強制對齊操作。文字修正可以改掉錯字,卻不能確定歌手到底是從哪裡開始唱那一行。
別讓最後一句歌詞留在畫面上
LRC 的一行會一直有效,直到被下一個時間戳取代。唱歌的時候這樣沒問題,但遇到長段的純樂器,上一句就會一直掛在畫面上。
字幕這條路有一個確定性的空白處理階段。它用字幕結束時間和速度插入帶時間的空行,讓播放器或渲染器可以把字清掉。LLM 被要求不要自己生這些標記。
這裡需要的是唱完那句的結束時間,光有下一句的開始時間不夠。兩個開始時間之間的長間隔,可能是一個拉長的音、一段樂器,或兩者都有。空白測試檢查的是字幕的規則;它們不能證明每一條 ASR 路徑都有同樣的空白處理。
找回沒被涵蓋的結尾
敬拜錄音常常在字幕結束之後還繼續唱。管線會檢查從最後一個非空歌詞時間戳到錄音總長之間的差距。用預設設定,這段差距超過「30 秒」和「錄音長度的 15%」中較小的一個時,就會觸發尾巴補救。
補救階段會取一段重疊的片段,從最後一句歌詞前 15 秒開始。先試 Qwen3,Qwen3 失敗或可用詞句太少再換 Whisper。找回來的詞句會對照官方文字修正、平移回錄音的時間軸,再接在原本的結尾後面。接縫處和之前的行,以及緊接著的重複,都會被丟掉。
長間隔也可能真的就是一段樂器尾奏。尾巴補救必須能接受「找不到新歌詞」這個結果。Whisper 的尾巴設定關掉了 VAD,因為語音偵測會把唱歌丟掉;另外用無語音檢查來擋掉不能用的輸出。這兩個設定都不能讓補上去的那行自動變成對的。
10 月 20 日的補救報告記下 22 個工作總共補了 43 行。那些數字是從 log 算出來的補救筆數,沒有做正確性稽核。真正有用的教訓是:一個成功的字幕工作,還是可能漏掉最後一次副歌。只算完成的工作數,看不出這個問題。
對齊是另一個操作
文字和重複次數已經沒問題時,我可以把它們送進 Qwen3 ForcedAligner 換掉時間軸。這個操作吃的是你給的文字和音訊。它不會幫你找出漏掉的副歌,也不會決定哪些字本來應該在。
它跟轉錄共用同一條人聲選擇路徑。模型回傳的是字或詞的片段,對應輔助函式會正規化標點和空白、追蹤文字位置,並把重疊的片段映回原本的行。每行的起點就變成 LRC 時間戳。沒對到的文字會拿到估算時間,所以操作完成後還是要聽過一次。
模型一次大約處理五分鐘。更長的錄音(預設最多到設定的 15 分鐘上限)會在安靜點附近切開。有現成的 LRC 時間就依它把行分到各段;沒有的話,就按字數比例估算當備案。每段各自對齊,時間戳再依該段的起始時間平移,最後才把行接起來。
切在安靜點可以降低把一句唱詞切斷的機率,但不保證。輸入的時間錯了,文字還是可能被分到錯的段落。審長錄音時,接縫的地方要特別看。
要分開檢查三件事
文字準不準、時間準不準、涵蓋範圍夠不夠,我分開檢查。字對了,可能出現得太晚。時間很準,配的卻是錯的字。就算兩者看起來都沒問題,也可能整段重複被漏掉。Detector 那篇文章講得更深,談怎麼找出需要審的檔案。
錄音會存 lrc_source,包括字幕產出有沒有經過 ASR 尾巴補救。最終結果的快取包含音訊雜湊、歌詞文字雜湊、語言,以及明確的 LRC 版本。轉錄快取另外帶模型和提示詞版本的資訊。改歌詞會讓對應的 key 變掉;改提示詞則要刻意更新版本號。
來源追蹤可以幫助解釋一個檔是怎麼來的,但不能取代邊播放邊確認內容。我會先看重複和結尾,再去花時間磨前面幾個時間戳。