跳至主要內容
返回

Detector 2.0.0:先挑出該優先檢查的歌詞檔

更新於

先把壞掉的歌詞檔挑出來,要消化這個待審佇列會輕鬆得多。一個 LRC 檔在文字編輯器裡看起來很合理,實際上卻可能是錯的副歌,或最後一分鐘完全沒涵蓋。

偵測器的任務是替檔案排序,讓真人去檢查。它會拿時間軸歌詞比對轉錄稿,以及(如果有)節拍和音訊模型的證據。它不會發布檔案,也不會取代聽錄音這件事。

這篇是 《Stream of Worship》系列的一部分。前一篇:十個開發階段。

怎麼運作

偵測器有三個面向:一個從 LRC 文字出發的訓練模型、一個手工建立的常見瑕疵模型,以及拿歌詞對錄音出題的測驗。先前的版本已經描述過下面這套評分流程。

LRC 文字與對齊模型

一行 LRC 有時間戳和文字。首先,偵測器把有時間戳的行排序。只有 自由宣告 或 自由敬拜 的行,文字會被清空,因為那標記的是一段自由段落,不是歌詞。接著它只從 LRC 取出 23 個特徵:重複和反覆的行、空檔、行時長的推定值、時間戳倒序和重疊、編碼損壞,以及對音訊長度的覆蓋率。這些也會產生一個摘要分數 a_score。

只看文字沒辦法告訴我對的字有沒有出現在對的時間。所以偵測器還會把 LRC 跟自動語音辨識(ASR)的轉錄稿比對。對齊之前,它會先丟掉疑似轉錄偽影,例如浮水印、低信心的靜音,以及為了填滿某段而重複的短句。

對齊器用模糊文字相似度,把 1–2 行歌詞的區塊跟 1–5 個連續轉錄分段的區塊配對。它保持順序,也不重複使用同一個分段。反覆的副歌讓這件事變難:同樣的字可能在好幾個地方都配得不錯。如果某個配對的起點離歌詞時間戳超過 8 秒,而同樣的字在 8 秒內也被唱過,配對懲罰就會偏向附近那一次。

這個比對再提供 18 個特徵:配到的行佔比、典型時間偏移和它的分散程度、偏差超過 1 或 2 秒的比例、每分鐘的漂移、沒被涵蓋的人聲時間、重複行數的差異,以及(有節拍格線時)到最近節拍的距離。這些產生 b_score_fb。

訓練模型用上全部 43 個輸入:23 個 LRC 特徵、18 個對齊特徵,加上兩個摘要分數。缺值用訓練中位數補齊,輸入做標準化,再以擬合好的 logistic regression 回傳 0 到 1 之間的 model_risk。擬合的常數直接嵌在程式裡,所以評分只需要一個 numpy 內積和一個 sigmoid。

手工模型

另外,五種證據各有 0 到 1 之間的分數:內容不符、漂移、絕對偏移、時間散亂,以及重複不符。每一種都用雙曲正切曲線對照先前樣本定下的參考區間。它們的加權和是 evidence:

evidence = 0.30 × content_mismatch
         + 0.25 × drift
         + 0.15 × absolute_offset
         + 0.15 × scattered_timing
         + 0.15 × duplicate_mismatch

有做音訊對齊的錄音,偵測器取 model_risk 和 evidence 之中較高的一個。所以手工模型的強烈警告,可以把偏低的訓練模型分數拉上來。

拿歌詞對音訊出題

上面的 ASR 比對是拿歌詞對轉錄稿。測驗則是把關於錄音本身的問題丟給音訊模型,答案存在預先算好的 sidecar 檔案裡。基本測驗問的是:每一行關鍵歌詞,在錄音裡是否聽得到。如果 q_key_frac 是找到的比例,那麼 q_risk = 1 − q_key_frac 就是缺失的比例。

第二個測驗檢查時間戳附近的行。它截一小段音訊,給出預期的那一行和一個誘餌,問哪一句被唱出來。原始的探測加上兩次獨立重複,共三票。兩次在信心 ≥ 0.90 時否決,就確認不符,並把這段錄音的分數至少拉到 0.99。預期的字有沒有出現在轉錄稿裡,則有助於把瑕疵分類成文字或時間問題。

最後的分數

測驗分數當作下限。它們可以提高懷疑,但不能取消另外兩個模型的警告。對於有對齊、而且基本測驗可讀的錄音,組合方式是:

confidence = max(model_risk, evidence, q_risk)
confidence = max(confidence, 0.99)  # if the line quiz confirms a mismatch

0.65 以上,這段錄音被標為 poor,意思是 LRC 品質差。低於 0.65 則叫 good。差的錄音還可能帶子類型 text、timing 或 both;證據規則和測驗閘門給出的文字與時間結論不一致時,會合併處理。

我用這個分數排審查順序。confidence: 0.95 不該被讀成「已證明這個檔案有 95% 的機率是壞的」。那需要有人工標註的評估和校準結果。同一份轉錄稿既貢獻分數、又用來說明分數,也不算獨立驗證。

三個實際紀錄的標記

這些是未標註的待審項目,拿偵測器用的轉錄稿來比對。ASR 的節錄保留了辨識錯誤。這些是可疑檔案的例子,不是準確率樣本。

另一首歌的歌詞

1862ddfb0e81 這個檔案,LRC 裡有 [00:30.68] 藏我在 翅膀蔭下,而同一段的轉錄稿是 安靜 / 讓平安入我心。記錄下來的判定是 poor,分數 1.0000,子類型 text。它回報沒有任何 LRC 行配得上,測驗風險 1.0000。

這是值得優先檢查的檔案。標記暗示貼錯了歌詞;但要確認這個診斷,還是得聽錄音、看原始檔。

整段錄音都在唱結尾的副歌

0bd7ae0bf08d 這個檔案,LRC 在約六分鐘裡把 祢是配得讚美 重複了 22 次。轉錄稿裡有 親愛的神靈來充滿我的心,ASR 把「聖靈」辨識成「神靈」。記錄下來的分數是 0.9531,子類型 both。

證據列出 19 個連續重複,只有 32% 的行跟轉錄稿配得上,配到的行之間的時間誤差落在 279 到 369 秒之間。敬拜音樂裡重複本身很正常。會讓人想檢查這個檔案的是:重複把其他唱過的內容蓋掉了。

反覆的副歌不見了

4c398f507da0 這個檔案,16 行 LRC 在 [02:06.01] 不要收回祢的聖靈 結束。轉錄稿比對發現大約 191 秒之後還有一次副歌,卻沒有任何歌詞排在那裡。分數是 0.8510,子類型 both,回報有 45% 的人聲時間沒被涵蓋。

先前的比對在配到錯的副歌位置之後,記錄到一個表面上的 −137.53 秒位移。這說明了為什麼重複的文字需要時間先驗。少了先前和後來的評估產物,我不能聲稱修法已經重現,也不能量化改善多少。

下一個有用的量測,是人工標註的審查樣本,而且要包含低分的檔案。只檢查清單最上面,能證明它抓到一些壞檔案;但它不會告訴我漏掉多少。


分享這篇文章:

上一篇
十個開發階段:Stream of Worship 教我的事