我想找出能放在一起的歌,再比較它們可能接合的位置。速度和調性可以先把選項縮小。段落邊界幫忙定位副歌。歌詞則多問一個問題:這首歌適合放在敬拜流程的這個位置嗎?
分析服務為這些決定產出好幾種證據。它們不是全部來自同一個模型,也不是每一種都在描述整首歌。
這是《Stream of Worship》系列的一部分。上一篇:同步歌詞:產生與對齊。下一篇:跑起分析服務:Modal 應用程式與背景工作。
先跑一次快速的量測
快速分析用 librosa 量長度、速度、調性和以 RMS 為基礎的響度。那個響度不是校正過的整體 LUFS。這個結果能讓錄音之間大致可比,又不必跑完整的結構分析。
速度是從音訊估出來的,對節拍不明確的情況有各演算法自己的處理方式。同一段錄音,用回傳 BPM 的一半或兩倍來數都可能說得通。有個數字對篩選很有用;但轉場聽起來不對時,還是得用耳朵確認。
快速分析不會標出主歌或副歌。佇列會把它的分析等級標成 partial,輸出也沒有完整的節拍格、標好的段落或音訊嵌入向量資訊。元件分析是另一個工作,即使 Admin CLI 的批次同時要求這兩步也一樣。
這樣分開,讓我可以幫一段只做過快速分析的錄音補上有用的段落資訊。也避免把「分析完成」當成所有可能特徵都存在的承諾。
從帶時間的歌詞找段落
前面那篇歌詞文講過 LRC 怎麼跟著實際演出走,包括重複的部分。這些時間戳讓重複的文字可以用來辨識段落:副歌出現三次,在音訊裡就是三個區間。
重複啟發式會正規化歌詞行、找出重複的視窗,並能用模糊比對把相似文字合併。它用重複次數和位置來給候選打分,長度和內容的權重可以調。預設的長度和內容權重都是中性的,所以歌詞裡出現敬拜關鍵字,本身不會讓某個候選加分。
勝出的區塊就當成副歌,前面附近的幾行則提供可能可以 loop 的主歌。重複的主歌、短小的疊句,還有開頭就唱副歌,都可能讓這條規則出錯。LRC 有缺行或切得很怪,也會改變哪些區塊看起來在重複。這是實用的備案,不是通用的音樂結構模型。
目前預設的辨識順序,比舊說法「先用 allin1,再靠重複」複雜得多。查完快取之後,只要輸入和憑證都有,worker 會先試用 LLM 把結構化歌詞對到 LRC。接著是外部提供或快取好的 allin1 標籤,再來是選用的整首 LLM 分段,最後才是重複啟發式。若明確指定分段模式,會直接限制選項,而不是每次都走完整條鏈。
結構化歌詞提供有名稱的段落;LRC 提供它們在錄音裡出現的位置。選用的 LLM 分段則是請模型從帶時間的歌詞裡切出段落。這兩條路都不該跟聲學強制對齊搞混——後者調整的是歌詞時間,不是決定段落標籤。
完整分析補上音樂結構
完整分析用 All-In-One,透過 allin1取得 BPM、節拍、強拍,以及標好名稱的段落,例如主歌、副歌、橋段和尾奏。它內部用 Demucs 分離出貝斯、鼓、其他和歌聲四軌。這四條分軌支援分析器,需要時也可以留下來。
它們跟為了歌詞辨識而準備的人聲與伴奏成品不一樣。特別是 allin1 的人聲分軌,跟歌詞管線用的乾人聲輸出不是同一份東西。
元件分析可以用完整分析的標籤和時間,找出副歌出現的位置和轉場角色。第一次副歌可以當入口,最後一次當出口,前面一段主歌則當 loop 目標。這些都是規劃用的候選,不是叫你就在那裡剪音訊的自動指令。
接著每個元件各自量測相關的音訊片段:BPM、調性、律動密度、後拍強度和能量。預設的特徵計算只聚焦在轉場角色和第一個橋段;有個選項會包含所有元件。所以安靜的第一次副歌和比較大聲的最後一次副歌,就算歌詞一樣,量出來的數字也會不同。
節拍格也有自己的路徑。元件分析可以要求一份獨立的節拍格,把邊界對到小節,而不必跑完整的 allin1 分析。強拍偵測失敗時,現有的節拍還是能幫上忙;再不然,結果就少了時間上的證據。部署細節留到下一篇。
調性偵測不能只看一個平均值
本地調性偵測器會建出和聲 chroma:把諧波和打擊成分分開之後,把能量歸到十二個音高類別。再拿這些值去比對旋轉過的大調與小調 Krumhansl-Schmuckler 輪廓。相關性最高的那個就給出候選主音和調式。
有整首的估值,但投票路徑會把錄音切成外部給的段落,或互相重疊的視窗。這樣短短的開頭影響力就比長段的演唱小,也比較看得出同一段錄音內部的不一致。
偵測器會剔掉短於八秒的視窗、太安靜的視窗、chroma 幾乎平坦的,以及前兩名輪廓分數太接近的候選。通過的票會依長度、有上限的 RMS 和輪廓分數加權。開頭和結尾的短視窗權重減半。如果一票都不剩,就退回整首的偵測器。
結果包含信心值、分數差距、視窗之間的一致程度、其他候選,以及演算法版本。這些是診斷資訊,不是「這個調性是對的」的機率。會轉調的錄音本來就可能同時存在互相競爭的調性。就轉場規劃來說,出口段落的估值可能比整首最後勝出的那個調性更有關係。
嵌入向量也能描述文字
嵌入向量 worker也是獨立的工作。它把歌名、作曲和原始歌詞合成一個歌曲層級的文本輸入。另外也對至少含四個 CJK 字元的個別歌詞行做嵌入,並保留原本的行號。用預設的 text-embedding-3-small 設定,要求的向量是 1,536 維。
歌曲向量讓發掘可以靠意思,而不是靠字面。行向量則讓一小段文字也能貢獻,即使歌詞其他部分在講別的事。當一首歌的橋段比歌名更貼近某個主題時,這就有用。四個字元的門檻也限制了哪些內容會拿到行層級的涵蓋。
這些向量跟 allin1 的音訊嵌入向量不同。完整分析的結果會回報音訊嵌入向量的形狀資訊;那不是歌詞搜尋用的語意文字向量。兩個都叫「嵌入向量」卻不講清楚代表什麼輸入,會讓這條管線聽起來比實際上更統一。
主題和姿態回答不同的問題
元件分類會給一個主題,來自十二個中文類別,再加上歌詞姿態:「向神」、「關於神」或「向會眾」。一首歌詞可以內容是在讚美,對象卻是會眾。主題描述的是講什麼;姿態描述的是對誰講。
分類器用該元件的歌詞和 LLM,再用基於代名詞的啟發式做信心交叉檢查。正規化後歌詞內容相同的重複元件,會共用一次分類呼叫,然後複製欄位。這樣省呼叫,也讓相同的副歌保持一致,不過這些列的音訊特徵還是可能不同。
Admin CLI 會把存下來的元件標籤彙總成錄音層級的值。它取出現次數最多的有效標籤,同票時依序看:第一次副歌、平均信心、最早出現。去重模型呼叫,並沒有讓這些彙總的票也去重。重複的副歌還是會貢獻重複的列。
有一個分類修正是 300 token 的輸出額度造成的。推理模型在回傳 JSON 之前就把額度用光,留下空的內容和帶著誤導性信心的 null 標籤。現在分類有獨立的模型設定、預設 2,048 token 的額度、明確的截斷偵測,被丟掉的標籤也不再帶信心值。
HTTP 回應成功這樣還不夠。真正有用的檢查是:回傳的欄位到底能不能支撐下一個決定。