專利名稱：信息處理設(shè)備、聲音分析方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、聲音分析方法和程序。
背景技術(shù)：
近年來，已經(jīng)開發(fā)了用于分析以所演奏樂曲的聲音來記錄的音頻信號以及檢測該 樂曲的拍子位置、和弦進行、小節(jié)線進行等的技術(shù)。 例如，日本專利文獻JP-A-2008-102405公開了一種信號處理設(shè)備，其從音頻信號 中檢測樂曲中所包括的拍子的位置，針對所檢測到的拍子位置中的每個拍子位置來提取用 于和弦辨別的特征量(FQ)，并且之后基于所提取出的特征量來辨別各個拍子位置處的和弦 的類型。

發(fā)明內(nèi)容
然而，所演奏樂曲的實際速度不僅包括樂譜上出現(xiàn)的速度波動，還包括樂譜上未 出現(xiàn)的、由于演奏者或指揮者的編排而引起的速度波動。在這樣的情況中，利用相關(guān)領(lǐng)域 的樂曲分析技術(shù)，很難在反映了速度波動的情況下精確地檢測到拍子位置或拍子類型(例 如，節(jié)拍、拍子的拍數(shù)等)。 鑒于以上所述，希望提供能夠提高對音頻信號中所包括的拍子的位置或拍子的類
型的檢測的精度的新穎的和改進的信息處理設(shè)備、聲音分析方法和程序。 根據(jù)本發(fā)明一個實施例，提供了一種信息處理設(shè)備，其包括用于檢測音頻信號中
所包括的拍子的位置的拍子分析單元；用于計算類似概率的結(jié)構(gòu)分析單元，每個類似概率
是用由拍子分析單元所檢測到的各個拍子位置劃分出的拍子區(qū)間的聲音內(nèi)容之間相類似
的概率；以及小節(jié)線檢測單元，用于基于根據(jù)由所述結(jié)構(gòu)分析單元所計算出的類似概率而
確定的小節(jié)線概率來確定所述音頻信號的有可能的小節(jié)線進行，所述小節(jié)線概率指示各個
拍子對應(yīng)于哪種節(jié)拍中的哪個拍數(shù)。 該結(jié)構(gòu)分析單元可以包括用于通過使用各個拍子區(qū)間的各個音調(diào)的平均能量來 計算特定特征量的特征量計算單元；用于針對拍子區(qū)間來計算由特征量計算單元所計算出 的特征量之間的相關(guān)性的相關(guān)性計算單元；以及根據(jù)由所述相關(guān)性計算單元所計算出的相 關(guān)性來生成所述類似概率的類似概率生成單元。 該小節(jié)線檢測單元可以包括用于基于從音頻信號提取出的特定特征量來計算小 節(jié)線概率的小節(jié)線概率計算單元；用于根據(jù)類似概率來校正由小節(jié)線概率計算單元計算出 的小節(jié)線概率的小節(jié)線概率校正單元；以及用于基于由小節(jié)線概率校正單元校正后的小節(jié) 線概率來確定音頻信號的有可能的小節(jié)線進行的小節(jié)線確定單元。 特征量計算單元可以通過在多個八度音階中對具有相同名稱的音符的值求加權(quán) 和來計算特征量，這些值被包括在各個音調(diào)的平均能量中。 相關(guān)性計算單元可以通過使用這些特征量來計算拍子區(qū)間之間的相關(guān)性，每個特 征量是針對所關(guān)注的拍子區(qū)間以及所關(guān)注的拍子區(qū)間周圍一個或多個拍子區(qū)間的。
小節(jié)線概率計算單元可以基于根據(jù)各個拍子區(qū)間的和弦類型或基調(diào)類型而不同 的第一特征量和根據(jù)拍子概率而不同的第二特征量來計算小節(jié)線概率，拍子概率指示拍子 被包括在音頻信號的各個特定時間單位中的概率。 小節(jié)線確定單元可以通過以下方式來確定有可能的小節(jié)線進行從通過在以按時 間順序布置的拍子以及各個拍子的節(jié)拍和拍數(shù)所指定的節(jié)點中順次選擇節(jié)點而形成的路 徑中，搜索使根據(jù)小節(jié)線概率而不同的評估值變成最優(yōu)的路徑。 小節(jié)線檢測單元還可以包括小節(jié)線重新確定單元，該小節(jié)線重新確定單元用于在 第一節(jié)拍和第二節(jié)拍兩者都被包括在由所述小節(jié)線確定單元所確定的小節(jié)線進行中的情 況中，從搜索的對象中排除第一節(jié)拍和第二節(jié)拍中較不經(jīng)常出現(xiàn)的節(jié)拍而重新執(zhí)行路徑搜 索。 拍子分析單元可以包括用于基于拍子概率來檢測所述音頻信號中所包括的起始 點的起始點檢測單元，每個起始點是聲音產(chǎn)生的時間點，每個拍子概率指示拍子被包括在 音頻信號中的各個特定時間單位中的概率；用于針對由所述起始點檢測單元檢測到的各個 起始點來計算拍子得分的拍子得分計算單元，拍子得分指示起始點與具有可以設(shè)想到的拍 子間隔的拍子的對應(yīng)程度；拍子搜索單元，該拍子搜索單元用于基于由所述拍子得分計算 單元所計算出的拍子得分來搜索由示出有可能的速度波動的起始點形成的最優(yōu)路徑；以及 拍子確定單元，該拍子確定單元用于確定最優(yōu)路徑上這些起始點的位置和根據(jù)拍子間隔所 補充的位置，作為拍子位置。 拍子分析單元還可以包括拍子重新搜索單元，該拍子重新搜索單元用于在由拍 子搜索單元確定的最優(yōu)路徑的速度中的波動很小的情況中，限制搜索范圍并且重新執(zhí)行對 最優(yōu)路徑的搜索。 拍子搜索單元可以通過使用根據(jù)拍子得分而不同的評估值，來從通過沿時間軸順
次選擇以起始點和拍子間隔所指定的節(jié)點而形成的路徑中確定最優(yōu)路徑。 拍子搜索單元還可以通過使用根據(jù)過渡(transition)前后的節(jié)點之間速度的變
化量而不同的評估值來確定最優(yōu)路徑。 拍子搜索單元還可通過使用根據(jù)過渡前后的起始點之間的間隔與過渡前后的節(jié) 點處的拍子間隔之間的匹配程度而不同的評估值來確定最優(yōu)路徑。 拍子搜索單元還可以通過使用根據(jù)節(jié)點之間的過渡中所跳過的起始點的數(shù)目而 不同的評估值來確定最優(yōu)路徑。 拍子分析單元還可以包括速度修正單元，該速度修正單元用于根據(jù)使用通過學(xué)習(xí) 預(yù)先獲得的估計速度辨別公式而從音頻信號的波形中估計出的估計速度，對由拍子確定單 元所確定的拍子位置進行修正。 速度修正單元可以通過針對多個乘子中的每一個乘子、使用修正后的拍子位置的 平均拍子概率和估計速度來評估修正后的速度的似然，從而確定修正拍子位置所要使用的 用于修正的乘子。 根據(jù)本發(fā)明另一實施例，提供了一種信息處理設(shè)備，其包括起始點檢測單元，該 起始點檢測單元用于基于拍子概率來檢測音頻信號中所包括的起始點，每個起始點是聲音 產(chǎn)生的時間點，每個拍子概率指示拍子被包括在音頻信號中的各個特定時間單位中的概 率；拍子得分計算單元，該拍子得分計算單元用于針對由起始點檢測單元檢測到的各個起始點來計算拍子得分，拍子得分指示起始點與具有可以設(shè)想到的拍子間隔的拍子的對應(yīng)程 度；拍子搜索單元，該拍子搜索單元用于基于由所述拍子得分計算單元所計算出的拍子得 分來搜索由示出有可能的速度波動的起始點形成的最優(yōu)路徑；以及拍子確定單元，該拍子 確定單元用于確定所述最優(yōu)路徑上起始點的位置和根據(jù)所述拍子間隔所補充的位置，作為 拍子位置。 根據(jù)本發(fā)明的另一實施例，提供了一種聲音分析方法，其包括以下步驟檢測音頻 信號中所包括的起始點的位置；計算類似概率，每個類似概率是用各個所檢測到的拍子位 置劃分出的拍子區(qū)間的聲音內(nèi)容之間相類似的概率；以及基于根據(jù)所計算出的類似概率而 確定的小節(jié)線概率來確定音頻信號的有可能的小節(jié)線進行，小節(jié)線概率指示各個拍子對應(yīng) 于哪種節(jié)拍中的哪個拍數(shù)。 根據(jù)本發(fā)明的另一實施例，提供了一種程序，該程序使得控制信息處理設(shè)備的計 算機用作拍子分析單元，該拍子分析單元用于檢測音頻信號中所包括的拍子的位置；結(jié) 構(gòu)分析單元，該結(jié)構(gòu)分析單元用于計算類似概率，每個類似概率是用由拍子分析單元所檢 測到的各個拍子位置劃分出的拍子區(qū)間的聲音內(nèi)容之間相類似的概率；以及小節(jié)線檢測單 元，該小節(jié)線檢測單元用于基于根據(jù)由結(jié)構(gòu)分析單元所計算出的類似概率而確定的小節(jié)線 概率來確定所述音頻信號的有可能的小節(jié)線進行，小節(jié)線概率指示各個拍子對應(yīng)于哪種節(jié) 拍中的哪個拍數(shù)。 根據(jù)以上所述的本發(fā)明的實施例，可以提高對音頻信號中所包括的拍子的位置或 拍子的類型的檢測的精度。


圖1是示出根據(jù)本發(fā)明一個實施例的信息處理設(shè)備的邏輯配置的框圖； 圖2是示出對數(shù)譜的一個示例的說明性示圖； 圖3是示出對數(shù)譜的另一示例的說明性示圖； 圖4是用于描述拍子概率公式的學(xué)習(xí)處理的說明性示圖； 圖5是示出通過拍子概率公式所計算出的拍子概率的一個示例的說明性示圖； 圖6是示出拍子分析單元的詳細配置的框圖； 圖7是示出從拍子概率中檢測出的起始點的一個示例的說明性示圖； 圖8是示出起始點檢測處理流程的一個示例的流程圖； 圖9是與拍子概率相關(guān)地示出由起始點檢測單元檢測到的起始點的位置的說明 性示圖； 圖10是用于描述由拍子得分計算處理的說明性示圖； 圖11是示出拍子得分計算處理流程的一個示例的流程圖； 圖12是使從拍子得分計算單元輸出的拍子得分可視化的拍子得分分布圖； 圖13是用于描述由拍子搜索單元進行的路徑搜索的說明性示圖； 圖14是示出速度變化得分的一個示例的說明性示圖； 圖15是示出起始點移動得分的一個示例的說明性示圖； 圖16是示出針對跳過的懲罰的一個示例的說明性示圖； 圖17是示出被拍子搜索單元確定為最優(yōu)路徑的路徑的一個示例的說明性示7
圖18是示出恒定速度判定單元的判定結(jié)果的兩個示例的說明性示圖； 圖19是用于描述由針對恒定速度的拍子重新搜索單元進行的路徑重新搜索處理
的說明性示圖； 圖20是用于描述由拍子確定單元進行的拍子確定處理的說明性示圖； 圖21是用于描述由拍子確定單元進行的補充拍子設(shè)置處理的說明性示圖； 圖22是示出為常數(shù)倍關(guān)系的速度示例的說明性示圖； 圖23是用于描述估計速度辨別公式的學(xué)習(xí)處理的說明性示圖； 圖24是用于描述針對各個乘子的平均拍子概率的說明性示圖； 圖25是用于描述由速度修正單元計算出的速度似然的說明性示圖； 圖26是示出速度修正處理流程的一個示例的流程圖； 圖27是示出結(jié)構(gòu)分析單元的詳細配置的框圖； 圖28是示出拍子、拍子區(qū)間和拍子區(qū)間特征量之間的關(guān)系的說明性示圖； 圖29是用于描述拍子區(qū)間特征量的計算處理的第一說明性示圖； 圖30是用于描述拍子區(qū)間特征量的計算處理的第二說明性示圖； 圖31是用于描述相關(guān)系數(shù)計算處理的說明性示圖； 圖32是用于描述從相關(guān)系數(shù)變換成類似概率的變換曲線的一個示例的說明性示 圖； 圖33是使拍子區(qū)間之間的類似概率的一個示例可視化的說明性示圖； 圖34是示出和弦概率計算單元的詳細配置的框圖； 圖35是用于描述根音特征量生成處理的第一說明性示圖； 圖36是用于描述根音特征量生成處理的第二說明性示圖； 圖37是用于描述和弦概率公式的學(xué)習(xí)處理的說明性示圖； 圖38是用于描述和弦概率的計算處理的說明性示圖； 圖39是示出由和弦概率計算單元計算出的和弦概率的一個示例的說明性示圖； 圖40是示出基調(diào)檢測單元的詳細配置的框圖； 圖41是用于描述相對和弦概率生成處理的說明性示圖； 圖42是用于描述各個拍子區(qū)間的和弦出現(xiàn)得分的說明性示圖； 圖43是用于描述各個拍子區(qū)間的和弦過渡出現(xiàn)得分的說明性示圖； 圖44是用于描述基調(diào)概率公式的學(xué)習(xí)處理的說明性示圖； 圖45是用于描述基調(diào)概率的計算處理的說明性示圖； 圖46是示出由基調(diào)概率計算單元計算出的基調(diào)概率的示例的說明性示圖； 圖47是用于描述簡單基調(diào)概率的計算處理的說明性示圖； 圖48是用于描述由基調(diào)確定單元進行的路徑搜索的說明性示圖； 圖49是示出基調(diào)過渡概率的一個示例的說明性示圖； 圖50是示出由基調(diào)確定單元確定的基調(diào)進行的一個示例的說明性示圖； 圖51是示出小節(jié)線檢測單元的詳細配置的框圖； 圖52是用于描述由第一特征量提取單元進行的特征量提取處理的說明性示圖； 圖53是用于描述和弦穩(wěn)定性得分的說明性示圖； 圖54是用于描述和弦不穩(wěn)定性得分的說明性示 圖55是用于描述相對和弦得分的生成處理的說明性示圖； 圖56是用于描述由第二特征量提取單元進行的特征量提取處理的說明性示圖； 圖57是用于描述小節(jié)線概率公式的學(xué)習(xí)處理的說明性示圖； 圖58是用于描述小節(jié)線概率的計算處理的說明性示圖； 圖59是用于描述由小節(jié)線確定單元進行的路徑搜索的說明性示圖； 圖60是示出節(jié)拍變化概率的示例的說明性示圖； 圖61是示出由小節(jié)線確定單元確定的小節(jié)線進行的一個示例的說明性示圖； 圖62是示出和弦進行檢測單元的詳細配置的框圖； 圖63是用于描述擴展拍子區(qū)間特征量的說明性示圖； 圖64是用于描述擴展根音特征量生成處理的說明性示圖； 圖65是用于描述擴展和弦概率公式的學(xué)習(xí)處理的說明性示圖； 圖66是用于描述和弦概率的重新計算處理的說明性示圖； 圖67是用于描述由和弦進行確定單元進行的路徑搜索的說明性示圖； 圖68是示出由和弦進行確定單元確定的和弦進行的一個示例的說明性示圖； 圖69是示出通用計算機的配置示例的框圖。
具體實施例方式
以下，將參考附圖來詳細描述本發(fā)明的優(yōu)選實施例。注意，在該說明書和附圖中， 用相同的標號來標注具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的 重復(fù)說明。 此外，將按以下順序來描述"具體實施方式
"。
1.根據(jù)一個實施例的信息處理設(shè)備的總體配置 2.根據(jù)一個實施例的信息處理設(shè)備的各個單元的描述 2-1.對數(shù)譜變換單元 2-2.拍子概率計算單元 2-3.拍子分析單元 2-4.結(jié)構(gòu)分析單元 2-5.和弦概率計算單元 2-6.基調(diào)檢測單元 2-7.小節(jié)線檢測單元 2-8.和弦進行檢測單元 3.根據(jù)本實施例的信息處理設(shè)備的特征 4.總結(jié) 〈1.根據(jù)一個實施例的信息處理設(shè)備的總體配置〉 首先，將描述根據(jù)本發(fā)明一個實施例的信息處理設(shè)備100的總體配置。
圖1是示出根據(jù)本發(fā)明一個實施例的信息處理設(shè)備100的邏輯配置的框圖。參 考圖l，信息處理設(shè)備100包括對數(shù)譜變換單元110、拍子概率計算單元120、拍子分析單元 130、結(jié)構(gòu)分析單元150、和弦概率計算單元160、基調(diào)檢測單元170、小節(jié)線檢測單元180和 禾口弓玄進行(chordprogression)檢測單元190。
信息處理設(shè)備100首先獲得音頻信號，該音頻信號是以任意格式記錄的樂曲的聲
音。信息處理設(shè)備ioo所要處理的音頻信號的格式可以是任何壓縮格式或非壓縮格式，例
如WAV、 AIFF、 MP3或ATRAC。 信息處理設(shè)備100將音頻信號作為輸入信號，并且通過圖1中所示的各個單元來
執(zhí)行處理。信息處理設(shè)備ioo對音頻信號的處理的結(jié)果例如可以包括該音頻信號中所包含
的拍子在時間軸上的位置、小節(jié)線的位置、各個拍子位置處的基調(diào)或和弦，等等。 信息處理設(shè)備100例如可以是諸如個人計算機(PC)或工作站之類的通用計算機。
并且，信息處理設(shè)備100可以是任何數(shù)字裝置，例如，移動電話終端、移動信息終端、游戲終
端、音樂回放裝置或電視機。此外，信息處理設(shè)備ioo可以是專用于音樂處理的裝置。 以下，將詳細描述圖1中示出的信息處理設(shè)備100的各個單元。 〈2.根據(jù)一個實施例的信息處理設(shè)備的各個單元的描述〉 (2-1.對數(shù)譜變換單元) 對數(shù)譜變換單元110將作為輸入信號的音頻信號的波形變換成以時間和音調(diào)兩 個維度表示的對數(shù)譜。JP-A-2005-275068中所公開的方法例如可以用作將音頻信號的波形 變換成對數(shù)譜的方法。 根據(jù)JP-A-2005-275068中所公開的方法，首先，通過頻帶劃分和下采樣將音頻信 號劃分成多個八度音階的信號。然后，通過使12個音調(diào)的頻帶通過的帶通濾波器從每個八 度音階的信號中分別提取12個音調(diào)的信號。結(jié)果，可以獲得示出多個八度音階上各自的12 個音調(diào)的音符的能量的對數(shù)譜。 圖2是示出從對數(shù)譜變換單元110輸出的對數(shù)譜的示例的說明性示圖。
參考圖2的垂直軸，輸入音頻信號被劃分成4個八度音階，并且每個八度音階又被 劃分成12個音調(diào):"C"、"C#"、"D"、"D#"、"E"、"F"、"F#"、"G"、"G#"、"A"、"A#H"。另 一方面，圖2的水平軸示出沿時間軸對音頻信號進行采用時的幀編號。例如，當(dāng)音頻信號被 以采樣頻率128(Hz)進行采樣時，1幀時間段對應(yīng)于1 (秒)/128 = 7. 8125 (毫秒)。
圖2中所示的時間-音調(diào)二維平面上所繪出的顏色的濃淡指示時間軸上各個位置 處各個音調(diào)的能量的強度。例如，在圖2中，下數(shù)第二個八度音階的第十幀處的音調(diào)C(該 圖中的S1)用黑色繪出，從而指示該音符的能量是高的，S卩，該音符被強有力地產(chǎn)生。
此外，從對數(shù)譜變換單元110輸出的對數(shù)譜不限于這樣的示例。圖3示出與圖2 中所示的音頻信號不同的音頻信號被劃分成8個八度音階的對數(shù)譜的示例。
(2-2.拍子概率計算單元) 拍子概率計算單元120針對從對數(shù)譜變換單元IIO輸入的對數(shù)譜的特定時間單位 中的每一個(例如，1幀)，計算該時間單位中包括拍子的概率(以下，稱為"拍子概率")。 此外，當(dāng)特定時間單位為1幀時，拍子概率可以被認為是各幀與拍子位置(時間軸上拍子的 位置)相一致的概率。例如，作為采用JP-A-2008-123011中所公開的學(xué)習(xí)算法的機器學(xué)習(xí) 的結(jié)果而獲得的拍子概率公式被用于拍子概率的計算。 根據(jù)JP-A-2008-123011中所公開的方法，首先，向?qū)W習(xí)裝置提供一組內(nèi)容數(shù)據(jù) (例如，音頻信號)和針對要從該內(nèi)容數(shù)據(jù)提取出的特征量的教師數(shù)據(jù)。接著，學(xué)習(xí)裝置通 過隨機地組合所選擇的算子(operator)來生成用于從內(nèi)容數(shù)據(jù)中計算出特征量的多個特 征量提取公式。然后，學(xué)習(xí)裝置將根據(jù)所生成的特征量提取公式計算出的特征量與輸入的
10教師數(shù)據(jù)相比較，并且評估特征量。此外，學(xué)習(xí)裝置基于特征量提取公式的評估結(jié)果來生成 下一代特征量提取公式。通過重復(fù)特征量提取公式的生成和評估的循環(huán)數(shù)次，最終可以獲 得能夠以高精度從內(nèi)容數(shù)據(jù)中提取教師數(shù)據(jù)的特征量提取公式。 通過采用這樣的學(xué)習(xí)算法，通過如圖4中所示的學(xué)習(xí)處理來獲得由拍子概率計算 單元120使用的拍子概率公式。此外，在圖4中，示出用于拍子概率的計算的時間單位是1 幀的示例。 首先，向?qū)W習(xí)算法提供從拍子位置已知的樂曲的音頻信號中變換出的對數(shù)譜的片 段(以下，稱為"局部對數(shù)譜")和作為針對每個局部對數(shù)譜的教師數(shù)據(jù)的拍子概率。這里， 考慮拍子概率的計算和處理代價之間的權(quán)衡來確定局部對數(shù)譜的窗寬度。例如，局部對數(shù) 譜的窗寬度可以包括要計算拍子概率的幀之前的7幀和之后的7幀(S卩，總共15幀)。
此外，作為教師數(shù)據(jù)的拍子概率例如是基于已知的拍子位置并且通過使用真值 (1)或假值(0)來指示拍子是否被包括在各個局部對數(shù)譜的中心幀中的數(shù)據(jù)。這里沒有考 慮小節(jié)的位置，并且當(dāng)中心幀與拍子位置相對應(yīng)時，拍子概率為1 ;而當(dāng)中心幀與拍子位置 不對應(yīng)時，拍子概率為0。在圖4中所示的示例中，局部對數(shù)譜Wa，Wb，Wc，. . . ，Wn的拍子概 率分別被給出為l，O，l，... ，0。 用于從局部對數(shù)譜計算出拍子概率的拍子概率公式(P(W))是預(yù)先基于如上所述 的多組輸入數(shù)據(jù)和教師數(shù)據(jù)，通過上述學(xué)習(xí)算法獲得的。 然后，拍子概率計算單元120針對輸入對數(shù)譜的幀中的每個幀，截取具有越過該 幀的前后幾幀的窗寬度的局部對數(shù)譜，并且通過應(yīng)用作為學(xué)習(xí)的結(jié)果而獲得的拍子概率公 式，每次一個局部對數(shù)譜地計算多個局部對數(shù)譜中的每一個的拍子概率。
圖5是示出拍子概率計算單元120所計算出的拍子概率的示例的說明性示圖。
參考圖5，首先，在圖5的上部示出從對數(shù)譜變換單元IIO輸入拍子概率計算單元 120的對數(shù)譜的示例。并且，在圖5的下部，還利用時間軸上的折線示出由拍子概率計算單 元120從上部中所示出的對數(shù)譜中計算出的拍子概率。例如，在幀位置Fl處，局部對數(shù)譜 Wl被從該對數(shù)譜截取，并且通過拍子概率公式計算出拍子概率為0. 95。另一方面，在幀位 置F2處，局部對數(shù)譜W2被從該對數(shù)譜截取，并且通過拍子概率公式計算出拍子概率為0. 1。 即，可以理解，幀位置Fl與拍子位置對應(yīng)的可能性高并且?guī)恢肍2與拍子位置對應(yīng)的可能 性低。 由拍子概率計算單元120以這種方式計算出的各幀的拍子概率輸出到稍后描述 的拍子分析單元130和小節(jié)線檢測單元180。 此外，可以通過另一學(xué)習(xí)算法來習(xí)得由拍子概率計算單元120使用的拍子概率公 式。然而，應(yīng)當(dāng)注意，一般，對數(shù)譜包括各種參數(shù)，例如，鼓譜、由于說話引起的譜的發(fā)生和由 于和弦的變化引起的譜中的變化。在鼓譜的情況中，打鼓的時間點很有可能就是拍子位置。 另一方面，在語音譜的情況中，說話的開始時間點很有可能是拍子位置。為了通過總體使用 各種參數(shù)來高精度地計算拍子概率，適于使用JP-A-2008-123011中所公開的學(xué)習(xí)算法。
(2-3.拍子分析單元) 拍子分析單元130基于從拍子概率計算單元120輸入的拍子概率來確定音頻信號 中所包括的拍子在時間軸上的位置。 圖6是示出拍子分析單元130的詳細配置的框圖。參考圖6，拍子分析單元130包括起始點檢測單元132、拍子得分計算單元134、拍子搜索單元136、恒定速度判定單元138、 針對恒定速度的拍子重新搜索單元140、拍子確定單元142和速度修正單元144。
(2-3-1.起始點檢測單元) 起始點檢測單元132基于從拍子概率計算單元120輸入的、利用圖5描述的拍子 概率，檢測音頻信號中所包括的起始點。在該說明書中，起始點是音頻信號中產(chǎn)生聲音的時 間點，并且更具體而言，起始點被視為拍子概率在特定閾值以上并且取得極大值的點。
圖7是示出從針對音頻信號計算出的拍子概率中檢測出的起始點的示例的說明 性示圖。 在圖7中，和圖5的下部一樣，在時間軸上利用折線示出了由拍子概率計算單元 120計算出的拍子概率。利用該拍子概率，取得極大值的點有3個點，S卩，幀F(xiàn)3、 F4和F5。 在這些幀中，關(guān)于幀F(xiàn)3和F5，這些時間點的拍子概率在預(yù)先給出的特定閾值Thl以上。另 一方面，幀F(xiàn)4在這時間點的拍子概率在閾值Thl以下。在該情況中，檢測到兩個點，即幀F(xiàn)3 和F5，作為起始點。 圖8是示出起始點檢測單元132的起始點檢測處理流程的示例的流程圖。
參考圖8，首先，起始點檢測單元132關(guān)于針對各幀計算出的拍子概率，從第一幀 開始，針對這些幀順次執(zhí)行循環(huán)(S1322)。然后，起始點檢測單元132關(guān)于各幀判定拍子概 率是否在特定閾值以(S1324)，以及拍子概率是否指示極大值(S1326)。這里，當(dāng)拍子概率 在特定閾值以上并且拍子概率指示極大值時，處理進行到S1328。另一方面，當(dāng)拍子概率不 在特定閾值以上或者拍子概率沒有指示極大值時，跳過S1328的處理。在S1328，向起始點 位置的列表添加當(dāng)前時間(或幀編號)(S1328)。然后，當(dāng)關(guān)于所有幀的處理結(jié)束時，循環(huán)終 止(S1330)。 利用如上所述的起始點檢測單元132的起始點檢測處理，輸出音頻信號中所包括 的起始點的位置的列表，即，各個起始點的時間或幀編號的列表。 圖9是與拍子概率相關(guān)地示出由起始點檢測單元132檢測到的起始點的位置的說 明性示圖。 在圖9中，在示出拍子概率的折線上方利用圓環(huán)示出由起始點檢測單元132檢測 到的起始點的位置。可以理解，檢測到了 15個指示具有在閾值Thl以上的拍子概率的極大 值的起始點。由起始點檢測單元132檢測到的起始點的位置的列表輸出給接下來所描述的 拍子得分計算單元134。
(2-3-2.拍子得分計算單元) 拍子得分計算單元134針對由起始點檢測單元132檢測到的各個起始點計算拍子 得分，拍子得分指示與形成具有恒定速度(或恒定拍子間隔)的一串拍子的多個拍子當(dāng)中 的拍子的一致程度。 圖10是用于描述由拍子得分計算單元134進行的拍子得分計算處理的說明性示 圖。 參考圖IO，在由起始點檢測單元132檢測到的起始點中，幀位置Fk(幀編號k)處 的起始點被設(shè)為所關(guān)注的起始點。此外，示出距離幀位置Fk特定距離d的整數(shù)倍的一連串 幀位置Fk—3、 Fk—2、 Fk—p Fk、 Fk+1、 Fk+2和Fk+3。在該說明書中，該特定距離d被稱為轉(zhuǎn)移量，并且 距離轉(zhuǎn)移量d的整數(shù)倍的幀位置被稱為轉(zhuǎn)移位置。已經(jīng)計算了拍子概率的幀的群組F中所包括的所有轉(zhuǎn)移位置(...Fk—3， Fk—2， Fk—p Fk， Fk+1， Fk+2和Fk+3...)處的拍子概率的加和將是所 關(guān)注的起始點的拍子得分。即，當(dāng)幀位置Fi處的拍子概率是P(Fi)時，由下式表示依賴于幀 編號k和轉(zhuǎn)移量d的、所關(guān)注的起始點的拍子得分BS(k， d)。
[等式l] M(/:,"hZ尸(i^J,(i^,巧 (1) 通過等式1計算出來的拍子得分BS(k，d)可以說是指示音頻信號的第k幀處的起 始點與以轉(zhuǎn)移量d為拍子間隔的恒定速度同步的可能性的得分。 圖11是示出拍子得分計算單元134的拍子得分計算處理流程的示例的流程圖。
參考圖ll，首先，拍子得分計算單元134關(guān)于由起始點檢測單元132檢測到的起 始點，從第一起始點開始，針對這些起始點順次執(zhí)行循環(huán)(S1342)。此外，拍子得分計算單 元134關(guān)于所關(guān)注的起始點針對所有轉(zhuǎn)移量d中的每一個轉(zhuǎn)移量d執(zhí)行循環(huán)(S1344)。作 為循環(huán)的對象的轉(zhuǎn)移量d是可以在音樂演奏中使用的所有拍子處的間隔的值。然后，拍子 得分計算單元134初始化拍子得分BS(k， d)(即，O被代入拍子得分BS(K， d)中)(S1346)。 接著，拍子得分計算單元134針對用于轉(zhuǎn)移所關(guān)注起始點的幀位置Fd的轉(zhuǎn)移系數(shù)n來執(zhí)行 循環(huán)(S1348)。然后，拍子得分計算單元134向拍子得分BS(k，d)順次添加每個轉(zhuǎn)移位置處 的拍子概率P(Fk+nd)(S1350)。然后，當(dāng)針對所有轉(zhuǎn)移系數(shù)n的循環(huán)結(jié)束時(S1352)，拍子得 分計算單元134記錄所關(guān)注的起始點的幀位置(幀編號k)、轉(zhuǎn)移量d和拍子得分BS(k， d) (S1354)。拍子得分計算單元134針對所有起始點的每個轉(zhuǎn)移量重復(fù)此拍子得分BS(k， d) 的計算(S1356, S1358)。 利用如上所述由拍子得分計算單元134進行的拍子得分計算處理，針對由起始點 檢測單元132檢測到的每個起始點，輸出跨越多個轉(zhuǎn)移量d的拍子得分BS(k， d)。
圖12是使從拍子得分計算單元134輸出的拍子得分可視化的拍子得分分布圖。
在圖12中，沿水平軸按時間順序示出由起始點檢測單元132檢測到的起始點。另 一方面，圖12中的垂直軸指示轉(zhuǎn)移量，針對所述轉(zhuǎn)移量，已經(jīng)計算了各個起始點的拍子得 分。此外，圖中各個點的顏色的濃淡指示在轉(zhuǎn)移量處針對起始點計算出的拍子得分的水平。 例如，在該拍子得分分布圖中，在轉(zhuǎn)移量dl的附近，拍子得分對于所有起始點都高。這意味 著，當(dāng)假定以轉(zhuǎn)移量dl的速度演奏樂曲時，很有可能所檢測到的起始點中的許多起始點與 拍子對應(yīng)。由拍子得分計算單元134計算出的拍子得分輸出給接下來所描述的拍子搜索單 元136。 (2-3-3.拍子搜索單元) 拍子搜索單元136基于由拍子得分計算單元134計算出的拍子得分來搜索示出可 能的速度波動的起始點位置路徑。例如，基于隱馬爾科夫模型的Viterbi算法可以用作拍 子搜索單元136的路徑搜索方法。 圖13是用于描述由拍子搜索單元136進行的路徑搜索的說明性示圖。
當(dāng)應(yīng)用用于由拍子搜索單元136進行的路徑搜索的Viterbi算法時，與圖12相關(guān) 地描述的起始點編號被用作時間軸(圖13中的水平軸)的單位。并且，用于計算拍子得分 的轉(zhuǎn)移量被用作觀測序列(圖13中的垂直軸)。 S卩，拍子搜索單元136將所有已經(jīng)由拍子得分計算單元134計算了拍子得分的起
13始點與轉(zhuǎn)移量的組合中的每一種組合看作節(jié)點，節(jié)點是路徑搜索的對象。此外，如上所述，各個節(jié)點的轉(zhuǎn)移量在意義上與針對該節(jié)點假設(shè)的拍子間隔是等同的。因此，在以下描述中，各個節(jié)點的轉(zhuǎn)移量被稱為拍子間隔。 關(guān)于所述節(jié)點，拍子搜索單元136沿著時間軸順次選擇這些節(jié)點中的任何節(jié)點，并且通過使用稍后描述的評估值來評估由這一連串所選擇的節(jié)點形成的路徑。此時，在節(jié)點選擇中，允許拍子搜索單元136跳過起始點。例如，在圖13中，在第k-l個起始點之后，跳過第k個起始點，并且選擇第k+l個起始點。這是因為，是拍子的起始點和不是拍子的起始點通常被混合在起始點中，并且只好從包括不經(jīng)過不是拍子的起始點的路徑在內(nèi)的路徑中搜索出可能的路徑。 例如，對于路徑的評估，可以使用4個評估值，S卩，(1)拍子得分，(2)速度變化得分，(3)起始點移動得分和(4)針對跳過的懲罰。其中，(1)拍子得分是由拍子得分計算單元134針對每個節(jié)點計算出的拍子得分。另一方面，對節(jié)點間的過渡給出(2)速度變化得分、(3)起始點移動得分和(4)針對跳過的懲罰。 在對節(jié)點間的過渡給出的評估值中，(2)速度變化得分是基于經(jīng)驗知識給出的評估值，經(jīng)驗知識通常是樂曲中逐漸波動的速度。即，在路徑選擇中節(jié)點間的過渡中，過渡前節(jié)點處的拍子間隔與過渡后節(jié)點處的拍子間隔之間的差越小，給出的速度變化得分的值越高。 圖14是示出速度變化得分的示例的說明性示圖。 在圖14中，當(dāng)前選擇節(jié)點Nl。拍子搜索單元136有可能選擇節(jié)點N2至N5中的任何節(jié)點作為下一節(jié)點(盡管也可以選擇其它節(jié)點，但是為了便于描述，將描述4個節(jié)點，即節(jié)點N2至N5)。這里，當(dāng)拍子搜索單元136選擇節(jié)點N4時，由于節(jié)點Nl與節(jié)點N4處的拍子間隔之間沒有差，所以將給出最高值作為速度變化得分。另一方面，當(dāng)拍子搜索單元136選擇節(jié)點N3或N5時，在節(jié)點Nl和節(jié)點N3或N5處的拍子間隔之間存在差，并且因此給出相對于選擇節(jié)點N4時較低的速度變化得分。此外，當(dāng)拍子搜索單元136選擇節(jié)點N2時，由于節(jié)點Nl和節(jié)點N2處的拍子間隔之間的差大于節(jié)點N3或N5被選擇時的差，所以給出更低的速度得分。 接著，(3)起始點移動得分是根據(jù)過渡前后節(jié)點的起始點位置之間的間隔是否與
過渡前節(jié)點處的拍子間隔相匹配而給出的評估值。 圖15是示出起始點移動得分的示例的說明性示圖。 在圖15(15A)中，當(dāng)前選擇第k個起始點的具有拍子間隔d2的節(jié)點N6。并且還示出接下來可能被拍子搜索單元136選擇的節(jié)點中的兩個節(jié)點N7和N8。其中，節(jié)點N7是第k+l個起始點的節(jié)點，并且第k個起始點與第k+l個起始點之間的間隔(例如，幀編號之間的差)是D7。另一方面，節(jié)點N8是第k+2個起始點的節(jié)點，并且第k個起始點與第k+2個起始點之間的間隔是D8。 這里，當(dāng)假定路徑上的所有節(jié)點都成功與恒定速度中的拍子位置相對應(yīng)的理想路徑時，相鄰節(jié)點的起始點位置之間的間隔是各個節(jié)點處的拍子間隔的整數(shù)倍(當(dāng)無休止符時是相同間隔)。因此，如圖15(15B)中所示，關(guān)于當(dāng)前節(jié)點N6，起始點位置之間的間隔越接近節(jié)點N6處的拍子間隔d2的整數(shù)倍，起始點移動得分被定義得越高。在圖15(15B)的示例中，由于節(jié)點N6和N8之間的間隔D8比節(jié)點N6和N7之間的間隔D7更接近節(jié)點N6處
14的拍子間隔d2的整數(shù)倍，所以，對從節(jié)點N6至節(jié)點N8的過渡給出更高的起始點移動得分。
現(xiàn)在，(4)針對跳過的懲罰是用于在節(jié)點間的過渡中限制起始點過多跳過的評估值。即，在一次過渡中跳過越多起始點則得分越低，而在一次過渡中跳過越少起始點則得分越高。這里，越低的得分意味著越高的懲罰。
圖16是示出針對跳過的懲罰的示例的說明性示圖。 在圖16中，當(dāng)前選擇第k個起始點的節(jié)點N9。并且，還示出接下來可能被拍子搜索單元136選擇的節(jié)點中的3個節(jié)點N10、 Nil和N12。其中，節(jié)點N10是第k+l個起始點的節(jié)點，節(jié)點Nil是第k+2個起始點的節(jié)點，而節(jié)點N12是第k+3個起始點的節(jié)點。S卩，在從節(jié)點N9至節(jié)點N10的過渡的情況中，沒有跳過節(jié)點。另一方面，在從節(jié)點N9至節(jié)點Nil的過渡的情況中，跳過第k+l個起始點。此外，在從節(jié)點N9至節(jié)點N12的過渡的情況中，跳過第k+l個和第k+2個起始點。此時，針對跳過的懲罰在從節(jié)點N9至節(jié)點N10的過渡的情況中取得相對高的值，在從節(jié)點N9至節(jié)點Nil的過渡的情況中取得中間值，并且在從節(jié)點N9至節(jié)點N12的過渡的情況中取得低值。因此，可以防止更多數(shù)目的起始點被跳過從而使得節(jié)點之間的間隔恒定的現(xiàn)象。 此前，已經(jīng)描述了用于評估由拍子搜索單元136搜索出的路徑的4個評估值。使用圖13描述的路徑評估是關(guān)于所選擇的路徑，通過將對各個節(jié)點給出的或針對路徑中所包括的節(jié)點間的過渡所給出的上述(1)至(4)的評估值彼此順次相乘來執(zhí)行的。拍子搜索單元136確定所有可以設(shè)想到的路徑中評估值的乘積最大的路徑作為最優(yōu)路徑。
圖17是示出被拍子搜索單元136確定為最優(yōu)路徑的路徑的示例的說明性示圖。
在圖17中，在圖12中所示的拍子得分分布圖中用點線描畫出由拍子搜索單元136確定的最優(yōu)路徑的輪廓。參考圖17，可見，在示圖的示例中，由拍子搜索單元136針對其執(zhí)行了搜索的樂曲的速度以拍子間隔d3為中心波動。由拍子搜索單元136確定的最優(yōu)路徑(最優(yōu)路徑中所包括的節(jié)點的列表)輸出給以下將分別描述的恒定速度判定單元138、針對恒定速度的拍子重新搜索單元140以及拍子確定單元142。[OMO] (2-3-4.恒定速度判定單元) 恒定速度判定單元138判定由拍子搜索單元136確定的最優(yōu)路徑是否指示具有低的拍子間隔(即針對各個節(jié)點假定的拍子間隔)方差的恒定速度。更具體而言，恒定速度判定單元138首先計算從拍子搜索單元136輸入的最優(yōu)路徑中所包括的節(jié)點處的一組拍子間隔的方差。然后，當(dāng)所計算出的方差小于預(yù)先給定的特定閾值時，恒定速度判定單元138判定速度是恒定的；并且當(dāng)所計算出的方差大于該特定閾值時，恒定速度判定單元138判定速度不是恒定的。 圖18是示出恒定速度判定單元138的判定結(jié)果的兩個示例的說明性示圖。
參考圖18(18A)，用點線描畫出輪廓的最優(yōu)路徑中起始點位置的拍子間隔根據(jù)時間變化。利用這樣的路徑，作為由恒定速度判定單元138進行的與閾值相關(guān)的判定的結(jié)果，可以判定速度不是恒定的。另一方面，參考圖18(18B)，由點線描畫出輪廓的最優(yōu)路徑中的起始點位置的拍子間隔在整個樂曲中幾乎恒定。作為由恒定速度判定單元138進行的與閾值相關(guān)的判定的結(jié)果，可以判定這樣的路徑是恒定的。由恒定速度判定單元138進行的與閾值相關(guān)的判定的結(jié)果被輸出給針對恒定速度的拍子重新搜索單元140。
(2-3-5.針對恒定速度的拍子重新搜索單元)
當(dāng)從拍子搜索單元136輸出的最優(yōu)路徑被恒定速度判定單元138判定為指示恒定速度時，針對恒定速度的拍子重新搜索單元140重新執(zhí)行路徑搜索，將作為搜索對象的節(jié)點限制為僅在最經(jīng)常出現(xiàn)的拍子間隔周圍的那些節(jié)點。 圖19是用于描述由針對恒定速度的拍子重新搜索單元140進行的路徑重新搜索處理的說明性示圖。 圖19和圖13—樣，示出了以拍子間隔為觀測序列的沿時間軸(起始點編號)的一組節(jié)點。這里，假定要被拍子搜索單元136確定為最優(yōu)路徑的路徑中所包括的節(jié)點處的拍子間隔的眾數(shù)是d4，并且該路徑被恒定速度判定單元138判定為指示恒定速度。在這種情況中，針對恒定速度的拍子重新搜索單元140將僅拍子間隔d滿足d4-Th2《d《d4+Th2(Th2是預(yù)先給出的特定閾值)的那些節(jié)點作為搜索對象來再次搜索路徑。例如，在圖19的示例中，針對第k個起始點示出5個節(jié)點N12至N16。其中，N13至N15處的拍子間隔被包括在搜索范圍(d4-Th2《d《d4+Th2)內(nèi)。相比之下，N12和N16處的拍子間隔未被包括在上述搜索范圍內(nèi)。因此，關(guān)于第k個起始點，僅3個節(jié)點N13至N15成為由針對恒定速度的拍子重新搜索單元140進行的路徑搜索重新執(zhí)行的對象。此外，由針對恒定速度的拍子重新搜索單元140進行的對路徑的重新搜索處理的流程與使用圖13至17描述的由拍子搜索單元136進行的路徑搜索處理相似，不同在于成為搜索的對象的節(jié)點的范圍不同。 根據(jù)如上所述由針對恒定速度的拍子重新搜索單元140進行的路徑重新搜索處理，關(guān)于具有恒定速度的樂曲，可以減少路徑搜索的結(jié)果中可能局部發(fā)生的與拍子位置相關(guān)的誤差。由針對恒定速度的拍子重新搜索單元140確定的最優(yōu)路徑輸出給拍子確定單元142。 (2-3-6.拍子確定單元) 拍子確定單元142基于由拍子搜索單元136確定的最優(yōu)路徑或由針對恒定速度的拍子重新搜索單元140確定的最優(yōu)路徑以及基于路徑中所包括的各個節(jié)點處的拍子間隔，確定音頻信號中所包括的拍子位置。 圖20是用于描述由拍子確定單元142進行的拍子確定處理的說明性示圖。
在圖20(20A)中再次示出使用圖9描述的、由起始點檢測單元132進行的起始點檢測的結(jié)果的示例。在該示例中，示出了由起始點檢測單元132檢測到的在第k個起始點附近的14個起始點。 相比之下，圖20(20B)示出了由拍子搜索單元136或針對恒定速度的拍子重新搜索單元140確定的最優(yōu)路徑中所包括的起始點。在20B的示例中，20A中所示出的14個起始點中，第k-7個起始點、第k個起始點和第k+6個起始點(幀編號Fk—7、Fk、Fk+6)被包括在最優(yōu)路徑中。此外，第k-7個起始點處的拍子間隔(等同于對應(yīng)節(jié)點處的拍子間隔)是4—7，并且第k個起始點處的拍子間隔是dk。 關(guān)于這樣的起始點，首先，拍子確定單元142將最優(yōu)路徑中所包括的起始點的位置作為樂曲的拍子位置。然后，拍子確定單元142根據(jù)各個起始點處的拍子間隔在最優(yōu)路徑中所包括的相鄰起始點之間設(shè)置補充拍子。 拍子確定單元142首先確定用來在最優(yōu)路徑上彼此相鄰的起始點之間設(shè)置拍子的補充拍子的數(shù)目。例如，如圖21中所示，假定兩個相鄰起始點的位置是Fh和Fw，并且起始點位置Fh處的拍子間隔是dh。在這種情況中，拍子確定單元142所要設(shè)置在Fh和Fh+1之間的補充拍子的數(shù)目Bfill由以下等式給出。
[等式2]
<formula>formula see original document page 17</formula> 此外，在等式2中，Ro皿d(X)指示X被四舍五入為最接近的整數(shù)。即，拍子確定單元142所要設(shè)置的補充拍子的數(shù)目將是通過以下方式得到的數(shù)相鄰起始點之間的間隔除以拍子間隔得到的值四舍五入為最接近的整數(shù)，并且之后考慮柵欄柱問題從所得到的整數(shù)中減去l。 接著，拍子確定單元142在最優(yōu)路徑彼此相鄰的起始點之間設(shè)置已經(jīng)以上述方式確定了數(shù)目的補充拍子，使得這些拍子以相等的間隔排列。在圖20(20C)的示例中，在第k_7個起始點和第k個起始點之間以及在第k個起始點與第k+6個起始點之間設(shè)置兩個補充拍子。應(yīng)當(dāng)注意，由拍子確定單元142提供的補充拍子的位置不一定與由起始點檢測單元132檢測到的起始點的位置相對應(yīng)。因此，拍子確定單元142可以恰當(dāng)?shù)卮_定拍子的位置而不受該拍子位置之外處產(chǎn)生的聲音的影響。此外，即使在該拍子位置處為休止符而沒有聲音產(chǎn)生的情況中，也可以恰當(dāng)?shù)匕盐张淖游恢谩?由拍子確定單元142確定的拍子位置的列表(包括最優(yōu)路徑上的起始點和由拍子確定單元142設(shè)置的補充拍子)輸出給速度修正單元144。
(2-3-7.速度修正單元) 由拍子確定單元142確定的拍子位置所指示的速度有可能是樂曲的原始速度的
常數(shù)倍，例如2倍、1/2倍、3/2倍、2/3倍等。速度修正單元144考慮了這種可能性并且通過
對作為常數(shù)倍的被錯誤地把握的速度進行修正來再現(xiàn)樂曲的原始速度。 圖22是示出為常數(shù)倍關(guān)系的三種類型的速度中每種速度的拍子位置的樣式的示
例的說明性示圖。 參考圖22，在圖中所示的時間范圍(22A)中檢測到6個拍子。相比之下，在22B中，在相同的時間范圍中檢測到12個拍子。即，22B的拍子位置利用22A的拍子位置作為基準指示2倍速度。 另一方面，在22C-1中，在相同的時間范圍中包括3個拍子。即，22C-1的拍子位置利用22A的拍子位置作為基準指示1/2倍速度。在22C-2中，與22C-1 —樣，在相同時間范圍中包括3個拍子，并且因此利用22A的拍子位置作為基準指示1/2倍速度。然而，22C-1和22C-2彼此不同在于在從基準速度改變速度時將保留的拍子位置。 例如，通過以下過程(1)至(3)來執(zhí)行由速度修正單元144進行的對速度的修正。
(1)確定基于波形所估計出的估計速度
(2)確定多個乘子中的最優(yōu)基本乘子
(3)重復(fù)(2)直到基本乘子為1為止
(1)確定基于波形所估計出的估計速度 首先，速度修正單元144從音頻信號的波形中出現(xiàn)的聲音特征中確定被估計為足夠的估計速度。例如，作為采用JP-A-2008-123011中所公開的學(xué)習(xí)算法的機器學(xué)習(xí)的結(jié)果
17而獲得的估計速度辨別公式可以用于確定估計速度。 由速度修正單元144使用的估計速度辨別公式采用JP-A-2008-123011中所公開 的學(xué)習(xí)算法并且是通過圖23中所示的學(xué)習(xí)處理獲得的。 首先，向?qū)W習(xí)算法提供已從樂曲的音頻信號中變換出的多個對數(shù)譜，作為輸入數(shù) 據(jù)。例如，在圖23中，對數(shù)譜LS l至LSn被提供給學(xué)習(xí)算法。此外，由正在收聽樂曲的人 判定為正確的速度被輸入學(xué)習(xí)算法，作為教師數(shù)據(jù)。例如，在圖23中，各個對數(shù)譜的正確速 度(LSI :100， . . . ， LSn :60)被提供給學(xué)習(xí)算法?；诙嘟M這樣的輸入數(shù)據(jù)和教師數(shù)據(jù)，通 過上述學(xué)習(xí)算法來預(yù)先獲得用于從對數(shù)譜中確定估計速度的估計速度辨別公式。
速度修正單元144通過將如上所述預(yù)先獲得的估計速度辨別公式應(yīng)用于輸入到 信息處理設(shè)備100的音頻信號，來確定估計速度。
(2)確定多個乘子中的最優(yōu)基本乘子 接著，速度修正單元144從多個基本乘子中確定使得修正后的速度與樂曲的原始 速度最接近的基本乘子。這里，該基本乘子是作為用于速度修正的常數(shù)比的基本單位的乘 子。例如，在本實施例中，基本乘子被描述為七種類型的乘子(即，1/3、1/2、2/3、1、3/2、2 和3)中的任何一個。然而，基本乘子不限于這樣的示例，并且例如可以是五種類型的乘子 (即，1/3、1/2、1、2和3)中的任何一個。 為了確定最優(yōu)基本乘子，速度修正單元144首先針對上述基本乘子中的每個基本 乘子來計算根據(jù)該乘子修正拍子位置之后的平均拍子概率(在基本乘子為1的情況中，針 對拍子位置未被修正的情況來計算平均拍子概率)。 圖24是用于描述由速度修正單元144針對各個乘子計算出的平均拍子概率的說 明性示圖。 參考圖24，如圖5的下部一樣，在時間軸上利用折線示出了由拍子概率計算單元 120計算出的拍子概率。并且，在水平軸上示出了根據(jù)這些乘子中任何一個修正后的3個拍 子的幀編號Fh—^Fh和Fw。這里，當(dāng)幀編號Fh的拍子概率是BP(h)時，通過以下等式給出根 據(jù)乘子r修正后的拍子位置的群組F(r)的平均拍子概率BPAve(r)。
[等式3]
Z畔)肌,丄、=
贏/廣 ,人 (3)
m廠、 這里，在上述等式中，m(r)是群組F(r)中所包括的幀編號的個數(shù)。
此外，如使用圖22(C-l)和(C-2)所描述的，在基本乘子r為1/2時，存在拍子位 置的兩種類型的候選。在這種情況中，速度修正單元144針對拍子位置的兩種類型的候選 中的每一種計算平均拍子概率BP皿(r)，并且采用具有較高平均拍子概率BP皿(r)的拍子位 置作為根據(jù)乘子r = 1/2修正后的拍子位置。類似地，在乘子r為1/3的情況中，存在拍子 位置的三種類型的候選。在這種情況中，速度修正單元144針對拍子位置的三種類型的候 選計算出平均拍子候選BP皿(r)，并且采用具有最高平均拍子概率BP皿(r)的拍子位置作為 根據(jù)乘子r = 1/3修正后的拍子位置。 接著，在針對各個基本乘子計算出平均拍子概率之后，速度修正單元144基于估
18計速度和平均拍子概率來計算針對各個基本乘子修正后的速度的似然(以下，稱為"速度 似然")。這里，速度似然可以是通過以估計速度為中心的高斯分布示出的速度概率與平均 拍子概率的乘積。 圖25是用于描述由速度修正單元144計算出的速度似然的說明性示圖。
圖25(25A)示出由速度修正單元144針對各個乘子計算出的平均拍子概率。并 且，圖25(25B)示出高斯分布形式的速度概率，其是由預(yù)先給定的特定方差ol確定的，并 且以由速度修正單元144基于音頻信號的波形估計出的估計速度為中心。此外，25A和25B 的水平軸表示已經(jīng)根據(jù)各個乘子修正拍子位置之后，速度的對數(shù)。速度修正單元144通過 將平均拍子概率與速度概率彼此相乘，來針對基本乘子中的每個基本乘子計算圖25 (25C) 中所示的速度似然。即，在圖25的示例中，盡管平均拍子概率對于基本乘子是1時和其為 1/2時幾乎是相同的，但是被修正為1/2倍的速度與估計速度更接近(速度概率高)，因此， 對于被修正為1/2倍的速度，所計算出的速度似然更高。速度修正單元144以這種方式計 算速度似然，并且確定產(chǎn)生最高速度似然的基本乘子，作為使得修正后的速度最接近樂曲 的原始速度的基本乘子。 以這種方式，通過在有可能的速度的確定中考慮可以從估計速度獲得的速度概
率，可以從候選中精確地確定恰當(dāng)?shù)乃俣?，這些候選是具有常數(shù)倍關(guān)系并且基于聲音的局
部波形難以相互辨別的速度。 (3)重復(fù)(2)直到基本乘子為1為止 然后，速度修正單元144針對各個基本乘子重復(fù)對平均拍子概率的計算和對速度 似然的計算，直到產(chǎn)生最高速度似然的基本乘子為1為止。結(jié)果，即使在由速度修正單元 144進行的修正之前的速度是樂曲的原始速度的1/4倍、1/6倍、4倍、6倍等，也可以用通過 基本乘子的組合獲得的用于修正的恰當(dāng)乘子(例如，1/2倍X 1/2倍=1/4倍)來修正速 度。 圖26是示出速度修正單元144的修正處理流程的示例的流程圖。
參考圖26，首先，速度修正單元144通過使用預(yù)先通過學(xué)習(xí)獲得的估計速度辨別 公式來從音頻信號中確定估計速度(S1442)。接著，速度修正單元144針對多個基本乘子 (例如，l/3、l/2等)順次執(zhí)行循環(huán)(S1444)。在循環(huán)內(nèi)，如使用圖22所描述的，速度修正單 元144根據(jù)各個基本乘子來改變拍子位置，并且修正速度(S1446)。接著，如使用圖24所描 述的，速度修正單元144計算修正后的拍子位置的平均拍子概率(S1448)。接著，如使用圖 25所描述的，速度修正單元144基于在S1448處計算出的平均拍子概率和在S1442處確定 的估計速度來計算針對各個基本乘子的速度似然(S1450)。然后，當(dāng)該循環(huán)對于所有基本乘 子都結(jié)束了時(S1452)，速度修正單元144確定產(chǎn)生最高速度似然的基本乘子(S1454)。此 外，速度修正單元144判定產(chǎn)生最高速度似然的基本乘子是否是1 (S1456)。如果產(chǎn)生最高 速度似然的基本乘子是l，則速度修正單元144的修正處理終止。另一方面，當(dāng)產(chǎn)生最高速 度似然的基本乘子不是1時，處理返回S1444。從而，基于根據(jù)產(chǎn)生最高速度似然的基本乘 子修正后的速度(拍子位置)，再次執(zhí)行根據(jù)基本乘子中的任何一個的速度修正。
在上述從起始點檢測單元132直到速度修正單元144的處理之后，由拍子分析單 元130進行的拍子分析處理終止。作為由拍子分析單元130進行的分析的結(jié)果而檢測到的 拍子位置輸出給稍后描述的結(jié)構(gòu)分析單元150和和弦概率計算單元160。
(2-4.結(jié)構(gòu)分析單元) 結(jié)構(gòu)分析單元150基于從對數(shù)譜變換單元110輸入的音頻信號的對數(shù)譜和從拍子 分析單元130輸入的拍子位置，計算該音頻信號中所包括的拍子區(qū)間之間的聲音的類似概率。 圖27是示出結(jié)構(gòu)分析單元150的詳細配置的框圖。參考圖27，結(jié)構(gòu)分析單元150 包括拍子區(qū)間特征量計算單元152、相關(guān)性計算單元154和類似概率生成單元156。
(2-4-1.拍子區(qū)間特征量計算單元) 拍子區(qū)間特征量計算單元152關(guān)于由拍子分析單元130檢測到的各個拍子來計算 拍子區(qū)間特征量，拍子區(qū)間特征量表示從該拍子到下一拍子的拍子區(qū)間的局部對數(shù)譜的特 征。 圖28是示出拍子、拍子區(qū)間和拍子區(qū)間特征量之間的關(guān)系的說明性示圖。
在圖28的上部示出由拍子分析單元130檢測到的6個拍子Bl至B6。該拍子區(qū)間 是通過在拍子位置處劃分音頻信號所獲得的區(qū)間，并且指示從一個拍子到下一個拍子之間 的區(qū)間。B卩，在圖28的示例中，拍子區(qū)間BDl是從拍子B1至拍子B2的區(qū)間；拍子區(qū)間BD2 是從拍子B2至拍子B3的區(qū)間；并且拍子區(qū)間BD3是從拍子B3至拍子B4的區(qū)間。此外，拍 子區(qū)間特征量計算單元152從與各個拍子區(qū)間BD1至BD6相對應(yīng)的局部對數(shù)譜中計算各個 拍子區(qū)間特征量BF1至BF6。 圖29和圖30是用于描述由拍子區(qū)間特征量計算單元152進行的對拍子區(qū)間特征 量的計算處理的說明性示圖。 在圖29(29A)中，由拍子區(qū)間特征量計算單元152截取與拍子相對應(yīng)的拍子區(qū)間 BD的局部對數(shù)譜。拍子區(qū)間特征量計算單元152首先通過對局部對數(shù)譜的各個音調(diào)(八度 音階的數(shù)目X12個音符)的能量進行時間平均來計算各個音調(diào)的平均能量。圖29(29B) 示出由拍子區(qū)間特征量計算單元152計算出的各個音調(diào)的平均能量的水平。
接著，參考圖30(30A)，示出與圖29 (29B)中所示一樣的各個音調(diào)的平均能量水 平。然后，拍子區(qū)間特征量計算單元152針對12個音符，對若干個八度音階上不同八度音 階中有相同名稱的音符的平均能量的值求加權(quán)和，并且計算相應(yīng)12個音符的能量。例如， 在圖30(30B，30C)中所示的示例中，通過使用特定的權(quán)重(Wp W2， . . . ， Wn)對n個八度音階 上的音符C(Q，(^，... ，Cn)的平均能量進行加權(quán)并且加和到一起，并且計算出音符C的能量 值Enc。此外，以相同的方式，通過使用特定的權(quán)重(WpWy...，Wn)對n個八度音階上的音 符B(BpB^. . . ，Bn)的平均能量進行加權(quán)并且加和到一起，并且計算出音符B的能量值Erv 對于音符C和音符B之間的IO個音符(Cft至Aft)同樣如此。結(jié)果，生成了以相應(yīng)12個音 符的能量值ENC， ENCT， . . . ， ENB為元素的12維向量。拍子區(qū)間特征量計算單元152針對每 個拍子計算這樣的相應(yīng)12個音符的能量(12維向量)作為拍子區(qū)間特征量BF，并且將它輸 出給相關(guān)性計算單元154。 用于求加權(quán)和的各個八度音階的權(quán)重WpW^. . . ，Wn的值優(yōu)選在普通樂曲的旋律或 和弦清楚的中音域中較大。這使得能夠在更清楚地反映旋律或和弦的特征的情況下對樂曲 結(jié)構(gòu)進行分析。 (2-4-2.相關(guān)性計算單元) 相關(guān)性計算單元154針對音頻信號中所包括的所有拍子區(qū)間對，通過使用從拍子區(qū)間特征量計算單元152輸入的拍子區(qū)間特征量，即，各個拍子區(qū)間的相應(yīng)12個音符的能 量，計算拍子區(qū)間之間的相關(guān)系數(shù)。 圖31是用于描述相關(guān)性計算單元154進行的相關(guān)系數(shù)計算處理的說明性示圖。
在圖31中，示出第一所關(guān)注拍子區(qū)間BDi和第二所關(guān)注拍子區(qū)間BDj作為要計算 相關(guān)系數(shù)的一對拍子區(qū)間的示例，拍子區(qū)間是通過劃分對數(shù)譜獲得的。為了計算這兩個所 關(guān)注拍子區(qū)間之間的相關(guān)系數(shù)，相關(guān)性計算單元154首先獲得第一所關(guān)注拍子區(qū)間BR以 及前后N個區(qū)間(也稱為"2N+1個區(qū)間")(在圖31的示例中，N = 2，總共5個區(qū)間)的相 應(yīng)12個音符的能量。同樣地，相關(guān)性計算單元154獲得第二所關(guān)注拍子區(qū)間BDj以及前后 N個區(qū)間的相應(yīng)12個音符的能量。然后，相關(guān)性計算單元154計算所獲得的第一所關(guān)注拍 子區(qū)間BDi以及前后N個區(qū)間的相應(yīng)12個音符的能量與所獲得的第二所關(guān)注拍子區(qū)間BDj 以及前后N個區(qū)間的相應(yīng)12個音符的能量之間的相關(guān)系數(shù)。相關(guān)性計算單元154針對所 有的第一所關(guān)注拍子區(qū)間BDi和第二所關(guān)注拍子區(qū)間BDj對來計算所述相關(guān)系數(shù)，并且向類 似概率生成單元156輸出計算結(jié)果。
(2-4-3.類似概率生成單元) 類似概率生成單元156通過使用預(yù)先生成的變換曲線，將從相關(guān)性計算單元154 輸入的、拍子區(qū)間之間的相關(guān)系數(shù)變換成類似概率，類似概率指示拍子區(qū)間的聲音內(nèi)容之 間的類似程度。 圖32是用于描述將相關(guān)系數(shù)變換成類似概率時所使用的變換曲線的示例的說明 性示圖。 圖32(32A)示出預(yù)先獲得的兩種概率分布，S卩，具有相同聲音內(nèi)容的拍子區(qū)間之 間的相關(guān)系數(shù)的概率分布和具有不同聲音內(nèi)容的拍子區(qū)間之間的相關(guān)系數(shù)的概率分布。從 圖32(32A)中可見，相關(guān)系數(shù)越低，聲音內(nèi)容彼此相同的概率越低，并且相關(guān)系數(shù)越高，聲 音內(nèi)容彼此相同的概率越高。因此，可以預(yù)先生成如圖32(32B)中所示、用于從相關(guān)系數(shù)中 導(dǎo)出拍子區(qū)間之間的類似概率的變換曲線。類似概率生成單元156通過使用預(yù)先以這種 方式生成的變換曲線，將從相關(guān)性計算單元154輸入的相關(guān)系數(shù)COl例如變換成類似概率 SP1。 圖33是作為一個示例的將由結(jié)構(gòu)分析單元150計算出的拍子區(qū)間之間的類似概 率可視化的說明性示圖。 圖33的垂直軸對應(yīng)于第一所關(guān)注拍子區(qū)間中的位置，并且水平軸對應(yīng)于第二所 關(guān)注拍子區(qū)間中的位置。此外，兩維平面上繪出的顏色的濃淡指示該坐標處第一所關(guān)注拍 子區(qū)間和第二所關(guān)注拍子區(qū)間之間的類似概率的程度。例如，第一所關(guān)注拍子區(qū)間il與和 第一所關(guān)注拍子區(qū)間il基本相同的第二所關(guān)注拍子區(qū)間jl之間的類似概率自然顯示高 值，并且示出這些拍子區(qū)間具有相同的聲音內(nèi)容。當(dāng)被演奏的樂曲部分到達第二所關(guān)注拍 子區(qū)間j2時，第一所關(guān)注拍子區(qū)間il與第二所關(guān)注拍子區(qū)間j2之間的類似概率再次顯示 高值。即，可以看出，很有可能在第二所關(guān)注拍子區(qū)間j2中正在演奏與第一所關(guān)注拍子區(qū) 間il的聲音內(nèi)容幾乎相同的聲音內(nèi)容。由結(jié)構(gòu)分析單元150以這種方式獲得的拍子區(qū)間 之間的類似概率輸出給稍后描述的小節(jié)線檢測單元180和和弦進行檢測單元190。
此外，在本實施例中，由于對拍子區(qū)間中的能量的時間平均被用于對拍子區(qū)間特 征量的計算，所以對于由結(jié)構(gòu)分析單元150進行的對樂曲結(jié)構(gòu)的分析，沒有考慮拍子區(qū)間中的對數(shù)譜中有關(guān)時間變化的信息。即，即使在兩個區(qū)間中演奏相同的旋律而該旋律(例
如，由于演奏者的編排)在時間上彼此偏移，所演奏的內(nèi)容仍被判定為相同，只要該偏移僅
發(fā)生在拍子區(qū)間內(nèi)即可。
(2-5.和弦概率計算單元) 和弦概率計算單元160針對由拍子分析單元130檢測到的各個拍子，計算和弦概
率，和弦概率指示與各個拍子相對應(yīng)的拍子區(qū)間中各種和弦被演奏的概率。 此外，由和弦概率計算單元160計算出的和弦概率的值是用于由稍后描述的基調(diào)
檢測單元170進行的基調(diào)檢測處理的臨時值。由稍后描述的和弦進行檢測單元190的和弦
概率計算單元196考慮各個拍子區(qū)間的基調(diào)概率來重新計算和弦概率。 圖34是示出和弦概率計算單元160的詳細配置的框圖。參考圖34，和弦概率計算
單元160包括拍子區(qū)間特征量計算單元162、根音特征量準備單元164和和弦概率計算單元
166。 (2-5-1.拍子區(qū)間特征量計算單元) 與結(jié)構(gòu)分析單元150的拍子區(qū)間特征量計算單元152 —樣，拍子區(qū)間特征量計算 單元162針對由拍子分析單元130檢測到的各個拍子來計算相應(yīng)12個音符的能量，作為表 示與各個拍子相對應(yīng)的拍子區(qū)間中的音頻信號的特征的拍子區(qū)間特征量。由拍子區(qū)間特征 量計算單元162進行的對相應(yīng)12個音符的能量的計算處理與使用圖28至圖30描述的由 拍子區(qū)間特征量計算單元152進行的處理相同。然而，拍子區(qū)間特征量計算單元162以使 用與圖30中所示的權(quán)重Wp W2， . . . ， Wn不同的值，作為用于對12個音符中每一個音符針對 各個八度音階的平均能量進行加權(quán)并且加和到一起的權(quán)重的值。拍子區(qū)間特征量計算單元 162計算出相應(yīng)12個音符的能量作為拍子區(qū)間特征量，并且將其輸出給根音特征量準備單 元164。 (2-5-2.根音特征量準備單元) 根音特征量準備單元164根據(jù)從拍子區(qū)間特征量計算單元162輸入的相應(yīng)12個
音符的能量，生成用于各個拍子區(qū)間的和弦概率的計算的根音特征量。 圖35和圖36是用于描述由根音特征量準備單元164進行的根音特征量生成處理
的說明性示圖。 根音特征量準備單元164首先針對所關(guān)注拍子區(qū)間BDi，提取所關(guān)注拍子區(qū)間BDi 以及前后N個區(qū)間的相應(yīng)12個音符的能量(參考圖35)。所關(guān)注拍子區(qū)間BDi以及前后N 個區(qū)間的相應(yīng)12個音符的能量可以被認為是將音符C作為和弦的根音(基音)的特征量。 在圖35的示例中，由于N為2，所以將音符C作為根音的5個區(qū)間的根音特征量(12X5維) 被提取出。此外，這里N的值可以是與圖31中的N的值相同或不同的值。
接著，根音特征量準備單元164通過將將音符C作為根音的5個區(qū)間的根音特征 量的12個音符的元素位置轉(zhuǎn)移特定數(shù)目，生成11個單獨的根音特征量，每個根音特征量針 對5個區(qū)間并且每個根音特征量以音符C#至音符B的任何音符為根音(參考圖36)。此 外，元素位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)是在音符Cft為根音的情況下為l，在音符D為根音的情況下 為2，……，并且在音符B為根音的情況下為ll。結(jié)果，由根音特征量準備單元164針對相 應(yīng)12個音符生成了根音特征量(分別為12X5維)，每個根音特征量將從音符C至音符B 的12個音符中的一個作為根音。
根音特征量準備單元164針對所有拍子區(qū)間執(zhí)行如上所述的根音特征量生成處 理，并且準備用于針對各個區(qū)間的和弦概率計算的根音特征量。此外，在圖35和圖36的示 例中，準備用于一個拍子區(qū)間的特征量是12X5X12維向量。由根音特征量準備單元164 生成的根音特征量輸出給和弦概率計算單元166。
(2-5-3.和弦概率計算單元) 和弦概率計算單元166通過使用從根音特征量準備單元164輸入的根音特征量， 針對各個拍子區(qū)間來計算指示各種和弦被演奏的概率的和弦概率。這里的"各種和弦"是 指例如基于根音(C， C#， D，… )、構(gòu)成音符的數(shù)目(三和弦(triad)、七和弦(7th chord)、 九和弦(9th chord))、調(diào)性(大調(diào)/小調(diào))等來區(qū)分的和弦中的各種和弦。例如，通過邏輯 回歸分析預(yù)先習(xí)得的和弦概率公式可以用于和弦概率的計算。 圖37是用于描述用于由和弦概率計算單元166進行的和弦概率計算的和弦概率 公式的學(xué)習(xí)處理的說明性示圖。 和弦概率公式的學(xué)習(xí)是針對每種類型的和弦來執(zhí)行的。即，例如針對用于大和弦 的和弦概率公式、用于小和弦的和弦概率公式、用于七和弦的和弦概率公式和用于九和弦 的和弦概率公式中的每一個，執(zhí)行以下描述的學(xué)習(xí)處理。 首先，提供多個根音特征量(例如，用圖36描述的12X5X12維向量)作為用于
邏輯回歸分析的獨立變量，每個根音特征量是針對正確和弦已知的拍子區(qū)間的。 此外，針對各個拍子區(qū)間的根音特征量中的每一個，提供用于通過邏輯回歸分析
預(yù)測生成概率的啞元數(shù)據(jù)(教師數(shù)據(jù))。例如，當(dāng)學(xué)習(xí)用于大和弦的和弦概率公式時，如果
已知的和弦是大和弦，則啞元數(shù)據(jù)的值將為真值(1)，并且對于任何其它情況，啞元數(shù)據(jù)的
值為假值(0)。并且，當(dāng)學(xué)習(xí)用于小和弦的和弦概率公式時，如果己知的和弦是小和弦，則啞
元數(shù)據(jù)的值將為真值(l)，并且對于任何其它情況，啞元數(shù)據(jù)的值為假值(0)?？梢哉f，對于
七和弦和九和弦也是如此。 通過使用上述獨立變量和鵬元數(shù)據(jù)來對足夠數(shù)目的根音特征量(每個根音特征 量針對一個拍子區(qū)間)執(zhí)行邏輯回歸分析，預(yù)先獲得了用于從各個拍子區(qū)間的根音特征量 計算出相應(yīng)類型的和弦概率的和弦概率公式。 然后，和弦概率計算單元166將預(yù)先獲得的和弦概率公式應(yīng)用于從根音特征量準 備單元164輸入的根音特征量，并且針對各個拍子區(qū)間的相應(yīng)類型的和弦順次計算和弦概率。 圖38是用于描述由和弦概率計算單元166進行的和弦概率計算處理的說明性示 圖。 參考圖38(38A)，示出了各個拍子區(qū)間的根音特征量中，用音符C作為根音的根音 特征量。和弦概率計算單元166將通過學(xué)習(xí)預(yù)先獲得的用于大和弦的和弦概率公式例如 應(yīng)用于用音符C作為根音的根音特征量，并且針對該拍子區(qū)間計算和弦為"C"的和弦概率 CPC。此外，和弦概率計算單元166將用于小和弦的和弦概率公式應(yīng)用于用音符C作為根音 的根音特征量，并且針對該拍子區(qū)間計算和弦為"Cm"的和弦概率CPCm。
以類似的方式，和弦概率計算單元166可以將用于大和弦的和弦概率公式和用于 小和弦的和弦概率公式應(yīng)用于用音符C#作為根音的根音特征量，并且可以計算和弦"Cft" 的和弦概率CPefl和和弦"C#m"的和弦概率CPeflm(38B)?？梢哉f，對和弦"B"的和弦概率CPB和和弦"Bm"的和弦概率CPBm的計算也是如此(38C)。 圖39是示出由和弦概率計算單元166計算出的和弦概率的示例的說明性示圖。
參考圖39，針對某一拍子區(qū)間，計算從音符C至音符B的12個音符中每一個音符 的各種和弦的和弦概率，這些和弦例如是"Maj(大和弦)"、"m(/小和弦)"、"7 (七和弦)" 和"m7 (/小七和弦)"。根據(jù)圖39的示例，和弦概率CPC是0. 88， CPCm是0. 08， CPC7是0. 01， CPCm7是0. 02并且CPB是0. 01。其它和弦概率值都指示0。 此外，在計算多種類型的和弦的和弦概率之后，和弦概率計算單元166以使得每 拍子區(qū)間的所計算出的概率值的總和變成l的方式對概率值進行歸一化。針對音頻信號中 所包括的所有拍子區(qū)間重復(fù)如上所述由和弦概率計算單元166進行的計算和歸一化處理。
在如上所述的由拍子區(qū)間特征量計算單元162至和弦概率計算單元166執(zhí)行的處 理之后，由和弦概率計算單元160進行的和弦概率計算處理結(jié)束。由和弦概率計算單元160 計算出的和弦概率輸出給接下來所描述的基調(diào)檢測單元170。
(2-6.基調(diào)檢測單元) 基調(diào)檢測單元170通過使用由和弦概率計算單元160針對各個拍子區(qū)間計算出的 和弦概率來檢測各個拍子區(qū)間的基調(diào)(調(diào)性/基本音階)?；{(diào)檢測單元170還在基調(diào)檢 測的處理中計算各個拍子區(qū)間的基調(diào)概率。 圖40是示出基調(diào)檢測單元170的詳細配置的框圖。參考圖40，基調(diào)檢測單元170 包括相對和弦概率生成單元172、特征量準備單元174、基調(diào)概率計算單元176和基調(diào)確定 單元178。 (2-6-1.相對和弦概率生成單元) 相對和弦概率生成單元172根據(jù)從和弦概率計算單元160輸入的、各個拍子區(qū)間
的和弦概率，生成用于計算各個拍子區(qū)間的基調(diào)概率的相對和弦概率。 圖41是用于描述由相對和弦概率生成單元172進行的相對和弦概率生成處理的
說明性示圖。 相對和弦概率生成單元172首先從某一所關(guān)注的拍子區(qū)間的和弦概率提取出大 和弦和小和弦的和弦概率值。這里所提取的和弦概率值形成總共24維的向量，即，大和弦 的12個音符和小和弦的12個音符。以下，24維向量被視為將音符C假定為基調(diào)的相對和 弦概率。 接著，相對和弦概率生成單元172通過將所提取出的大和弦和小和弦的和弦概率 值的12個音符的元素位置轉(zhuǎn)移特定數(shù)目，生成11個單獨的相對和弦概率。此外，元素位置 被轉(zhuǎn)移的轉(zhuǎn)移數(shù)與如使用圖36所述生成根音特征量時的轉(zhuǎn)移數(shù)相同。結(jié)果，由相對和弦概 率生成單元172生成12個單獨的相對和弦概率，每個相對和弦概率假定從音符C至音符B 的12個音符中的一個作為基調(diào)。 相對和弦概率生成單元172針對所有拍子區(qū)間執(zhí)行如上所述的相對和弦概率生 成處理，并且向特征量準備單元174輸出所生成的相對和弦概率。
(2-6-2.特征量準備單元) 特征量準備單元174根據(jù)從相對和弦概率生成單元172輸入的相對和弦概率來計 算各個拍子區(qū)間的和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分，作為用于計算各個拍子區(qū)間的基調(diào) 概率的特征量。
24
圖42是用于描述由特征量準備單元174生成的各個拍子區(qū)間的和弦出現(xiàn)得分的 說明性示圖。 參考圖42，特征量準備單元174首先假定音符C作為基調(diào)，針對所關(guān)注的拍子區(qū) 間以及前后M個拍子區(qū)間來提供相對和弦概率CP。然后，特征量準備單元174將所關(guān)注的 拍子區(qū)間以及前后M個拍子區(qū)間上相同位置處的元素的概率值進行加和，這些概率值被包 括在假定音符C作為基調(diào)的相對和弦概率中。結(jié)果，根據(jù)各種和弦的出現(xiàn)概率獲得和弦出 現(xiàn)得分(CEc，CECfl，. . . ，CEBm) (24維向量)，出現(xiàn)概率是針對所關(guān)注的拍子區(qū)間和所關(guān)注的拍 子區(qū)間周圍的多個拍子區(qū)間的并且是假定音符C作為基調(diào)的。特征量準備單元174針對假 定從音符C至音符B的12個音符中的一個作為基調(diào)的每種情況，執(zhí)行上述和弦出現(xiàn)得分計 算。從而，針對一個所關(guān)注拍子區(qū)間獲得12個單獨的和弦出現(xiàn)得分。 接著，圖43是用于描述由特征量準備單元174生成的各個拍子區(qū)間的和弦過渡出 現(xiàn)得分的說明性示圖。 參考圖43，特征量準備單元174首先關(guān)于拍子區(qū)間BDi與相鄰拍子區(qū)間BDi+1之間 的所有和弦對(即，所有和弦過渡)，將和弦過渡前后的相對和弦概率彼此相乘，這些相對 和弦概率假定音符C作為基調(diào)。這里，"所有的和弦對"是指24X24個對，即，"C" — "C"、 "C" —"C#"、"C，，一"D"、"B" —"B"。接著，特征量準備單元174針對整個所關(guān)注的
拍子區(qū)間和前后M個區(qū)間，對和弦過渡前后的相對和弦概率的相乘結(jié)果進行加和。結(jié)果， 根據(jù)各種和弦過渡的出現(xiàn)概率獲得24X24維和弦過渡出現(xiàn)得分(24X24維向量)，出現(xiàn)概 率是針對所關(guān)注的拍子區(qū)間和所關(guān)注的拍子區(qū)間周圍的多個拍子區(qū)間的并且是假定音符C 作為基調(diào)的。例如，對于所關(guān)注的拍子區(qū)間BDi，有關(guān)從"C"至"Cft"的和弦過渡的和弦過渡 出現(xiàn)得分CTc —Cfl(i)由下式給出。
[等式4] <formula>formula see original document page 25</formula>
特征量準備單元174針對假定從音符C至音符B的12個音符中的一個音符作為 基調(diào)的每種情況，執(zhí)行上述24X24次單獨的和弦過渡出現(xiàn)得分CT計算。從而，對于一個所 關(guān)注的拍子區(qū)間，獲得12個單獨的和弦過渡出現(xiàn)得分。 此外，與可能因各個小節(jié)而變化的和弦不同，例如，樂曲的基調(diào)通常在較長一段時 間保持不變。因此，對要用于和弦出現(xiàn)得分或和弦過渡出現(xiàn)得分的計算的相對和弦概率的 范圍進行定義的M的值例如是可以包括許多小節(jié)(例如，幾十個拍子)的合適的值。
特征量準備單元174向基調(diào)概率計算單元176輸出針對每個拍子區(qū)間計算出的24 維和弦出現(xiàn)得分CE和24X24維和弦過渡出現(xiàn)得分，作為用于計算基調(diào)概率的特征量。 [O302] (2-6-3.基調(diào)概率計算單元) 基調(diào)概率計算單元176通過使用從特征量準備單元174輸入的和弦出現(xiàn)得分和和
弦過渡出現(xiàn)得分，針對各個拍子區(qū)間，計算指示各種基調(diào)被演奏的概率的基調(diào)概率。這里的
"各種基調(diào)"是指例如基于12個音符(C， C#， D，...)或調(diào)性(大調(diào)/小調(diào))來區(qū)分的基調(diào)。
例如，通過邏輯回歸分析預(yù)先獲得的基調(diào)概率公式可以用于基調(diào)概率的計算。 圖44是用于描述用于由基調(diào)概率計算單元176進行的基調(diào)概率的計算的基調(diào)概
率公式的學(xué)習(xí)處理的說明性示圖。
基調(diào)概率公式的學(xué)習(xí)是針對大調(diào)和小調(diào)獨立執(zhí)行的。即，通過學(xué)習(xí)獲得兩個公式， 即，大調(diào)概率公式和小調(diào)概率公式。 首先，提供正確基調(diào)已知的各個拍子區(qū)間的和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分， 作為邏輯回歸分析中的獨立變量。 接著，針對所提供的和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分對中的每一對，提供用于 通過邏輯回歸分析預(yù)測生成概率的啞元數(shù)據(jù)(教師數(shù)據(jù))。例如，當(dāng)學(xué)習(xí)大調(diào)概率公式時， 如果已知的基調(diào)是大調(diào)，則啞元數(shù)據(jù)將為真值(1)，并且當(dāng)是任何其它情況時，啞元數(shù)據(jù)為 假值(0)。并且，當(dāng)學(xué)習(xí)小調(diào)概率公式時，如果已知的基調(diào)是小調(diào)，則鵬元數(shù)據(jù)將為真值 (1)，并且當(dāng)是任何其它情況時，啞元數(shù)據(jù)為假值(0)。 通過使用足夠數(shù)目的獨立變量和啞元數(shù)據(jù)對來執(zhí)行邏輯回歸分析，預(yù)先獲得用于 從和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分對中計算出大調(diào)或小調(diào)的概率的基調(diào)概率公式。
然后，基調(diào)概率計算單元176將基調(diào)概率公式中的每一個應(yīng)用于從特征量準備單 元174輸入的一對和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分，并且針對各個拍子區(qū)間順次計算各 種基調(diào)的基調(diào)概率。 圖45是用于描述由基調(diào)概率計算單元176進行的基調(diào)概率的計算處理的說明性 示圖。 參考圖45(45A)，基調(diào)概率計算單元176例如將預(yù)先通過學(xué)習(xí)獲得的大調(diào)概率公 式應(yīng)用于假定音符C為基調(diào)的一對和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分，并且針對相應(yīng)拍子 區(qū)間計算基調(diào)為"C"的基調(diào)概率KPe?；{(diào)概率計算單元176還將小調(diào)概率公式應(yīng)用于假 定音符C為基調(diào)的這一對和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分，并且針對相應(yīng)拍子區(qū)間計算 基調(diào)為"Cm"的基調(diào)概率KPCm。 類似地，基調(diào)概率計算單元176可以將大調(diào)概率公式和小調(diào)概率公式應(yīng)用于假定 音符C#為基調(diào)的一對和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分，并且可以計算基調(diào)概率KPCfl和 KPCflm(45B)?？梢哉f，對基調(diào)概率KPB和KPBm的計算同樣如此(45C)。 圖46是示出由基調(diào)概率計算單元176計算出的基調(diào)概率的示例的說明性示圖。
參考圖46，對于從音符C至音符B的12個音符，針對某一拍子區(qū)間計算兩種類型 的基調(diào)概率，即針對"Maj (大調(diào))"和"m(小調(diào))"。根據(jù)圖46的示例，基調(diào)概率KPC是0. 90， 并且基調(diào)概率KPCm是0. 03 。此外，其它基調(diào)概率值都指示0 。 此外，在計算了所有類型的基調(diào)的基調(diào)概率之后，基調(diào)概率計算單元176以使得 每拍子區(qū)間所計算出的概率值的總和為1的方式對概率值進行歸一化。針對音頻信號中所 包括的所有拍子區(qū)間重復(fù)如上所述由基調(diào)概率計算單元176進行的計算和歸一化處理?；?調(diào)概率計算單元176以這種方式針對各個拍子區(qū)間來計算各個基調(diào)的基調(diào)概率，并且將基 調(diào)概率輸出給基調(diào)確定單元178。 此外，基調(diào)概率計算單元176根據(jù)針對從音符C至音符B的12個音符并且針對兩
種類型的基調(diào)(即，大調(diào)和小調(diào))所計算出的基調(diào)概率值來計算出不區(qū)分大調(diào)和小調(diào)的簡 單基調(diào)概率。 圖47是用于描述由基調(diào)概率計算單元176進行的簡單基調(diào)概率的計算處理的說 明性示圖。 參考圖47(47A)，由基調(diào)概率計算單元176針對某一拍子區(qū)間計算出的基調(diào)概率KPC、 KPCm、 KPA和KPAm分別是0. 90、0. 03、0. 02和0. 05。其它基調(diào)概率值全都指示0。此時， 基調(diào)概率計算單元176通過針對從音符C至音符B的12個音符對為平行調(diào)關(guān)系的基調(diào)的基 調(diào)概率值進行加和，來計算不區(qū)分大調(diào)和小調(diào)的簡單基調(diào)概率。例如，簡單基調(diào)概率SKPc是 基調(diào)概率KPc和KP紐的總和，即，SKPc二 0.90+0. 05 = 0.95。這是因為C大調(diào)(基調(diào)"C") 和A小調(diào)(基調(diào)"Am")為平行調(diào)關(guān)系。類似地針對音符C#至音符B執(zhí)行簡單基調(diào)概率計 算。 由基調(diào)概率計算單元176計算出的12個單獨的簡單基調(diào)概率SKPC至SKPB輸出給 和弦進行檢測單元190。 [O320](基調(diào)確定單元) 基調(diào)確定單元178基于由基調(diào)概率計算單元176針對各個拍子區(qū)間計算出的各個 基調(diào)的基調(diào)概率，通過路徑搜索來確定有可能的基調(diào)進行。例如，上述Viterbi算法可以用 作由基調(diào)確定單元178進行的路徑搜索的方法。 圖48是用于描述由基調(diào)確定單元178進行的路徑搜索的說明性示圖。 在將Viterbi算法應(yīng)用于由基調(diào)確定單元178進行的路徑搜索的情況中，拍子被
順次布置在時間軸(圖48中的水平軸)上。此外，已經(jīng)被計算出了基調(diào)概率的基調(diào)的類型
被用于觀測序列(圖48中的垂直軸)。S卩，基調(diào)確定單元178將所有已經(jīng)由基調(diào)概率計算
單元176計算出了基調(diào)概率的拍子和基調(diào)類型構(gòu)成的對中的每一對作為路徑搜索的對象節(jié)點。 關(guān)于上述節(jié)點，基調(diào)確定單元178沿時間軸順次選擇這些節(jié)點中的任何一個，并
且通過使用兩個評估值，(1)基調(diào)概率和(2)基調(diào)過渡概率，來評估由一連串所選擇的節(jié)點
形成的路徑。此外，在由基調(diào)確定單元178進行對節(jié)點的選擇時，不允許跳過拍子。 (1)基調(diào)概率是由基調(diào)概率計算單元176計算出的上述基調(diào)概率。對圖48中所示
的各個節(jié)點給出基調(diào)概率。另一方面，(2)基調(diào)過渡概率是對節(jié)點間的過渡給出的評估值。
基調(diào)過渡概率是基于正確基調(diào)已知的樂曲中轉(zhuǎn)調(diào)的發(fā)生概率，針對各種轉(zhuǎn)調(diào)樣式預(yù)先定義的。 圖49是示出基調(diào)過渡概率的示例的說明性示圖。 與針對過渡的轉(zhuǎn)調(diào)量相應(yīng)的12個單獨的值被定義為以下4種樣式的基調(diào)過渡中 每種樣式的基調(diào)過渡概率從大調(diào)至大調(diào)、從大調(diào)至小調(diào)、從小調(diào)至大調(diào)和從小調(diào)至小調(diào)。 圖49示出與針對從大調(diào)至大調(diào)的基調(diào)過渡的轉(zhuǎn)調(diào)量相應(yīng)的12個單獨的概率值的示例。例 如，當(dāng)與轉(zhuǎn)調(diào)量Ak相關(guān)的基調(diào)過渡概率是Pr(Ak)時，Pr(O)為0. 9987。這指示樂曲中基 調(diào)變化的概率很低。另一方面，Pr(l)為0.0002。這指示基調(diào)被升高一個音調(diào)(或被降低 11個音調(diào))的概率是0.02%。類似地，Pr (2) 、 Pr (3) 、 Pr (4) 、 Pr (5) 、 Pr (7) 、 Pr (8) 、 Pr (9) 和Pr(lO)分別是0.0001。并且，Pr(6)和Pr(ll)分別是0.0000。與轉(zhuǎn)調(diào)量相應(yīng)的12個 單獨的概率值還分別針對以下過渡樣式中的每種過渡樣式被定義從大調(diào)至小調(diào)，從小調(diào) 至大調(diào)以及從小調(diào)至小調(diào)。 基調(diào)確定單元178關(guān)于表示使用圖48描述的基調(diào)進行的各個路徑，將路徑中所包 括的各個節(jié)點的(1)基調(diào)概率和對節(jié)點間的過渡所給出的(2)基調(diào)過渡概率彼此順次相 乘。然后，基調(diào)確定單元178確定使得作為路徑評估值的相乘結(jié)果最大的路徑，作為表示有 可能的基調(diào)進行的最優(yōu)路徑。
27
圖50是示出由基調(diào)確定單元178確定為最優(yōu)路徑的基調(diào)進行的示例的說明性示 圖。 在圖50中，在從樂曲的開始到結(jié)束的時間尺度下，示出由基調(diào)確定單元178確定 的樂曲的基調(diào)進行的示例。首先，從樂曲的開始3分鐘，樂曲的基調(diào)是"Cm"。之后，樂曲的 基調(diào)變?yōu)?Cto"并且基調(diào)保持不變直到樂曲結(jié)束。 在上述由相對和弦概率生成單元172至基調(diào)確定單元178進行的處理之后，由基 調(diào)檢測單元170進行的基調(diào)檢測處理結(jié)束。由基調(diào)檢測單元170檢測到的基調(diào)進行和基調(diào) 概率輸出給稍后描述的小節(jié)線檢測單元180和和弦進行檢測單元190。
(2-7.小節(jié)線檢測單元) 小節(jié)線檢測單元180基于拍子概率、拍子區(qū)間之間的類似概率、各個拍子區(qū)間的
和弦概率、基調(diào)進行以及各個拍子區(qū)間的基調(diào)概率，確定小節(jié)線進行(bar progression)，
小節(jié)線進行指示一連串的拍子中各個拍子對應(yīng)于哪個節(jié)拍中的哪個拍數(shù)。 圖51是示出小節(jié)線檢測單元180的詳細配置的框圖。參考圖51，小節(jié)線檢測單元
180包括第一特征量提取單元181、第二特征量提取單元182、小節(jié)線概率計算單元184、小
節(jié)線概率校正單元186、小節(jié)線確定單元188和小節(jié)線重新確定單元189。 (2-7-1.第一特征量提取單元) 第一特征量提取單元181針對各個拍子區(qū)間，根據(jù)該拍子區(qū)間以及前后L個區(qū)間 的和弦概率和基調(diào)概率來提取第一特征量，作為用于稍后描述的小節(jié)線概率的計算的特征 圖52是用于描述由第一特征量提取單元181進行的特征量提取處理的說明性示 圖。 參考圖52，第一特征量包括(1)無和弦變化得分和(2)相對和弦得分，它們是從所 關(guān)注的拍子區(qū)間BDi以及前后L個拍子區(qū)間的和弦概率和基調(diào)概率中導(dǎo)出的。其中，無和 弦變化得分是所具有的維數(shù)與包括所關(guān)注的拍子區(qū)間BDi以及前后L個拍子區(qū)間在內(nèi)的區(qū) 間的數(shù)目相等的特征量。另一方面，相對和弦得分是對于所關(guān)注的拍子區(qū)間BDi以及前后L 個拍子區(qū)間中每個區(qū)間具有24維的特征量。例如，當(dāng)L是8時，無和弦變化得分是17維的 而相對和弦得分是408維(17X24維)的，并且因此，第一特征量總共有425維。以下，將 描述無和弦變化得分和相對和弦得分。
(1)無和弦變化得分 無和弦變化得分是表示樂曲的和弦在特定范圍的區(qū)間中不改變的程度的特征量。 無和弦變化得分是通過將接下來所要描述的和弦穩(wěn)定性得分除以和弦不穩(wěn)定性得分獲得 的。 圖53是用于描述用于無和弦變化得分的計算的和弦穩(wěn)定性得分的說明性示圖。
參考圖53，拍子區(qū)間BDi的和弦穩(wěn)定性得分包括元素CC(i-L)至CC(i+L) ， CC(i-L) 至CC(i+L)中的每一個是針對拍子區(qū)間BDi以及前后L個拍子區(qū)間中的相應(yīng)區(qū)間來確定的。 這些元素中的每一個被計算出，作為目標拍子區(qū)間與緊前的拍子區(qū)間之間具有相同名稱的 和弦的和弦概率的乘積的總和值。例如，通過對拍子區(qū)間BD卜h與拍子區(qū)間BDh的和弦概 率中具有相同名稱的和弦的和弦概率的乘積進行加和，計算出和弦穩(wěn)定性得分CC(i-L)。以 類似的方式，通過對拍子區(qū)間BDi+w與拍子區(qū)間BD^的和弦概率中具有相同名稱的和弦的和弦概率的乘積進行加和，計算出和弦穩(wěn)定性得分CC (i+L)。第一特征量提取單元181針對 整個所關(guān)注的拍子區(qū)間BDi以及前后L個拍子區(qū)間執(zhí)行上述計算，并且計算2L+1個單獨的 和弦穩(wěn)定性得分。 圖54是用于描述用于無和弦變化得分的計算的和弦不穩(wěn)定性得分的說明性示 圖。 參考圖54，拍子區(qū)間BDi的和弦不穩(wěn)定性得分包括元素CU(i-L)至CU(i+L)，這些 元素中的每一個是針對拍子區(qū)間BDi以及前后L個拍子區(qū)間中的相應(yīng)區(qū)間來確定的。這 些元素中的每一個被計算出，作為目標拍子區(qū)間與緊前的拍子區(qū)間之間所有具有不同名稱 的和弦對的和弦概率的乘積的總和值。例如，通過對拍子區(qū)間BD卜h與拍子區(qū)間BDh的 和弦概率中具有不同名稱的和弦的和弦概率的乘積進行加和，計算出和弦不穩(wěn)定性得分 CU(i-L)。以類似的方式，通過對拍子區(qū)間BDi+h與拍子區(qū)間BDi化的和弦概率中具有不同 名稱的和弦的和弦概率的乘積進行加和，計算出和弦不穩(wěn)定性得分CU(i+L)。第一特征量提 取單元181針對整個所關(guān)注的拍子區(qū)間BDi以及前后L個拍子區(qū)間執(zhí)行上述計算，并且計 算2L+1個單獨的和弦不穩(wěn)定性得分。 此外，第一特征量提取單元181針對所關(guān)注的拍子區(qū)間BDi，通過針對每組2L+1個
元素將和弦穩(wěn)定性得分除以和弦不穩(wěn)定性得分來計算無和弦變化得分。例如，如果對于所
關(guān)注的拍子區(qū)間BDi，和弦穩(wěn)定性得分CC是(CCh，. . . ，CCi+J并且和弦不穩(wěn)定性得分CU是
(CU卜l， . . . ， CUi+l)，則無和弦變化得分CR是(CC卜l/CU卜l， . . . ， CCi+l/CUi+J 。 所關(guān)注的拍子區(qū)間周圍的給定范圍內(nèi)的和弦變化越少，無和弦變化得分指示越高
的值。第一特征量提取單元181計算音頻信號中所包括的所有拍子區(qū)間的無和弦變化得分。 (2)相對和弦得分 相對和弦得分是表示給定范圍內(nèi)的區(qū)間上和弦的出現(xiàn)概率及其樣式的特征量。相 對和弦得分是通過根據(jù)從基調(diào)檢測單元170輸入的基調(diào)進行來轉(zhuǎn)移和弦概率的元素位置 而生成的。 圖55是用于描述相對和弦得分的生成處理的說明性示圖。 與圖50 —樣，圖55 (55A)示出由基調(diào)檢測單元170確定的基調(diào)進行的示例。根據(jù) 基調(diào)進行，樂曲的基調(diào)在從樂曲的開始起3分鐘后從"B"變?yōu)?Cto"。此外，還示出所關(guān)注 的拍子區(qū)間BDi的位置，拍子區(qū)間BDi在前后L個區(qū)間內(nèi)包括基調(diào)改變的時間點。
此時，第一特征量提取單元181針對基調(diào)為"B"的拍子區(qū)間生成相對和弦概率， 其中拍子區(qū)間的包括大調(diào)和小調(diào)的24維和弦概率的元素的位置被轉(zhuǎn)移使得和弦概率CPB 在開始處出現(xiàn)。同樣，第一特征量提取單元181針對基調(diào)為"Cto"的拍子區(qū)間生成相對和 弦概率，其中拍子區(qū)間的包括大調(diào)和小調(diào)的24維和弦概率的元素的位置被轉(zhuǎn)移使得和弦 概率CP^在開始處出現(xiàn)。第一特征量提取單元181針對所關(guān)注的拍子區(qū)間以及前后L個 區(qū)間中的每個區(qū)間來生成這樣的相對和弦概率，并且輸出所生成的相對和弦概率的集合 ((2L+1) X24維特征量向量)作為相對和弦得分。 從如上所述的(1)無和弦變化得分和(2)相對和弦得分形成的第一特征量從第一 特征量提取單元181輸出到小節(jié)線概率計算單元184。
(2-7-2.第二特征量提取單元)
第二特征量提取單元182針對各個拍子區(qū)間，根據(jù)拍子區(qū)間以及前后L個區(qū)間上 拍子概率中的變化特征來提取第二特征量，作為用于稍后描述的小節(jié)線概率計算的特征 圖56是用于描述由第二特征量提取單元182進行的特征量提取處理的說明性示 圖。 參考圖56，沿時間軸示出從拍子概率計算單元120輸入的拍子概率。此外，還示出 通過分析拍子概率檢測到的6個拍子以及所關(guān)注的拍子區(qū)間BDi作為示例。第二特征量提 取單元182關(guān)于拍子概率來計算各個小區(qū)間SDj的拍子概率的平均值，小區(qū)間SDj具有特定 持續(xù)時間并且被包括在整個所關(guān)注的拍子區(qū)間BDi以及前后L個區(qū)間上的拍子區(qū)間中。
例如，為了主要檢測音符值(N/M拍的M)是4的節(jié)拍，優(yōu)選用在拍子間隔的1/4和 3/4的位置處劃分拍子間隔的線來將小區(qū)間相互劃分開。在這種情況中，將針對一個所關(guān)注 的拍子區(qū)間BDi計算LX4+1個拍子概率的平均值。因此，由第二特征量提取單元182計算 出的第二特征量對于每個所關(guān)注的拍子區(qū)間將具有LX4+1維。并且，小區(qū)間的持續(xù)時間是 拍子間隔的1/2。 此外，為了恰當(dāng)?shù)貦z測樂曲中的小節(jié)線，希望分析至少若干個小節(jié)的音頻信號的 特征。因此，優(yōu)選定義用于第二特征量的提取的拍子概率的范圍的L的值例如是8個拍子。 當(dāng)L為8時，由第二特征量提取單元182提取的第二特征量對于每個所關(guān)注的拍子區(qū)間是 33維的。 上述第二特征量從第二特征量提取單元182輸出到小節(jié)線概率計算單元184。
(2-7-3.小節(jié)線概率計算單元) 小節(jié)線概率計算單元184通過使用上述第一特征量和第二特征量來計算各個拍 子的小節(jié)線概率。在本說明書中，小節(jié)線概率是指各個拍子是X節(jié)拍中第Y個拍子的概率 的集合。此外，在本實施例中，各種節(jié)拍中的各個拍數(shù)成為辨別的對象，各種節(jié)拍是1/4節(jié) 拍、2/4節(jié)拍、3/4節(jié)拍和4/4節(jié)拍中的任何一種。即，在本實施例中，存在X與Y的10種單 獨集合，即，(l，l)、 (2，1)、 (2，2)、 (3，1)、 (3，2)、 (3，3)、 (4，1)、 (4，2)、 (4，3)和(4'4)，并且 計算IO種類型的小節(jié)線概率。此外，由稍后所述的小節(jié)線概率校正單元186考慮樂曲的結(jié) 構(gòu)來校正由小節(jié)線概率計算單元184計算出的概率值。S卩，由小節(jié)線概率計算單元184計 算出的概率是有待校正的中間數(shù)據(jù)。通過邏輯回歸分析預(yù)先習(xí)得的小節(jié)線概率公式例如可 以用于由小節(jié)線概率計算單元184進行的小節(jié)線概率的計算。 圖57是用于描述用于由小節(jié)線概率計算單元184進行的小節(jié)線概率的計算的小 節(jié)線概率公式的學(xué)習(xí)處理的說明性示圖。 此外，對小節(jié)線概率公式的學(xué)習(xí)是針對上述各種類型的小節(jié)線概率來執(zhí)行的。艮P， 當(dāng)假定要辨別各個拍子在1/4節(jié)拍、2/4節(jié)拍、3/4節(jié)拍和4/4節(jié)拍中的拍數(shù)時，要通過學(xué)習(xí) 獲得10個單獨的小節(jié)線概率公式。 首先，提供多個第一特征量和第二特征量對，作為用于邏輯回歸分析的獨立變量， 這些第一特征量和第二特征量對是通過對正確節(jié)拍(X)和拍子的正確拍數(shù)(Y)已知的音頻 信號進行分析提取出來的。 接著，提供用于通過邏輯回歸分析來預(yù)測所提供的第一特征量與第二特征量對中 每一對的生成概率的啞元數(shù)據(jù)(教師數(shù)據(jù))。例如，當(dāng)學(xué)習(xí)用于辨別1/4節(jié)拍中的第一個拍子以計算拍子為1/4節(jié)拍中的第一個拍子的概率的公式時，如果已知的節(jié)拍和拍數(shù)是(1， l)，則啞元數(shù)據(jù)的值將為真值(l)，并且對于任何其它情況，啞元數(shù)據(jù)的值將為假值(0)。同 樣，當(dāng)學(xué)習(xí)用于辨別2/4節(jié)拍中的第一個拍子以計算拍子是2/4節(jié)拍中的第一個拍子的概 率的公式時，例如，如果已知的節(jié)拍和拍數(shù)是(2，1)，則啞元數(shù)據(jù)的值將為真值(l)，并且對 于任何其它情況，啞元數(shù)據(jù)的值將為假值(0)?？梢哉f，對于其它節(jié)拍和拍數(shù)同樣如此。
通過如上所述使用足夠數(shù)目的獨立變量和啞元數(shù)據(jù)對來執(zhí)行邏輯回歸分析，預(yù)先 獲得10種類型的小節(jié)線概率公式，這些小節(jié)線概率公式用于從一對第一特征量和第二特 征量中計算小節(jié)線概率。 然后，小節(jié)線概率計算單元184將小節(jié)線概率公式應(yīng)用于分別從第一特征量提取 單元181和第二特征量提取單元182輸入的一對第一特征量和第二特征量，并且針對各個 拍子區(qū)間順次計算小節(jié)線概率。 圖58是用于描述由小節(jié)線概率計算單元184進行的小節(jié)線概率的計算處理的說 明性示圖。 參考圖58，小節(jié)線概率計算單元184例如將預(yù)先獲得的用于辨別1/4節(jié)拍中的第 一個拍子的公式應(yīng)用于針對所關(guān)注的拍子區(qū)間提取的一對第一特征量和第二特征量，并且 計算拍子是1/4節(jié)拍中的第一個拍子的小節(jié)線概率P^' (l，l)。同樣，小節(jié)線概率計算單 元184將預(yù)先獲得的用于辨別2/4節(jié)拍中的第一個拍子的公式應(yīng)用于針對所關(guān)注的拍子區(qū) 間提取的一對第一特征量和第二特征量，并且計算拍子是2/4節(jié)拍中的第一個拍子的小節(jié)
線概率P^' (2，1)?？梢哉f，對于其它節(jié)拍和拍數(shù)同樣如此。 小節(jié)線概率計算單元184針對所有拍子重復(fù)小節(jié)線概率計算，并且計算各個拍子 的小節(jié)線概率。由小節(jié)線概率計算單元184針對各個拍子計算出的小節(jié)線概率輸出給接下 來所描述的小節(jié)線概率校正單元186。
(2-7-4.小節(jié)線概率校正單元) 小節(jié)線概率校正單元186基于從結(jié)構(gòu)分析單元150輸入的拍子區(qū)間之間的類似概 率，校正從小節(jié)線概率計算單元184輸入的小節(jié)線概率。 例如，假定第i個所關(guān)注的拍子是X節(jié)拍中的第Y個拍子的小節(jié)線概率(該小節(jié) 線概率還有待校正)是& ' (i，x，y)，并且第i個拍子區(qū)間與第j個拍子區(qū)間之間的類似
概率是SP(i， j)。然后，校正后的小節(jié)線概率P^(i，X，y)例如由下式給出。[等式5] (/,X,力=(乂,X,力 即，校正后的小節(jié)線概率Pb (i， x， y)是通過使用歸一化后的類似概率作為權(quán)重來 對校正前的小節(jié)線概率求加權(quán)和而獲得的值，其中，類似概率是與所關(guān)注的拍子相對應(yīng)的 配置區(qū)間與其它拍子區(qū)間之間的類似概率。通過這樣的概率值校正，與校正前的小節(jié)線概 率相比較，相似聲音內(nèi)容的拍子的小節(jié)線概率將具有更接近的值。由小節(jié)線概率校正單元 186校正后的各個拍子的小節(jié)線概率輸出給接下來所描述的小節(jié)線確定單元188。
(2-7-5.小節(jié)線確定單元)
SP(i,j)
(5)
31
小節(jié)線確定單元188基于從小節(jié)線概率校正單元186輸入的小節(jié)線概率，通過路 徑搜索來確定有可能的小節(jié)線進行，小節(jié)線概率指示各個拍子是X節(jié)拍中的第Y個拍子的 概率。上述Viterbi算法例如可以用作由小節(jié)線確定單元188進行的路徑搜索的方法。
圖59是用于描述由小節(jié)線確定單元188進行的路徑搜索的說明性示圖。
在將Viterbi算法應(yīng)用于由小節(jié)線確定單元188進行的路徑搜索的情況中，拍子 被順次布置在時間軸(圖59中的水平軸)上。此外，小節(jié)線概率已被計算出的拍子的類型 (X節(jié)拍中的第Y個拍子)被用于觀測序列(圖59中的垂直軸)。S卩，小節(jié)線確定單元188 將從小節(jié)線概率校正單元186輸入的拍子和拍子類型的所有對中的每一對作為路徑搜索 的對象節(jié)點。 關(guān)于上述節(jié)點，小節(jié)線確定單元188沿時間軸順次選擇這些節(jié)點中的任何節(jié)點。 然后，小節(jié)線確定單元188使用兩個評估值，(1)小節(jié)線概率和(2)節(jié)拍變化概率，來評估 由 一連串所選擇的節(jié)點形成的路徑。 此外，在由小節(jié)線確定單元188進行節(jié)點的選擇時，例如優(yōu)選施加下述約束。第
一，禁止跳過拍子。第二，禁止在小節(jié)的中間從一種節(jié)拍過渡至另一節(jié)拍(例如，從四節(jié)拍
中的第一個至第三個拍子中的任何拍子或三節(jié)拍中的第一個或第二個拍子開始的過渡)，
或從一種節(jié)拍過渡至另一節(jié)拍的小節(jié)的中間。第三，禁止不按次序的過渡，例如，從第一個
拍子至第三個或第四個拍子，或從第二個拍子至第二個拍子或第四個拍子。 現(xiàn)在，在用于小節(jié)線確定單元188的路徑評估的評估值中，(1)小節(jié)線概率是通過
由小節(jié)線概率校正單元186校正小節(jié)線概率而計算出的上述小節(jié)線概率。對圖59中示出
的各個節(jié)點給出小節(jié)線概率。另一方面，(2)節(jié)拍變化概率是對節(jié)點之間的過渡所給出的
評估值。節(jié)拍變化概率是通過從許多普通樂曲中收集在小節(jié)線的進行期間節(jié)拍變化的發(fā)生
概率，針對變化前的拍子類型和變化后的拍子類型的每種組合被預(yù)先定義的。 圖60是用于示出節(jié)拍變化概率的示例的說明性示圖。 參考圖60，示出基于變化前的4種類型的節(jié)拍和變化后4種類型的節(jié)拍導(dǎo)出的16 種單獨的節(jié)拍變化概率。在該示例中，針對從四節(jié)拍變?yōu)閱喂?jié)拍的節(jié)拍變化概宰是0. 05，從 四節(jié)拍變?yōu)槎?jié)拍的節(jié)拍變化概率是0. 03，從四節(jié)拍變?yōu)槿?jié)拍的節(jié)拍變化概率是0. 02， 而從四節(jié)拍變?yōu)樗墓?jié)拍(即，沒有變化)的節(jié)拍變化概率是0.90。這指明節(jié)拍在樂曲中間 改變的可能性一般不高。 此外，關(guān)于單節(jié)拍或二節(jié)拍，如果所檢測到的小節(jié)線的位置由于小節(jié)線的檢測誤 差而從其正確的位置偏移，則節(jié)拍變化概率可以用來自動恢復(fù)小節(jié)線的位置。因此，優(yōu)選將 單節(jié)拍或二節(jié)拍與另一節(jié)拍之間的節(jié)拍變化概率值設(shè)置為比三節(jié)拍或四節(jié)拍與另一節(jié)拍 之間的節(jié)拍變化概率高。 小節(jié)線確定單元188關(guān)于表示使用圖59描述的小節(jié)線進行的各個路徑，順次將路 徑中所包括的各個節(jié)點的(1)小節(jié)線概率和對節(jié)點間的過渡所給出的上述(2)節(jié)拍變化概 率彼此相乘。然后，小節(jié)線確定單元188確定使得作為路徑評估值的相乘結(jié)果最大的路徑， 作為表示有可能的小節(jié)線進行的最優(yōu)路徑。 圖61是示出由小節(jié)線確定單元188確定為最優(yōu)路徑的小節(jié)線進行的示例的說明 性示圖。 在圖61中，針對第一至第八個拍子示出被小節(jié)線確定單元188確定為最優(yōu)路徑的小節(jié)線進行(參見粗線框)。根據(jù)該示例，從第一個拍子開始各個拍子的類型順次是四節(jié)
拍中的第一個拍子、四節(jié)拍中的第二個拍子、四節(jié)拍中的第三個拍子、四節(jié)拍中的第四個拍
子、四節(jié)拍中的第一個拍子、四節(jié)拍中的第二個拍子、四節(jié)拍中的第三個拍子、四節(jié)拍中的
第四個拍子。由小節(jié)線確定單元188確定的、表示小節(jié)線進行的最優(yōu)路徑輸出給接下來所
描述的小節(jié)線重新確定單元189。 (2-7-6.小節(jié)線重新確定單元) 在普通樂曲中，拍子類型的三節(jié)拍和四節(jié)拍很少以混合的方式存在。因此，小節(jié)線 重新確定單元189首先判定對于出現(xiàn)在從小節(jié)線確定單元188輸入的小節(jié)線進行中的拍子 類型，三節(jié)拍和四節(jié)拍是否以混合的方式存在。然后，如果拍子類型的三節(jié)拍和四節(jié)拍以混 合的方式存在，則小節(jié)線重新確定單元189從搜索對象中排除較不經(jīng)常出現(xiàn)的節(jié)拍，并且 再次搜索表示小節(jié)線進行的最優(yōu)路徑。根據(jù)所述由小節(jié)線重新確定單元189進行的路徑重 新搜索處理，可以減少可能在路徑搜索的結(jié)果中局部出現(xiàn)的小節(jié)線(拍子類型)識別誤差。
在由第一特征量提取單元181至小節(jié)線重新確定單元189進行的處理之后，由小 節(jié)線檢測單元180進行的小節(jié)線檢測處理結(jié)束。由小節(jié)線檢測單元180檢測到的小節(jié)線進 行(一連串拍子的類型)輸出給接下來所描述的和弦進行檢測單元190。
(2-8.和弦進行檢測單元) 和弦進行檢測單元190基于各個拍子的簡單基調(diào)概率、拍子區(qū)間之間的類似概率
以及小節(jié)線進行來針對各個拍子區(qū)間確定一連串和弦的有可能的和弦進行。 圖62是示出和弦進行檢測單元190的詳細配置的框圖。參考圖62，和弦進行檢測
單元190包括拍子區(qū)間特征量計算單元192、根音特征量準備單元194、和弦概率計算單元
196、和弦概率校正單元197和和弦進行確定單元198。 (2-8-1.拍子區(qū)間特征量計算單元) 和和弦概率計算單元160的拍子區(qū)間特征量計算單元162 —樣，拍子區(qū)間特征量 計算單元192首先計算相應(yīng)12個音符的能量(參見針對相應(yīng)12個音符的能量的計算處理 的圖28至圖30)。可替換地，拍子區(qū)間特征量計算單元192可以獲得并且使用由拍子區(qū)間 特征量計算單元162計算出的相應(yīng)12個音符的能量。 接著，拍子區(qū)間特征量計算單元192生成擴展拍子區(qū)間特征量，擴展拍子區(qū)間特 征量包括所關(guān)注的拍子區(qū)間以及前后N個區(qū)間的相應(yīng)12個音符的能量以及從基調(diào)檢測單 元170輸入的簡單基調(diào)概率。 圖63是用于描述由拍子區(qū)間特征量計算單元192生成的擴展拍子區(qū)間特征量的 說明性示圖。 參考圖63，例如，由拍子區(qū)間特征量計算單元192提取出了所關(guān)注拍子區(qū)間BDi以 及前后N個區(qū)間各自的相應(yīng)12個音符的能量BF卜2、 BF卜p BFi、 BFi+1和BFi+2。此外，這里的 N例如是2。此外，由拍子區(qū)間特征量計算單元192獲得所關(guān)注的拍子區(qū)間BDi的簡單基調(diào) 概率(SKP" . . . ， SKPB)。拍子區(qū)間特征量計算單元192針對所有的拍子區(qū)間，生成擴展拍子 區(qū)間特征量，并且將其輸出到根音特征量準備單元194，擴展拍子區(qū)間特征量包括簡單基調(diào) 概率和拍子區(qū)間以及前后N個區(qū)間的相應(yīng)12個音符的能量。 [(M01] (2-8-2.根音特征量準備單元) 根音特征量準備單元194轉(zhuǎn)移從拍子區(qū)間特征量計算單元192輸入的擴展拍子區(qū)間特征量的元素位置，并且生成12個單獨的擴展根音特征量。 圖64是用于描述由根音特征量準備單元194進行的擴展根音特征量生成處理的 說明性示圖。 參考圖64，首先，根音特征量準備單元194將從拍子區(qū)間特征量計算單元192輸入 的擴展拍子區(qū)間特征量作為用音符C作為根音的擴展根音特征量。接著，根音特征量準備 單元194通過將用音符C作為根音的擴展根音特征量的12個音符的元素位置轉(zhuǎn)移特定數(shù) 目，生成11個單獨的擴展拍子區(qū)間特征量，每個擴展拍子區(qū)間特征量將音符C#至音符B中 的任何一個作為根音。此外，元素位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)與用于使用圖36描述的由根音特征 量準備單元164進行的根音特征量生成處理的轉(zhuǎn)移數(shù)相同。 根音特征量準備單元194針對所有的拍子區(qū)間執(zhí)行上述擴展根音特征量生成處 理，并且準備要用于各個區(qū)間的和弦概率的重新計算的擴展根音特征量。由根音特征量準 備單元194生成的擴展根音特征量輸出給和弦概率計算單元196。 [CMOS] (2-8-3.和弦概率計算單元) 和弦概率計算單元196針對各個拍子區(qū)間，通過使用從根音特征量準備單元194 輸入的根音特征量來計算指示各種和弦被演奏的概率的和弦概率。如上所述，這里的"各種 和弦"是指例如通過根音(C， C#， D，...)、構(gòu)成音符的數(shù)目(三和弦、七和弦、九和弦)、調(diào)性 (大調(diào)/小調(diào))等來區(qū)分的和弦中的每一個和弦。通過邏輯回歸分析預(yù)先習(xí)得的擴展和弦 概率公式例如可以用于和弦概率的計算。 圖65是用于描述對擴展和弦概率公式的學(xué)習(xí)處理的說明性示圖，擴展和弦概率 公式用于由和弦概率計算單元196進行的對和弦概率的重新計算。 此外，和針對和弦概率公式的情況一樣，對擴展和弦概率公式的學(xué)習(xí)是針對每種 和弦類型來進行的。即，以下所描述的學(xué)習(xí)處理例如是針對以下每種公式來執(zhí)行的用于大 和弦的擴展和弦概率公式、用于小和弦的擴展和弦概率公式、用于七和弦的擴展和弦概率 公式和用于九和弦的擴展和弦概率公式。 首先，分別針對正確和弦已知的拍子區(qū)間提供多個擴展根音特征量(例如，使用 圖64描述的12個單獨的12X6維向量)，作為用于邏輯回歸分析的獨立變量。
此外，針對各個拍子區(qū)間的擴展根音特征量中的每一個，提供用于通過邏輯回歸 分析來預(yù)測生成概率的啞元數(shù)據(jù)(教師數(shù)據(jù))。當(dāng)學(xué)習(xí)用于大和弦的擴展和弦概率公式 時，如果已知的和弦是大和弦，則啞元數(shù)據(jù)的值將是真值(l)，并且對于任何其它情況，啞元 數(shù)據(jù)的值將是假值(0)。同樣，當(dāng)學(xué)習(xí)用于小和弦的擴展和弦概率公式時，如果已知的和弦 是小和弦，則啞元數(shù)據(jù)的值將是真值(1)，并且對于任何其它情況，啞元數(shù)據(jù)的值將是假值 (0)?？梢哉f，對于七和弦和九和弦同樣如此。 通過使用上述獨立變量和鵬元數(shù)據(jù)來對足夠數(shù)目的擴展根音特征量(每個擴展 根音特征量是針對一個拍子區(qū)間的)執(zhí)行邏輯回歸分析，預(yù)先獲得用于從根音特征量中重 新計算各個和弦概率的擴展和弦概率公式。 然后，和弦概率計算單元196將預(yù)先獲得的擴展和弦概率公式應(yīng)用于從根音特征 量準備單元194輸入的擴展根音特征量，并且針對各個拍子區(qū)間順次計算和弦概率。
圖66是用于描述由和弦概率計算單元196進行的對和弦概率的重新計算處理的 說明性示圖。
參考圖66(66A)，示出各個拍子區(qū)間的擴展根音特征量中，用音符C作為根音的擴 展根音特征量。和弦概率計算單元196例如將通過學(xué)習(xí)預(yù)先獲得的用于大和弦的擴展和 弦概率公式應(yīng)用于用音符C作為根音的擴展根音特征量，并且針對該拍子區(qū)間計算和弦為 "C"的和弦概率CP' e。此外，和弦概率計算單元196將用于小和弦的擴展和弦概率公式應(yīng) 用于用音符C作為根音的擴展根音特征量，并且針對該拍子區(qū)間重新計算和弦為"Cm"的和 弦概率CP' Cm。 以相似的方式，和弦概率計算單元196將用于大和弦的擴展和弦概率公式和用 于小和弦的擴展和弦概率公式應(yīng)用于用音符C#作為根音的擴展根音特征量，并且重新 計算和弦概率CP' ^和和弦概率CP' eflm(66B)?？梢哉f，對和弦概率CP' b、和弦概率 CP' Bm(66C)以及未示出的其它類型的和弦(包括七和弦、九和弦等)的和弦概率的計算也 是如此。 和弦概率計算單元196針對所有所關(guān)注的拍子區(qū)間重復(fù)如上所述的和弦概率重 新計算處理，并且向接下來描述的和弦概率校正單元197輸出所重新計算出的和弦概率。
(2-8-4.和弦概率校正單元) 和弦概率校正單元197基于從結(jié)構(gòu)分析單元150輸入的拍子區(qū)間之間的類似概 率，校正由和弦概率計算單元196重新計算出的和弦概率。 例如，假定第i個所關(guān)注的拍子區(qū)間中和弦X的和弦概率是CP' x(i)，并且第 i個拍子區(qū)間和第j個拍子區(qū)間之間的類似概率是SP(i， j)。然后，校正后的和弦概率 CP" x(i)例如由下式給出。
[等式6]
闊O')二i:c尸;(y). S卩，校正后的和弦概率CP" x(i)是通過利用歸一化后的類似概率來對和弦概率求 加權(quán)和而獲得的值，其中與所關(guān)注的拍子相對應(yīng)的拍子區(qū)間與另一拍子區(qū)間之間的類似概 率中的每一個類似概率被用作權(quán)重。通過這樣的概率值校正，具有相似聲音內(nèi)容的拍子區(qū) 間的和弦概率相比于校正前將具有更接近的值。由和弦概率校正單元197校正后的各個拍 子區(qū)間的和弦概率輸出給接下來所描述的和弦進行確定單元198。
(2-8-5.和弦進行確定單元) 和弦進行確定單元198基于從和弦概率校正單元197輸入的各個拍子位置的和弦 概率，通過路徑搜索來確定有可能的和弦進行。上述Viterbi算法例如可以用作由和弦進 行確定單元198進行的路徑搜索的方法。 圖67是用于描述由和弦進行確定單元198進行的路徑搜索的說明性示圖。
在將Viterbi算法應(yīng)用于由和弦進行確定單元198進行的路徑搜索的情況中，拍 子被順次布置在時間軸(圖67中的水平軸)上。此外，和弦概率已被計算出的和弦類型被 用作觀測序列(圖67中的垂直軸)。即，和弦進行確定單元198將所有和弦類型與從和弦 概率校正單元197輸入的拍子區(qū)間對中的每一對作為路徑搜索的對象節(jié)點。
關(guān)于上述節(jié)點，和弦進行確定單元198沿時間軸順次選擇這些節(jié)點中的任何節(jié)
SP(i，j
(6)
35點。然后，和弦進行確定單元198使用以下四種評估值來對由一連串所選擇的節(jié)點形成的 路徑進行評估(l)和弦概率，(2)依賴于基調(diào)的和弦出現(xiàn)概率，(3)依賴于小節(jié)線的和弦過 渡概率和(4)依賴于基調(diào)的和弦過渡概率。此外，在由和弦進行確定單元198進行對節(jié)點 的選擇時，不允許跳過拍子。 在用于由和弦進行確定單元198進行的路徑評估的評估值中，(1)和弦概率是由 和弦概率校正單元197校正后的上述和弦概率。對圖67中所示的各個節(jié)點給出和弦概率。
此外，(2)依賴于基調(diào)的和弦出現(xiàn)概率是依賴于根據(jù)從基調(diào)檢測單元170輸入的 基調(diào)進行而針對各個拍子區(qū)間指定的基調(diào)的、各種和弦的出現(xiàn)概率。依賴于基調(diào)的和弦出 現(xiàn)概率是通過針對樂曲中使用的每種類型的基調(diào)，對許多樂曲的和弦出現(xiàn)概率進行合計來 預(yù)先定義的。例如， 一般，在基調(diào)為"C"的樂曲中，和弦"C"、 "F"和"G"中的每種和弦的出 現(xiàn)概率高。對圖67中所示的各個節(jié)點給出依賴于基調(diào)的和弦出現(xiàn)概率。
此外，(3)依賴于小節(jié)線的和弦過渡概率是依賴于根據(jù)從小節(jié)線檢測單元180輸 入的小節(jié)線進行而針對各個拍子規(guī)定的拍子類型的和弦過渡概率。依賴于小節(jié)線的和弦過 渡概率是通過針對樂曲的小節(jié)線進行中相鄰拍子的各種類型對，對許多樂曲的和弦過渡概 率進行合計來預(yù)先定義的。例如，一般，和弦在小節(jié)線變化(過渡后的拍子是第一個拍子) 時或在從四節(jié)拍中第二個拍子過渡至第三個拍子時變化的概率比和弦在其它過渡時變化 的概率高。對節(jié)點之間的過渡給出依賴于小節(jié)線的和弦過渡概率。 此外，(4)依賴于基調(diào)的和弦過渡概率是依賴于根據(jù)從基調(diào)檢測單元170輸入的 基調(diào)進行而針對各個拍子區(qū)間規(guī)定的基調(diào)的和弦過渡概率。依賴于基調(diào)的和弦過渡概率是 通過針對樂曲中使用的各種類型的基調(diào)，對許多樂曲的和弦過渡概率進行合計來預(yù)先定義 的。對節(jié)點間的過渡給出依賴于基調(diào)的和弦過渡概率。 和弦進行確定單元198關(guān)于表示使用圖67描述的和弦進行的各個路徑，將路徑 中所包括的各個節(jié)點的上述(1)至(4)的評估值彼此順次相乘。然后，和弦進行確定單元 198確定使得作為路徑評估值的相乘結(jié)果最大的路徑，作為表示有可能的和弦進行的最優(yōu) 路徑。 圖68是示出由和弦進行確定單元198確定為最優(yōu)路徑的和弦進行的示例的說明 性示圖。 在圖68中，示出和弦進行確定單元198針對第一個至第六個拍子區(qū)間和第i個拍 子區(qū)間確定為最優(yōu)路徑的和弦進行(參見粗線框)。根據(jù)該示例，從第一個拍子區(qū)間開始， 拍子區(qū)間的和弦順次是"C"、"C"、"F"、"F"、"Fm"、"Fm"……"C"。 在由上述拍子區(qū)間特征量計算單元192至和弦進行確定單元198進行的處理之 后，由和弦進行檢測單元190進行的和弦進行檢測處理結(jié)束。
〈3.根據(jù)本實施例的信息處理設(shè)備的特征〉 相比于現(xiàn)有技術(shù)的方法，根據(jù)本實施例的信息處理設(shè)備100主要由于接下來所描 述的特征而提供音頻信號的高精度分析結(jié)果。 第一，小節(jié)線檢測單元180基于校正后的小節(jié)線概率(指示各個拍子對于哪種節(jié) 拍中的哪個拍數(shù))來確定音頻信號的有可能的小節(jié)線進行，校正后的小節(jié)線概率是根據(jù)由 結(jié)構(gòu)分析單元150計算出的拍子區(qū)間之間的類似概率來確定的。具體而言，在確定本實施 例中的小節(jié)線進行時，小節(jié)線概率可以預(yù)先被校正以對于產(chǎn)生類似的聲音內(nèi)容的拍子區(qū)間中的拍子具有接近的值。從而，可以基于更精確地反映原始拍子的類型的小節(jié)線概率來確 定小節(jié)線進行。 此外，小節(jié)線檢測單元180在使用類似概率來進行校正之前，基于根據(jù)各個拍子 區(qū)間的和弦類型或基調(diào)類型而不同的第一特征量和根據(jù)拍子概率而不同的第二特征量來 計算小節(jié)線進行。這里，各個拍子的拍數(shù)和節(jié)拍通?？梢允强紤]和弦變化和基調(diào)變化以及 拍子來確定的。因此，如所描述的基于第一特征量和第二特征量計算出的小節(jié)線概率在辨 別有可能的小節(jié)線進行方面是有效的。 第二，和弦進行檢測單元190基于根據(jù)由結(jié)構(gòu)分析單元150計算出的拍子區(qū)間之 間的類似概率所確定的校正后和弦概率來確定有可能的和弦進行。具體而言，在確定本實 施例中的和弦進行時，和弦概率可以預(yù)先被校正以對于產(chǎn)生類似的聲音內(nèi)容的拍子區(qū)間中 的拍子具有接近的值。從而，可以基于更精確地反映實際演奏的和弦的類型的和弦概率來 確定和弦進行。 此外，和弦進行檢測單元190除了使用針對所關(guān)注的拍子區(qū)間以及所關(guān)注的拍子 區(qū)間周圍的拍子區(qū)間的相應(yīng)12個音符的能量以外，還使用包括由基調(diào)檢測單元170計算出 的簡單基調(diào)概率的擴展拍子區(qū)間特征量來重新計算用于確定和弦進行的和弦概率。從而， 考慮各個拍子區(qū)間的基調(diào)的特征，確定了更精確的和弦進行。 第三，結(jié)構(gòu)分析單元150基于對應(yīng)于各個拍子區(qū)間的各個音調(diào)的平均能量的特征 量之間的相關(guān)性來計算上述類似概率。這里，盡管各個音調(diào)的平均能量仍然保持諸如演奏 的聲音的音量或音調(diào)之類的聲音特征，但是它們幾乎不受速度中時間波動的影響。具體而 言，根據(jù)各個音調(diào)的平均能量計算出的拍子區(qū)間之間的類似概率不受速度中波動的影響， 并且在精確地分析樂曲的拍子、和弦或基調(diào)方面有效。 此外，結(jié)構(gòu)分析單元150通過使用特征量來計算拍子區(qū)間之間的相關(guān)性，每個特 征量是針對所關(guān)注的拍子區(qū)間以及所關(guān)注的拍子區(qū)間周圍的一個或多個拍子區(qū)間的。具體 而言，即使拍子區(qū)間的聲音特征與另一拍子區(qū)間的聲音特征相似，如果鄰近的多個拍子區(qū) 間中的聲音特征不同，則所計算出的相關(guān)系數(shù)也不很大。從而，可以高精度地分析對于各個 拍子區(qū)間很少變化的樂曲的基調(diào)、和弦、節(jié)拍等。 第四，節(jié)拍分析單元130的節(jié)拍搜索單元136通過使用指示起始點與具有可以設(shè)
想到的拍子間隔的拍子的對應(yīng)程度的拍子得分，選擇由示出有可能的速度波動的起始點形
成的最優(yōu)路徑。從而，可以容易地檢測到恰當(dāng)?shù)胤从逞葑嗟乃俣鹊呐淖游恢谩?此外，當(dāng)由節(jié)拍搜索單元136確定的最優(yōu)路徑的速度中的波動(拍子間隔的方差)
很小時，節(jié)拍分析單元130的針對恒定速度的節(jié)拍重新搜索單元140將搜索范圍限制于最
常出現(xiàn)的拍子間隔周圍并且重新搜索最優(yōu)路徑。從而，關(guān)于具有恒定速度的樂曲，可以減少
路徑搜索的結(jié)果中可能局部發(fā)生的與拍子位置相關(guān)的誤差。 此外，不必說，該說明書中所描述的其它特征也對根據(jù)本實施例的信息處理設(shè)備 100的分析結(jié)果的精確度的提高有貢獻。
〈4.總結(jié)> 之前，已經(jīng)使用圖1至圖68描述了根據(jù)本發(fā)明實施例的信息處理設(shè)備100。
此外，最終從信息處理設(shè)備100輸出的信息可以是包括諸如本說明書中所描述的 拍子位置、拍子區(qū)間之間的類似概率、基調(diào)概率、基調(diào)進行、和弦概率或和弦進行之類的任何信息的任意信息。此外，還可能部分地執(zhí)行該說明書中所描述的信息處理設(shè)備100的操 作。例如，當(dāng)用戶沒有必要檢測和弦進行時，可以省略上述和弦進行檢測單元190，并且信息 處理設(shè)備100可以被配置為僅檢測小節(jié)線的拍子分析設(shè)備。 此外，在本實施例中，Viterbi算法被用作以下單元的路徑搜索算法節(jié)拍搜索單 元136、基調(diào)確定單元178、小節(jié)線確定單元188、和弦進行確定單元198等。然而，這不限于 這樣的示例，并且由上述單元中的各個單元可以使用任何其它路徑搜索算法。同樣，其它的 統(tǒng)計分析算法也可以用來替代本實施例中所使用的邏輯回歸算法。 此外，由節(jié)拍搜索單元136、基調(diào)確定單元178、小節(jié)線確定單元188、和弦進行確 定單元198中兩個或更多處理單元進行的路徑搜索可以被同時執(zhí)行。例如，通過同時執(zhí)行 兩個或更多處理單元的路徑搜索，可以使所要搜索出的路徑的似然全面最大化。然而，在這 種情況中，應(yīng)當(dāng)注意，路徑搜索的處理成本將增大。此外，通過增加該說明書中未描述的限 制條件，可以使路徑搜索時的搜索范圍變窄，從而減小處理成本。 此外，如該說明書中所述，預(yù)先提供了各種參數(shù)以用于根據(jù)本實施例的處理。這樣 的參數(shù)的示例有用于起始點檢測的閾值(圖7)、用于恒定速度判定的閾值(圖1S)、用于 限制與恒定速度相關(guān)的路徑的重新搜索范圍的閾值(圖19)、用于在相應(yīng)12個音符的能量 的計算時求加權(quán)和的權(quán)重(圖30)等。這些參數(shù)可以通過例如本地搜索算法、遺傳算法或 任何其它的參數(shù)最優(yōu)化算法被預(yù)先最優(yōu)化。 此外，本說明書中所描述的信息處理設(shè)備100的各個單元的一連串處理可以被實 現(xiàn)為硬件或軟件。例如，當(dāng)通過軟件來執(zhí)行一連串處理或這一連串處理的一部分時，通過使 用專門的硬件中所內(nèi)建的計算機或圖69中所示的通用計算機來執(zhí)行構(gòu)成軟件的程序。
在圖69中，中央處理單元(CPU)902控制通用計算機的總體操作。只讀存儲 器(R0M)904存儲描述這一連串處理的一部分或全部的數(shù)據(jù)或程序。隨機存取存儲器 (RAM) 906臨時存儲CPU 902在執(zhí)行處理時所使用的程序或數(shù)據(jù)。 CPU 902、R0M 904和RAM 906通過總線910互連?？偩€910連接到輸入/輸出接 □ 912。 輸入/輸出接口 912是用于將CPU 902、 ROM 904和RAM 906與輸入裝置920、輸 出裝置922、存儲裝置924、通信裝置926和驅(qū)動器930連接的接口 。 輸入裝置920接收用戶經(jīng)由諸如按鈕、鼠標或鍵盤之類的輸入裝置輸入的指令或 信息。輸出裝置922例如經(jīng)由諸如陰極射線管(CRT)、液晶顯示器、有機發(fā)光二極管(OLED) 等的顯示裝置或諸如揚聲器之類的音頻輸出裝置向用戶輸出信息。 存儲裝置924例如是由硬盤驅(qū)動器或閃存構(gòu)成的，并且存儲程序、程序數(shù)據(jù)、輸入 /輸出數(shù)據(jù)等。通信裝置926經(jīng)由諸如LAN或因特網(wǎng)之類的網(wǎng)絡(luò)來執(zhí)行通信處理。驅(qū)動器 930在適當(dāng)時被提供給通用計算機，并且例如，可移除介質(zhì)932被附接到驅(qū)動器930。
由信息處理設(shè)備100輸出的信息可以用于與音樂有關(guān)的各種應(yīng)用。例如，通過使 用由小節(jié)線檢測單元180檢測到的小節(jié)線進行和由和弦進行檢測單元190檢測到的和弦 進行，可以實現(xiàn)用于使得在可視空間中，角色與音樂同步地運動的應(yīng)用。并且，通過使用由 和弦進行檢測單元190檢測到的和弦進行，例如可以實現(xiàn)用于在樂譜上自動寫下和弦的應(yīng) 用。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計需求和其它因素，可以進行各種修改、組合、
38子組合和更改，只要它們在所附權(quán)利要求及其等同物的范圍以內(nèi)即可。 例如，流程圖中所描述的處理不必按照流程圖中所示出的次序被執(zhí)行。各個處理 步驟可以包括被并行地或獨立地執(zhí)行的處理。 本申請包括與2008年11月21日在日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2008-298567中所公開的主題相關(guān)的主題，其全部內(nèi)容被通過引用結(jié)合于此。
權(quán)利要求
一種信息處理設(shè)備，包括拍子分析單元，所述拍子分析單元用于檢測音頻信號中所包括的拍子的位置；結(jié)構(gòu)分析單元，所述結(jié)構(gòu)分析單元用于計算類似概率，每個類似概率是用由所述拍子分析單元所檢測到的各個拍子位置劃分出的拍子區(qū)間的聲音內(nèi)容之間相類似的概率；以及小節(jié)線檢測單元，所述小節(jié)線檢測單元用于基于根據(jù)所述結(jié)構(gòu)分析單元所計算出的類似概率而確定的小節(jié)線概率來確定所述音頻信號的有可能的小節(jié)線進行，所述小節(jié)線概率指示各個拍子對應(yīng)于哪種節(jié)拍中的哪個拍數(shù)。
2. 根據(jù)權(quán)利要求l所述的信息處理設(shè)備，其中 所述結(jié)構(gòu)分析單元包括特征量計算單元，所述特征量計算單元用于通過使用各個拍子區(qū)間的各個音調(diào)的平均 能量來計算特定特征量；相關(guān)性計算單元，所述相關(guān)性計算單元用于針對所述拍子區(qū)間來計算由所述特征量計 算單元所計算出的特征量之間的相關(guān)性；以及類似概率生成單元，所述類似概率生成單元用于根據(jù)由所述相關(guān)性計算單元所計算出 的相關(guān)性來生成所述類似概率。
3. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 所述小節(jié)線檢測單元包括小節(jié)線概率計算單元，所述小節(jié)線概率計算單元用于基于從所述音頻信號提取出的特 定特征量來計算所述小節(jié)線概率；小節(jié)線概率校正單元，所述小節(jié)線概率校正單元用于根據(jù)所述類似概率來校正由所述 小節(jié)線概率計算單元計算出的小節(jié)線概率；以及小節(jié)線確定單元，所述小節(jié)線確定單元用于基于由所述小節(jié)線概率校正單元校正后的 小節(jié)線概率來確定所述音頻信號的所述有可能的小節(jié)線進行。
4. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述特征量計算單元通過在多個八度音階當(dāng)中對具有相同名稱的音符的值求加權(quán)和 來計算所述特征量，所述值被包括在各個音調(diào)的平均能量中。
5. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述相關(guān)性計算單元通過使用所述特征量來計算所述拍子區(qū)間之間的相關(guān)性，每個特 征量是針對所關(guān)注的拍子區(qū)間以及所述所關(guān)注的拍子區(qū)間周圍一個或多個拍子區(qū)間的。
6. 根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中所述小節(jié)線概率計算單元基于根據(jù)各個拍子區(qū)間的和弦類型或基調(diào)類型而不同的第 一特征量和根據(jù)拍子概率而不同的第二特征量來計算所述小節(jié)線概率，所述拍子概率指示 拍子被包括在所述音頻信號的各個特定時間單位中的概率。
7. 根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中所述小節(jié)線確定單元通過以下方式來確定所述有可能的小節(jié)線進行從通過在以按時 間順序布置的拍子以及各個拍子的節(jié)拍和拍數(shù)所指定的節(jié)點中順次選擇節(jié)點而形成的路 徑中，搜索使根據(jù)所述小節(jié)線概率而不同的評估值變成最優(yōu)的路徑。
8. 根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中 所述小節(jié)線檢測單元還包括小節(jié)線重新確定單元，所述小節(jié)線重新確定單元用于在由所述小節(jié)線確定單元所確定 的小節(jié)線進行中包括第一節(jié)拍和第二節(jié)拍兩者的情況中，從搜索的對象中排除所述第一節(jié) 拍和所述第二節(jié)拍中較不經(jīng)常出現(xiàn)的節(jié)拍而重新執(zhí)行路徑搜索。
9. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 所述拍子分析單元包括起始點檢測單元，所述起始點檢測單元用于基于拍子概率來檢測所述音頻信號中所包 括的起始點，每個起始點是聲音產(chǎn)生的時間點，每個拍子概率指示拍子被包括在所述音頻 信號中的各個特定時間單位中的概率；拍子得分計算單元，所述拍子得分計算單元用于針對由所述起始點檢測單元檢測到的 每個起始點來計算拍子得分，拍子得分指示該起始點與具有能設(shè)想到的拍子間隔的拍子的 對應(yīng)程度；拍子搜索單元，所述拍子搜索單元用于基于由所述拍子得分計算單元所計算出的拍子 得分來搜索由示出有可能的速度波動的起始點形成的最優(yōu)路徑；以及拍子確定單元，所述拍子確定單元用于確定所述最優(yōu)路徑上起始點的位置和根據(jù)所述 拍子間隔所補充的位置，作為拍子位置。
10. 根據(jù)權(quán)利要求9所述的信息處理設(shè)備，其中 所述拍子分析單元還包括拍子重新搜索單元，所述拍子重新搜索單元用于在由所述拍子搜索單元確定的最優(yōu)路 徑的速度的波動很小的情況中，限制搜索范圍并且重新執(zhí)行對所述最優(yōu)路徑的搜索。
11. 根據(jù)權(quán)利要求9所述的信息處理設(shè)備，其中所述拍子搜索單元通過使用根據(jù)所述拍子得分而不同的評估值，來從通過沿時間軸順 次選擇以所述起始點和所述拍子間隔指定的節(jié)點而形成的路徑中確定最優(yōu)路徑。
12. 根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中所述拍子搜索單元還通過使用根據(jù)過渡前后的節(jié)點之間速度的變化量而不同的評估 值來確定所述最優(yōu)路徑。
13. 根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中所述拍子搜索單元還通過使用根據(jù)過渡前后的起始點之間的間隔與過渡前后的節(jié)點 處的拍子間隔之間的匹配程度而不同的評估值來確定所述最優(yōu)路徑。
14. 根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中所述拍子搜索單元還通過使用根據(jù)節(jié)點之間的過渡中所跳過的起始點的數(shù)目而不同 的評估值來確定所述最優(yōu)路徑。
15. 根據(jù)權(quán)利要求9所述的信息處理設(shè)備，其中 所述拍子分析單元還包括速度修正單元，所述速度修正單元用于根據(jù)估計速度，對由所述拍子確定單元所確定 的拍子位置進行修正，所述估計速度是使用通過學(xué)習(xí)預(yù)先獲得的估計速度辨別公式而從所 述音頻信號的波形中估計出的。
16. 根據(jù)權(quán)利要求15所述的信息處理設(shè)備，其中所述速度修正單元通過針對多個乘子中的每一個乘子，使用修正后的拍子位置的平均 拍子概率和所述估計速度來評估修正后的速度的似然，從而確定要用來修正所述拍子位置的用于修正的乘子。
17. —種信息處理設(shè)備，包括起始點檢測單元，所述起始點檢測單元用于基于拍子概率來檢測音頻信號中所包括的 起始點，每個起始點是聲音產(chǎn)生的時間點，每個拍子概率指示拍子被包括在所述音頻信號 中的各個特定時間單位中的概率；拍子得分計算單元，所述拍子得分計算單元用于針對由所述起始點檢測單元檢測到的 每個起始點來計算拍子得分，拍子得分指示該起始點與具有能設(shè)想到的拍子間隔的拍子的 對應(yīng)程度；拍子搜索單元，所述拍子搜索單元用于基于由所述拍子得分計算單元所計算出的拍子 得分來搜索由示出有可能的速度波動的起始點形成的最優(yōu)路徑；以及拍子確定單元，所述拍子確定單元用于確定所述最優(yōu)路徑上起始點的位置和根據(jù)所述 拍子間隔所補充的位置，作為拍子位置。
18. —種聲音分析方法，包括以下步驟 檢測音頻信號中所包括的拍子的位置；計算類似概率，每個類似概率是用各個所檢測到的拍子位置劃分出的拍子區(qū)間的聲音 內(nèi)容之間相類似的概率；以及基于根據(jù)所計算出的類似概率而確定的小節(jié)線概率來確定所述音頻信號的有可能的 小節(jié)線進行，所述小節(jié)線概率指示各個拍子對應(yīng)于哪種節(jié)拍中的哪個拍數(shù)。
19. 一種程序，該程序使得控制信息處理設(shè)備的計算機用作 拍子分析單元，所述拍子分析單元用于檢測音頻信號中所包括的拍子的位置； 結(jié)構(gòu)分析單元，所述結(jié)構(gòu)分析單元用于計算類似概率，每個類似概率是用由所述拍子分析單元所檢測到的各個拍子位置劃分出的拍子區(qū)間的聲音內(nèi)容之間相類似的概率；以及 小節(jié)線檢測單元，所述小節(jié)線檢測單元用于基于根據(jù)由所述結(jié)構(gòu)分析單元所計算出的 類似概率而確定的小節(jié)線概率來確定所述音頻信號的有可能的小節(jié)線進行，所述小節(jié)線概 率指示各個拍子對應(yīng)于哪種節(jié)拍中的哪個拍數(shù)。
全文摘要
公開了一種信息處理設(shè)備、聲音分析方法和程序。該信息處理設(shè)備包括用于檢測音頻信號中所包括的拍子的位置的拍子分析單元；用于計算類似概率的結(jié)構(gòu)分析單元，每個類似概率是用由拍子分析單元所檢測到的各個拍子位置劃分出的拍子區(qū)間的聲音內(nèi)容之間相類似的概率；以及小節(jié)線檢測單元，用于基于根據(jù)由所述結(jié)構(gòu)分析單元所計算出的類似概率而確定的小節(jié)線概率來確定所述音頻信號的有可能的小節(jié)線進行，所述小節(jié)線概率指示各個拍子對應(yīng)于哪種節(jié)拍中的哪個拍數(shù)。
文檔編號G10G3/00GK101740010SQ20091022192
公開日2010年6月16日 申請日期2009年11月23日 優(yōu)先權(quán)日2008年11月21日
發(fā)明者小林由幸 申請人:索尼株式會社