專利名稱：腦波音樂生成方法
技術(shù)領(lǐng)域：
本發(fā)明屬于生物醫(yī)學工程技術(shù)領(lǐng)域，涉及一種用腦波信號生成音樂的方法，具體涉及一種用多通道腦波信號生成多聲部合奏音樂的方法。
背景技術(shù)：
腦電圖(electroencephalogram,EEG)作為一種監(jiān)測大腦電活動的技術(shù),在臨床和科研中有廣泛的應(yīng)用。通常情況下，腦電圖都是以波形或者地形圖等視覺的形式來呈現(xiàn)，通過對波形或者圖像的分析來對腦電信號的各種特征進行分析。而通過聆聽的方式來監(jiān)測信號，則是一種有意義的嘗試，將EEG轉(zhuǎn)換為聲音乃至音樂，因為人耳對聲音辨別的快速和準確，使得這種方式能比傳統(tǒng)的波形更敏感地反映出信號的細節(jié)。到目前為止，腦波音樂的生成在數(shù)據(jù)特征提取方面，使用了統(tǒng)計方法，功率譜分析，相關(guān)性分析，偏側(cè)性分析和非線性分析等。而在轉(zhuǎn)換方法，即可聽化技術(shù)方面，提出了兩種主要的技術(shù)。第一種是直接音頻翻譯，就是將EEG的波形視為聲波進行播放，但因為EEG的主要頻率在30Hz以下，低于人耳的聽閾(20-20KHz)，因此需要在頻域乘上合適的系數(shù)，將其頻率提高到人類可以聽到的范圍。這種方法現(xiàn)在應(yīng)用的不多，因為EEG本身包含了很多背景噪聲，其效果幾乎沒有音樂性，這種方式很難聽到真正有意義的信息。第二種，也是目前應(yīng)用最多的一種是參數(shù)映射，即用數(shù)據(jù)的原始值或特征參數(shù)來控制聲音/音樂合成的參數(shù)。其中數(shù)據(jù)的特征參數(shù)來自于數(shù)據(jù)分析，音樂合成的參數(shù)則有音高、音量、調(diào)制頻率等基本參數(shù)，也有音樂性更強的如速度、節(jié)奏、調(diào)式等參數(shù)。參數(shù)映射的類型還可分為“漏斗式”和“扇形式”?！奥┒肥健保磳⒍嗟罃?shù)據(jù)源映射到一個音樂發(fā)聲器進行展示；而“扇形式”是將單個數(shù)據(jù)源的各種特征值用于控制多個音樂發(fā)聲裝置。對多道腦電數(shù)據(jù)，漏斗式的方法將多個相近的電極數(shù)據(jù)進行合并，以突出重點特征，而扇形式方法，在電極較少時，可以充分反映各方面的信息。腦波音樂生成方法也可以根據(jù)利用的原始腦電信息的通道數(shù)量來進行分類即單道和多道信號兩類，大多數(shù)的工作都先以單道技術(shù)為基礎(chǔ)，然后進行擴展。方式一是直接選取感興趣區(qū)域的少量電極信號來進行轉(zhuǎn)換；方式二是直接對所有道的旋律進行疊加；方式三是用上述“漏斗式”的思路，對信號進行一定的空間濾波，只展示其中認為有意義的部分。當信號通道數(shù)超過2時，直接的疊加會使旋律混疊，難以辨別。CN200710048475. 8公開了一種音樂腦電分析方法，它基于大腦和音樂共同遵循的無標度性特征，將腦波信號的振幅、周期和能量映射為音樂的音高、音長和音量，是一種客觀轉(zhuǎn)換方法，但是該方法只針對單道腦電數(shù)據(jù)，產(chǎn)生的音樂是單聲部的，沒有涉及多通道腦波以及多聲部的音樂。

發(fā)明內(nèi)容
本發(fā)明的目的是為了解決現(xiàn)有的腦波音樂生成方法沒有涉及多通道腦波以及多聲部的音樂的問題，提出了一種腦波音樂生成方法。本發(fā)明的技術(shù)方案是一種腦波音樂生成方法，包括下述步驟S1、腦電信號采集，按標準的腦電圖采集方式采集腦電圖；S2、單道腦波音樂生成，對步驟SI采集的腦電圖進行特征分析，建立單道腦波信號參數(shù)與音樂參數(shù)的映射，得到單道音樂，進而得到所有通道的音樂片段；S3、節(jié)拍濾波，將步驟S3中得到的所有通道的音樂片段根據(jù)基準音長進行濾波，其中，基準音長由數(shù)據(jù)特征頻率峰值決定；S4、調(diào)式濾波，根據(jù)所有通道的音樂的特征確定調(diào)式，然后按照所述調(diào)式對經(jīng)節(jié)拍濾波后的所有通道的音樂片段進行濾波，挑選出每個時刻最符合該調(diào)式的若干個音符，得到最終的多聲部合奏音樂。 進一步的，節(jié)拍濾波的具體過程如下首先確定基準音長，對所有通道的腦電數(shù)據(jù)進行功率譜分析，分別計算出每道信號在α頻段和β頻段的兩個峰值頻率Π和f2，設(shè)α頻段的峰值功率譜值為Ρ(Π)，β頻段的峰值功率譜值為P(f2)，則當P(fl)/P(f2) >=△時，基準音長為1/fl ;當P(fl)/P(f2)〈A時，基準音長為l/f2，其中，Δ為預先設(shè)置的閾值，所有通道的平均基準音長作為當前狀態(tài)下采用的基準音長；基準音長確定后，所有音符的長度將被調(diào)整為基準音長的整數(shù)倍，設(shè)原始音長為d0，調(diào)整后音長為dl，基準音長為dm，調(diào)整公式為dl=dm* [dO/dm]，其中，[χ]表示不超過χ的最大整數(shù)。進一步的，調(diào)式濾波的具體過程如下首先確定腦波音樂的調(diào)，這里具體采用的是西方自然大小調(diào)共24個，其中大調(diào)12個，小調(diào)12個，調(diào)的確定包括兩方面主音和大/小調(diào)；對所有通道的音樂進行統(tǒng)計，總共出現(xiàn)時間最長的音被確定為主音；若基準音長為Ι/fl，則當前狀態(tài)為小調(diào)；若基準音長為l/f2，則為大調(diào)；調(diào)確定之后，進行濾波，每一時刻，所有通道在該時刻的音符按照其在調(diào)中的穩(wěn)定性進行排序，其中最穩(wěn)定的若干個音被保留，作為最終產(chǎn)生的音樂。更進一步的，為了使音樂富于變化，被保留的若干個音，只允許其中兩個音具有相同的音名，其余的音應(yīng)具有不同的音高。本發(fā)明的有益效果是本發(fā)明的腦波音樂生成方法利用多道腦電數(shù)據(jù)生成多聲部合奏腦波音樂，通過節(jié)拍濾波保證音樂具有明確的節(jié)奏感，同時通過調(diào)式的濾波使最后產(chǎn)生的音樂具有特定的調(diào)，且各聲部之間協(xié)和一致。具有如下效果1、為從聽覺的角度分析大腦活動提供了支持，主要利用了節(jié)拍和調(diào)式濾波來得到合奏的多聲部音樂，使被試的不同狀態(tài)可以根據(jù)音樂特征進行區(qū)分；2、由本發(fā)明的方法產(chǎn)生的音樂，其音高分布是符合冪律的，符合通常的審美標準，腦電的音樂編碼形式，可用于腦電監(jiān)測及記錄，為腦電分析提供了一種新的分析方法；3、提出了一種根據(jù)音樂上“調(diào)”的概念設(shè)計的濾波器，用于提取腦電信號中重要的信息，為進一步深入分析和解讀EEG數(shù)據(jù)提供新的技術(shù)支撐。


圖1是本發(fā)明實施例的總框架圖；圖2是I位受試者安靜閉眼狀態(tài)的多聲部合奏腦波音樂；圖3是I位受試者安靜睜眼狀態(tài)的多聲部合奏腦波音樂；圖4是I位受試者的腦波音樂音高的冪律分布圖，包括閉眼狀態(tài)調(diào)式濾波后的音樂(Eyes Closed After Filtering, ECAF),睜眼狀態(tài)調(diào)式濾波后的音樂(Eyes OpenAfterFiltering, E0AF),閉眼狀態(tài)調(diào)式濾波前的音樂(Eyes Closed Before Filtering,ECBF)和睜眼狀態(tài)調(diào)式濾波前的音樂(Eyes Open Before Filtering, E0BF)；圖5是40位受試者的腦波音樂音高的冪律的平均分布圖，包括閉眼狀態(tài)調(diào)式濾波后的音樂(ECAF)，睜眼狀態(tài)調(diào)式濾波后的音樂(EOAF)，閉眼狀態(tài)調(diào)式濾波前的音樂(ECBF)和睜眼狀態(tài)調(diào)式濾波前的音樂(EOBF)四種情況。
具體實施例方式下面結(jié)合附圖和具體實施例對本發(fā)明做進一步的說明。本發(fā)明的腦波音樂生成方法，具體包括下述步驟S1、腦電信號采集，按標準的腦電圖采集方式采集腦電圖；S2、單道腦波音樂生成，對步驟SI采集的腦電圖進行特征分析，建立單道腦波信號參數(shù)與音樂參數(shù)的映射，得到單道音樂，進而得到所有通道的音樂片段。在本實施例中具體為16通道。這里腦波信號參數(shù)包括腦波信號的周期、振幅、信號每個周期的平均功率，音樂的參數(shù)包括音長、音高、音強，所述步驟S2中分別提取腦電數(shù)據(jù)的振幅、周期和平均功率，映射為音高、音長和音強。 冪律分布是自組織系統(tǒng)的重要特性之一，兩個變量的關(guān)系可以用冪指數(shù)的形式來表示，如變量X，Y，若Y=X' α稱為冪律指數(shù)，當α為-1. 5 -0. 5時，稱這兩個變量符合冪律分布。腦電信號有很多符合冪律分布的特征，如功率譜密度符合以頻率為底的冪律分布。在音樂中，音高、音長、音強等變量出現(xiàn)次數(shù)的排列順序和出現(xiàn)的次數(shù)之間也符合冪律分布。研究表明，音樂的冪律分布是音樂動聽的原因之一。本發(fā)明中，單道腦波音樂的生成正是根據(jù)腦電和音樂共同遵循的這一規(guī)律來進行。具體過程可參考CN200710048475. 8。S3、節(jié)拍濾波，將步驟S2中得到的所有通道的音樂片段根據(jù)基準音長進行濾波，其中，基準音長由數(shù)據(jù)特征頻率峰值決定。音樂中，通常音符的音長之間是存在倍數(shù)關(guān)系的，如四分音符的時長是八分音符的2倍，是十六分音符的4倍。這樣的結(jié)構(gòu)使得音樂的節(jié)奏感鮮明。本發(fā)明中，節(jié)拍濾波的作用在于使步驟S2中得到的音樂的音長都調(diào)整為基準音長的整數(shù)倍?；鶞室糸L是每段音樂中最短的音符時長，單位為秒。這里節(jié)拍濾波可以采用如下的一種過程得到所有通道的單道音樂之后，對其進行節(jié)拍濾波。首先確定基準音長，對所有通道的腦電數(shù)據(jù)進行功率譜分析，可以分別計算出每道信號在α頻段(8-13Ηζ)和β頻段(14-20ΗΖ)的兩個峰值頻率Π和f2。設(shè)α頻段的峰值功率譜值為P (Π)，β頻段的峰值功率譜值為P(f2)，則當P(fl)/P(f2) > =Δ時，基準音長為1/Π ;當P(fl)/P(f2)〈A時，基準音長為l/f2，其中，Λ為預先設(shè)置的閾值，所有通道的平均基準音長作為當前狀態(tài)下采用的基準音長。這里預先設(shè)置的閾值Λ可以根據(jù)實際情況進行選取，為了得到一個較好的效果，在本實施例中Λ =2?；鶞室糸L確定后，所有音符的長度將被調(diào)整為基準音長的整數(shù)倍，設(shè)原始音長為d0，調(diào)整后音長為dl，基準音長為dm，調(diào)整公式為dl=dm* [dO/dm]，其中，[χ]代表不超過χ的最大整數(shù)。S4、調(diào)式濾波，根據(jù)所有通道的音樂的特征確定調(diào)式，然后按照所述調(diào)式對經(jīng)節(jié)拍濾波后的所有通道的音樂片段進行濾波，挑選出每個時刻最符合該調(diào)式的若干個音符，得到最終的多聲部合奏音樂。這里的“若干個”可以根據(jù)實際情況確定，考慮到音樂的效果，這里的“若干個”具體可以為4個。需要說明的是即使是32道、64道或者更多通道的腦波數(shù)據(jù)，也只建議保留4個或4個以下音符，同時發(fā)聲的音符太多會導致音樂聽起來混亂，旋律不清晰。為了使音樂富于變化，被保留的若干個音，只允許其中兩個音具有相同的音名，其余的音應(yīng)具有不同的音高。音樂中，幾個音(一般不超過七個，不少于三個)按照一定的關(guān)系聯(lián)結(jié)在一起，構(gòu)成一個體系，并以某一音為中心，這個體系就叫做“調(diào)式”，作為中心的音就是“主音”。目前音樂中經(jīng)常被采用的調(diào)式有西方的大小調(diào)和中國傳統(tǒng)音樂常用的五聲調(diào)式。大小調(diào)又分為自然大/小調(diào)、和聲大/小調(diào)和旋律大/小調(diào)。本發(fā)明中所述調(diào)式，是指西方的自然大小調(diào)共24個，其中大調(diào)式12個，小調(diào)式12個。一個完整的調(diào)的名稱，以“主音+某調(diào)”來表示，如C大調(diào)，表示主音為C的大調(diào)式。一個音樂作品調(diào)式，一般情況下作曲家會有標示。同時根據(jù)作品本身的某些客觀特征，也可以進行判斷。如音樂的調(diào)號，變音符號，結(jié)束音，結(jié)束和弦等。大多數(shù)情況下，樂曲都結(jié)束在主音上。不同的調(diào)式可以用于表達不同的情感，如大調(diào)多用于表達積極熱烈，活潑明快的情緒，而小調(diào)多用于表達平靜、溫柔、憂郁等情緒。這里的調(diào)式濾波的可以采用如下的一種過程首先確定當前狀態(tài)腦波音樂的調(diào)，這里具體采用的是西方自然大小調(diào)共24個，其中大調(diào)12個，小調(diào)12個，調(diào)的確定包括兩方面主音和大/小調(diào)；對所有通道的音樂進行統(tǒng)計，總共出現(xiàn)時間最長的音被確定為主音；若基準音長為Ι/fl，則當前狀態(tài)為小調(diào)；若基準音長為l/f2，則為大調(diào)；調(diào)確定之后，進行濾波，每一時刻，所有通道在該時刻的音符按照其在調(diào)中的穩(wěn)定性進行排序，其中最穩(wěn)定的若干個音被保留，作為最終產(chǎn)生的音樂。步驟S3得到的多道腦波音樂是無調(diào)的，在步驟S4中，所述音樂的特征指的是所有通道音樂中，每個音高出現(xiàn)的次數(shù)，該特征將決定音樂的調(diào)式。其后，步驟S3得到的音樂序列按照擬定調(diào)式的規(guī)則進行濾波，以得到有調(diào)的音樂，同時原始的16道信號將被過濾為4道。對于一個調(diào)而言，所有音高具有的穩(wěn)定性是不同的，在每一時刻，最穩(wěn)定的4個音被挑選出來。圖1給出了本發(fā)明方法的總框架圖，其中，圖(a)是受試者的原始腦電信號，進行信號采集系統(tǒng)是標準的腦電采集設(shè)備，一般包 括電極帽，信號放大器，相應(yīng)記錄設(shè)備等，具體硬件設(shè)備可以參考使用中國專利申請?zhí)枮?1129935. 5的申請文件所采用的硬件設(shè)備。圖(a)的信號經(jīng)過偽跡去除，壞道替換，去基線漂移處理，再進行單道信號特征分析，即完成對腦電波的振幅，周期及平均功率的提取，并將其映射為音符的音高，音長和音強，得到多道的音樂MIDI序列，同時，該序列進行節(jié)拍濾波，得到如圖(b)所示的多道音樂。圖1所示為16道的腦電信號，其他多道腦電信號可以按照同樣的方式處理。圖(b)所示音樂經(jīng)過分析，確定該段音樂的調(diào)，然后根據(jù)這個調(diào)對其進行濾波，得到如圖(c)所示的四聲部的合奏腦波音樂。本實施例中，共采集了 40位受試者安靜閉眼和睜眼狀態(tài)的腦電數(shù)據(jù)。受試者年齡在19-28歲，男性20位，女性20位。圖2所示是其中一位受試者安靜閉眼狀態(tài)下10秒的腦波音樂，圖3所示是該受試者安靜睜眼狀態(tài)下IOs的腦波音樂。圖中，每個長方形表示一個音，其沿X軸的長度表示音長，Y軸的坐標表示音高。對比發(fā)現(xiàn)，閉眼狀態(tài)下的腦波音樂音符行進速度較慢，音長較長，與閉眼狀態(tài)下大腦活動更平靜相對應(yīng)。而睜眼狀態(tài)下的腦波音樂速度稍快，音長較短，與該狀態(tài)下大腦活動更活躍相適應(yīng)。圖4所示是對I位受試者閉眼和睜眼狀態(tài)下的調(diào)式濾波前后音樂片段進行的冪律統(tǒng)計。橫軸X軸表示不同音高出現(xiàn)次數(shù)的排列順序(Rank)，豎直坐標軸Y軸表示某個音高出現(xiàn)的次數(shù)(Number of occurrences)。也就是說，圖4中X = I的點,表示這個音高出現(xiàn)的次數(shù)是最多的，其Y值表示這個具體的數(shù)值，即這個音高出現(xiàn)了多少次。在對數(shù)坐標上對這些點進行線性擬合的結(jié)果如圖所示，濾波后閉眼和睜眼的冪指數(shù)分別為-1. 00和-1. 40，而濾波前分別為-O. 66和-O. 64。圖5所示是對40位受試者閉眼和睜眼狀態(tài)下的調(diào)式濾波前后的音樂片段進行的冪律統(tǒng)計。這個分布可以看出，調(diào)式濾波后的指數(shù)與濾波前有顯著差異，這說明本發(fā)明的方法改變了音樂的冪律指數(shù)，使其更加接近傳統(tǒng)的音樂，即指數(shù)更接近I。本發(fā)明的方法為從音樂的角度分析腦電信號提供了技術(shù)支持，在實時腦電監(jiān)控，神經(jīng)反饋等領(lǐng)域具有潛在的應(yīng)用價值。本領(lǐng)域的普通技術(shù)人員將會意識到，這里所述的實施例是為了幫助讀者理解本發(fā)明的原理，應(yīng)被理解為本發(fā)明的保護范圍并不局限于這樣的特別陳述和實施例。本領(lǐng)域的普通技術(shù)人員可以根據(jù)本發(fā)明公開的這些技術(shù)啟示做出各種不脫離本發(fā)明實質(zhì)的其它各種具體變形和組合，這些變形和組合仍然在本發(fā)明的保護范圍內(nèi)。
權(quán)利要求
1.一種腦波音樂生成方法，包括下述步驟 51、腦電信號采集，按標準的腦電圖采集方式采集腦電圖； 52、單道腦波音樂生成，對步驟SI采集的腦電圖進行特征分析，建立單道腦波信號參數(shù)與音樂參數(shù)的映射，得到單道音樂，進而得到所有通道的音樂片段； 53、節(jié)拍濾波，將步驟S3中得到的所有通道的音樂片段根據(jù)基準音長進行濾波，其中，基準音長由數(shù)據(jù)特征頻率峰值決定； 54、調(diào)式濾波，根據(jù)所有通道的音樂的特征確定調(diào)式，然后按照所述調(diào)式對經(jīng)節(jié)拍濾波后的所有通道的音樂片段進行濾波，挑選出每個時刻最符合該調(diào)式的若干個音符，得到最終的多聲部合奏音樂。
2.根據(jù)權(quán)利要求1所述的腦波音樂生成方法，其特征在于，步驟S2中所述的腦波信號參數(shù)包括腦波信號的周期、振幅、信號每個周期的平均功率。
3.根據(jù)權(quán)利要求1或2所述的腦波音樂生成方法，其特征在于，步驟S2中所述的音樂的參數(shù)包括音長、音高、音強。
4.根據(jù)權(quán)利要求1所述的腦波音樂生成方法，其特征在于，所述節(jié)拍濾波的具體過程如下 首先確定基準音長，對所有通道的腦電數(shù)據(jù)進行功率譜分析，分別計算出每道信號在α頻段和β頻段的兩個峰值頻率Π和f2，設(shè)α頻段的峰值功率譜值為P (Π)，β頻段的峰值功率譜值為P(f2)，則當P(fl)/P(f2) >=△時，基準音長為1/Π ;當P(fl)/P(f2)〈A時，基準音長為l/f2，其中，Λ為預先設(shè)置的閾值，所有通道的平均基準音長作為當前狀態(tài)下采用的基準音長； 基準音長確定后，所有音符的長度將被調(diào)整為基準音長的整數(shù)倍，設(shè)原始音長為dO，調(diào)整后音長為dl,基準音長為dm,調(diào)整公式為dl=dm*[dO/dm],其中，[x]表示不超過x的最大整數(shù)。
5.根據(jù)權(quán)利要求1或4所述的腦波音樂生成方法，其特征在于，調(diào)式濾波的具體過程如下 首先確定當前狀態(tài)腦波音樂的調(diào)，這里具體采用的是西方自然大小調(diào)共24個，其中大調(diào)12個，小調(diào)12個，調(diào)的確定包括兩方面主音和大/小調(diào)；對所有通道的音樂進行統(tǒng)計，總共出現(xiàn)時間最長的音被確定為主音；若基準音長為Ι/fl，則當前狀態(tài)為小調(diào)；若基準音長為l/f2，則為大調(diào)； 調(diào)確定之后，進行濾波，每一時刻，所有通道在該時刻的音符按照其在調(diào)中的穩(wěn)定性進行排序，其中最穩(wěn)定的若干個音被保留，作為最終產(chǎn)生的音樂。
6.根據(jù)權(quán)利要求5所述的腦波音樂生成方法，其特征在于，所述被保留的若干個音，只允許其中兩個音具有相同的音名，其余的音應(yīng)具有不同的音高。
7.根據(jù)權(quán)利要求5或6所述的腦波音樂生成方法，其特征在于，所述的若干個具體為4個或4個以下。
8.根據(jù)權(quán)利要求4所述的腦波音樂生成方法，其特征在于，預先設(shè)置的閾值△具體為 2。
全文摘要
本發(fā)明公開了一種腦波音樂生成方法，包括下述步驟腦電信號采集，單道腦波音樂生成，節(jié)拍濾波和調(diào)式濾波。本發(fā)明的腦波音樂生成方法利用多道腦電數(shù)據(jù)生成多聲部合奏腦波音樂，通過節(jié)拍濾波保證音樂具有明確的節(jié)奏感，同時通過調(diào)式的濾波使最后產(chǎn)生的音樂具有特定的調(diào)，且各聲部之間協(xié)和一致，使被試的不同狀態(tài)可以根據(jù)音樂特征進行區(qū)分；可用于腦電監(jiān)測及記錄，為進一步深入分析和解讀EEG數(shù)據(jù)提供新的技術(shù)支撐。
文檔編號G06F19/00GK102999701SQ20121049244
公開日2013年3月27日 申請日期2012年11月28日 優(yōu)先權(quán)日2012年11月28日
發(fā)明者吳丹, 堯德中 申請人:電子科技大學