簡譜，由簡譜轉(zhuǎn)化成吉他對應(yīng)的五線譜，對吉他對應(yīng)的五線譜重新編寫成新的音樂描述文件，根據(jù)所述新的音樂描述文件生成吉他對應(yīng)的音樂播放文件。隨后，演奏裝置105演奏該重編后的音樂播放文件。
[0076]本領(lǐng)域技術(shù)人員應(yīng)能理解上述確定演奏版本和演奏樂器的方式僅為舉例，其他現(xiàn)有的或今后可能出現(xiàn)的確定演奏版本和演奏樂器的方式如可適用于本發(fā)明，也應(yīng)包含在本發(fā)明保護(hù)范圍內(nèi)，并在此以引用方式包含于此。
[0077]在此，樂譜演奏裝置1獲取用戶提供的樂譜，識別所述樂譜，生成對應(yīng)的音樂描述文件，根據(jù)所述音樂描述文件生成對應(yīng)的音樂播放文件，根據(jù)所述樂譜的樂譜名稱進(jìn)行匹配搜索，獲得對應(yīng)的搜索結(jié)果，若所述搜索結(jié)果包括與所述樂譜對應(yīng)的至少一個演奏版本，自所述音樂播放文件或所述至少一個演奏版本中選擇一個版本進(jìn)行演奏，若所述搜索結(jié)果未包括所述演奏版本，演奏所述音樂播放文件，用戶既可以演奏合成版本還可以演奏名家經(jīng)典演奏版本，實(shí)現(xiàn)了用戶的不同需求，提升了用戶的使用體驗(yàn)。
[0078]進(jìn)一步地，用戶既可以使用默認(rèn)樂器進(jìn)行演奏還可以按照自己的需求和喜好指定樂器進(jìn)行演奏，實(shí)現(xiàn)了用戶的個性化需求，進(jìn)一步提升了用戶的使用體驗(yàn)。
[0079]圖2示出根據(jù)本發(fā)明一個優(yōu)選實(shí)施例的樂譜演奏裝置的示意圖。樂譜演奏裝置1還包括顯示裝置208。以下對該優(yōu)選實(shí)施例進(jìn)行詳細(xì)描述:具體地，第一獲取裝置201獲取用戶提供的樂譜；識別裝置202識別所述樂譜，生成對應(yīng)的音樂描述文件；生成裝置203根據(jù)所述音樂描述文件生成對應(yīng)的音樂播放文件；搜索裝置204根據(jù)所述樂譜的樂譜名稱進(jìn)行匹配搜索，獲得對應(yīng)的搜索結(jié)果；演奏裝置205若所述搜索結(jié)果包括與所述樂譜對應(yīng)的至少一個演奏版本，自所述音樂播放文件或所述至少一個演奏版本中選擇一個版本進(jìn)行演奏，若所述搜索結(jié)果未包括所述演奏版本，演奏所述音樂播放文件；修正裝置206根據(jù)所述至少一個演奏版本，對所述音樂描述文件和所述音樂播放文件進(jìn)行逆向修正；重編裝置207獲取所述用戶以指定樂器演奏所述音樂播放文件的選擇；根據(jù)所述指定樂器，重新編寫所述音樂描述文件，生成與所述指定樂器對應(yīng)的音樂描述文件；根據(jù)所述音樂描述文件，以所述指定樂器生成所述音樂播放文件；演奏裝置205演奏該音樂播放文件。顯示裝置208將正在演奏的版本以動畫形式顯示于演奏界面；其中，以所述動畫形式顯示以下至少任一項(xiàng):1)正在演奏的音符在所述樂譜的位置；2)手指在與所述版本對應(yīng)的樂器的位置。其中，第一獲取裝置201、識別裝置202、生成裝置203、搜索裝置204、演奏裝置205、修正裝置206和重編裝置207與圖1所示對應(yīng)裝置相同或者基本相同，故此處不再贅述，并通過引用的方式包含于此。
[0080]顯示裝置208將正在演奏的版本以動畫形式顯示于演奏界面；其中，以所述動畫形式顯示以下至少任一項(xiàng):1)正在演奏的音符在所述樂譜的位置；2)手指在與所述版本對應(yīng)的樂器的位置。具體地，顯示裝置208將正在演奏的版本以動畫形式顯示于演奏界面，其中以所述動畫形式顯示的正在演奏的音符在所述樂譜的位置是這樣形成的:從識別裝置202生成的音樂描述文件中提取的音樂元素位置判斷和音樂元素分類等信息，把這些信息對應(yīng)到樂譜上形成動畫；以所述動畫形式顯示的手指在所述版本對應(yīng)的樂器的位置是這樣形成的:從識別裝置202生成的音樂描述文件中提取必要的音樂元素和時間等信息，把這些信息對應(yīng)到樂器鍵盤上形成動畫。
[0081]本領(lǐng)域技術(shù)人員應(yīng)能理解上述動畫顯示方式僅為舉例，其他現(xiàn)有的或今后可能出現(xiàn)的動畫顯示方式如可適用于本發(fā)明，也應(yīng)包含在本發(fā)明保護(hù)范圍內(nèi)，并在此以引用方式包含于此。
[0082]在此，樂譜演奏裝置1在演奏樂譜時有動畫顯示界面，不僅可以動畫顯示播放的音符在樂譜的位置，還可以動畫顯示手指在樂器鍵盤的位置，提高了用戶欣賞樂譜的直觀性和學(xué)習(xí)樂譜的便利性，進(jìn)一步提升了用戶的使用體驗(yàn)。
[0083]以下用一實(shí)施例對上述裝置的操作進(jìn)行詳細(xì)描述，圖3示出根據(jù)本發(fā)明一個優(yōu)選實(shí)施例的樂譜演奏裝置的演奏顯示界面的動畫效果圖。
[0084]例如，第一獲取裝置201通過用戶設(shè)備的相機(jī)或者其他影音輸入方法獲取印刷體或手寫體五線譜圖像；
[0085]隨后，識別裝置202對該五線譜圖像進(jìn)行預(yù)處理，轉(zhuǎn)換彩色圖像到黑白二值圖片、去噪、傾斜校正、進(jìn)行音樂元素分割，檢測該五線譜中的各個音樂元素的位置，并通過譜線的檢測，判斷音符等音樂元素在哪些譜線之間，然后把所述五線譜包含的各個音樂元素，如五線、音符、G譜號、F譜號、C譜號，變音記號、連音符、休止符、小節(jié)以及其他記號等等建庫，并采集各個音樂元素一定數(shù)量的樣本，用例如卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練好的模型在獲得單個分割好的音樂元素后就可以進(jìn)行分類，將音樂元素分類識別之后標(biāo)記時間戳，組成音樂描述文件，根據(jù)樂譜特征標(biāo)記默認(rèn)樂器。也可以在生成音樂描述文件之前指定樂器，根據(jù)指定樂器生成對應(yīng)的音樂描述文件?，F(xiàn)以雙行譜為例，標(biāo)記默認(rèn)樂器為鋼琴。
[0086]接著，生成裝置203根據(jù)所述音樂描述文件輸入的樂器類型為鋼琴，根據(jù)識別出的音樂描述文件中各個音樂元素以及各音樂元素的時間戳，將所述音樂描述文件轉(zhuǎn)換成可以播放的例如標(biāo)準(zhǔn)MIDI格式文件。其中，采用MIDI格式文件的方式，需要將各種真實(shí)樂器所能發(fā)出的所有聲音(包括各個音域、聲調(diào))進(jìn)行取樣，存儲為一個波表文件。該波表文件會作為一個標(biāo)準(zhǔn)的庫在生成MIDI格式文件時候使用；如果對音效沒有特別的要求，可以不用專門生成波表文件，直接從所述音樂描述文件轉(zhuǎn)換成MIDI格式文件，在播放五線譜樂曲時采用用戶設(shè)備自帶聲源。
[0087]然后，搜索裝置204搜索樂曲時，利用例如傅里葉變換提取由生成裝置203生成的音樂播放文件的指紋，然后在樂曲指紋庫里利用例如哈希表原理進(jìn)行檢索匹配，根據(jù)匹配度確定相應(yīng)的樂曲名稱，進(jìn)而在網(wǎng)絡(luò)里搜索到各個演奏版本。把相應(yīng)信息返回給用戶，以供其選擇。所述指紋是由提取的一系列時間信息、聲音頻率、聲音強(qiáng)度等信息構(gòu)成的，所述樂曲指紋庫可以包含上百萬樂曲的指紋。樂譜演奏裝置1根據(jù)搜索到的至少一個演奏版本對所述音樂描述文件和音樂播放文件進(jìn)行反饋修正，例如，將演奏版本的聲音文件轉(zhuǎn)換為音樂播放文件，進(jìn)而根據(jù)該音樂播放文件進(jìn)行逆推，對音樂描述文件中各個音樂元素進(jìn)行位置判斷、分類識別以及標(biāo)記時間戳等操作時帶來的誤差進(jìn)行反饋修正。
[0088]最后，用戶自所述音樂播放文件或者所述至少一個演奏版本中選擇一個版本，演奏裝置205獲取用戶的選擇后進(jìn)行演奏，并將正在演奏的版本以動畫形式顯示于演奏界面。如果用戶選擇播放某個名家演奏版本，演奏裝置205會根據(jù)用戶的選擇自動鏈接到對應(yīng)的資源播放該樂曲。如果用戶選擇播放合成音樂版本，1)若用戶沒有進(jìn)一步操作，演奏裝置205使用識別裝置202標(biāo)注的默認(rèn)樂器-鋼琴進(jìn)行演奏；2)若用戶選擇默認(rèn)樂器進(jìn)行演奏，則識別裝置205使用鋼琴進(jìn)行演奏。3)若用戶選擇非默認(rèn)樂器，重編裝置207首先根據(jù)音樂規(guī)則，對識別裝置202生成的音樂描述文件進(jìn)行重新編寫，生成音樂描述文件2。由于不同樂器的音色和音域有一定的差別，適用不同樂器的五線譜會一些差別。轉(zhuǎn)換時重編裝置207將鋼琴對應(yīng)的五線譜先轉(zhuǎn)化成簡譜，由簡譜轉(zhuǎn)化成指定樂器對應(yīng)的五線譜，重編裝置207對指定樂器對應(yīng)的五線譜重新編寫成新的音樂描述文件，進(jìn)而根據(jù)所述新的音樂描述文件生成指定樂器對應(yīng)的音樂播放文件。
[0089]顯示裝置208將正在演奏的版本以動畫的形式顯示于演奏界面，一部分顯示正在播放的音符在五線譜的位置，另一部分顯示手指所在樂器鍵盤的位置，其中，手指在樂器鍵盤的位置的動畫顯示是將從識別裝置202生成的音樂描述文件中提取必要的音樂元素和時間等信息對應(yīng)到樂器鍵盤上形成的。如以鋼琴演奏所述版本時，界面動畫顯示效果如圖3所示。
[0090]圖4示出根據(jù)本發(fā)明另一個方面的樂譜演奏的流程示意圖。
[0091]在此，樂譜演奏裝置1例如可以位于計(jì)算機(jī)設(shè)備中，所述計(jì)算機(jī)設(shè)備包括用戶設(shè)備與網(wǎng)絡(luò)設(shè)備。當(dāng)該樂譜演奏裝置1位于網(wǎng)絡(luò)設(shè)備時，其與用戶設(shè)備之間通過網(wǎng)絡(luò)進(jìn)行相互通信，獲取用戶提供的樂譜，識別所述樂譜，生成對應(yīng)的音樂描述文件，根據(jù)所述音樂描述文件生成對應(yīng)的音樂播放文件，并根據(jù)所述樂譜的樂譜名稱進(jìn)行匹配搜索，若搜索獲得與所述樂譜對應(yīng)的至少一個演奏版本，自所述音樂播放文件或所述至少一個演奏版本中選擇一個版本，返回該用戶設(shè)備進(jìn)行演奏，若未搜索獲得所述演奏版本，將該音樂描述文件返回該用戶設(shè)備進(jìn)行演奏。
[0092]以下以該樂譜演奏裝置1位于用戶設(shè)備中為例進(jìn)行詳細(xì)描述。
[0093]在步驟401中，樂譜演奏裝置1獲取用戶提供的樂譜。具體地，在步驟401中，樂譜演奏裝置1獲取用戶提供的樂譜的方式包括但不限于:
[0094]1)獲取已經(jīng)在用戶設(shè)備中存在的樂譜。例如，用戶通過點(diǎn)選該用戶設(shè)備中以圖片等形式存儲的樂譜，將該樂譜提供至樂譜演奏裝置1。
[0095]2)獲取從網(wǎng)絡(luò)上搜索到的樂譜；例如，用戶通過登陸一些搜索樂譜的網(wǎng)站，選擇想要學(xué)習(xí)演奏的樂譜，將該樂譜下載下來提供至樂譜演奏裝置1。
[0096]3)獲取啟動用戶設(shè)備的攝像頭或其他影音輸入設(shè)備拍照獲得的樂譜。
[0097]4)通過掃描裝置掃描得到的樂譜。
[0098]在此，所述樂譜的種類包括但不限于:五線譜、六線譜、簡譜。在此，所述樂譜的形式可以是印刷樂譜，也可以是用戶手寫的樂譜。
[0099]本領(lǐng)域技術(shù)人員應(yīng)能理解上述獲取樂譜的方式、樂譜的種類和形式僅為舉例，其他現(xiàn)有的或今后可能出現(xiàn)的獲取樂譜的方式、樂譜的種類或形式如可適用于本發(fā)明，也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi)，并在此以引用方式包含于此。
[0100]在步驟402中，樂譜演奏裝置1識別所述樂譜，生成對應(yīng)的音樂描述文件。具體地，在步驟402中，樂譜演奏裝置1對在步驟401中獲取的樂譜進(jìn)行識別，以解析出樂譜包含的各個音樂元素或者樂譜上的文字，例如，解析出該樂譜中每一個音符、譜號、譜表所包含的聲音含義，從而生成樂譜對應(yīng)的音樂描述文件。優(yōu)選地，在步驟402中，樂譜演奏裝置1可以對在步驟401中獲取到的樂譜進(jìn)行OCR (Optical Character Recognit1n，光學(xué)字符識別)識別。例如，在步驟402中，樂譜演奏裝置1對在步驟401中獲取到的樂譜進(jìn)行預(yù)處理、轉(zhuǎn)換彩色圖像到黑白二值圖片、去噪、傾斜校正、元素分割、元素位置判斷、元素識別等步驟，識別出音樂元素后生成樂譜對應(yīng)的音樂描述文件。
[0101]在此，所述OCR識別過程可以在本地進(jìn)行也可以在云端進(jìn)行。
[0102]優(yōu)選地，在步驟402中，樂譜演奏裝置1判斷音樂元素在所述樂譜中的位置以識別所述樂譜，生成所述音樂描述文件。具體地，在步驟402中，樂譜演奏裝置1使用改進(jìn)的文字檢測系統(tǒng)檢測到樂譜中各個元素的位置，并通過譜線檢測，判斷音符等音樂元素在哪些譜線之間，以識別所述樂譜，生成所述音樂描述文件。
[0103]優(yōu)選地，在步驟402中，樂譜演奏裝置1利用元素訓(xùn)練模型，確定所述音樂元素的分類；判斷所述音樂元素在所述樂譜中的位置，結(jié)合所述分類，識別所述樂譜，并生成所述音樂描述文件。具體地，在步驟402中，樂譜演奏裝置1將樂譜包含的音樂元素建庫，采集各個音樂元素一定數(shù)量的樣本，將所述樣本進(jìn)行訓(xùn)練，例如，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，隨后，利用該訓(xùn)練好的元素訓(xùn)練模型，在獲得單個分割好的音樂元素后確定其分類；進(jìn)而，判斷所述音樂元素在所述樂譜中的位置，例如，通過譜線檢測，判斷音符等音樂元素在哪些譜線之間，再結(jié)合這些音樂元素的分類，識別所述樂譜，并生成所述音樂描