本發(fā)明涉及一種影音管理方法及影音管理系統(tǒng)。具體而言，本發(fā)明涉及一種應(yīng)用情緒標(biāo)簽的影音管理方法及影音管理系統(tǒng)。

背景技術(shù)：

隨著科技的發(fā)展，數(shù)字影像已廣泛地應(yīng)用在人們的生活當(dāng)中。一般而言，使用者可能將大量的數(shù)字影像儲存于電子裝置中，并通過手動將這些數(shù)字影像進(jìn)行分類，或是將這些數(shù)字影像通過電子裝置預(yù)設(shè)的排序方式進(jìn)行管理，例如依照文件大小、修改日期或文件名稱進(jìn)行排序。

然而，使用者難以在大量的數(shù)字影像中，一一判斷或記錄影像拍攝當(dāng)下的拍攝者或被拍攝者的情緒或是生理信息，以將影像進(jìn)行管理。另一方面，當(dāng)使用者欲將影像進(jìn)行特效處理時，無論使用者通過手動或自動挑選欲附加的影像效果，其影像效果套用后于整段影片的效果都是一致的，無法依照拍攝當(dāng)下的拍攝者或被拍攝者的情緒或是生理信息將影像片段適應(yīng)性地套用影像特效。如此一來，造成了數(shù)字影像于應(yīng)用上的限制。

技術(shù)實現(xiàn)要素：

本發(fā)明的一方面提供一種影音管理的方法。影音管理的方法包含下列步驟：擷取一影音文件；其中在擷取該影音文件時，產(chǎn)生對應(yīng)該影音文件的一情緒標(biāo)簽。

本發(fā)明的另一方面是提供一種影音管理系統(tǒng)。影音管理系統(tǒng)包括一影音擷取模塊及一處理裝置。影音擷取模塊用以擷取一影音文件；處理裝置用以在擷取該影音文件時，產(chǎn)生對應(yīng)該影音文件的一情緒標(biāo)簽。

透過應(yīng)用上述的影音管理方法及影音管理系統(tǒng)，使用者可在大量的影音文件中，取得每一影音文件拍攝當(dāng)下的拍攝者或被拍攝者的情緒或是生理信息， 并依據(jù)情緒或生理信息以產(chǎn)生對應(yīng)影音文件的情緒標(biāo)簽，借此更有彈性且更為便利地將影音文件進(jìn)行管理、分類、剪輯或是特效處理。

附圖說明

圖1為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)的方塊圖；

圖2為根據(jù)本發(fā)明一實施例所繪示的感測模塊的內(nèi)部元件的方塊圖；

圖3為根據(jù)本發(fā)明一實施例所繪示的影音管理方法的流程圖；

圖4為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)的方塊圖；

圖5為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)的使用者界面的示意圖；

圖6為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)的使用者界面的示意圖；

圖7為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)的使用者界面的示意圖。

具體實施方式

請參照圖1，圖1為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)100的方塊圖。如圖1所示，影音管理系統(tǒng)100包含影音擷取模塊10與處理裝置30。影音擷取模塊10用以擷取影音文件，并透過有線或無線方式連接至處理裝置30。處理裝置30用以處理影音擷取模塊10所擷取到的影音文件。

于一實施例中，處理裝置30包含人臉表情識別模塊32、情緒分析模塊34、情緒標(biāo)簽產(chǎn)生模塊36以及輸出單元38。處理裝置30中的人臉表情識別模塊32電性耦接于影音擷取模塊10，情緒分析模塊34電性耦接于人臉表情識別模塊32，情緒標(biāo)簽產(chǎn)生模塊36電性耦接于情緒分析模塊34。人臉表情識別模塊32用以識別影音擷取模塊10所擷取的影音文件中使用者的人臉表情。情緒分析模塊34用以分析影音文件中人臉表情的情緒，例如以識別出的人臉表情與預(yù)先儲存于數(shù)據(jù)庫42關(guān)于情緒的表情進(jìn)行比對，以分析出擷取的人臉表情屬何種情緒。情緒標(biāo)簽產(chǎn)生模塊36用以根據(jù)情緒分析模塊34產(chǎn)生情緒標(biāo)簽，并將情緒標(biāo)簽嵌入于影音文件，抑或是產(chǎn)生對應(yīng)影音文件的情緒標(biāo)簽并儲存于于一預(yù)設(shè)或指定的暫存數(shù)據(jù)夾(例如于儲存單元40)中。接著，當(dāng)使用者欲依據(jù)情 緒標(biāo)簽并透過處理裝置30，以增加對應(yīng)情緒標(biāo)簽的影音文件的影音特效時，輸出單元38輸出完成增加效果后的影音文件。

值得一提的是，于本發(fā)明各實施例中，處理裝置30可為處理器或控制器。其中，位于處理裝置30中的人臉表情識別模塊32、情緒分析模塊34、情緒標(biāo)簽產(chǎn)生模塊36、輸出單元38可以各自或合并實施為體積電路如微控制單元(microcontroller)、微處理器(microprocessor)、數(shù)字信號處理器(digital signal processor)、特殊應(yīng)用集成電路(application specific integrated circuit，ASIC)或邏輯電路；影音擷取模塊10可以是一數(shù)字相機，其包含電荷耦合元件(Charge Coupled Device，CCD)或互補性氧化金屬半導(dǎo)體(Complementary Metal-Oxide Semiconductor，CMOS)及收音元件。

換句話說，影音擷取模塊10用以擷取影音文件，并透過處理裝置30產(chǎn)生對應(yīng)該影音文件的情緒標(biāo)簽。其中，影音文件可以包含一圖片檔、一音頻檔、一影片片段至少其中之一。舉例來說，使用者利用影音擷取模塊10(例如，數(shù)字相機)擷取包括一孩童的影音文件，接著經(jīng)由處理裝置30中的人臉表情辨識模塊32辨識出一孩童臉部表情。若處理裝置30中的人臉表情識別模塊32判斷孩童的表情為一笑臉，則情緒分析模塊34將孩童表情分析為高興的情緒，并通過情緒標(biāo)簽產(chǎn)生模塊36產(chǎn)生對應(yīng)孩童臉部影像的情緒標(biāo)簽，且此情緒標(biāo)簽被用來表示為高興的屬性。再舉例而言，透過影音擷取模塊10的收音元件可擷取此孩童的影音文件中的聲音訊息，若此影音文件中的聲音訊息較為吵鬧(例如，以音頻或音量的預(yù)設(shè)值作為判斷)，則情緒分析模塊34將孩童分析為興奮的情緒，并通過情緒標(biāo)簽產(chǎn)生模塊36產(chǎn)生對應(yīng)孩童的情緒標(biāo)簽，且此情緒標(biāo)簽被用來表示為興奮的屬性。因此，使用者通過情緒標(biāo)簽進(jìn)一步將影音文件進(jìn)行分類、剪輯或是特效處理。

于一實施例中，人臉表情識別模塊32可利用影音文件中的聲音或人臉表情(如，嘴角上揚角度或是眼角移動幅度)以判斷拍攝者或被拍攝者的情緒，舉例而言，當(dāng)人臉表情識別模塊32判斷影音畫面中被拍攝者的嘴角上揚角度大于一角度門檻值，且拍攝者發(fā)出較大聲的說話聲音，則情緒分析模塊34可分析出當(dāng)下拍攝場景的拍攝者或被拍攝者皆處于較興奮的情緒，并透過情緒標(biāo)簽產(chǎn)生模塊36產(chǎn)生對應(yīng)此影音文件片段且表示為興奮的情緒標(biāo)簽。更進(jìn)一步的說，情緒標(biāo)簽產(chǎn)生模塊36可基于影音擷取模塊10擷取到的影音文件，產(chǎn)生對 應(yīng)此影音文件的情緒標(biāo)簽，以依據(jù)情緒標(biāo)簽將影音文件作管理或應(yīng)用。

于一實施例中，影音管理系統(tǒng)100還包含儲存單元40，用以儲存各種數(shù)據(jù)，例如是記憶體、硬盤、隨身盤記憶卡等。此儲存單元40電性耦接于處理裝置30，且此儲存單元40可進(jìn)一步包含數(shù)據(jù)庫42。

于一實施例中，影音管理系統(tǒng)100還包含使用者界面50，用以提供使用者一操作界面。

于一實施例中，影音管理系統(tǒng)100可進(jìn)一步包含感測模塊20，感測模塊20可以由至少一感測器所構(gòu)成，感測模塊20以無線或有線方式連接于處理裝置30與影音擷取模塊10，且感測模塊20用以測量生理信息感測信號。生理信息感測信號可包括一瞳孔感測值、一溫度感測值、一心跳感測值及一皮膚排汗感測值。請參閱圖2，圖2為根據(jù)本發(fā)明一實施例所繪示的感測模塊20的內(nèi)部元件的方塊圖。于圖2中，感測模塊20包含瞳孔感測器22、溫度感測器24、心跳感測器26及皮膚排汗感測器28。其中，瞳孔感測器22用以感測使用者瞳孔大小，溫度感測器24用以感測使用者體溫，心跳感測器26用以感測使用者心跳頻率及次數(shù)，皮膚排汗感測器28用以感測使用者的皮膚排汗程度。

于此實施例中，感測模塊20利用多個感測器以感測使用者在拍攝當(dāng)下的生理信息感測信號，將生理信息感測信號傳送到處理裝置30的情緒分析模塊34中，而情緒分析模塊34依據(jù)生理信息感測信號決定一情緒屬性，并使情緒標(biāo)簽產(chǎn)生模塊36產(chǎn)生情緒標(biāo)簽。舉例而言，當(dāng)皮膚排汗感測器28感測到拍攝者與拍攝裝置接觸的皮膚部份排汗量較多，且瞳孔感測器22計算出影音畫面中的被拍攝者瞳孔較大，則可判斷出當(dāng)下拍攝場景的拍攝者或被拍攝者皆處于較緊張或興奮的情緒屬性，并產(chǎn)生對應(yīng)此影音文件片段的情緒標(biāo)簽，將此情緒標(biāo)簽表示為緊張或興奮。于另一實施例中，影音管理系統(tǒng)100可同時采用感測模塊20與人臉表情識別模塊32，以偵測到的生理信息感測信號及人臉表情以更精準(zhǔn)地判斷使用者于擷取影音畫面當(dāng)下的情緒。

另一方面，上述的影音擷取模塊10、感測模塊20、處理裝置30、儲存單元40、使用者界面50可包含于一手持式移動裝置中。

接著，請一并參照圖1～圖3，圖3為根據(jù)本發(fā)明一實施例所繪示的影音管理方法300的流程圖。為了方便說明，圖1所示的影音管理系統(tǒng)100的操作會與影音管理方法300一并說明。

于步驟S301中，影音擷取模塊10用以擷取一影音文件。此影音文件可以是照片、影片或其他多媒體影音文件。例如，使用者透過影音擷取模塊10以擷取一孩童的臉部影像。

于步驟S303中，處理裝置30用以于擷取影音文件時，產(chǎn)生對應(yīng)影音文件的一情緒標(biāo)簽。舉例而言，處理裝置30可以透過人臉表情識別模塊32所識別的一人臉表情或感測模塊20所偵測到的生理信息感測信號，以產(chǎn)生對應(yīng)影音文件的一情緒標(biāo)簽。于另一實施例中，處理裝置30可以同時依據(jù)人臉表情及生理信息感測信號，以產(chǎn)生對應(yīng)影音文件的一情緒標(biāo)簽。此外，情緒標(biāo)簽可以是在影音文件的文件信息欄位(例如，拍攝時間、地點、文件大小)中，加上一情緒標(biāo)簽欄位，或是另外產(chǎn)生一標(biāo)簽文件，并將此標(biāo)簽文件附屬至影音文件，以記錄情緒標(biāo)簽。

另一方面，處理裝置30不限于需即時產(chǎn)生情緒標(biāo)簽，例如，處理裝置30可于擷取/錄制影音文件后產(chǎn)生對應(yīng)影音文件的一情緒標(biāo)簽。

于一實施例中，于影音擷取模塊10取得影音文件及/或感測模塊20接收生理信息感測信號后，處理裝置30可于一手持式移動裝置上依據(jù)生理信息感測信號產(chǎn)生對應(yīng)影音文件的情緒標(biāo)簽，并將情緒標(biāo)簽儲存于手持式移動裝置的數(shù)據(jù)庫42中。

于另一實施例中，請參閱圖4，圖4為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)400的方塊圖。圖4與圖1的不同之處在于，圖4還包含一云端系統(tǒng)70，其中云端系統(tǒng)70通過有線或無線方式耦接至處理裝置30、影音擷取模塊10及感測模塊20，且云端系統(tǒng)70包含一服務(wù)器(未繪示)。于一實施例中，處理裝置30、影音擷取模塊10及感測模塊20各自包含一傳輸模塊，可通過有線或無線方式傳輸信號。

于本實施例中，云端系統(tǒng)70具有與處理裝置30相同的功能。舉例而言，在影音擷取模塊10取得影音文件及/或感測模塊20接收生理信息感測信號后，影音擷取模塊10及感測模塊20各自直接將影音文件及/或生理信息感測信號傳送至服務(wù)器。在影音文件及/或生理信息感測信號傳送完畢后，于服務(wù)器上直接依據(jù)影音文件的人臉表情及/或生理信息感測信號，以產(chǎn)生對應(yīng)影音文件的情緒標(biāo)簽，并將情緒標(biāo)簽儲存于服務(wù)器中。

借此，在擷取完影音文件之后，可直接在云端系統(tǒng)70中依據(jù)影音文件的 人臉表情及/或生理信息感測信號產(chǎn)生對應(yīng)影音文件的情緒標(biāo)簽，待處理裝置30需要情緒標(biāo)簽時，情緒標(biāo)簽再由服務(wù)器回傳至處理裝置30以進(jìn)行后續(xù)處理。于此實施例中，通過將影音文件及/或生理信息感測信號傳送到云端系統(tǒng)70上進(jìn)行運算，可減低手持式移動裝置上的處理裝置30的運算負(fù)擔(dān)。

此外，于一些實施例中，處理裝置30可隨著影音中人物情緒的改變，以產(chǎn)生對應(yīng)各時點的情緒的多個情緒標(biāo)簽。以下詳述對應(yīng)至少一影音文件產(chǎn)生至少一情緒標(biāo)簽的實施例，然本領(lǐng)域具通常知識者應(yīng)知，在不偏離本發(fā)明的發(fā)明精神下，本發(fā)明所述的影音管理系統(tǒng)100及影音管理方法300并不僅限于以下實施方式。

請參閱圖5，圖5為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)100的使用者界面50的示意圖。于圖5中，影音文件為一具有20秒長度的影音文件IM1，于第5秒時，人臉表情識別模塊32判斷被拍攝者的嘴角上角度大于一角度門檻值，且心跳感測器26判斷拍攝者的心跳頻率高于一心跳門檻值，則情緒分析模塊34分析影音文件IM1中人物的情緒為正面的，并推斷其為高興的情緒，使情緒標(biāo)簽產(chǎn)生模塊36于影音文件時間軸TL的第5秒的位置標(biāo)記一情緒標(biāo)簽LA，情緒標(biāo)簽LA例如可由微笑符號標(biāo)示；于第10秒時，人臉表情識別模塊32判斷被拍攝者的嘴角下撇，且皮膚排汗感測器28判斷拍攝者的體溫低于一體溫門檻值，則情緒分析模塊34分析影音文件IM1中人物的情緒為負(fù)面的，并推斷為哀傷的情緒，使情緒標(biāo)簽產(chǎn)生模塊36于影音文件時間軸TL的第10秒的位置標(biāo)記一情緒標(biāo)簽LB，情緒標(biāo)簽LB例如可由一哭臉符號標(biāo)示；接著，于第17秒時，若處理裝置30再次判斷影音文件IM1中人物的情緒為正面的，且推斷為高興的情緒，則于影音文件時間軸TL的第17秒的位置標(biāo)記一情緒標(biāo)簽LC。

據(jù)此，可依據(jù)使用者在拍攝當(dāng)下各時點的情緒，以標(biāo)示至少一情緒標(biāo)簽，并利用情緒標(biāo)簽進(jìn)行后續(xù)的應(yīng)用。

于一實施例中，處理裝置30依據(jù)情緒標(biāo)簽所記錄的情緒屬性，以將影音文件加上影音效果。其中，影音效果包括一音頻檔、一文字檔、一圖片檔三者至少其中之一。

舉例而言，于圖5中，處理裝置30將影音文件IM1中的表示高興的情緒標(biāo)簽LA、LC所對應(yīng)的影片段落(即第5秒與第17秒時)加上繽紛的邊框效果 及輕快的音樂，并利用輸出單元38輸出加入影音特效后的有趣畫面；另一方面，處理裝置30將表示哀傷的情緒標(biāo)簽LB所對應(yīng)的影片段落(即第10秒時)以灰階的效果呈現(xiàn)，配合哀傷的音樂，以并利用輸出單元38輸出加入影音特效后的畫面，以呈現(xiàn)使用者拍攝當(dāng)下的情緒。

于另一實施例中，處理裝置30對應(yīng)影音文件IM1的多個片段，分別產(chǎn)生情緒標(biāo)簽LA、LB、LC后，分析情緒標(biāo)簽LA、LB、LC后的一情緒變化，由影音文件IM1的多個片段中選取對應(yīng)情緒變化為一預(yù)設(shè)情況的至少一片段，或是挑出所有類似屬性的情緒標(biāo)簽的片段，并剪輯為一選集文件。例如，選擇表示同為高興的情緒標(biāo)簽LA、LC所對應(yīng)的影片段落，以產(chǎn)生一影音文件IM1的選集文件。又例如，影音文件IM1中的情緒標(biāo)簽LA、LB對應(yīng)時點的情緒改變的情緒變化為由高興變?yōu)殡y過的預(yù)設(shè)情況時，則將情緒標(biāo)簽LA、LB剪輯影音文件IM1的選集文件。

接著，請參閱圖6，圖6為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)100的使用者界面50的示意圖。于一實施例中，影音文件為一具有30秒長度的影音文件IM2，于圖6中，處理裝置30判斷影音文件IM2中各片段的拍攝者或被拍攝者情緒，并將不同的情緒片段以不同顏色的情緒標(biāo)簽進(jìn)行標(biāo)示。處理裝置30依據(jù)情緒標(biāo)簽TR、TG、TB，對應(yīng)影音文件IM2的一時間軸加入至少一顏色標(biāo)記或至少一標(biāo)記符號，于影音文件IM2的時間軸TL上標(biāo)示至少一顏色標(biāo)記或至少一標(biāo)記符號。

例如，處理裝置30判斷影音文件IM2在第0秒到第7秒、第14秒到第19秒及第27秒到第30秒時，拍攝者或被拍攝者的情緒為高興的情緒屬性，則以紅色線段的情緒標(biāo)簽TR標(biāo)示于時間軸TL上；另外，處理裝置30判斷影音文件IM2在第21秒到第27秒時，拍攝者或被拍攝者的情緒為哀傷的情緒屬性，則以藍(lán)色線段的情緒標(biāo)簽TB標(biāo)示于時間軸TL上；當(dāng)處理裝置30判斷影音文件IM2在第7秒到第14秒及第19秒到第21秒時，拍攝者或被拍攝者的情緒沒有特別反應(yīng)，則以綠色線段的情緒標(biāo)簽TG標(biāo)示于時間軸TL上。

借此，處理裝置30可判斷影音文件IM2中的內(nèi)容，以對應(yīng)拍攝當(dāng)下的拍攝者或被拍攝者的情緒產(chǎn)生多種情緒標(biāo)簽TR、TG、TB，并進(jìn)一步將情緒標(biāo)簽TR、TG、TB對應(yīng)的片段加上不同的效果，例如將表示高興(或正面)情緒的情緒標(biāo)簽TR的對應(yīng)片段套用繽紛的文字圖片及搭配輕快的音樂，或?qū)⒈硎景? 傷(或負(fù)面)情緒的情緒標(biāo)簽TB套用懷舊風(fēng)效果及哀傷的音樂。借此，在影音文件IM2中，可依據(jù)各個時間點的情緒標(biāo)簽TR、TG、TB，以套用對應(yīng)情緒標(biāo)簽TR、TG、TB的多種效果，使得影音文件IM2在套用效果后，能夠帶給使用者更生動的視覺效果。

于一實施例中，使用者可點選使用者界面50中的選單按鈕，以促使處理裝置30將具有類似情緒屬性的情緒標(biāo)簽剪輯在一精選片段中，例如，將所有影音文件IM2中具有情緒標(biāo)簽TR的對應(yīng)片段(第0秒到第7秒、第14秒到第19秒及第27秒到第30秒)剪輯為一短片，使此短片成為影音文件IM2的精選片段。

接著，請參閱圖7，圖7為根據(jù)本發(fā)明一實施例所繪示的影音管理系統(tǒng)100的使用者界面50的示意圖。于此實施例中，使用者界面50具有一文件顯示區(qū)域RA、圖片數(shù)據(jù)夾FA、FB及影片數(shù)據(jù)夾FC。文件顯示區(qū)域RA用以即時依照預(yù)設(shè)或隨機的撥放順序，以自動撥放照片或影片。圖片數(shù)據(jù)夾FA可用以存放具有高興(或正面)情緒屬性的情緒標(biāo)簽的照片。影片數(shù)據(jù)夾FB可用以存放具有哀傷(或負(fù)面)情緒屬性的情緒標(biāo)簽的照片，影片數(shù)據(jù)夾FC則用以存放所有影片。于另一實施例中，影片數(shù)據(jù)夾FC可進(jìn)一步依據(jù)影片中的各種情緒標(biāo)簽的數(shù)量、情緒屬性相似度、持續(xù)時間長短等信息，將影片進(jìn)行分類為具有正面情緒屬性的影片或具有負(fù)面情緒屬性的影片。

借此，透過應(yīng)用上述的影音管理方法及影音管理系統(tǒng)，可取得每一影音文件拍攝當(dāng)下的拍攝者或被拍攝者的情緒或是生理信息，并依據(jù)情緒或生理信息或其兩者，以產(chǎn)生對應(yīng)影音文件的情緒標(biāo)簽，借此更有彈性且更為便利地將影音文件對應(yīng)拍攝當(dāng)下的情境進(jìn)行管理、分類、剪輯或是特效處理。

雖然本發(fā)明已以實施例揭露如上，然其并非用以限定本發(fā)明，任何熟悉此技藝者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)視所附的權(quán)利要求書所界定的范圍為準(zhǔn)。