本發(fā)明涉及語(yǔ)音處理識(shí)別領(lǐng)域，具體涉及一種針對(duì)腦力疲勞的語(yǔ)音疲勞度檢測(cè)方法。

背景技術(shù)：

疲勞是人類機(jī)體復(fù)雜的生理心理變化過(guò)程，屬于人體機(jī)能自然的自我保護(hù)機(jī)制，可以分為兩種：生理疲勞和心理疲勞，分別指體力或腦力到達(dá)一定階段時(shí)出現(xiàn)的正常生理現(xiàn)象。人體疲勞的加深會(huì)引起運(yùn)動(dòng)能力和工作效率降低、差錯(cuò)事故增多，甚至使人體出現(xiàn)器質(zhì)性疾病。顯然，了解人體疲勞程度對(duì)不同人群的身體健康、安全生產(chǎn)、安全工作（例如安全操作、安全駕駛）等方面的影響具有十分重要的作用。

目前，學(xué)術(shù)界針對(duì)疲勞度的檢測(cè)可以分為主觀檢測(cè)和客觀檢測(cè)這兩種方法。主觀檢測(cè)即根據(jù)主觀調(diào)查表、自我記錄表以及睡眠習(xí)慣調(diào)查表和斯坦福睡眠尺度表來(lái)檢測(cè)受試者的疲勞程度。這種通過(guò)主觀感受進(jìn)行的疲勞度檢測(cè)技術(shù)帶有的主觀因素較多，說(shuō)服力不夠?？陀^檢測(cè)即利用儀器、設(shè)備等工具對(duì)人體的心理、生理以及生化方面的參數(shù)進(jìn)行檢測(cè)，如：（1）檢測(cè)表面肌電信號(hào)、腦電信號(hào)及心電信號(hào)等生理信號(hào)；（2）檢測(cè)血睪酮、血尿素及血紅蛋白等生化指標(biāo)。這種通過(guò)測(cè)量生理指標(biāo)進(jìn)行的疲勞度檢測(cè)技術(shù)已經(jīng)比較成熟，但是在實(shí)際運(yùn)用上卻美中不足，存在一些不可操作性。首先，疲勞度檢測(cè)需具有實(shí)時(shí)性，但是通過(guò)生化指標(biāo)測(cè)疲勞，需要一定的化驗(yàn)時(shí)間，且?guī)в幸欢ǖ那秩胄?；表面肌電信?hào)、腦電信號(hào)以及心電信號(hào)等接觸式的生理參數(shù)測(cè)量方法，雖免去化驗(yàn)時(shí)間，但是其接觸性會(huì)導(dǎo)致受試者的反感，并且檢測(cè)設(shè)備在一定程度上會(huì)限制受試者的活動(dòng)，甚至影響其運(yùn)動(dòng)時(shí)的表現(xiàn)，采集到的數(shù)據(jù)將受到儀器本身的禁錮，從而導(dǎo)致生理信號(hào)分析結(jié)果的有效性產(chǎn)生偏差；當(dāng)然，復(fù)雜、高精度的設(shè)備也需要大量的投資和維護(hù)，這并非疲勞度檢測(cè)的初衷。

因此，基于語(yǔ)音分析的疲勞度檢測(cè)應(yīng)運(yùn)而生。通過(guò)語(yǔ)音傳遞信息是常用的一種信息交換方式，語(yǔ)音中通常攜帶有一定量的信息，其中也包括疲勞度的相關(guān)信息?；谡Z(yǔ)音信號(hào)處理的疲勞度檢測(cè)可避免上述方法中存在的各種問(wèn)題。首先，語(yǔ)音檢測(cè)疲勞只需采集人的聲音信號(hào)來(lái)進(jìn)行訓(xùn)練識(shí)別，語(yǔ)音信號(hào)中包含的豐富信息，并且相對(duì)于其他生理參數(shù)，語(yǔ)音信號(hào)更容易被獲取得到；簡(jiǎn)單的錄音設(shè)備也避免了復(fù)雜的儀器接觸給受試者帶來(lái)的巨大心理壓力，從一定程度上使得分析結(jié)果的客觀性得到了提高。綜上，語(yǔ)音信號(hào)具有實(shí)時(shí)性高、維護(hù)簡(jiǎn)單、性價(jià)比高的優(yōu)勢(shì)。

學(xué)術(shù)界基于語(yǔ)音分析的疲勞度檢測(cè)研究主要集中在運(yùn)動(dòng)疲勞、駕駛疲勞的特定情境下，對(duì)單純腦力疲勞的研究少之又少。因此，如何提供一種針對(duì)腦力疲勞的語(yǔ)音疲勞度檢測(cè)方法，是本領(lǐng)域技術(shù)人員所要解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的發(fā)明目的是提供一種針對(duì)腦力疲勞的語(yǔ)音疲勞度檢測(cè)方法。

為達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是：一種針對(duì)腦力疲勞的語(yǔ)音疲勞度檢測(cè)方法，包括如下步驟：

步驟一、選取人數(shù)相等的男性和女性受試者；

步驟二、參照疲勞度量表將受試者持續(xù)的疲勞感知人為劃分為3個(gè)疲勞度等級(jí)，并在0度疲勞狀態(tài)、稍疲勞狀態(tài)以及精疲力竭狀態(tài)下的語(yǔ)音錄制，并創(chuàng)建語(yǔ)料庫(kù)，所述語(yǔ)料庫(kù)中包括運(yùn)動(dòng)疲勞語(yǔ)料和腦力疲勞語(yǔ)料；

步驟三、對(duì)語(yǔ)料庫(kù)中的語(yǔ)料進(jìn)行標(biāo)記，包括語(yǔ)料種類編號(hào)、受試者性別、受試者年齡和疲勞等級(jí)；

步驟四、根據(jù)心率與腦力疲勞度的相關(guān)性驗(yàn)證受試者的腦力疲勞等級(jí)；

步驟五、提取語(yǔ)料庫(kù)中語(yǔ)料的語(yǔ)音特征參數(shù)，包括語(yǔ)音段短時(shí)平均能量、語(yǔ)音段短時(shí)平均過(guò)零率、語(yǔ)音段語(yǔ)速、回答反應(yīng)時(shí)長(zhǎng)和基頻；

步驟六、利用支持向量機(jī)進(jìn)行同性別內(nèi)腦力疲勞檢測(cè)，并利用遷移學(xué)習(xí)進(jìn)行跨性別間腦力疲勞檢測(cè)，得出被檢測(cè)者的疲勞等級(jí)。

上文中，所述疲勞度量表為疲勞量表-14（fatiguescale-14,fs-14），是1992年由英國(guó)king’scollegehospital心理醫(yī)學(xué)研究室的t.chalder及queenmary’suniversityhospital的g.berelowitz等許多專家等共同編制的、可有效反映腦力疲勞程度的主觀疲勞量表。

上述技術(shù)方案中，所述步驟一中，男性受試者為不少于15人，女性受試者為不少于15人。

對(duì)于所述男性和女性受試者的人數(shù)，本發(fā)明不做具體限定，典型但非限制性的可以是15人、20人、25人、30人、35人、40人、45人、50人、55人、60人等等，且受試者人數(shù)越多，語(yǔ)料庫(kù)越豐富，腦力疲勞的檢測(cè)越準(zhǔn)確。

優(yōu)選地，所述步驟一中，男性受試者為15~30人，女性受試者為15~30人。

進(jìn)一步地，所述步驟二中，每位受試者錄制4~7條運(yùn)動(dòng)疲勞語(yǔ)料和3~6條腦力疲勞語(yǔ)料。

優(yōu)選地，所述步驟二中，每位受試者錄制4條運(yùn)動(dòng)疲勞語(yǔ)料和3條腦力疲勞語(yǔ)料。

進(jìn)一步地，所述步驟二中，所述疲勞度量表中0分對(duì)應(yīng)0度疲勞狀態(tài)，1~4分對(duì)應(yīng)稍疲勞狀態(tài)，5~6分對(duì)應(yīng)精疲力竭狀態(tài)。

進(jìn)一步地，所述步驟六中，利用支持向量機(jī)進(jìn)行同性別內(nèi)腦力疲勞檢測(cè)的步驟包括：

（1）準(zhǔn)備數(shù)據(jù)集；

（2）設(shè)置合適的svm類型并設(shè)置對(duì)應(yīng)的參數(shù)；

（3）選擇合適的核函數(shù)并設(shè)置對(duì)應(yīng)的參數(shù)；

（4）對(duì)訓(xùn)練集進(jìn)行訓(xùn)練獲取支持向量機(jī)的模型；

（5）利用步驟（4）中所得模型進(jìn)行預(yù)測(cè)。

優(yōu)選地，所述步驟六中，采用tradaboost算法進(jìn)行跨性別間腦力疲勞檢測(cè)。

由于上述技術(shù)方案運(yùn)用，本發(fā)明與現(xiàn)有技術(shù)相比具有下列優(yōu)點(diǎn)：

本發(fā)明采用主觀疲勞量表將連續(xù)的腦力疲勞簡(jiǎn)化為若干個(gè)明確的疲勞度等級(jí)，從而建立有效腦力疲勞語(yǔ)料庫(kù)，并采用心率驗(yàn)證疲勞狀態(tài)標(biāo)注的準(zhǔn)確性，再利用支持向量機(jī)進(jìn)行同性別內(nèi)腦力疲勞檢測(cè)，以及利用遷移學(xué)習(xí)進(jìn)行跨性別間腦力疲勞檢測(cè)，實(shí)現(xiàn)針對(duì)腦力疲勞的語(yǔ)音疲勞度檢測(cè)。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例一的方法流程圖。

圖2是本發(fā)明實(shí)施例一的步驟三中語(yǔ)料庫(kù)命名示意圖。

圖3是本發(fā)明實(shí)施例一的腦力疲勞狀態(tài)下心率隨疲勞度變化情況示意圖。

圖4是本發(fā)明實(shí)施例一中受試者為女性時(shí)基于svm的同性別內(nèi)腦力疲勞度識(shí)別率部分?jǐn)?shù)據(jù)示意圖。

圖5是本發(fā)明實(shí)施例一中基于tradaboost的跨性別間腦力疲勞度識(shí)別準(zhǔn)確率的部分?jǐn)?shù)據(jù)示意圖。

具體實(shí)施方式

下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述：

實(shí)施例一：

參見(jiàn)圖1所示，一種針對(duì)腦力疲勞的語(yǔ)音疲勞度檢測(cè)方法，包括如下步驟：

步驟一、選取15為男性受試者和15位女性受試者；

步驟二、參照疲勞度量表將受試者持續(xù)的疲勞感知人為劃分為3個(gè)疲勞度等級(jí)，并在0度疲勞狀態(tài)、稍疲勞狀態(tài)以及精疲力竭狀態(tài)下的語(yǔ)音錄制，并創(chuàng)建語(yǔ)料庫(kù)，所述語(yǔ)料庫(kù)中包括運(yùn)動(dòng)疲勞語(yǔ)料和腦力疲勞語(yǔ)料；

步驟三、對(duì)語(yǔ)料庫(kù)中的語(yǔ)料進(jìn)行標(biāo)記，包括語(yǔ)料種類編號(hào)v、受試者性別f、受試者年齡a和疲勞等級(jí)l；

步驟四、根據(jù)心率與腦力疲勞度的相關(guān)性驗(yàn)證受試者的腦力疲勞等級(jí)；

步驟五、提取語(yǔ)料庫(kù)中語(yǔ)料的語(yǔ)音特征參數(shù)，包括語(yǔ)音段短時(shí)平均能量、語(yǔ)音段短時(shí)平均過(guò)零率、語(yǔ)音段語(yǔ)速、回答反應(yīng)時(shí)長(zhǎng)和基頻；

步驟六、利用支持向量機(jī)進(jìn)行同性別內(nèi)腦力疲勞檢測(cè)，并利用遷移學(xué)習(xí)進(jìn)行跨性別間腦力疲勞檢測(cè)，得出被檢測(cè)者的疲勞等級(jí)。

上文中，所述疲勞度量表為疲勞量表-14（fatiguescale-14,fs-14），是1992年由英國(guó)king’scollegehospital心理醫(yī)學(xué)研究室的t.chalder及queenmary’suniversityhospital的g.berelowitz等許多專家等共同編制的、可有效反映腦力疲勞程度的主觀疲勞量表，參見(jiàn)表1。

表1疲勞量表-14（fs-14）

其中，14個(gè)條目分別從不同角度反映疲勞的輕重，受試者只需根據(jù)實(shí)際情況回答“是”或“否”?？偡种底罡邽?4分，分值越高，則表示疲勞越嚴(yán)重；反之，疲勞感越輕。同理，若只針對(duì)腦力疲勞，則總分值最高為6分，分值越高表示疲勞越深；反之越輕。

基于fs-14量表通過(guò)受試者的主觀感受將人體腦力疲勞劃分為3類：0分對(duì)應(yīng)自然狀態(tài)，即0度疲勞狀態(tài)；1-4分對(duì)應(yīng)稍疲勞狀態(tài)；5-6對(duì)應(yīng)精疲力竭狀態(tài)。

本實(shí)施例中，所述步驟二中，每位受試者錄制4條運(yùn)動(dòng)疲勞語(yǔ)料共120條；以及3條腦力疲勞語(yǔ)料，共90條。其中，語(yǔ)音錄制包括第一部分的朗讀和第二部分的問(wèn)答，問(wèn)答的問(wèn)題是由實(shí)驗(yàn)員事先設(shè)計(jì)好的常識(shí)性問(wèn)題，受試者正常作答即可。

步驟三中，對(duì)語(yǔ)料庫(kù)中的語(yǔ)料進(jìn)行標(biāo)注，其規(guī)則參見(jiàn)表2和圖2所示。

表2語(yǔ)料庫(kù)中語(yǔ)料標(biāo)注規(guī)則

上述語(yǔ)料庫(kù)中腦力疲勞的問(wèn)答環(huán)節(jié)是用于提取反應(yīng)時(shí)時(shí)長(zhǎng)的重要語(yǔ)音段，針對(duì)腦力疲勞，主要的加工標(biāo)注工作就是通過(guò)人耳將朗讀段跟回答問(wèn)題的銜接處、每個(gè)問(wèn)題結(jié)束和開始回答的點(diǎn)標(biāo)注出來(lái)，以便后續(xù)特征參數(shù)的提取。

所述步驟四中，利用心率隨疲勞度變化的趨勢(shì)進(jìn)行客觀的疲勞度分類驗(yàn)證，參見(jiàn)圖3所示，受試者的心率隨腦力疲勞程度變化的趨勢(shì)與理論值相符，因此，基于主觀疲勞量表的疲勞度等級(jí)劃分具有有效性，后續(xù)可利用語(yǔ)料庫(kù)進(jìn)行語(yǔ)音疲勞度檢測(cè)的研究。

所述步驟六中，利用支持向量機(jī)進(jìn)行同性別內(nèi)腦力疲勞檢測(cè)的步驟包括：

（1）準(zhǔn)備數(shù)據(jù)集。其使用的訓(xùn)練數(shù)據(jù)和校驗(yàn)數(shù)據(jù)格式為：<label><index1>:<value1><index2>:<value2>等，則本發(fā)明中分別建立了訓(xùn)練集特征向量（train_vector），訓(xùn)練集特征標(biāo)簽向量（train_label_vector），測(cè)試集特征向量（test_vector）及測(cè)試集特征標(biāo)簽向量（test_label_vector）。為了避免訓(xùn)練模型時(shí)為計(jì)算核函數(shù)而計(jì)算內(nèi)積時(shí)引起數(shù)值計(jì)算的困難，對(duì)訓(xùn)練集特征向量和測(cè)試集特征向量都事先進(jìn)行了歸一化。其中用于訓(xùn)練的語(yǔ)音特征參數(shù)用排列組合（22*3種）的方法分別進(jìn)行測(cè)試，以獲取不同特征參數(shù)組合的疲勞度識(shí)別率。

（2）設(shè)置合適的svm類型并設(shè)置對(duì)應(yīng)的參數(shù)?！?s”用于設(shè)置svm類型，其中：0對(duì)應(yīng)c-svc；1對(duì)應(yīng)v-svc；2對(duì)應(yīng)一類svm；3對(duì)應(yīng)-svr；4對(duì)應(yīng)v-svr。后兩者是針對(duì)回歸問(wèn)題的，與前三個(gè)的區(qū)別在于標(biāo)簽值的設(shè)定。前三個(gè)分類的標(biāo)簽值是類別：+1/-1，回歸的標(biāo)簽是目標(biāo)值，這也正是可以對(duì)疲勞進(jìn)行多分類的優(yōu)勢(shì)。-svr表示不敏感損失函數(shù)，對(duì)于樣本點(diǎn)，存在不為目標(biāo)函數(shù)提供任何損失值的區(qū)域；v-svr能夠自動(dòng)計(jì)算參數(shù)。兩者都屬于回歸型支持向量機(jī)，故本發(fā)明中對(duì)兩個(gè)支持向量機(jī)類別均進(jìn)行了識(shí)別率測(cè)試，共22*3*2組結(jié)果。針對(duì)-svr需要設(shè)置的參數(shù)包括：損失函數(shù)（-c、-p）、v-svr需要設(shè)置的有：損失函數(shù)（-c）、自動(dòng)計(jì)算參數(shù)（-n）。

（3）選擇合適的核函數(shù)并設(shè)置對(duì)應(yīng)的參數(shù)?！?t”是livsvm中用于設(shè)置核函數(shù)類型的參數(shù)，分別有線性（0）、多項(xiàng)式（1）、rbf函數(shù)（2）、sigmoid（3）。本發(fā)明針對(duì)rbf核函數(shù)涉及到的參數(shù)有：gamma函數(shù)（-g）。

（4）對(duì)訓(xùn)練集進(jìn)行訓(xùn)練獲取支持向量機(jī)的模型。函數(shù)形式為：

算法1libsvm訓(xùn)練算法描述

modle=svmtrain(train_label_vector,train_vector,'libsvm_options')

其中，train_label表示訓(xùn)練集特征標(biāo)簽向量，train_vector為訓(xùn)練集特征向量，libsvm_options則為包括步驟（2）、（3）中需要設(shè)置的參數(shù)的訓(xùn)練集參數(shù)。

（5）利用上述模型進(jìn)行預(yù)測(cè)。

算法2libsvm識(shí)別算法描述

[predict_label,accuracy,decision_values]=

svmpredict(test_label_vector,test_vector,model,'libsvm_options')

其中，predict_label是通過(guò)訓(xùn)練模型預(yù)測(cè)得到的測(cè)試集的標(biāo)簽向量，accuracy是一個(gè)三維向量，上至下依次是：分類準(zhǔn)確率、平均平方誤差及平方相關(guān)系數(shù)。前者是分類問(wèn)題中的參數(shù)指標(biāo)，后兩者均用于回歸問(wèn)題中。

腦力疲勞研究中，單性別受試者男女各15人，疲勞程度分為3級(jí)，故可用于訓(xùn)練和測(cè)試的樣本各45條。本發(fā)明進(jìn)行了三種訓(xùn)練-測(cè)試模式的識(shí)別率比較，以此得到識(shí)別效果最好的訓(xùn)練-測(cè)試樣本比例。本發(fā)明在進(jìn)行實(shí)驗(yàn)數(shù)據(jù)對(duì)比時(shí)，為簡(jiǎn)化參數(shù)形式，將短時(shí)平均能量縮寫為e，基頻為p，語(yǔ)速為s，喘息段時(shí)長(zhǎng)為w，短時(shí)平均能量為z，反應(yīng)時(shí)為r。部分?jǐn)?shù)據(jù)如圖4所示。

通過(guò)觀察基于svm的腦力疲勞識(shí)別效果，不難發(fā)現(xiàn)：橫向?qū)Ρ雀魈卣鹘M合下不同訓(xùn)練-測(cè)試模型的疲勞度識(shí)別效果，識(shí)別率最好往往出現(xiàn)在訓(xùn)練12-測(cè)試3的情況下，說(shuō)明訓(xùn)練參數(shù)越多，訓(xùn)練出的分類器分類效果越好；縱向觀察各訓(xùn)練-測(cè)試模型下不同特征參數(shù)組合的疲勞識(shí)別效果，所有特征參數(shù)綜合起來(lái)得到的識(shí)別率略低于60%，由于實(shí)施例中受試者數(shù)量不足，導(dǎo)致樣本數(shù)據(jù)數(shù)量不夠大，所以相比較運(yùn)動(dòng)疲勞而言，多特征組合識(shí)別疲勞效果的能力較弱，由短時(shí)平均能量和反應(yīng)時(shí)這兩種特征參數(shù)組合對(duì)腦力疲勞具有最好的識(shí)別效果，為76.3%，并且在不同的訓(xùn)練-測(cè)試模型中，訓(xùn)練12-測(cè)試3模型的識(shí)別效果最好，其識(shí)別率接近90%；觀察單特征對(duì)腦力疲勞識(shí)別的效果，可以看出，短時(shí)平均過(guò)零率的識(shí)別效果最佳。后續(xù)的工作中將增加受試樣本的個(gè)數(shù)，以達(dá)到更好的訓(xùn)練效果。

采用tradaboost算法，用于跨性別遷移學(xué)習(xí)。

其具體的流程為：

算法3tradaboost算法描述

輸入：輔助樣例空間大量標(biāo)注的訓(xùn)練數(shù)據(jù)集ta，

目標(biāo)樣例空間少量標(biāo)注的訓(xùn)練數(shù)據(jù)集tb，

目標(biāo)樣例空間大量未標(biāo)注的測(cè)試數(shù)據(jù)集s，

基本分類算法learner，

迭代次數(shù)n

初始化：

1.初始化權(quán)重向量w¹；

2.設(shè)置

fort=1,……,n，

1.設(shè)置權(quán)重分布

2.調(diào)用learner，根據(jù)ta和tb合并后的訓(xùn)練數(shù)據(jù)t，權(quán)重p^t以及未標(biāo)注數(shù)據(jù)s，得到在目標(biāo)空間的分類器ht，并計(jì)算ht在tb上的錯(cuò)誤率：

3.令，更新權(quán)值向量：

輸出：最終分類器hf：

參見(jiàn)圖5所示，縱向比較不同特征參數(shù)組合的遷移學(xué)習(xí)準(zhǔn)確率，可以發(fā)現(xiàn)eprs、prs、eps、ps等特征參數(shù)的組合在跨性別間腦力疲勞度檢測(cè)具有最好的識(shí)別率，故可以推斷：男聲、女聲這兩個(gè)不同領(lǐng)域共享知識(shí)主要集中在語(yǔ)速隨疲勞度的變化上；橫向比較每行的準(zhǔn)確率，用男聲預(yù)測(cè)女聲效果不佳，但是女聲預(yù)測(cè)男聲具有較高的準(zhǔn)確率，即大量的女聲數(shù)據(jù)加上少量的男聲數(shù)據(jù)，能有效預(yù)測(cè)剩余的男聲數(shù)據(jù)，實(shí)現(xiàn)跨性別疲勞度檢測(cè)且效果比svm的跨性別疲勞度檢測(cè)更有說(shuō)服力。