涉及智能管理系統(tǒng)，特別是一種運(yùn)用于病房的智能管理系統(tǒng)。

背景技術(shù)：

在醫(yī)院系統(tǒng)中，對(duì)病人和病房的狀態(tài)獲取主要依賴于護(hù)士人員的人工巡查，以及一些傳統(tǒng)的監(jiān)測(cè)技術(shù)等手段，存在效率低下，可靠性低，反饋不夠及時(shí)等缺點(diǎn)。隨著社會(huì)的進(jìn)步，人們對(duì)醫(yī)療條件提出了更高的要求，傳統(tǒng)手段的缺點(diǎn)愈發(fā)明顯，并且需要投入大量的人力，不利于醫(yī)療質(zhì)量的提高；市場(chǎng)需要一種智能系統(tǒng)，能時(shí)刻監(jiān)督并判斷病人狀態(tài)的智能系統(tǒng)，本發(fā)明解決這樣的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為解決現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于圖像處理與語(yǔ)音識(shí)別技術(shù)的智能病房及其運(yùn)行方法，方便醫(yī)護(hù)人員遠(yuǎn)程監(jiān)控病人狀態(tài)，自動(dòng)化程度高，操作準(zhǔn)確；為醫(yī)患雙方提供了便利，提高了醫(yī)生的工作效率，節(jié)省了人力物力，降低了成本。

為了實(shí)現(xiàn)上述目標(biāo)，本發(fā)明采用如下的技術(shù)方案：

基于圖像處理與語(yǔ)音識(shí)別的智能病房，包括:對(duì)病房的信息進(jìn)行實(shí)時(shí)監(jiān)測(cè)與采集的信息采集終端，接收信息采集終端信息并對(duì)信息進(jìn)行處理、判斷、存儲(chǔ)的信息處理中心服務(wù)器，既可以接收信息處理中心服務(wù)器發(fā)出的信息也可以自主訪問(wèn)信息處理中心服務(wù)器的客戶端；信息采集終端包括：采集語(yǔ)音信息的麥克風(fēng)，采集圖像信息的攝像頭，采集病房?jī)?nèi)醫(yī)療設(shè)備數(shù)據(jù)的接口模塊，接收語(yǔ)音信息、圖像信息、醫(yī)療設(shè)備信息的處理器，將處理器處理后的信息傳輸?shù)叫畔⑻幚碇行姆?wù)器的處理器通信器；信息處理中心服務(wù)器包括：接收處理器通信器信息的服務(wù)器通信器，接收并處理服務(wù)器通信器的信息的服務(wù)器主機(jī)，接發(fā)信息于服務(wù)器主機(jī)并儲(chǔ)存信息的服務(wù)器數(shù)據(jù)庫(kù)。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房，客戶端包括：智能手機(jī)，平板電腦，計(jì)算機(jī)。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，包括如下步驟：

步驟一，采用攝像頭采集信息采集病房實(shí)時(shí)畫面信息，采用麥克風(fēng)采集病房語(yǔ)音，采用接口模塊采集病房?jī)?nèi)醫(yī)療設(shè)備數(shù)據(jù)；處理器將采集到的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并進(jìn)行數(shù)字濾波，剔除噪聲和一些錯(cuò)誤數(shù)據(jù)，再將初步處理的數(shù)據(jù)通過(guò)處理器通信器發(fā)送傳輸?shù)叫畔⑻幚碇行姆?wù)器；

步驟二，通過(guò)信息處理中心服務(wù)器完成語(yǔ)音信號(hào)的識(shí)別，圖像信號(hào)的分析、判斷和識(shí)別，醫(yī)療設(shè)備信息的分析和識(shí)別。

步驟三，信息處理中心服務(wù)器將采集到的數(shù)據(jù)及分析結(jié)果進(jìn)行存儲(chǔ)以供用戶查詢；分析結(jié)果包括：語(yǔ)音信號(hào)的識(shí)別結(jié)果，病房?jī)?nèi)醫(yī)療設(shè)備工作狀況，病房?jī)?nèi)有無(wú)病人的判斷結(jié)果，對(duì)病人的身體狀態(tài)的判斷結(jié)果。

步驟四，信息處理中心服務(wù)器將步驟三的分析結(jié)果向客戶端進(jìn)行發(fā)布；

步驟五，用戶客戶端實(shí)時(shí)接收信息處理中心服務(wù)器發(fā)布的信息或主動(dòng)向信息處理中心服務(wù)器查詢病房與病人的狀態(tài)。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，信息處理中心服務(wù)器識(shí)別語(yǔ)音信號(hào)的具體過(guò)程為：

步驟一，語(yǔ)音信號(hào)預(yù)處理，預(yù)處理包括：語(yǔ)音分幀，預(yù)加重，加窗處理；

步驟二，采用短時(shí)能量短時(shí)過(guò)零率雙門限端點(diǎn)檢測(cè)方法對(duì)語(yǔ)音信號(hào)進(jìn)行端點(diǎn)檢測(cè)，找出字、詞的起始點(diǎn)及結(jié)束點(diǎn)，只存儲(chǔ)和處理有效語(yǔ)音信號(hào)；短時(shí)能量短時(shí)過(guò)零率雙門限端點(diǎn)檢測(cè)方法具體內(nèi)容包括：第n幀語(yǔ)音信號(hào)的短時(shí)能量en為：xn為原樣本序列在窗函數(shù)所切取出的第n段短時(shí)語(yǔ)音，n為幀長(zhǎng)；

短時(shí)過(guò)零率：表示一幀語(yǔ)音信號(hào)波形穿過(guò)橫軸(零電平)的次數(shù)。計(jì)算方法是通過(guò)設(shè)定一個(gè)差的閾值δ，使不僅xn(m)*xn(m-1)<0，還要|xn(m)-xn(m-1)|>δ，從而計(jì)算出短時(shí)過(guò)零率。δ的值可由多次試驗(yàn)取得；采用雙門限端點(diǎn)檢測(cè)在開始檢測(cè)之前設(shè)定4個(gè)門限，即分別為短時(shí)能量和短時(shí)過(guò)零率各設(shè)置一個(gè)高門限和一個(gè)低門限：ehigh、elow和zhigh、zlow，若第n幀的短時(shí)能量和短時(shí)過(guò)零率在門限之間，則認(rèn)為該幀即為要檢測(cè)的端點(diǎn)；

步驟三，采用mfcc系數(shù)作為識(shí)別參數(shù)在預(yù)處理的基礎(chǔ)上對(duì)有效語(yǔ)音信號(hào)進(jìn)行語(yǔ)音識(shí)別參數(shù)提?。籱fcc系數(shù)計(jì)算方法包括：

a)計(jì)算離散功率譜：對(duì)預(yù)處理的每幀進(jìn)行離散fft變換得到其頻譜，再取模的平方作為離散功率譜s(n)；

b)將功率譜通過(guò)濾波器組：計(jì)算s(n)通過(guò)m個(gè)hm(n)后所得的功率值，即計(jì)算s(n)和hm(n)在各離散頻率點(diǎn)上的乘積之和，得到m個(gè)參數(shù)pm，m＝0,1,……m-1；

c)取對(duì)數(shù)：計(jì)算pm的自然對(duì)數(shù)，得到lm，m＝0,1,……m-1；

d)離散余弦變換：對(duì)lm計(jì)算其離散余弦變換，得到dm，m＝0,1,……m-1，舍去代表直流成份的d0，取d1，d2，……，dk作為mfcc參數(shù)。

步驟四：采用dtw算法將測(cè)試信號(hào)與所有參考模板特征參數(shù)進(jìn)行匹配進(jìn)行語(yǔ)音識(shí)別；dtw算法分兩步進(jìn)行，一是計(jì)算兩個(gè)對(duì)象各幀之間的距離，即求出幀匹配距離矩陣，二是在幀匹配距離矩陣中找出一條最佳路徑，找到的最小匹配距離dmin(n,m)所對(duì)應(yīng)語(yǔ)音即為識(shí)別結(jié)果。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，信息處理中心服務(wù)器完成圖像信號(hào)的分析、判斷和識(shí)別的具體過(guò)程為：步驟一，對(duì)圖像進(jìn)行預(yù)處理，預(yù)處理內(nèi)容包括圖像降噪和圖像增強(qiáng)；圖像降噪采用中值濾波降噪，具體算法是進(jìn)行n次采樣，n為奇數(shù)，將采樣的結(jié)果按從小到大或從大到小排序，取中間值作為采樣的結(jié)果；圖像增強(qiáng)則是通過(guò)增強(qiáng)對(duì)比度的辦法來(lái)看清圖像的細(xì)節(jié)，運(yùn)用平滑技術(shù)減少塊效應(yīng)對(duì)圖像清晰度的影響，使用微分運(yùn)算突出邊界或其他變化部分；步驟二，對(duì)預(yù)處理后的病房圖像進(jìn)行處理，獲得病房?jī)?nèi)的信息，完成判斷；判斷內(nèi)容包括：判斷病房是否住有病人，判斷病房有無(wú)人員進(jìn)出，判斷特定病患的及時(shí)定位，判斷病人行為。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，判斷病房是否住有病人的具體過(guò)程包括：

步驟一，在樣本圖像中選取并分割含有醫(yī)院病服的部分；分割方法是先在樣本圖像中統(tǒng)計(jì)出病服區(qū)域的二階灰度直方圖，并求出門限值，以此門限值來(lái)進(jìn)行分割，并且用于之后的邊界匹配。若把m×n的樣本圖像x在像素(i,j)處的灰度值記為f(i,j),求出的病服部分的門限值為t，

則要分割的目標(biāo)部分為：o＝{f(i,j)≤t|(i,j)∈x}；

背景部分為：b＝{f(i,j)＞t|(i,j)∈x}；

步驟二，對(duì)目標(biāo)區(qū)域進(jìn)行紋理分析，先求出樣本區(qū)域的灰度共生矩陣，用樣本圖像中求得的門限值在要處理的目標(biāo)圖像中自動(dòng)識(shí)別與病服相同的邊界并分割該區(qū)域，同樣求出該區(qū)域的灰度共生矩陣，計(jì)算紋理一致性和紋理反差等紋理特征；紋理特征的描述包括灰度共生矩陣、對(duì)比度、idm、熵、自相關(guān)；

樣本區(qū)域的灰度共生矩陣:

對(duì)比度：

idm：

熵：

自相關(guān)：

其中

用一個(gè)向量將以上特征綜合在一起，可以綜合得到向量：h＝[asm1,con1,idm1,ent1,cor1,...,asm4,con4,idm4,ent4,cor4]；

步驟三，對(duì)樣本圖像和目標(biāo)圖像中分割到的區(qū)域進(jìn)行紋理特征綜合向量比較，如果一致性很強(qiáng)，則認(rèn)為樣本圖中存在病人，否則，認(rèn)為不存在病人。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，判斷病房是否住有病人的具體過(guò)程還包括：在紋理特征識(shí)別的基礎(chǔ)上進(jìn)行顏色特征的識(shí)別,對(duì)分割樣本圖像和目標(biāo)圖像中分割到的區(qū)域進(jìn)行顏色特征的提取，具體提取過(guò)程包括：

步驟一，計(jì)算區(qū)域內(nèi)rgb顏色系統(tǒng)的r,g,b值，計(jì)算公式如為:

步驟二，由rgb向his空間進(jìn)行轉(zhuǎn)換,可以得到his值,轉(zhuǎn)換方法如下:

max＝max(r,g,b),min＝min(r,g,b)，

i＝0.229r+0.587g+0.114b，

其中r,g,b,s,i∈[0，1],h∈[0，360]；

步驟三，對(duì)樣本圖像和目標(biāo)圖像中分割到的區(qū)域的his值進(jìn)行比較，如果一致性很強(qiáng)，則認(rèn)為樣本圖中存在目標(biāo)，否則，認(rèn)為不存在目標(biāo)；

步驟四，綜合顏色特征和紋理特征的識(shí)別，便可以準(zhǔn)確的確定目標(biāo)圖像中病人是否在病房中。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，判斷病房有無(wú)人員進(jìn)出的具體過(guò)程包括：

步驟一，采用加權(quán)平均法對(duì)相鄰兩幀rgb圖像進(jìn)行灰度化處理，圖像灰度值計(jì)算公式為:f(i,j)＝0.30r(i,j)+0.59g(i,j)+0.11b(i,j))；

步驟二，比較前后兩幀圖像的灰度差，設(shè)定一個(gè)灰度差閾值；

步驟三，當(dāng)兩幀圖像的灰度差大于這一閾值，則認(rèn)為有人員進(jìn)出病房，由服務(wù)器向客戶端發(fā)出提示，相關(guān)人員進(jìn)行查看確認(rèn)。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，判斷特定病患的及時(shí)定位的具體過(guò)程包括：

步驟一，在病人入院時(shí)對(duì)其進(jìn)行面部圖像采集；

步驟二，在人臉特征提取前對(duì)圖像進(jìn)行濾波去噪、灰度變換、圖像二值化、邊緣檢測(cè)、尺寸歸一化、灰度歸一化等預(yù)處理；

步驟三，采用適用于人臉特征的神經(jīng)網(wǎng)絡(luò)分類器提取其人臉特征并建立病人信息庫(kù)，用人臉圖像樣本對(duì)分類器一邊訓(xùn)練，一邊測(cè)試，并把在測(cè)試過(guò)程中的錯(cuò)誤分類結(jié)果作為反例樣本加入學(xué)習(xí)過(guò)程；

步驟四，采用基于pca的人臉識(shí)別方法進(jìn)行識(shí)別，先把人臉庫(kù)組成的高維圖像空間經(jīng)k—l變換后得到一組新的正交基，對(duì)這些正交基作一定的取舍，保留其中的一部分生成低維的人臉空間，也即人臉的特征子空間，有了這樣一個(gè)由“特征臉”組成的降維子空間，把所需識(shí)別的人臉圖像都向其做投影并獲得一組坐標(biāo)系數(shù)，根據(jù)這一組坐標(biāo)系數(shù)運(yùn)用模式分類的理論進(jìn)行識(shí)別，把投影到子空間中的所有測(cè)試圖像和訓(xùn)練圖像進(jìn)行比較，確定待識(shí)樣本是否是醫(yī)院人臉庫(kù)的病人，如果是所需查找的病人，則向服務(wù)器反饋所識(shí)別到的攝像頭的坐標(biāo)，由相關(guān)人員前往處理。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，判斷病人行為的具體過(guò)程包括：

步驟一，設(shè)fk(x,y)、fk+1(x,y)、fk+2(x,y)為病房攝像頭采集到的連續(xù)3幀圖像，先對(duì)圖像進(jìn)行灰度化處理；

步驟二，把第k幀作為背景圖像，用k+1幀減去第k幀獲得k+1幀與第k幀的差分圖像，m1為所得差分圖像的質(zhì)心，也為目標(biāo)的初始位置，用k+2幀減去第k幀獲得k+2幀與第k幀的差分圖像，m2為所得差分圖像的質(zhì)心，為目標(biāo)的運(yùn)動(dòng)位置；

步驟三，通過(guò)獲取圖像中m1和m2的坐標(biāo)關(guān)系，可以得出目標(biāo)的運(yùn)動(dòng)方向，通過(guò)與獲取幀圖像間隔時(shí)間的計(jì)算，可以獲得目標(biāo)的運(yùn)動(dòng)速度。

前述的基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，判斷病人行為的內(nèi)容包括：病人跌倒和行為異常；

病人跌倒的具體判斷過(guò)程包括：當(dāng)通過(guò)圖像處理，發(fā)現(xiàn)目標(biāo)的運(yùn)動(dòng)方向是向下，并且在設(shè)定時(shí)間長(zhǎng)度t內(nèi)沒(méi)有向上運(yùn)動(dòng)則認(rèn)為病人發(fā)生了跌倒，及時(shí)向客戶端發(fā)出預(yù)警，由醫(yī)護(hù)人員及時(shí)處理，時(shí)間長(zhǎng)度t的設(shè)定是為了防止病人正常行為時(shí)系統(tǒng)的錯(cuò)誤響應(yīng)；

行為異常的具體判斷過(guò)程包括：通過(guò)對(duì)目標(biāo)的運(yùn)動(dòng)速度設(shè)定一閾值，若是目標(biāo)的運(yùn)動(dòng)速度大于此閾值，并且運(yùn)動(dòng)方向具有明顯的無(wú)序性，則服務(wù)器發(fā)出預(yù)警到客戶端，由醫(yī)生前往病房處理。

本發(fā)明的有益之處在于：本發(fā)明提供一種基于圖像處理與語(yǔ)音識(shí)別技術(shù)的智能病房及其運(yùn)行方法，通過(guò)信息采集終端采集病房、病人的語(yǔ)言和圖像信息以及醫(yī)療設(shè)備運(yùn)行狀態(tài)，再通過(guò)以太網(wǎng)傳輸?shù)叫畔⑻幚碇行姆?wù)器，中心服務(wù)器利用圖像處理與語(yǔ)音識(shí)別技術(shù)對(duì)所采集到的圖像信息和語(yǔ)音信息進(jìn)行智能分析處理，信息處理中心服務(wù)器交互分析結(jié)果信息于客戶端，方便醫(yī)護(hù)人員遠(yuǎn)程監(jiān)控病人狀態(tài)，自動(dòng)化程度高，操作準(zhǔn)確；為醫(yī)患雙方提供了便利，提高了醫(yī)生的工作效率，節(jié)省了人力物力，降低了成本。

附圖說(shuō)明

圖1是本發(fā)明的一種實(shí)施例的結(jié)構(gòu)示意圖；

圖2是本發(fā)明系統(tǒng)工作流程圖；

圖3是本發(fā)明人臉識(shí)別流程圖。

具體實(shí)施方式

以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作具體的介紹。

如圖1所示，基于圖像處理與語(yǔ)音識(shí)別的智能病房，包括:對(duì)病房的信息進(jìn)行實(shí)時(shí)監(jiān)測(cè)與采集的信息采集終端，接收信息采集終端信息并對(duì)信息進(jìn)行處理、判斷、存儲(chǔ)的信息處理中心服務(wù)器，既可以接收信息處理中心服務(wù)器發(fā)出的信息也可以自主訪問(wèn)信息處理中心服務(wù)器的客戶端；信息采集終端包括：采集語(yǔ)音信息的麥克風(fēng)，采集圖像信息的攝像頭，采集病房?jī)?nèi)醫(yī)療設(shè)備數(shù)據(jù)的接口模塊，接收語(yǔ)音信息、圖像信息、醫(yī)療設(shè)備信息的處理器，將處理器處理后的信息傳輸?shù)叫畔⑻幚碇行姆?wù)器的處理器通信器；信息處理中心服務(wù)器包括：接收處理器通信器信息的服務(wù)器通信器，接收并處理服務(wù)器通信器的信息的服務(wù)器主機(jī)，接發(fā)信息于服務(wù)器主機(jī)并儲(chǔ)存信息的服務(wù)器數(shù)據(jù)庫(kù)。作為一種實(shí)施例，接口模塊可以為具有485通訊接口或者以太網(wǎng)通訊接口的標(biāo)準(zhǔn)接口，作為一種實(shí)施例，處理器通信器為以太網(wǎng)，服務(wù)器通信器為以太網(wǎng)；需要說(shuō)明的是，處理器通信器和服務(wù)器通信器除了以太網(wǎng)，也可以是其他類型的網(wǎng)絡(luò)，如wifi無(wú)線網(wǎng)絡(luò)。作為實(shí)施例，客戶端包括：智能手機(jī)，平板電腦，計(jì)算機(jī)。信息采集終端對(duì)病房的信息進(jìn)行實(shí)時(shí)監(jiān)測(cè)與采集，將所獲得的信息發(fā)送給信息處理中心服務(wù)器，信息處理中心服務(wù)器對(duì)所收到的信息進(jìn)行智能處理、判斷、存儲(chǔ)，同時(shí)將病房的最新狀態(tài)及時(shí)發(fā)布到客戶端，客戶端為醫(yī)護(hù)人員所使用，既可以接收服務(wù)器信息，也能自主訪問(wèn)服務(wù)器，實(shí)時(shí)了解病房的情況。

如圖2所示，基于圖像處理與語(yǔ)音識(shí)別的智能病房的運(yùn)行方法，包括如下步驟：

步驟一，采用攝像頭采集信息采集病房實(shí)時(shí)畫面信息，采用麥克風(fēng)采集病房語(yǔ)音，采用接口模塊采集病房?jī)?nèi)醫(yī)療設(shè)備數(shù)據(jù)；處理器將采集到的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并進(jìn)行數(shù)字濾波，剔除噪聲和一些錯(cuò)誤數(shù)據(jù)，再將初步處理的數(shù)據(jù)通過(guò)以太網(wǎng)發(fā)送傳輸?shù)叫畔⑻幚碇行姆?wù)器；

步驟二，通過(guò)信息處理中心服務(wù)器完成語(yǔ)音信號(hào)的識(shí)別，圖像信號(hào)的分析、判斷和識(shí)別，醫(yī)療設(shè)備信息的分析和識(shí)別。

步驟三，信息處理中心服務(wù)器將采集到的數(shù)據(jù)及分析結(jié)果進(jìn)行存儲(chǔ)以供用戶查詢；分析結(jié)果包括：語(yǔ)音信號(hào)的識(shí)別結(jié)果，病房?jī)?nèi)醫(yī)療設(shè)備工作狀況，病房?jī)?nèi)有無(wú)病人的判斷結(jié)果，對(duì)病人的身體狀態(tài)的判斷結(jié)果。

步驟四，信息處理中心服務(wù)器將步驟三的分析結(jié)果向客戶端進(jìn)行發(fā)布；

步驟五，用戶客戶端實(shí)時(shí)接收信息處理中心服務(wù)器發(fā)布的信息或主動(dòng)向信息處理中心服務(wù)器查詢病房與病人的狀態(tài)。

信息處理中心服務(wù)器識(shí)別語(yǔ)音信號(hào)的具體過(guò)程為：

步驟一，語(yǔ)音信號(hào)預(yù)處理，預(yù)處理包括：語(yǔ)音分幀，預(yù)加重，加窗處理；

步驟二，采用短時(shí)能量短時(shí)過(guò)零率雙門限端點(diǎn)檢測(cè)方法對(duì)語(yǔ)音信號(hào)進(jìn)行端點(diǎn)檢測(cè)，找出字、詞的起始點(diǎn)及結(jié)束點(diǎn)，只存儲(chǔ)和處理有效語(yǔ)音信號(hào)；短時(shí)能量短時(shí)過(guò)零率雙門限端點(diǎn)檢測(cè)方法具體內(nèi)容包括：第n幀語(yǔ)音信號(hào)的短時(shí)能量en為：xn為原樣本序列在窗函數(shù)所切取出的第n段短時(shí)語(yǔ)音，n為幀長(zhǎng)；

短時(shí)過(guò)零率：表示一幀語(yǔ)音信號(hào)波形穿過(guò)橫軸(零電平)的次數(shù)。計(jì)算方法是通過(guò)設(shè)定一個(gè)差的閾值δ，使不僅xn(m)*xn(m-1)<0，還要|xn(m)-xn(m-1)|>δ，從而計(jì)算出短時(shí)過(guò)零率。δ的值可由多次試驗(yàn)取得；采用雙門限端點(diǎn)檢測(cè)在開始檢測(cè)之前設(shè)定4個(gè)門限，即分別為短時(shí)能量和短時(shí)過(guò)零率各設(shè)置一個(gè)高門限和一個(gè)低門限：ehigh、elow和zhigh、zlow，若第n幀的短時(shí)能量和短時(shí)過(guò)零率在門限之間，則認(rèn)為該幀即為要檢測(cè)的端點(diǎn)；

步驟三，采用mfcc系數(shù)作為識(shí)別參數(shù)在預(yù)處理的基礎(chǔ)上對(duì)有效語(yǔ)音信號(hào)進(jìn)行語(yǔ)音識(shí)別參數(shù)提?。籱fcc系數(shù)計(jì)算方法包括：

a)計(jì)算離散功率譜：對(duì)預(yù)處理的每幀進(jìn)行離散fft變換得到其頻譜，再取模的平方作為離散功率譜s(n)；

b)將功率譜通過(guò)濾波器組：計(jì)算s(n)通過(guò)m個(gè)hm(n)后所得的功率值，即計(jì)算s(n)和hm(n)在各離散頻率點(diǎn)上的乘積之和，得到m個(gè)參數(shù)pm，m＝0,1,……m-1；

c)取對(duì)數(shù)：計(jì)算pm的自然對(duì)數(shù)，得到lm，m＝0,1,……m-1；

d)離散余弦變換：對(duì)lm計(jì)算其離散余弦變換，得到dm，m＝0,1,……m-1，舍去代表直流成份的d0，取d1，d2，……，dk作為mfcc參數(shù)。

步驟四：采用dtw算法將測(cè)試信號(hào)與所有參考模板特征參數(shù)進(jìn)行匹配進(jìn)行語(yǔ)音識(shí)別；dtw算法分兩步進(jìn)行，一是計(jì)算兩個(gè)對(duì)象各幀之間的距離，即求出幀匹配距離矩陣，二是在幀匹配距離矩陣中找出一條最佳路徑，找到的最小匹配距離dmin(n,m)所對(duì)應(yīng)語(yǔ)音即為識(shí)別結(jié)果。

信息處理中心服務(wù)器完成圖像信號(hào)的分析、判斷和識(shí)別的具體過(guò)程為：步驟一，對(duì)圖像進(jìn)行預(yù)處理，預(yù)處理內(nèi)容包括圖像降噪和圖像增強(qiáng)；圖像降噪采用中值濾波降噪，具體算法是進(jìn)行n次采樣，n為奇數(shù)，將采樣的結(jié)果按從小到大或從大到小排序，取中間值作為采樣的結(jié)果；圖像增強(qiáng)則是通過(guò)增強(qiáng)對(duì)比度的辦法來(lái)看清圖像的細(xì)節(jié)，運(yùn)用平滑技術(shù)減少塊效應(yīng)對(duì)圖像清晰度的影響，使用微分運(yùn)算突出邊界或其他變化部分；步驟二，對(duì)預(yù)處理后的病房圖像進(jìn)行處理，獲得病房?jī)?nèi)的信息，完成判斷；判斷內(nèi)容包括：判斷病房是否住有病人，判斷病房有無(wú)人員進(jìn)出，判斷特定病患的及時(shí)定位，判斷病人行為。

判斷病房是否住有病人通過(guò)提取醫(yī)院病服的紋理特征和色彩特征，再通過(guò)對(duì)采集到的圖像的特征與病服特征匹配，判斷病房是否有病人在。判斷病房是否住有病人的具體過(guò)程包括：

步驟一，在樣本圖像中選取并分割含有醫(yī)院病服的部分；分割方法是先在樣本圖像中統(tǒng)計(jì)出病服區(qū)域的二階灰度直方圖，并求出門限值，以此門限值來(lái)進(jìn)行分割，并且用于之后的邊界匹配。若把m×n的樣本圖像x在像素(i,j)處的灰度值記為f(i,j),求出的病服部分的門限值為t，

則要分割的目標(biāo)部分為：o＝{f(i,j)≤t|(i,j)∈x}；

背景部分為：b＝{f(i,j)＞t|(i,j)∈x}；

步驟二，對(duì)目標(biāo)區(qū)域進(jìn)行紋理分析，先求出樣本區(qū)域的灰度共生矩陣，用樣本圖像中求得的門限值在要處理的目標(biāo)圖像中自動(dòng)識(shí)別與病服相同的邊界并分割該區(qū)域，同樣求出該區(qū)域的灰度共生矩陣，計(jì)算紋理一致性和紋理反差等紋理特征；紋理特征的描述包括灰度共生矩陣、對(duì)比度、idm、熵、自相關(guān)；

樣本區(qū)域的灰度共生矩陣:

對(duì)比度：

idm：

熵：

自相關(guān)：

其中

用一個(gè)向量將以上特征綜合在一起，可以綜合得到向量：h＝[asm1,con1,idm1,ent1,cor1,...,asm4,con4,idm4,ent4,cor4]；

步驟三，對(duì)樣本圖像和目標(biāo)圖像中分割到的區(qū)域進(jìn)行紋理特征綜合向量比較，如果一致性很強(qiáng)，則認(rèn)為樣本圖中存在病人，否則，認(rèn)為不存在病人。

作為一種優(yōu)選，為了提高識(shí)別精度，判斷病房是否住有病人的具體過(guò)程還包括：在紋理特征識(shí)別的基礎(chǔ)上進(jìn)行顏色特征的識(shí)別,對(duì)分割樣本圖像和目標(biāo)圖像中分割到的區(qū)域進(jìn)行顏色特征的提取，具體提取過(guò)程包括：

步驟一，計(jì)算區(qū)域內(nèi)rgb顏色系統(tǒng)的r,g,b值，計(jì)算公式如為:

步驟二，由rgb向his空間進(jìn)行轉(zhuǎn)換,可以得到his值,轉(zhuǎn)換方法如下:

max＝max(r,g,b),min＝min(r,g,b)，

i＝0.229r+0.587g+0.114b，

其中r,g,b,s,i∈[0，1],h∈[0，360]；

步驟三，對(duì)樣本圖像和目標(biāo)圖像中分割到的區(qū)域的his值進(jìn)行比較，如果一致性很強(qiáng)，則認(rèn)為樣本圖中存在目標(biāo)，否則，認(rèn)為不存在目標(biāo)；

步驟四，綜合顏色特征和紋理特征的識(shí)別，便可以準(zhǔn)確的確定目標(biāo)圖像中病人是否在病房中。

當(dāng)需要及時(shí)了解出入病房的人員時(shí)，可在發(fā)現(xiàn)有人員出入時(shí)發(fā)出提示，再由相關(guān)人員查看；可采用基于相鄰幀差的算法，其原理是比較相鄰兩幀圖像的灰度差。判斷病房有無(wú)人員進(jìn)出的具體過(guò)程包括：

步驟一，采用加權(quán)平均法對(duì)相鄰兩幀rgb圖像進(jìn)行灰度化處理，圖像灰度值計(jì)算公式為:f(i,j)＝0.30r(i,j)+0.59g(i,j)+0.11b(i,j))；

步驟二，比較前后兩幀圖像的灰度差，設(shè)定一個(gè)灰度差閾值；這樣的過(guò)程設(shè)計(jì)可以消除由于病房背景的變化引起的誤差；

步驟三，當(dāng)兩幀圖像的灰度差大于這一閾值，則認(rèn)為有人員進(jìn)出病房，由服務(wù)器向客戶端發(fā)出提示，相關(guān)人員進(jìn)行查看確認(rèn)。

如圖3所示，在病人入院時(shí)對(duì)其進(jìn)行面部圖像采集，提取其人臉特征并建立病人信息庫(kù)，當(dāng)需要查找?guī)熘心澄徊∪藭r(shí)，對(duì)所有攝像頭上傳圖像進(jìn)行人臉檢測(cè)和特征提取，與該位病人面部特征進(jìn)行匹配，便可以快速的獲得其所處位置。判斷特定病患的及時(shí)定位的具體過(guò)程包括：

步驟一，在病人入院時(shí)對(duì)其進(jìn)行面部圖像采集；

步驟二，在人臉特征提取前對(duì)圖像進(jìn)行濾波去噪、灰度變換、圖像二值化、邊緣檢測(cè)、尺寸歸一化、灰度歸一化等預(yù)處理，這樣的設(shè)計(jì)可以消除客觀因素對(duì)后期識(shí)別的干擾，提高識(shí)別精確度；

步驟三，人臉的檢測(cè)和定位采用人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法，采用自調(diào)整的學(xué)習(xí)原理，設(shè)計(jì)一個(gè)適用于人臉特征的神經(jīng)網(wǎng)絡(luò)分類器，采用適用于人臉特征的神經(jīng)網(wǎng)絡(luò)分類器提取其人臉特征并建立病人信息庫(kù)，用人臉圖像樣本對(duì)分類器一邊訓(xùn)練，一邊測(cè)試，并把在測(cè)試過(guò)程中的錯(cuò)誤分類結(jié)果作為反例樣本加入學(xué)習(xí)過(guò)程；這樣的過(guò)程設(shè)計(jì)，減少了樣本集的規(guī)模，并逐步的提高了神經(jīng)網(wǎng)絡(luò)的分類性能。

步驟四，采用基于pca的人臉識(shí)別方法進(jìn)行識(shí)別，先把人臉庫(kù)組成的高維圖像空間經(jīng)k—l變換后得到一組新的正交基，對(duì)這些正交基作一定的取舍，保留其中的一部分生成低維的人臉空間，也即人臉的特征子空間，有了這樣一個(gè)由“特征臉”組成的降維子空間，把所需識(shí)別的人臉圖像都向其做投影并獲得一組坐標(biāo)系數(shù)，根據(jù)這一組坐標(biāo)系數(shù)運(yùn)用模式分類的理論進(jìn)行識(shí)別，把投影到子空間中的所有測(cè)試圖像和訓(xùn)練圖像進(jìn)行比較，確定待識(shí)樣本是否是醫(yī)院人臉庫(kù)的病人，如果是所需查找的病人，則向服務(wù)器反饋所識(shí)別到的攝像頭的坐標(biāo)，由相關(guān)人員前往處理。

判斷病人行為的具體過(guò)程包括：

步驟一，設(shè)fk(x,y)、fk+1(x,y)、fk+2(x,y)為病房攝像頭采集到的連續(xù)3幀圖像，先對(duì)圖像進(jìn)行灰度化處理；

步驟二，把第k幀作為背景圖像，用k+1幀減去第k幀獲得k+1幀與第k幀的差分圖像，m1為所得差分圖像的質(zhì)心，也為目標(biāo)的初始位置，用k+2幀減去第k幀獲得k+2幀與第k幀的差分圖像，m2為所得差分圖像的質(zhì)心，為目標(biāo)的運(yùn)動(dòng)位置；

步驟三，通過(guò)獲取圖像中m1和m2的坐標(biāo)關(guān)系，可以得出目標(biāo)的運(yùn)動(dòng)方向，通過(guò)與獲取幀圖像間隔時(shí)間的計(jì)算，可以獲得目標(biāo)的運(yùn)動(dòng)速度。

作為判斷病人行為的計(jì)算方法的應(yīng)用，判斷病人行為的內(nèi)容包括：病人跌倒和行為異常；

病人跌倒的具體判斷過(guò)程包括：當(dāng)通過(guò)圖像處理，發(fā)現(xiàn)目標(biāo)的運(yùn)動(dòng)方向是向下，并且在設(shè)定時(shí)間長(zhǎng)度t內(nèi)沒(méi)有向上運(yùn)動(dòng)則認(rèn)為病人發(fā)生了跌倒，及時(shí)向客戶端發(fā)出預(yù)警，由醫(yī)護(hù)人員及時(shí)處理，時(shí)間長(zhǎng)度t的設(shè)定是為了防止病人正常行為時(shí)系統(tǒng)的錯(cuò)誤響應(yīng)；

行為異常的具體判斷過(guò)程包括：通過(guò)對(duì)目標(biāo)的運(yùn)動(dòng)速度設(shè)定一閾值，若是目標(biāo)的運(yùn)動(dòng)速度大于此閾值，并且運(yùn)動(dòng)方向具有明顯的無(wú)序性，則服務(wù)器發(fā)出預(yù)警到客戶端，由醫(yī)生前往病房處理。

本發(fā)明提供一種基于圖像處理與語(yǔ)音識(shí)別技術(shù)的智能病房及其運(yùn)行方法，通過(guò)信息采集終端采集病房、病人的語(yǔ)言和圖像信息以及醫(yī)療設(shè)備運(yùn)行狀態(tài)，再通過(guò)以太網(wǎng)傳輸?shù)叫畔⑻幚碇行姆?wù)器，中心服務(wù)器利用圖像處理與語(yǔ)音識(shí)別技術(shù)對(duì)所采集到的圖像信息和語(yǔ)音信息進(jìn)行智能分析處理，信息處理中心服務(wù)器交互分析結(jié)果信息于客戶端，方便醫(yī)護(hù)人員遠(yuǎn)程監(jiān)控病人狀態(tài)，將護(hù)士的巡查工作交予服務(wù)器完成，處理效率高，可靠性好，降低了人力資源的投入，提高了服務(wù)質(zhì)量；能實(shí)時(shí)獲取病房與病人的狀態(tài)，極大地降低了意外發(fā)生的幾率；利用物聯(lián)網(wǎng)技術(shù)將病人及病房狀態(tài)信息及時(shí)發(fā)送給醫(yī)護(hù)人員，不同權(quán)限的用戶可以及時(shí)了解相關(guān)信息，然后采取相應(yīng)的措施，為醫(yī)患雙方都帶來(lái)了極大的便利。

以上顯示和描述了本發(fā)明的基本原理、主要特征和優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，上述實(shí)施例不以任何形式限制本發(fā)明，凡采用等同替換或等效變換的方式所獲得的技術(shù)方案，均落在本發(fā)明的保護(hù)范圍內(nèi)。