本發(fā)明屬于數(shù)據(jù)處理方法領(lǐng)域，尤其涉及一種融合手語的即時消息處理方法、服務(wù)器及系統(tǒng)。

背景技術(shù)：

即時消息(Instant Messaging,IM)，又稱即時通信，是指可以在線時實交流的工具，也就是通常所說的在線聊天工具。廣義的來說，即時消息包括網(wǎng)絡(luò)聊天室、網(wǎng)絡(luò)會議系統(tǒng)等與所有聯(lián)機(jī)的通信；狹義的來說，即時消息是指由一組IM服務(wù)器控制下的通信。即時消息功能包括文字消息聊天、文件傳輸、傳情動漫、閃屏振動及語音通信、視頻通信等。即時消息，又稱即時通信，是一種利用因特網(wǎng)的IP技術(shù)通信軟件，已經(jīng)成為一種開放互通的在線通信工具。

但是目前的即時消息處理系統(tǒng)均是針對普通人之間的聊天工具，并不能實現(xiàn)普通人與聾啞人以及聾啞人與聾啞人之間的交流。目前，普通人與聾啞人以及聾啞人與聾啞人之間的交流還僅限于面對面的進(jìn)行交談，它們對空間的限制使得異地交流、通訊無法體驗的到這些設(shè)備帶來的便利。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中普通人與聾啞人以及聾啞人與聾啞人之間的交流的空間限制的問題，本發(fā)明的第一目的是提供一種融合手語的即時消息處理方法。

一種融合手語的即時消息處理方法，該方法在消息處理服務(wù)器內(nèi)完成，消息處理服務(wù)器與客戶端相互通信，所述客戶端包括發(fā)送客戶端和接收客戶端；該方法具體包括：

步驟1：接收所有客戶端傳送來的包含用戶身份標(biāo)識信息的用戶登錄信息，根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份；所述客戶端的用戶身份包括普通用戶端和聾啞用戶端；

步驟2：根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配；所述即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息和文本信息；

步驟3：接收發(fā)送客戶端傳送來的即時消息，再根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

本發(fā)明的消息處理服務(wù)器通過websocket機(jī)制與客戶端建立通信。

通過websocket機(jī)制建立消息處理服務(wù)器與客戶端之間的通信，實現(xiàn)了瀏覽器與服務(wù)器全雙工通信，能夠創(chuàng)建多人聊天室。

當(dāng)接收發(fā)送客戶端傳送來的即時消息為手語信息，將接收到的對手語信息中的手勢序列進(jìn)行拆分組合，按照預(yù)先學(xué)習(xí)定義的手勢數(shù)據(jù)庫匹配手勢序列，組合匹配到相對應(yīng)的文本信息或語音信息，最后再傳送至普通用戶端。通過拆分、組合，匹配、優(yōu)化不斷循環(huán)的方式保證了組合出的文本最接近實際。

該方法還包括：實時監(jiān)聽客戶端輸入的語音信號，若超過設(shè)定時間間隔未輸入任何信息，則視為終止輸入。通過監(jiān)聽操作保證了語音輸入的完整準(zhǔn)確性。

為了解決現(xiàn)有技術(shù)中普通人與聾啞人以及聾啞人與聾啞人之間的交流的空間限制的問題，本發(fā)明的第二目的是提供一種融合手語的即時消息處理服務(wù)器。

一種融合手語的即時消息處理服務(wù)器，所述消息處理服務(wù)器與客戶端相互通信，所述客戶端包括發(fā)送客戶端和接收客戶端；該消息處理服務(wù)器包括：

客戶端的用戶身份識別模塊，其用于接收所有客戶端傳送來的包含用戶身份標(biāo)識信息的用戶登錄信息，根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份；所述客戶端的用戶身份包括普通用戶端和聾啞用戶端；

即時消息類型匹配模塊，其用于根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配；所述即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息；

即時消息轉(zhuǎn)換及發(fā)送模塊，其用于接收發(fā)送客戶端傳送來的即時消息，再根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

所述消息處理服務(wù)器通過websocket機(jī)制與客戶端建立通信。

通過websocket機(jī)制建立消息處理服務(wù)器與客戶端之間的通信，實現(xiàn)了瀏覽器與服務(wù)器全雙工通信，能夠創(chuàng)建多人聊天室。

在即時消息轉(zhuǎn)換及發(fā)送模塊中，當(dāng)接收發(fā)送客戶端傳送來的即時消息為手語信息，將接收到的對手語信息中的手勢序列進(jìn)行拆分組合，按照預(yù)先學(xué)習(xí)定義的手勢數(shù)據(jù)庫匹配手勢序列，組合匹配到相對應(yīng)的文本信息或語音信息，最后再傳送至普通用戶端。通過拆分、組合，匹配、優(yōu)化不斷循環(huán)的方式保證了組合出的文本最接近實際。

該方消息處理服務(wù)器還包括：監(jiān)聽模塊，其用于實時監(jiān)聽客戶端輸入的語音信號，若超過設(shè)定時間間隔未輸入任何信息，則視為終止輸入。通過監(jiān)聽操作保證了語音輸入的完整準(zhǔn)確性。

為了解決現(xiàn)有技術(shù)中普通人與聾啞人以及聾啞人與聾啞人之間的交流的空間限制的問題，本發(fā)明的第三目的是提供一種融合手語的即時消息處理方法。

一種融合手語的即時消息處理方法，消息處理服務(wù)器與客戶端相互通信，所述客戶端包括發(fā)送客戶端和接收客戶端；包括：

步驟1：客戶端將包含用戶身份標(biāo)識信息的用戶登錄信息發(fā)送至消息處理服務(wù)器，消息處理服務(wù)器接收后根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份；所述客戶端的用戶身份包括普通用戶端和聾啞用戶端；

步驟2：消息處理服務(wù)器根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配；所述即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息；

步驟3：發(fā)送客戶端將即時消息將消息處理服務(wù)器轉(zhuǎn)發(fā)至接收客戶端，消息處理服務(wù)器根據(jù)還用于根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

為了解決現(xiàn)有技術(shù)中普通人與聾啞人以及聾啞人與聾啞人之間的交流的空間限制的問題，本發(fā)明的第四目的是提供一種融合手語的即時消息處理系統(tǒng)。

一種融合手語的即時消息處理系統(tǒng)，包括：

客戶端，其用于將包含用戶身份標(biāo)識信息的用戶登錄信息發(fā)送至消息處理服務(wù)器；所述客戶端包括發(fā)送客戶端和接收客戶端；

消息處理服務(wù)器，其用于根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份；根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配；

所述即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息；

所述客戶端的用戶身份包括普通用戶端和聾啞用戶端；

發(fā)送客戶端，其用于將即時消息將消息處理服務(wù)器轉(zhuǎn)發(fā)至接收客戶端；

消息處理服務(wù)器，其還用于根據(jù)還用于根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

本發(fā)明的有益效果為：

(1)本發(fā)明提供了一種融合手語的即時消息方法及系統(tǒng)，尤其是在聾啞人跟正常人進(jìn)行遠(yuǎn)程通訊的情況下，能夠?qū)⑹终Z轉(zhuǎn)換為文字，把文字轉(zhuǎn)換為手語，為不同類型的用戶提供可選擇的信息顯示方式，消除了彼此之間溝通的空間限制以及障礙；

(2)系統(tǒng)中的webSocket機(jī)制保證了消息能夠及時傳達(dá)到所有參與交流的終端用戶；一定程度上減少了普通人與聾啞人溝通的成本，同時給聾啞人提供了更多與他人交流溝通的機(jī)會。

(3)在聾啞人用手語跟正常人進(jìn)行遠(yuǎn)程通訊時，尤其在多人參與的遠(yuǎn)程交談的情況下，系統(tǒng)實現(xiàn)了將手語轉(zhuǎn)換為文本，并為普通用戶提供語音播報功能，同時將普通用戶的語音輸入轉(zhuǎn)換為聾啞人可以看的到的手語，并輸出到顯示屏。

(4)本發(fā)明根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

附圖說明

圖1是本發(fā)明實施例中一種融合手語的即時消息處理方法的流程示意圖；

圖2是本發(fā)明實施例中另一種融合手語的即時消息處理方法的流程示意圖；

圖3是本發(fā)明實施例中一種融合手語的即時消息處理服務(wù)器結(jié)構(gòu)示意圖；

圖4是本發(fā)明實施例中一種融合手語的即時消息處理系統(tǒng)結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明實施例中提及的客戶端可以包括個人電腦、平板電腦、智能手機(jī)、電子閱讀器、車載終端以及穿戴式設(shè)備等運行有APP應(yīng)用的互聯(lián)網(wǎng)設(shè)備，通過互聯(lián)網(wǎng)與消息處理服務(wù)器進(jìn)行通信，所述消息處理服務(wù)器可以為應(yīng)用終端上運行的APP應(yīng)用的后臺服務(wù)器。

圖1是本發(fā)明實施例中一種融合手語的即時消息處理方法的流程示意圖，本實施例主要是從消息處理服務(wù)器一側(cè)來描述，如圖所示本實施例中的融合手語的即時消息處理方法可以包括：

S101，接收所有客戶端傳送來的包含用戶身份標(biāo)識信息的用戶登錄信息，根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份。

具體實現(xiàn)中，客戶端的用戶身份包括普通用戶端和聾啞用戶端。

通過websocket機(jī)制建立消息處理服務(wù)器與客戶端之間的通信，實現(xiàn)了瀏覽器與服務(wù)器全雙工通信，能夠創(chuàng)建多人聊天室。

消息處理服務(wù)器為每個用戶分配身份標(biāo)識(dm表示聾啞用戶，nm表示普通用戶)，為后續(xù)數(shù)據(jù)傳輸時進(jìn)行用戶識別提供依據(jù)。

例如：由一個聊天發(fā)起人創(chuàng)建一個房間，設(shè)置房間密碼，系統(tǒng)返回創(chuàng)建成功的房間ID。其他用戶進(jìn)入聊天室時需要選擇身份包括nm(普通用戶)dm(聾啞用戶)并輸入聊天室創(chuàng)建者給出的房間ID與密碼。其中dm用戶需要有l(wèi)eapmotion支持。

S102，根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配。

具體實現(xiàn)中，即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息。

根據(jù)用戶身份標(biāo)志識別用戶類型，通過websocket機(jī)制與各終端建立通信，將文本實時傳輸?shù)剿薪K端，將采集到的手勢序列實時傳輸?shù)狡渌膁m端。根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

其中，nm端選擇文本顯示或者語音播報，dm端選擇文本或者手勢顯示。更加貼近真實的溝通情景，使交談更自然。

S103，接收發(fā)送客戶端傳送來的即時消息，再根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

例如：

(1)dm用戶向其他用戶傳送信息時，首先需要初始化leapmotion的運行環(huán)境，時刻接收用戶輸入。用戶在聊天系統(tǒng)中選擇手語輸入之后，直接使用手語錄入需要發(fā)送內(nèi)容。系統(tǒng)中的手勢識別模塊檢測用戶本次輸入結(jié)束后，對本次手勢序列進(jìn)行分割、組合，轉(zhuǎn)換成文字信息。把文本信息發(fā)送到房間內(nèi)其他的用戶。同時，根據(jù)用戶身份，把收集到的手勢序列發(fā)送給dm用戶，當(dāng)用戶收到聊天室內(nèi)其他人發(fā)來的文字信息時，nm用戶可以根據(jù)系統(tǒng)菜單選擇語音播報或者直接顯示文字，dm用戶可以選擇顯示文字信息或者是手勢序列信息。

(2)nm用戶向其他用戶傳送信息時，在聊天系統(tǒng)中選擇語音輸入或者直接輸入文字。當(dāng)輸入語音時，系統(tǒng)把語音信息傳送給聊天室中的nm用戶，nm用戶可以直接收聽，而對于dm用戶則需要在接收到語音之后將其翻譯成文字直接顯示，或者對文本進(jìn)行分詞、重組，逆向為手勢序列，以連續(xù)的手語動作顯示。當(dāng)輸入文本時，nm用戶可以根據(jù)系統(tǒng)菜單選擇語音播報或者直接顯示文字，dm用戶可以選擇顯示文字信息或?qū)ξ谋具M(jìn)行分詞、重組，逆向為手勢序列，以連續(xù)的手語動作顯示。

nm端根據(jù)需求選擇將語音轉(zhuǎn)化為文本顯示，或者將文本轉(zhuǎn)化為語音讀出，dm端把所有的語音先轉(zhuǎn)換為文本，選擇文本方式顯示或者進(jìn)行手語轉(zhuǎn)換的逆操作，將文本轉(zhuǎn)換為手語序列顯示。這種設(shè)計方式能夠滿足不同類型用戶的多種需求。

在具體實施例中，當(dāng)接收發(fā)送客戶端傳送來的即時消息為手語信息，將接收到的對手語信息中的手勢序列進(jìn)行拆分組合，按照預(yù)先學(xué)習(xí)定義的手勢數(shù)據(jù)庫匹配手勢序列，組合匹配到相對應(yīng)的文本信息或語音信息，最后再傳送至普通用戶端。通過拆分、組合，匹配、優(yōu)化不斷循環(huán)的方式保證了組合出的文本最接近實際。

在另一實施例中，該方法還包括：

S104，實時監(jiān)聽客戶端輸入的語音信號，若超過設(shè)定時間間隔未輸入任何信息，則視為終止輸入。通過監(jiān)聽操作保證了語音輸入的完整準(zhǔn)確性。

本實施例中在聾啞人跟正常人進(jìn)行遠(yuǎn)程通訊的情況下，能夠?qū)⑹终Z轉(zhuǎn)換為文字，把文字轉(zhuǎn)換為手語，為不同類型的用戶提供可選擇的信息顯示方式，消除了彼此之間溝通的障礙。系統(tǒng)中的webSocket機(jī)制保證了消息能夠及時傳達(dá)到所有參與交流的終端用戶；一定程度上減少了普通人與聾啞人溝通的成本，同時給聾啞人提供了更多與他人交流溝通的機(jī)會。

在聾啞人用手語跟正常人進(jìn)行遠(yuǎn)程通訊時，尤其在多人參與的遠(yuǎn)程交談的情況下，系統(tǒng)實現(xiàn)了將手語轉(zhuǎn)換為文本，并為普通用戶提供語音播報功能，同時將普通用戶的語音輸入轉(zhuǎn)換為聾啞人可以看的到的手語，并輸出到顯示屏。根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

圖2是本發(fā)明另一實施例中一種融合手語的即時消息處理方法的流程示意圖，本實施例主要是從消息處理服務(wù)器與客戶端混合側(cè)來描述，如圖所示本實施例中的融合手語的即時消息處理方法可以包括：

S201，客戶端將包含用戶身份標(biāo)識信息的用戶登錄信息發(fā)送至消息處理服務(wù)器，消息處理服務(wù)器接收后根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份。

具體地，客戶端的用戶身份包括普通用戶端和聾啞用戶端；通過websocket機(jī)制建立消息處理服務(wù)器與客戶端之間的通信，實現(xiàn)了瀏覽器與服務(wù)器全雙工通信，能夠創(chuàng)建多人聊天室。

消息處理服務(wù)器為每個用戶分配身份標(biāo)識(dm表示聾啞用戶，nm表示普通用戶)，為后續(xù)數(shù)據(jù)傳輸時進(jìn)行用戶識別提供依據(jù)。

例如：由一個聊天發(fā)起人創(chuàng)建一個房間，設(shè)置房間密碼，系統(tǒng)返回創(chuàng)建成功的房間ID。其他用戶進(jìn)入聊天室時需要選擇身份包括nm(普通用戶)、dm(聾啞用戶)，并輸入聊天室創(chuàng)建者給出的房間ID與密碼。其中dm用戶需要有l(wèi)eapmotion支持。

S202，消息處理服務(wù)器根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配。

具體實現(xiàn)中，即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息。

根據(jù)用戶身份標(biāo)志識別用戶類型，通過websocket機(jī)制與各終端建立通信，將文本實時傳輸?shù)剿薪K端，將采集到的手勢序列實時傳輸?shù)狡渌膁m端。根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

其中，nm端選擇文本顯示或者語音播報，dm端選擇文本或者手勢顯示。更加貼近真實的溝通情景，使交談更自然。

S203，發(fā)送客戶端將即時消息將消息處理服務(wù)器轉(zhuǎn)發(fā)至接收客戶端，消息處理服務(wù)器根據(jù)還用于根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

在具體實施中，當(dāng)發(fā)送客戶端為dm端時，使用體感控制器leapmotion采集手勢數(shù)據(jù)，對一個動態(tài)連續(xù)的手勢持續(xù)跟蹤記錄，持續(xù)設(shè)定的時間間隔內(nèi)未檢測到手勢則結(jié)束輸入。能夠更好的追蹤一個持續(xù)連貫的手勢序列，使捕獲到的原始信息盡可能準(zhǔn)確。

當(dāng)接收發(fā)送客戶端傳送來的即時消息為手語信息，將接收到的對手語信息中的手勢序列進(jìn)行拆分組合，按照預(yù)先學(xué)習(xí)定義的手勢數(shù)據(jù)庫匹配手勢序列，組合匹配到相對應(yīng)的文本信息或語音信息，最后再傳送至普通用戶端。通過拆分、組合，匹配、優(yōu)化不斷循環(huán)的方式保證了組合出的文本最接近實際。

在另一實施例中，該方法還包括：

S204，即時消息處理服務(wù)器還實時監(jiān)聽客戶端輸入的語音信號，若超過設(shè)定時間間隔未輸入任何信息，則視為終止輸入。通過監(jiān)聽操作保證了語音輸入的完整準(zhǔn)確性。

本實施例中在聾啞人跟正常人進(jìn)行遠(yuǎn)程通訊的情況下，能夠?qū)⑹终Z轉(zhuǎn)換為文字，把文字轉(zhuǎn)換為手語，為不同類型的用戶提供可選擇的信息顯示方式，消除了彼此之間溝通的障礙。系統(tǒng)中的webSocket機(jī)制保證了消息能夠及時傳達(dá)到所有參與交流的終端用戶；一定程度上減少了普通人與聾啞人溝通的成本，同時給聾啞人提供了更多與他人交流溝通的機(jī)會。

在聾啞人用手語跟正常人進(jìn)行遠(yuǎn)程通訊時，尤其在多人參與的遠(yuǎn)程交談的情況下，系統(tǒng)實現(xiàn)了將手語轉(zhuǎn)換為文本，并為普通用戶提供語音播報功能，同時將普通用戶的語音輸入轉(zhuǎn)換為聾啞人可以看的到的手語，并輸出到顯示屏。根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

圖3是本發(fā)明實施例中一種融合手語的即時消息處理服務(wù)器結(jié)構(gòu)示意圖。如圖3所示，本發(fā)明實施例中的融合手語的即時消息處理服務(wù)器，消息處理服務(wù)器與客戶端相互通信，客戶端包括發(fā)送客戶端和接收客戶端。

該消息處理服務(wù)器包括：

(1)客戶端的用戶身份識別模塊，其用于接收所有客戶端傳送來的包含用戶身份標(biāo)識信息的用戶登錄信息，根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份；所述客戶端的用戶身份包括普通用戶端和聾啞用戶端。

具體地，通過websocket機(jī)制建立消息處理服務(wù)器與客戶端之間的通信，實現(xiàn)了瀏覽器與服務(wù)器全雙工通信，能夠創(chuàng)建多人聊天室。

消息處理服務(wù)器為每個用戶分配身份標(biāo)識(dm表示聾啞用戶，nm表示普通用戶)，為后續(xù)數(shù)據(jù)傳輸時進(jìn)行用戶識別提供依據(jù)。

例如：由一個聊天發(fā)起人創(chuàng)建一個房間，設(shè)置房間密碼，系統(tǒng)返回創(chuàng)建成功的房間ID。其他用戶進(jìn)入聊天室時需要選擇身份包括nm(普通用戶)、dm(聾啞用戶)，并輸入聊天室創(chuàng)建者給出的房間ID與密碼。其中dm用戶需要有l(wèi)eapmotion支持。

(2)即時消息類型匹配模塊，其用于根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配；所述即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息。

具體實現(xiàn)中，根據(jù)用戶身份標(biāo)志識別用戶類型，通過websocket機(jī)制與各終端建立通信，將文本實時傳輸?shù)剿薪K端，將采集到的手勢序列實時傳輸?shù)狡渌膁m端。根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

其中，nm端選擇文本顯示或者語音播報，dm端選擇文本或者手勢顯示。更加貼近真實的溝通情景，使交談更自然。

(3)即時消息轉(zhuǎn)換及發(fā)送模塊，其用于接收發(fā)送客戶端傳送來的即時消息，再根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

在具體實施中，當(dāng)發(fā)送客戶端為dm端時，使用體感控制器leapmotion采集手勢數(shù)據(jù)，對一個動態(tài)連續(xù)的手勢持續(xù)跟蹤記錄，持續(xù)設(shè)定的時間間隔內(nèi)未檢測到手勢則結(jié)束輸入。能夠更好的追蹤一個持續(xù)連貫的手勢序列，使捕獲到的原始信息盡可能準(zhǔn)確。

當(dāng)接收發(fā)送客戶端傳送來的即時消息為手語信息，將接收到的對手語信息中的手勢序列進(jìn)行拆分組合，按照預(yù)先學(xué)習(xí)定義的手勢數(shù)據(jù)庫匹配手勢序列，組合匹配到相對應(yīng)的文本信息或語音信息，最后再傳送至普通用戶端。通過拆分、組合，匹配、優(yōu)化不斷循環(huán)的方式保證了組合出的文本最接近實際。

在另一實施例中，該方消息處理服務(wù)器還包括：

監(jiān)聽模塊，其用于實時監(jiān)聽客戶端輸入的語音信號，若超過設(shè)定時間間隔未輸入任何信息，則視為終止輸入。

本實施例中在聾啞人跟正常人進(jìn)行遠(yuǎn)程通訊的情況下，能夠?qū)⑹终Z轉(zhuǎn)換為文字，把文字轉(zhuǎn)換為手語，為不同類型的用戶提供可選擇的信息顯示方式，消除了彼此之間溝通的障礙。系統(tǒng)中的webSocket機(jī)制保證了消息能夠及時傳達(dá)到所有參與交流的終端用戶；一定程度上減少了普通人與聾啞人溝通的成本，同時給聾啞人提供了更多與他人交流溝通的機(jī)會。

在聾啞人用手語跟正常人進(jìn)行遠(yuǎn)程通訊時，尤其在多人參與的遠(yuǎn)程交談的情況下，系統(tǒng)實現(xiàn)了將手語轉(zhuǎn)換為文本，并為普通用戶提供語音播報功能，同時將普通用戶的語音輸入轉(zhuǎn)換為聾啞人可以看的到的手語，并輸出到顯示屏。根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

圖4是本發(fā)明實施例中一種融合手語的即時消息處理系統(tǒng)結(jié)構(gòu)示意圖。如圖4所示，本發(fā)明實施例中的融合手語的即時消息處理系統(tǒng)，包括：客戶端和消息處理服務(wù)器。

客戶端包括發(fā)送客戶端和接收客戶端。

(1)客戶端，其用于將包含用戶身份標(biāo)識信息的用戶登錄信息發(fā)送至消息處理服務(wù)器。

在具體實施中，當(dāng)發(fā)送客戶端為dm端時，使用體感控制器leapmotion采集手勢數(shù)據(jù)，對一個動態(tài)連續(xù)的手勢持續(xù)跟蹤記錄，持續(xù)設(shè)定的時間間隔內(nèi)未檢測到手勢則結(jié)束輸入。能夠更好的追蹤一個持續(xù)連貫的手勢序列，使捕獲到的原始信息盡可能準(zhǔn)確。

(2)消息處理服務(wù)器，其用于根據(jù)用戶身份標(biāo)識信息來識別客戶端的用戶身份；根據(jù)客戶端的用戶身份，將客戶端與能夠接收的即時消息類型相匹配。

即時消息類型包括手語信息、文本信息和語音信息；普通用戶端能夠接收的即時消息類型為文本信息和語音信息；聾啞用戶端能夠接收的即時消息類型為手語信息和文本信息；

所述客戶端的用戶身份包括普通用戶端和聾啞用戶端。

發(fā)送客戶端，其用于將即時消息將消息處理服務(wù)器轉(zhuǎn)發(fā)至接收客戶端。

消息處理服務(wù)器，其還用于根據(jù)還用于根據(jù)接收客戶端的用戶身份，將即時消息直接傳送至接收客戶端或?qū)⒓磿r消息轉(zhuǎn)換成相應(yīng)接收客戶端能夠接收的即時消息類型后再傳送至接收客戶端。

當(dāng)接收發(fā)送客戶端傳送來的即時消息為手語信息，將接收到的對手語信息中的手勢序列進(jìn)行拆分組合，按照預(yù)先學(xué)習(xí)定義的手勢數(shù)據(jù)庫匹配手勢序列，組合匹配到相對應(yīng)的文本信息或語音信息，最后再傳送至普通用戶端。通過拆分、組合，匹配、優(yōu)化不斷循環(huán)的方式保證了組合出的文本最接近實際。

在另一實施例中，消息處理服務(wù)器，還用于實時監(jiān)聽客戶端輸入的語音信號，若超過設(shè)定時間間隔未輸入任何信息，則視為終止輸入。

本實施例中在聾啞人跟正常人進(jìn)行遠(yuǎn)程通訊的情況下，能夠?qū)⑹终Z轉(zhuǎn)換為文字，把文字轉(zhuǎn)換為手語，為不同類型的用戶提供可選擇的信息顯示方式，消除了彼此之間溝通的障礙。系統(tǒng)中的webSocket機(jī)制保證了消息能夠及時傳達(dá)到所有參與交流的終端用戶；一定程度上減少了普通人與聾啞人溝通的成本，同時給聾啞人提供了更多與他人交流溝通的機(jī)會。

在聾啞人用手語跟正常人進(jìn)行遠(yuǎn)程通訊時，尤其在多人參與的遠(yuǎn)程交談的情況下，系統(tǒng)實現(xiàn)了將手語轉(zhuǎn)換為文本，并為普通用戶提供語音播報功能，同時將普通用戶的語音輸入轉(zhuǎn)換為聾啞人可以看的到的手語，并輸出到顯示屏。根據(jù)身份信息傳輸不同類型的即時消息，在滿足用戶需求的同時減少了帶寬的浪費。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實施例、軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機(jī)可用程序代碼的計算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器和光學(xué)存儲器等)上實施的計算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機(jī)程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計算機(jī)程序指令到通用計算機(jī)、專用計算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機(jī)器，使得通過計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機(jī)程序指令也可存儲在能引導(dǎo)計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機(jī)可讀存儲器中，使得存儲在該計算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機(jī)程序指令也可裝載到計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機(jī)實現(xiàn)的處理，從而在計算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機(jī)存儲記憶體(Random AccessMemory，RAM)等。

上述雖然結(jié)合附圖對本發(fā)明的具體實施方式進(jìn)行了描述，但并非對本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。