本發(fā)明涉及虛擬現(xiàn)實技術領域，尤其是涉及一種虛擬現(xiàn)實眼鏡系統(tǒng)及圖像處理方法。

背景技術：

虛擬現(xiàn)實(虛擬現(xiàn)實)眼鏡或系統(tǒng)是一種虛擬現(xiàn)實頭戴顯示器設備，利用頭戴式顯示設備將人對外界的視覺、聽覺封閉，引導用戶產生一種身在虛擬環(huán)境中的感覺。其顯示原理是左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產生立體感。

現(xiàn)有的虛擬現(xiàn)實眼鏡或系統(tǒng)一般為盒式設備或者是一頭盔式設備，其內置顯示屏或用于放置手機等電子設備的承重架，使用過程中由于使用者眼睛被顯示屏或設備遮蔽，當參與虛擬真實場景交流互動的雙方或者多方都使用虛擬現(xiàn)實眼鏡時，不能真實地模擬使用者的眼部甚至面部表情動作，使得彼此看到對方的形象都是眼部被遮蔽的效果，并不能真實的看到對方的眼部表情動作，相互之間不能很好的進行真實有效的交流互動。

技術實現(xiàn)要素：

有鑒于此，本發(fā)明實施例提供一種虛擬現(xiàn)實眼鏡系統(tǒng)及圖像處理方法，能夠有效模擬使用者的眼部表情動作，使得參與虛擬真實場景的雙方或者多方之間能進行真實有效的交流互動。

為達到上述目的，本發(fā)明的實施例采用如下技術方案：

一種虛擬現(xiàn)實眼鏡系統(tǒng)，包括：虛擬現(xiàn)實眼鏡、第一攝像單元和圖像信息處理合成單元；

所述第一攝像單元，設置在所述虛擬現(xiàn)實眼鏡上，用于實時拍攝使用者眼部動作圖像，并發(fā)送給圖像信息處理合成單元；

所述圖像信息處理合成單元，用于接收所述第一攝像單元拍攝到的使用者眼部的動作圖像，并對所述使用者眼部的動作圖像進行處理，將所述處理后的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面，或者，通過將所述處理后的使用者的眼部動作圖像融合到虛擬場景中的虛擬人物人體形態(tài)中。

可選地，所述系統(tǒng)還包括第二攝像單元，所述系統(tǒng)還包括第二攝像單元，用于實時拍攝現(xiàn)實場景中使用者當前的面部圖像，并將拍攝到的所述使用者當前的面部圖像發(fā)送給所述圖像信息處理合成單元；

所述圖像信息處理合成單元，用于接收所述使用者當前的面部圖像，并對所述使用者當前的面部圖像進行處理，并將所述處理后的使用者的面部圖像信息融合到所述使用者的人體形態(tài)畫面中。

可選地，所述第二攝像單元還用于實時拍攝現(xiàn)實場景中使用者當前的衣著和/或動作形態(tài)，并將拍攝到的所述使用者當前的衣著和/或動作形態(tài)信息發(fā)送給所述圖像信息處理合成單元；

所述圖像信息處理合成單元，用于接收所述使用者當前的衣著和/或動作形態(tài)信息圖像，并對所述使用者當前的衣著和/或動作形態(tài)信息圖像進行處理，將所述處理后的使用者當前的衣著和/或動作形態(tài)信息圖像融合到所述使用者的人體形態(tài)畫面中，生成所述使用者包含眼部及面部圖像的人體形態(tài)畫面，或者，將所述處理后的使用者當前的衣著和/或動作形態(tài)信息圖像融合到虛擬場景中的虛擬人物人體形態(tài)中。

可選地，所述第一攝像單元與所述第二攝像單元，還用于對所述拍攝到的眼部動作、面部及衣著和/或動作形態(tài)信息圖像進行預處理，并將所述預處理后的圖像發(fā)送給所述圖像信息處理合成單元。

可選地，所述第一攝像單元包括：攝像頭、圖像處理模塊及圖像數(shù)據(jù)輸送模塊；

所述攝像頭，用于實時拍攝使用者眼部動作圖像；

所述圖像處理模塊，用于對所述眼部動作圖像進行預處理；

所述圖像數(shù)據(jù)輸送模塊，用于將所述圖像處理模塊預處理后的圖像數(shù)據(jù)發(fā)送給所述圖像信息處理合成單元。

可選地，所述第二攝像單元包括：虛擬現(xiàn)實相機陣列或者單目相機陣列。

第二方面本發(fā)明實施例一種圖像處理方法，包括：

實時拍攝使用者眼部動作圖像，并將拍攝到的所述使用者的眼部動作圖像，并發(fā)送給圖像信息處理合成單元；

對所述第一攝像單元拍攝到的使用者眼部的動作圖像進行處理，并將所述處理后的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面，或者，通過將所述處理后的使用者的眼部動作圖像融合到虛擬場景中的虛擬人物人體形態(tài)中。

可選地，所述對所述第一攝像單元拍攝到的使用者眼部的動作圖像進行處理，并將所述處理后的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面包括：

實時拍攝現(xiàn)實場景中使用者當前的面部圖像，并將拍攝到的所述使用者當前的面部圖像發(fā)送給所述圖像信息處理合成單元；

對接收到的所述使用者當前的面部圖像信息進行處理，并將所述處理后的使用者的面部圖像信息融合到所述使用者的人體形態(tài)畫面中。

可選地，所述方法還包括：

實時拍攝現(xiàn)實場景中使用者當前的衣著和/或動作形態(tài)，并將拍攝到的所述使用者當前的衣著和/或動作形態(tài)信息發(fā)送給所述圖像信息處理合成單元；

對接收到的所述使用者當前的衣著和/或動作形態(tài)信息圖像進行處理，并將所述處理后的使用者的衣著和/或動作形態(tài)信息圖像融合到所述使用者的人體形態(tài)畫面中，生成所述使用者包含眼部及面部圖像的人體形態(tài)畫面，或者，將所述處理后的使用者的衣著和/或動作形態(tài)信息圖像融合到虛擬場景中的虛擬人物人體形態(tài)。

可選地，所述實時拍攝使用者眼部動作圖像，并發(fā)送給圖像信息處理合成單元包括：

對所述實時拍攝到的眼部動作圖像進行預處理，并將所述預處理后的圖像發(fā)送給所述圖像信息處理合成單元；

所述實時拍攝現(xiàn)實場景中使用者當前的面部圖像，并將拍攝到的所述使用者當前的面部圖像發(fā)送給所述圖像信息處理合成單元包括：

對所述拍攝到的面部動作圖像進行預處理，并將所述預處理后的圖像發(fā)送給所述圖像信息處理合成單元；

所述實時拍攝現(xiàn)實場景中使用者當前的衣著和/或動作形態(tài)，并將拍攝到的所述使用者當前的衣著和/或動作形態(tài)信息發(fā)送給所述圖像信息處理合成單元包括；

對所述拍攝到的所述使用者當前的衣著和/或動作形態(tài)圖像進行預處理，并將所述預處理后的圖像發(fā)送給所述圖像信息處理合成單元。

本發(fā)明實施例一種虛擬現(xiàn)實眼鏡系統(tǒng)及圖像處理方法，通過在虛擬現(xiàn)實眼鏡內設置第一攝像單元，通過第一攝像單元拍攝使用者實時眼部動作，并將拍攝的圖像輸送給所述圖像信息處理合成單元，所述圖像信息處理合成單元對所述圖像進行處理，并將所述處理后的使用者的眼部動作圖像融合到所述使用者在虛擬現(xiàn)實場景(如游戲)中人物的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面；或者融合到虛擬場景中的人體動作形態(tài)中，能夠有效模擬使用者的眼部表情動作，使處于虛擬場景中的雙方或者多方之間能看到彼此的眼部動作，從而實現(xiàn)真實有效的交流互動。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1為本發(fā)明的實施例一一種虛擬現(xiàn)實眼鏡系統(tǒng)基本結構示意圖；

圖2為本發(fā)明的實施例二一種虛擬現(xiàn)實眼鏡系統(tǒng)基本結構示意圖；

圖3為圖或圖2中一優(yōu)選虛擬現(xiàn)實眼鏡核心部分工作示意圖。

具體實施方式

下面結合附圖對本發(fā)明實施例一種虛擬現(xiàn)實眼鏡系統(tǒng)及圖像處理方法進行詳細描述。

應當明確，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。

實施例一

參看圖1所示，本發(fā)明實施例一種虛擬現(xiàn)實眼鏡系統(tǒng)，包括：虛擬現(xiàn)實眼鏡1、第一攝像單元2和圖像信息處理合成單元3；所述第一攝像單元2，設置在所述虛擬現(xiàn)實眼鏡1上，用于實時拍攝使用者眼部動作圖像，并發(fā)送給圖像信息處理合成單元3；所述圖像信息處理合成單元3，用于接收所述第一攝像單元拍攝到的使用者眼部的動作圖像，并對所述使用者眼部的動作圖像進行處理，將所述處理后的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面，或者，通過將所述處理后的使用者的眼部動作圖像融合到虛擬場景中的虛擬人物人體形態(tài)中。

本實施例中，所述對所述使用者眼部的動作圖像進行處理包括：對原始圖像通過圖像基本處理算法進行預處理，所述圖像基本處理算法包括：灰度校正、平滑處理、銳化處理、增強處理、圖像分割及噪聲過濾等圖像預處理方法；所述對所述使用者眼部的動作圖像進行處理還包括對預處理后的圖像作進一步的后期處理，比如，對預處理后的眼部圖像進行特征提取、識別、匹配及匹配融合等，將所述眼部動作通過拼接或其他圖像融合算法，例如：單獨或綜合運用直方圖均衡、中值濾波或者歸一化等圖像融合處理算法融合到所述使用者的面部圖像中，或者融合到虛擬場景中的虛擬人物的人體形態(tài)中。所述眼部動作包括睜眼、閉眼、瞇眼、瞳孔變大或者變小以及眉毛上挑、下彎，還有睫毛變化等眼部動作變化，所述人體形態(tài)包括彎腰、起身、舉手、撓頭及揮手等，所述信息處理合成單元可通過將所述人眼動作和真實場景中人物形態(tài)融合到所述虛擬場景中的人物形態(tài)中，實現(xiàn)虛擬場景中的人物與真實場景中虛擬現(xiàn)實設備的體驗者進行真實有效的互動；本實施例中，所述將所述處理后的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面，或者，通過將所述處理后的使用者的眼部動作圖像融合到虛擬場景中的虛擬人物人體形態(tài)中，具體的實現(xiàn)方式之一為：通過上述一系列的圖像處理算法對捕獲的人眼圖像或視頻進行圖像分析，首先進行人眼的定位與識別，并根據(jù)人眼形態(tài)識別出人的表情，與預先已經存在的人物表情圖像庫進行匹配，調出已存儲的人物具有該種眼部動作表情的臉部圖像，還原出未戴佩所述虛擬現(xiàn)實眼鏡的人物形態(tài)畫面，還可進一步地顯示到虛擬場景中，使虛擬場景的人物也帶上真實人物的眼部動作，從而使虛擬場景中的人物更加真實；除此之外，還可以有其他實現(xiàn)方式，本實施例對此不作限定。

所述第一攝像單元2優(yōu)選利用可見光成像原理的攝像設備，能捕獲并最終在虛擬場景的人物身上還原出所述虛擬現(xiàn)實眼鏡1戴佩者的眼睛瞳孔顏色、眉毛或眉毛上涂抹東西的色彩以及睫毛等本身或者在其上涂抹的色彩的真實圖像、而且獲得的可見光圖像內容豐富，細節(jié)紋理清晰，空間分辨率也較高，使虛擬現(xiàn)實場景中的虛擬人物形象更加真實；也可選擇利用紅外光成像原理的攝像設備，或者還可選擇將前述兩種成像原理技術融合為一體的成像設備。

本實施例一種虛擬現(xiàn)實眼鏡系統(tǒng)，通過在虛擬現(xiàn)實眼鏡內設置第一攝像單元，通過第一攝像單元拍攝使用者實時眼部動作，并將拍攝的圖像輸送給所述圖像信息處理合成單元，所述圖像信息處理合成單元對所述圖像進行處理，并將所述處理后的使用者的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面；或者融合到虛擬場景中的人體動作形態(tài)中，能夠有效模擬使用者的眼部表情動作，使虛擬場景中的虛擬人物形象更加生動、真實；還可使處于虛擬場景中的真實的雙方或者多方之間能看到彼此的眼部動作，從而實現(xiàn)真實有效的交流互動，增強沉浸式體驗。

本實施例中，作為一可選實施例，所述第一攝像單元2包括：攝像頭、圖像處理模塊及圖像數(shù)據(jù)傳輸模塊。所述攝像頭優(yōu)選微型攝像頭，其體積小，安裝方便，用于實時拍攝使用者眼部動作圖像；所述攝像頭與所述圖像處理模塊及圖像數(shù)據(jù)傳輸模塊之間通過電連接方式安裝在所述虛擬現(xiàn)實眼鏡1上，也可以將所述攝像頭安裝在所虛擬現(xiàn)實眼鏡1上，所述圖像處理模塊及圖像數(shù)據(jù)傳輸模塊不設置在虛擬現(xiàn)實眼鏡上，只要使所述攝像頭采集的圖像數(shù)據(jù)與所述圖像處理模塊及圖像數(shù)據(jù)傳輸模塊之間進行數(shù)據(jù)傳輸即可，所述圖像處理模塊用于對所述眼部動作圖像進行預處理，所述預處理包括；對原始圖像進行灰度校正、平滑處理、銳化處理、增強處理、圖像分割及噪聲過濾等前期處理，經過所述圖像處理模塊對原始圖像預處理后，可直接發(fā)送給所述圖像信息處理合成單元3進行后期的圖像特征識別、匹配、匹配提取、圖像變換及特征融合等處理工作。本實施例中，所數(shù)第一攝像單元也可以為微型攝像機或者微型相機，其本身可以兼具有對所述眼部動作及被所述虛擬現(xiàn)實眼鏡遮住的面部動作進行捕獲、圖像處理及數(shù)據(jù)輸出的功能，所述第一攝像單元2將輸出的數(shù)據(jù)傳輸給所述圖像信息處理合成單元3，二者之間可以通過串口等有線方式實現(xiàn)數(shù)據(jù)之間的傳輸，優(yōu)選地，所述第一攝像單元2與所述圖像信息處理合成單元3之間通過藍牙或wifi等無線數(shù)據(jù)傳輸方式，這樣可以使所述圖像信息處理合成單元3設置的位置不受限于所述虛擬現(xiàn)實眼鏡1的戴佩者所處的位置，可以根據(jù)具體情況設置在離所述眼鏡1的戴佩者很近或很遠的地方。相應地，所述第一攝像單元2可以與所述圖像信息處理合成單元設置在離得很近的地方，甚至將所述圖像信息處理合成單元與所述第一攝像單元均設置在所述虛擬現(xiàn)實眼鏡1上，也可以將所述圖像信息處理合成單元設置在遠端，通過網絡實現(xiàn)二者的數(shù)據(jù)傳遞。

本實施例中，通過將所述拍攝的使用者眼部動作或者面部被虛擬現(xiàn)實眼鏡遮住部分的圖像在所述第一攝像單元中進行圖像預處理，處理成能直接被圖像信息處理合成單元識別、匹配的特征圖像，有效減少了圖像信息處理合成單元處理的信息任務量，提高了圖像信息處理合成單元處理的速度。

實施例二

參看圖2所示，本實施例一種虛擬現(xiàn)實眼鏡系統(tǒng)，與實施例一所述的虛擬現(xiàn)實眼鏡系統(tǒng)的結構及其功能基本相同，不同之處在于，所述系統(tǒng)還包括第二攝像單元4，用于實時拍攝現(xiàn)實場景中使用者當前的面部圖像，并將拍攝到的所述使用者當前的面部圖像發(fā)送給所述圖像信息處理合成單元3；所述圖像信息處理合成單元對接收到的所述使用者當前的面部圖像信息進行處理，并將所述使用者的面部圖像信息融合到所述使用者的人體形態(tài)畫面中。優(yōu)選地，所述第二攝像單元為虛擬現(xiàn)實相機或者單目相機，所述第二攝像單元可以包括一個、一組或者數(shù)個、數(shù)組所述虛擬現(xiàn)實相機或單目相機；所述面部圖像包括：嘴唇的動作、嘴角的動作變化及面部其他部位的動作變化，所述對使用者當前的面部圖像信息進行處理，包括對包含上述部位的動作變化的面部圖像的預處理及后期處理，優(yōu)選地，所述預處理可以通過第二攝像單元完成，通過所述第二攝像單元對所述面部圖像信息預處理后發(fā)送給圖像信息處理合成單元進行后期識別、匹配、匹配提取。圖像變換及圖像融合等后期處理；或者，整個面部圖像的預處理及后期處理全部由所述圖像信息處理合成單元完成，第二攝像單元僅僅完成所述面部圖像的拍攝，將所述面部圖像發(fā)送給所述圖像信息處理合成單元的過程；類似與所述第一攝像單元2與所述圖像信息處理合成單元設置方式即數(shù)據(jù)傳輸方式，所述第二攝像單元與所述圖像信息處理合成單元之間也可以通過有線或無線數(shù)據(jù)傳輸方式進行數(shù)據(jù)的傳輸，所述第二攝像單元與所述圖像信息處理合成單元也可以設置在很緊或很遠的地方，例如將所述第二攝像單元與所述圖像信息處理合成單元設置在所述虛擬現(xiàn)實眼鏡的戴佩者附近，或者將所述第二攝像單元設置在所述虛擬現(xiàn)實眼鏡的戴佩者附近，將所述圖像信息處理合成單元設置在遠端，通過網絡實現(xiàn)數(shù)據(jù)的傳輸。

本實施例中，作為一可選實施例，所述第二攝像單元還用于實時拍攝現(xiàn)實場景中使用者當前的衣著和/或動作形態(tài)，并將拍攝到的所述使用者當前的衣著和/或動作形態(tài)信息發(fā)送給所述圖像信息處理合成單元；所述圖像信息處理合成單元，用于對接收到的所述使用者當前的衣著和/或動作形態(tài)信息圖像進行處理，并將所述使用者的衣著和/或動作形態(tài)信息圖像融合到所述使用者人體形態(tài)畫面中，生成所述使用者包含眼部及面部圖像的人體形態(tài)畫面，或者，將所述使用者的衣著和/或動作形態(tài)信息圖像融合到虛擬場景中的虛擬人物人體形態(tài)中。所述第二攝像單元與圖像信息處理合成單元與前已所述及的結構及作用類似，可相互參照，在此就不再贅述；本實施例中，所述將所述使用者的衣著和/或動作形態(tài)信息圖像融合到所述使用者人體形態(tài)畫面中，生成所述使用者包含眼部及面部圖像的人體形態(tài)畫面，或者，將所述使用者的衣著和/或動作形態(tài)信息圖像融合到虛擬場景中的虛擬人物人體形態(tài)中的實現(xiàn)方法與上述獲取的人物眼部動作圖像融合到需虛擬場景中人物人體形態(tài)中的實現(xiàn)方法相同，具體的實現(xiàn)方式可相互參照，在此也不再贅述。

本實施例一種虛擬現(xiàn)實眼鏡系統(tǒng)，包括第二攝像單元，通過第二攝像單元對所述使用者的面部及當前全身的衣著和/或動作形態(tài)進行捕獲，并將捕獲到的所述面部及當前全身的衣著和/或動作形態(tài)與所述第一攝像單元捕獲的使用者眼部及部分面部圖像分別發(fā)送到所述圖像信息處理合成單元進行處理，將所述包含使用者眼部動作的全部人體動作融合到所述使用者人體形態(tài)中，生成所述包含眼部及面部圖像的人體形態(tài)畫面，或者融合到所述虛擬場景中的虛擬人物的人體形態(tài)中，使參與虛擬現(xiàn)實場景的雙方或者多方不僅能看到彼此的眼部動作，還能看到彼此的身體其他部分的動作形態(tài)，并通過彼此的動作形態(tài)進行虛擬現(xiàn)實交流互動，能有效增強沉浸式體驗效果。

參看圖1及圖3所示，本實施例中，優(yōu)選地，所述虛擬現(xiàn)實眼鏡1包括雙目眼鏡框架5、鏡片6及影像顯示系統(tǒng)7，在所述雙目眼鏡框架上安裝有鏡片6，所述鏡片6的反射面朝向戴佩者方向，在所述雙目眼鏡框架上靠近戴佩者額頭方向的位置設置，所述影像顯示系統(tǒng)顯示的圖像投射到所述鏡片6的反射面。所述鏡片為單向透視鏡片，所述鏡片可為有弧度的曲面鏡片，還可以為平面鏡片；所述影像顯示系統(tǒng)7包括顯示屏，用于顯示圖像，其本身具有數(shù)據(jù)存儲及運行功能，可獨立顯示圖像，不需要外來視頻信號輸入；其還可以通過外接視頻信號輸入顯示圖像；或者所述影像顯示系統(tǒng)7可用android、ios或windows等可安裝應用智能電子設備替換，根據(jù)用戶要求所述影像顯示系統(tǒng)7還可以采用整體替換式和不可替換式兩種設計方式。本實施例虛擬現(xiàn)實眼鏡系統(tǒng)，通過將所述影像顯示系統(tǒng)呈現(xiàn)的圖像投射到所述鏡片上，用戶的眼睛o不需要直接面對高亮度顯示的影像顯示系統(tǒng)的顯示屏就可以觀看視頻圖像，能有效減輕眼睛的疲勞。

本實施例中，可選地，在所述雙目眼鏡框架5上還設有亮度自動控制單元，所述雙目眼鏡框架5內外側分別安裝有環(huán)境亮度感應器，所述亮度自動控制單元與所述環(huán)境亮度感應器電連接，所述亮度自動控制單元與所述影像顯示系統(tǒng)電連接；所述環(huán)境亮度感應器用于監(jiān)測所述雙目眼鏡框架內及其外部環(huán)境亮度，并將所述分別監(jiān)測到的亮度信號傳送給所述亮度自動控制單元，所述亮度自動控制單元對所述雙目眼鏡框架內及其外部環(huán)境亮度信號轉換成的電信號進行比較，并根據(jù)所述電信號比較所得的結果，控制所述影像顯示系統(tǒng)的顯示亮度，以保證所述雙目眼鏡框架5內部的亮度高于所述雙目眼鏡框架外部的亮度，如此，可使所述鏡片6朝向使用者的反射面(正面)所處的環(huán)境亮度高于所述鏡片反面所處的雙目鏡框外部的自然環(huán)境亮度，當使用者在現(xiàn)實中與人面對面進行交流時，對方能透過所述鏡片6看到使用者的眼睛，以進行正常的眼神交流。

可選地，所述雙目眼鏡框架上還設有固定佩帶8，所述固定佩帶為松緊帶，或者帶有松緊調節(jié)機構，能方便地適合各種規(guī)格頭部尺寸的人佩帶。

為了更清楚、完整公開本發(fā)明上述各實施例中將參與虛擬現(xiàn)實場景中的真實人物眼部或其他部位的動作、表情等人體形態(tài)融入到虛擬現(xiàn)實場景中虛擬人物人體上的實現(xiàn)過程，特舉一例說明如下。

參與虛擬現(xiàn)實場景中的真實人物戴佩所述虛擬現(xiàn)實眼鏡1，設置與所述虛擬現(xiàn)實眼鏡上的第一攝像單元實時拍攝到使用者眼部和/或被所述眼鏡遮住部分的面部動作圖像，所述眼部圖像包括眼睛的瞳孔變化、眼球的移動、眼角的動作變化、瞳孔的顏色、眉毛的動作變化、眉毛涂抹的色彩及眉頭的動作變化(皺眉、舒展眉頭等)等，所述第一攝像單元中包含有圖像處理單元(ispchip或帶isp的dsp，isp：imagesignalprocesser)，它將采集到的原始數(shù)據(jù)格式(bayerpattern)圖像，通過將原始數(shù)據(jù)格式圖像轉化為真彩圖像(demosaic)、鏡頭暗角矯正、去噪、銳化、色彩矯正、gamma調節(jié)、鏡頭畸變矯正等處理流程，(甚至將rgb圖像轉換成yuv(一種圖像的格式)圖像壓縮成jpeg圖像或h264，h265等視頻)。經過以上圖像預處理后，所述第一攝像單元將完成預處理后的圖像/視頻傳輸給圖像信息處理合成單元。圖像信息處理合成單元接收到第一攝像單元傳來得圖像/視頻后，通過前所述的一系列的圖像處理算法對其進行圖像分析，首先進行人眼的定位與識別，并根據(jù)人眼形態(tài)識別出人的表情，與已經存在的人物表情圖像庫進行匹配，調出已存儲的人物具有該種眼部動作表情的臉部圖像，顯示到虛擬場景中，使虛擬場景的人物帶上真實人物的眼部動作，從而使虛擬場景中的人物更加真實。

進一步地，為了更真實地在虛擬人物身上表現(xiàn)出真實人物身體的面部、肢體等各個部位的動作，可就近或者在遠端設置所述第二攝像單元，通過第二攝像單元攝取參與虛擬現(xiàn)實場景中真實人物頭部、未遮住的面部包括嘴部、頸部、身體、四肢等動作圖像，例如可將提取出嘴部的動作特征，基于與上述原理同樣的方法發(fā)送給所述圖像信息處理合成單元，對所述動作圖像進行一系列的處理，把這些動作圖像一并融入到虛擬場景中虛擬人物的身上，可以更全面、更完整、更真實地模擬真實人物的人體動作形態(tài)。

此處僅是舉了一種實現(xiàn)獲取的真實人物眼部動作、人體形態(tài)等融合到虛擬場景中人物人體上的簡單的圖像算法，也可采用其他或簡單或復雜的圖像算法，來表現(xiàn)虛擬場景中虛擬人物帶上真實人物情感。本發(fā)明實施例對此不作限定。

實施例三

本實施例一種圖像處理方法，可應用于實施例一所述的虛擬現(xiàn)實眼鏡系統(tǒng)上，具體包括：

實時拍攝使用者眼部動作圖像，并將拍攝到的所述使用者的眼部動作圖像，并發(fā)送給圖像信息處理合成單元；

對所述第一攝像單元拍攝到的使用者眼部的動作圖像進行處理，并將所述處理后的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面，或者，通過將所述處理后的使用者的眼部動作圖像融合到虛擬場景中的虛擬人物人體形態(tài)中。

本實施例一種圖像處理方法，通過實時拍攝使用者的眼部動作圖像，將拍攝的所述眼部動作圖像發(fā)送給圖像信息處理合成單元，并通過所述圖像信息處理合成單元對所述圖像進行處理，將所述眼部動作圖像融合到所述使用者的面部圖像中，形成未戴佩所述眼鏡的人體形態(tài)畫面，或者將所述眼部圖像融合到虛擬現(xiàn)實場景中的虛擬人物形態(tài)中，不僅能使處于同一虛擬場景中的不同人物，實現(xiàn)通過眼神互動交流，模擬真實場景中的人物互動，而且還能使處于同一虛擬場景中的不同虛擬人物，也能模擬真實場景中的人物眼神互動，有效使得參與虛擬場景中的雙方或者多方之間進行眼神交流及進一步的互動，增強使用者的沉浸式體驗效果。

本實施例中，優(yōu)選地，所述對所述第一攝像單元拍攝到的使用者眼部的動作圖像進行處理，并將所述處理后的眼部動作圖像融合到所述使用者的面部圖像中，生成未戴佩所述虛擬現(xiàn)實眼鏡的人體形態(tài)畫面包括：

實時拍攝現(xiàn)實場景中使用者當前的面部圖像，并將拍攝到的所述使用者當前的面部圖像發(fā)送給所述圖像信息處理合成單元；

對接收到的所述使用者當前的面部圖像信息進行處理，并將所述處理后的使用者的面部圖像信息融合到所述使用者的人體形態(tài)畫面中。

本實施例中，優(yōu)選地，所述方法還包括：

實時拍攝現(xiàn)實場景中使用者當前的衣著和/或動作形態(tài)，并將拍攝到的所述使用者當前的衣著和/或動作形態(tài)信息發(fā)送給所述圖像信息處理合成單元；對接收到的所述使用者當前的衣著和/或動作形態(tài)信息圖像進行處理，并將所述處理后的使用者的衣著和/或動作形態(tài)信息圖像融合到所述使用者的人體形態(tài)畫面中，生成所述使用者包含眼部及面部圖像的人體形態(tài)畫面，或者，將所述處理后的使用者的衣著和/或動作形態(tài)信息圖像融合到虛擬場景中的虛擬人物人體形態(tài)中。優(yōu)選地，所述實時拍攝使用者眼部動作圖像，并發(fā)送給圖像信息處理合成單元包括：對所述實時拍攝到的眼部動作圖像進行預處理，并將所述預處理后的圖像發(fā)送給所述圖像信息處理合成單元；所述實時拍攝現(xiàn)實場景中使用者當前的面部圖像，并將拍攝到的所述使用者當前的面部圖像發(fā)送給所述圖像信息處理合成單元包括：對所述拍攝到的面部動作圖像進行預處理，并將所述預處理后的圖像發(fā)送給所述圖像信息處理合成單元；所述實時拍攝現(xiàn)實場景中使用者當前的衣著和/或動作形態(tài)，并將拍攝到的所述使用者當前的衣著和/或動作形態(tài)信息發(fā)送給所述圖像信息處理合成單元包括；對所述拍攝到的所述使用者當前的衣著和/或動作形態(tài)圖像進行預處理，并將所述預處理后的圖像發(fā)送給所述圖像信息處理合成單元。

本實施例中所述的圖像信息方法與前述的虛擬現(xiàn)實眼鏡系統(tǒng)技術方案、解決的技術問題及有益效果類似，其具體實現(xiàn)方式可相互參照，在此就不再贅述。

需要說明的是，本文中，諸如第一或第二等限定詞語只是用于將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

本說明書中的各個實施例均采用相關的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。

尤其，對方法實施例而言，由于其基本相似于裝置或系統(tǒng)實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應以權利要求的保護范圍為準。