本申請涉及虛擬現(xiàn)實技術(shù)領(lǐng)域,尤其涉及一種基于vr鏡頭的實景切換方法及裝置。
背景技術(shù):
vr(virtualreality,虛擬現(xiàn)實)技術(shù)是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng),它利用計算機生成一種模擬環(huán)境,并通過多源信息融合的、交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該模擬環(huán)境中。
在用戶使用vr眼鏡的過程中,如果用戶需要觀測現(xiàn)實環(huán)境,比如要拿桌上的水杯喝水,就需要摘下vr眼鏡去取,操作比較麻煩。
技術(shù)實現(xiàn)要素:
本申請實施例提供一種基于vr鏡頭的實景切換方法及裝置,使得用戶在佩戴vr眼鏡時,便捷地切換到實景環(huán)境。
本申請實施例提供一種基于vr鏡頭的實景切換方法,包括:
響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像;
基于所述vr鏡頭處與人眼處的成像映射關(guān)系,將所述vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像。
進一步可選地,所述方法還包括:響應(yīng)于所述用戶切換vr場景的操作,向所述用戶展示相應(yīng)的vr場景。
進一步可選地,所述投影映射關(guān)系包括:所述vr鏡頭在所述vr鏡頭處所成像的第一像平面與所述vr鏡頭在所述人眼處所成像的第二像平面的平面單應(yīng)性矩陣;基于所述vr鏡頭處與人眼處的成像映射關(guān)系,將所述vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像,包括:根據(jù)所述平面單應(yīng)性矩陣,對所述圖像中每個像素點進行投影變換,得到所述與所述用戶的裸眼觀測效果相同的圖像。
進一步可選地,所述方法還包括:利用所述vr鏡頭在所述vr鏡頭處拍攝實景中的參考物,以獲得第一參考圖像;利用所述vr鏡頭在所述人眼處拍攝所述參考物,以獲得第二參考圖像;分別確定所述參考物所在平面與所述第一參考圖像所在的第一像平面和所述第二參考圖像所在的第二像平面之間的投影映射關(guān)系;根據(jù)所述參考物所在平面與所述第一像平面和所述第二像平面之間的投影映射關(guān)系,確定所述第一像平面與所述第二像平面之間的投影映射關(guān)系,作為所述vr鏡頭處與人眼處的成像映射關(guān)系。
進一步可選地,確定所述參考物所在平面與所述第一像平面的投影映射關(guān)系,包括:根據(jù)所述第一參考圖像的外部參數(shù)以及所述vr鏡頭的內(nèi)部參數(shù),基于相機模型,確定所述參考物所在平面與所述第一像平面的投影映射關(guān)系;確定所述參考物所在平面與所述第二像平面的平面單應(yīng)性矩陣,包括:根據(jù)所述第二參考圖像的外部參數(shù)以及所述vr鏡頭的內(nèi)部參數(shù),基于所述相機模型,確定所述參考物所在平面與所述第二像平面的投影映射關(guān)系。
本申請實施例還提供一種基于vr鏡頭的實景切換裝置,包括:
拍攝模塊,用于響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像;
轉(zhuǎn)換模塊,用于基于所述vr鏡頭處與人眼處的成像映射關(guān)系,將所述vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像。
進一步可選地,所述裝置還包括vr展示模塊,所述vr展示模塊用于:
響應(yīng)于所述用戶切換vr場景的操作,向所述用戶展示相應(yīng)的vr場景。
進一步可選地,所述投影映射關(guān)系包括:所述vr鏡頭在所述vr鏡頭處所成像的第一像平面與所述vr鏡頭在所述人眼處所成像的第二像平面的平面單應(yīng)性矩陣;基于所述vr鏡頭處與人眼處的成像映射關(guān)系,將所述vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像,包括:根據(jù)所述平面單應(yīng)性矩陣,對所述圖像中每個像素點進行投影變換,得到所述與所述用戶的裸眼觀測效果相同的圖像。
進一步可選地,所述裝置還包括映射關(guān)系建立模塊,所述映射關(guān)系建立模塊用于:利用所述vr鏡頭在所述vr鏡頭處拍攝實景中的參考物,以獲得第一參考圖像;利用所述vr鏡頭在所述人眼處拍攝所述參考物,以獲得第二參考圖像;分別確定所述參考物所在平面與所述第一參考圖像所在的第一像平面和所述第二參考圖像所在的第二像平面之間的投影映射關(guān)系;根據(jù)所述參考物所在平面與所述第一像平面和所述第二像平面之間的投影映射關(guān)系,確定所述第一像平面與所述第二像平面之間的投影映射關(guān)系,作為所述vr鏡頭處與人眼處的成像映射關(guān)系。
進一步可選地,所述映射關(guān)系建立模塊用于:根據(jù)所述第一參考圖像的外部參數(shù)以及所述vr鏡頭的內(nèi)部參數(shù),基于相機模型,確定所述參考物所在平面與所述第一像平面的投影映射關(guān)系;所述映射關(guān)系建立模塊用于:根據(jù)所述第二參考圖像的外部參數(shù)以及所述vr鏡頭的內(nèi)部參數(shù),基于所述相機模型,確定所述參考物所在平面與所述第二像平面的投影映射關(guān)系。
本實施例中,響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像,并基于vr鏡頭處與人眼處的成像映射關(guān)系,將vr鏡頭所拍攝的圖像轉(zhuǎn)換為與用戶的裸眼觀測效果相同的圖像。從而,用戶可以在佩戴vr眼鏡時,便捷地進行虛實場景的切換;與此同時,切換至實景之后,用戶通過vr眼鏡觀測到的圖像與裸眼觀測效果相同,使得vr眼鏡更加人性化。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本申請實施例提供的一基于vr鏡頭的實景切換方法的流程示意圖;
圖2是本申請實施例提供的另一基于vr鏡頭的實景切換方法的流程示意圖;
圖3是本申請實施例提供的又一基于vr鏡頭的實景切換方法的流程示意圖;
圖4a是本申請實施例提供的一基于vr鏡頭的實景切換裝置的結(jié)構(gòu)示意圖;
圖4b是本申請實施例提供的另一基于vr鏡頭的實景切換裝置的結(jié)構(gòu)示意圖;
圖4c是本申請實施例提供的又一基于vr鏡頭的實景切換裝置的結(jié)構(gòu)示意圖。
具體實施方式
為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
用戶佩戴vr眼鏡時,由于人眼與vr鏡頭之間存在一定的距離,導(dǎo)致人眼通過vr眼鏡看到的實際環(huán)境與裸眼觀測到的實際環(huán)境存在一定的誤差。例如,用戶在使用vr眼鏡的過程中,有拿桌上的水杯喝水的需求。若用戶不摘vr眼鏡取水杯,該vr眼鏡產(chǎn)生的誤差將導(dǎo)致用戶對水杯的位置做出錯誤的判斷。針對上述缺陷,本申請實施例提出了一種解決方案,其核心在于,在用戶有切換實景的需求時,捕捉vr鏡頭所拍攝的實景的圖像,并根據(jù)預(yù)先建立的映射關(guān)系對該圖像進行映射轉(zhuǎn)換,將該圖像轉(zhuǎn)換為與裸眼觀測效果相同的圖像,進而用戶可以在佩戴vr眼鏡時,便捷地進行虛實場景的切換。
圖1是本申請實施例提供的一基于vr鏡頭的實景切換方法的流程示意圖,結(jié)合圖1,該方法包括如下的步驟:
步驟101、響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像。
步驟102、基于vr鏡頭處與人眼處的成像映射關(guān)系,將vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像。
針對步驟101,vr鏡頭所拍攝的圖像,為vr鏡頭拍攝的實景的圖像。
實景,是相對于虛擬現(xiàn)實(virtualreality,vr)場景而言的,可以是用戶當(dāng)前所處實際環(huán)境中包括的任何景物。
針對步驟102,vr鏡頭處,可以是vr鏡頭正常佩戴時所處的位置,例如,vr鏡頭正常佩戴在距離人眼10cm左右的位置。人眼處,可以將vr鏡頭放置在人眼所處的位置,即vr鏡頭放置在距離人眼0cm處以實現(xiàn)與裸眼觀測效果相同的拍攝位置。
vr鏡頭處與人眼處的成像映射關(guān)系是預(yù)先建立的兩個不同成像位置對應(yīng)的成像平面的映射關(guān)系。本步驟的目標(biāo)在于,將vr鏡頭在vr鏡頭處拍攝的圖像轉(zhuǎn)換成與vr鏡頭在人眼處拍攝的圖像效果相同的圖像,該圖像能夠滿足人眼觀測需求。
裸眼觀測效果,即用戶直接用肉眼觀看實景產(chǎn)生的直觀視覺感受。例如,實景的空間大小,實景中物體的大小以及位置等等視覺感受。與用戶裸眼觀測效果相同的圖像,可以做如下理解:在用戶通過該圖像觀測實景時,該圖像為用戶帶來的視覺感受與用戶直接用肉眼觀看實景的視覺感受相同或者無限接近。
本實施例中,響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像,并基于vr鏡頭處與人眼處的成像映射關(guān)系,將vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像。從而,用戶可以在佩戴vr眼鏡時,便捷地進行虛實場景的切換;與此同時,切換至實景之后,用戶通過vr眼鏡觀測到的圖像與裸眼觀測效果相同,使得vr眼鏡更加人性化。
圖2是本申請實施例提供的另一基于vr鏡頭的實景切換方法的流程示意圖,結(jié)合圖2,該方法包括如下的步驟:
步驟201、響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像。
步驟202、基于vr鏡頭處與人眼處的成像映射關(guān)系,對vr鏡頭所拍攝的圖像中每個像素點進行投影變換,得到與用戶裸眼觀測效果相同的圖像。
步驟203、響應(yīng)于用戶切換vr場景的操作,向用戶展示相應(yīng)的vr場景。
針對步驟201,用戶切換實景,可選的,可以通過vr眼鏡上的一物理按鈕實現(xiàn)。例如,在vr眼鏡上提供一切換按鈕,觸發(fā)該按鈕,vr展示暫停,用戶可通過vr鏡頭觀測實景。
針對步驟202,vr鏡頭處與人眼處的成像映射關(guān)系,可以是vr鏡頭在vr鏡頭處所成像的第一像平面與vr鏡頭在人眼處所成像的第二像平面的平面單應(yīng)性矩陣,該單應(yīng)性矩陣表示第一像平面到第二像平面的投影映射關(guān)系
在獲取vr鏡頭所拍攝的圖像之后,基于第一像平面與第二像平面的平面單應(yīng)性矩陣,對vr鏡頭所拍攝的圖像中每個像素點進行投影變換,得到與用戶裸眼觀測效果相同的圖像。
針對步驟203,用戶觀測實景之后,有繼續(xù)觀看vr場景的需求。響應(yīng)于用戶切換vr場景的操作,向用戶展示相應(yīng)的vr場景。用戶切換vr場景的操作,可選的,可以通過vr眼鏡上的一物理按鈕實現(xiàn)。該切換vr場景的按鈕和切換實景的按鈕可以為一個按鈕,也可以是不同的按鈕,本申請實施例對此不做限制。
本實施例中,響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像,并基于vr鏡頭處與人眼處對應(yīng)的成像平面的平面單應(yīng)性矩陣,將vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像。從而,用戶可以在佩戴vr眼鏡時,便捷地進行虛實場景的切換;與此同時,用戶觀測實景之后,還可切換至vr場景,操作路徑簡單,進一步提升用戶體驗。
圖3是本申請實施例提供的又一基于vr鏡頭的實景切換方法的流程示意圖,結(jié)合圖3,該方法包括:
步驟301、利用vr鏡頭在vr鏡頭處拍攝實景中的參考物,以獲得第一參考圖像。
步驟302、利用vr鏡頭在人眼處拍攝參考物,以獲得第二參考圖像。
步驟303、分別確定參考物所在平面與第一參考圖像所在的第一像平面和第二參考圖像所在的第二像平面之間的投影映射關(guān)系。
步驟304、根據(jù)參考物所在平面與第一像平面和第二像平面之間的投影映射關(guān)系,確定第一像平面與第二像平面之間的投影映射關(guān)系。
步驟305、以第一像平面以及第二像平面的投影映射關(guān)系,作為vr鏡頭處與人眼處的成像映射關(guān)系。
步驟306、響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像。
步驟307、根據(jù)第一像平面與第二像平面的投影映射關(guān)系,對vr鏡頭所拍攝的圖像中每個像素點進行投影變換,得到與用戶的裸眼觀測效果相同的圖像。
步驟308、響應(yīng)于用戶切換vr場景的操作,向用戶展示相應(yīng)的vr場景。
針對步驟301,利用vr鏡頭在vr鏡頭處拍攝實景中的參考物,可以是在測試人員正常佩戴vr眼鏡時進行拍攝。標(biāo)記實景中的參考物的一物點坐標(biāo)為m,對應(yīng)的齊次坐標(biāo)定義為
針對步驟302,利用vr鏡頭在人眼處拍攝實景中的參考物,可以預(yù)先標(biāo)定測試人員的眼睛所在的位置,待測試人員移開后,將vr眼鏡放置在標(biāo)定的位置處進行拍攝。需要說明的是,步驟301以及步驟302中,測試人員正常佩戴vr眼鏡時以及對測試人員的眼睛所在的位置進行標(biāo)定時,測試人員應(yīng)當(dāng)保持位置不變,以保證拍攝得到的第一參考圖像以及第二參考圖像的可靠性。本步驟中,標(biāo)記拍攝得到的第二參考圖像上對應(yīng)物點的像點為m2,相關(guān)的齊次坐標(biāo)定義為
針對步驟303,可選的,確定參考物所在平面與第一像平面的投影映射關(guān)系,可以根據(jù)第一參考圖像的外部參數(shù)以及vr鏡頭的內(nèi)部參數(shù),基于相機模型來確定。
同理,確定參考物所在平面與第二像平面的平面單應(yīng)性矩陣,可以根據(jù)第二參考圖像的外部參數(shù)以及vr鏡頭的內(nèi)部參數(shù),基于所述相機模型來確定。
第一參考圖像的外部參數(shù),包括第一參考圖像對應(yīng)的旋轉(zhuǎn)矩陣以及平移矩陣。第二參考圖像的外部參數(shù),包括第二參考圖像對應(yīng)的旋轉(zhuǎn)矩陣以及平移矩陣。vr鏡頭的內(nèi)部參數(shù)包括vr鏡頭的焦距f、單位像素的尺寸大小以及畸變參數(shù)。vr鏡頭的內(nèi)部參數(shù)可通過現(xiàn)有的標(biāo)定方法進行標(biāo)定,此處不贅述。本步驟中標(biāo)記vr鏡頭的內(nèi)部參數(shù)對應(yīng)的矩陣為k。
以下部分以參考物所在平面與第一參考圖像所在的第一像平面為例,對投影映射關(guān)系的建立過程進行詳細(xì)闡述。
因vr鏡頭成像是一種透視投影,3d實景中的一條射線會投影成圖像上的一個點,因此可將3d的實景視為一個平面。從指定角度拍攝實景中的一平面時,根據(jù)相機原理,存在一個矩陣h1使得下式成立:
其中,
將實景中的物點視為在一個平面上,即z=0平面上。得到第一參考圖像的外部參數(shù)以及vr鏡頭的內(nèi)部參數(shù)后,得到:
其中,k是vr鏡頭的內(nèi)部參數(shù)對應(yīng)的矩陣,r是第一參考圖像對應(yīng)的旋轉(zhuǎn)矩陣,t是第一參考圖像對應(yīng)的平移矩陣。
根據(jù)公式1以及公式2,得h1=k[rt],該矩陣h1即為參考物所在平面與第一像平面的平面單應(yīng)性矩陣。同理,可得參考物所在平面與第二參考圖像所在的第二像平面的平面單應(yīng)性矩陣h2。
針對步驟304,在本步驟中,假設(shè)通過對第一參考圖像施加某種變化,使得第一參考圖像和第二參考圖像相同。于是可得如下的公式:
其中,
結(jié)合公式3-2,可得:
對公式4-2變形后,得:
公式4-2以及公式4-3即為第一像平面以及第二像平面的投影映射關(guān)系。
針對步驟305,以第一像平面以及第二像平面的投影映射關(guān)系,作為vr鏡頭處與人眼處的成像映射關(guān)系,如公式4-2以及公式4-3所示。
針對步驟306,響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭拍攝的圖像。
針對步驟307,根據(jù)步驟304中確定的
針對步驟308、響應(yīng)于用戶切換vr場景的操作,向用戶展示相應(yīng)的vr場景。
本實施例中,通過預(yù)先根據(jù)vr眼鏡正常佩戴時所拍攝的參考圖像以及vr眼鏡在人眼處所拍攝的參考圖像,建立vr眼鏡在vr眼鏡與人眼處成像的映射關(guān)系,奠定了后續(xù)的切換實景的基礎(chǔ),以使得用戶在佩戴vr眼鏡的情況下觀測實際環(huán)境時,實現(xiàn)與裸眼相同的視覺效果,進一步提升用戶體驗。
圖4a是本申請實施例提供的一種基于vr鏡頭的實景切換裝置的結(jié)構(gòu)示意圖,如圖4a所示,該裝置包括:
拍攝模塊401,用于響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像;
轉(zhuǎn)換模塊402,用于基于所述vr鏡頭處與人眼處的成像映射關(guān)系,將所述vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像。
進一步可選地,如圖4b所示,所述裝置還包括vr展示模塊403,所述vr展示模塊用于:響應(yīng)于所述用戶切換vr場景的操作,向所述用戶展示相應(yīng)的vr場景。
進一步可選地,所述投影映射關(guān)系包括:所述vr鏡頭在所述vr鏡頭處所成像的第一像平面與所述vr鏡頭在所述人眼處所成像的第二像平面的平面單應(yīng)性矩陣;基于所述vr鏡頭處與人眼處的成像映射關(guān)系,將所述vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像,包括:根據(jù)所述平面單應(yīng)性矩陣,對所述圖像中每個像素點進行投影變換,得到所述與所述用戶的裸眼觀測效果相同的圖像。
進一步可選地,如圖4c所示,所述裝置還包括映射關(guān)系建立模塊404,所述映射關(guān)系建立模塊404用于:利用所述vr鏡頭在所述vr鏡頭處拍攝實景中的參考物,以獲得第一參考圖像;利用所述vr鏡頭在所述人眼處拍攝所述參考物,以獲得第二參考圖像;分別確定所述參考物所在平面與所述第一像平面和所述第二像平面的投影映射關(guān)系;根據(jù)所述參考物所在平面與所述第一像平面和所述第二像平面的投影映射關(guān)系,確定所述第一像平面以及所述第二像平面的投影映射關(guān)系;以所述第一像平面以及所述第二像平面的投影映射關(guān)系,作為所述vr鏡頭處與人眼處的成像映射關(guān)系。。
進一步可選地,所述映射關(guān)系建立模塊405用于:根據(jù)所述第一參考圖像的外部參數(shù)、所述vr鏡頭的內(nèi)部參數(shù),基于相機模型,確定所述參考物所在平面與所述第一像平面的投影映射關(guān)系;所述映射關(guān)系建立模塊405用于:根據(jù)所述第二參考圖像的外部參數(shù)、所述vr鏡頭的內(nèi)部參數(shù),基于所述相機模型,確定所述參考物所在平面與所述第二像平面的投影映射關(guān)系。
本實施例中,響應(yīng)于用戶切換實景的操作,捕獲vr鏡頭所拍攝的圖像,并基于vr鏡頭處與人眼處的成像映射關(guān)系,將vr鏡頭所拍攝的圖像轉(zhuǎn)換為與所述用戶的裸眼觀測效果相同的圖像。從而,用戶可以在佩戴vr眼鏡時,便捷地進行虛實場景的切換;與此同時,切換至實景之后,用戶通過vr眼鏡觀測到的圖像與裸眼觀測效果相同,使得vr眼鏡更加人性化。
以上所描述的裝置實施例僅僅是示意性的,其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)單元上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下,即可以理解并實施。
通過以上的實施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當(dāng)然也可以通過硬件?;谶@樣的理解,上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中,如rom/ram、磁碟、光盤等,包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機,服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。
最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述實施例對本發(fā)明進行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改,或者對其中部分技術(shù)特征進行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。