基于深度信息的三維場景增強現(xiàn)實的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機圖像技術(shù)領(lǐng)域，尤其涉及一種基于深度信息的三維場景增強現(xiàn) 實的方法及系統(tǒng)。
【背景技術(shù)】
[0002] 增強現(xiàn)實是指將計算機生成虛擬物體、場景或者系統(tǒng)提示信息與真實場景進行疊 加，實現(xiàn)對現(xiàn)實的"增強"。增強現(xiàn)實借助計算機圖形技術(shù)和可視化技術(shù)生成現(xiàn)實環(huán)境中不 存在的虛擬對象，并通過圖像識別定位技術(shù)將虛擬對象準確"放置"在真實環(huán)境中，借助顯 示設(shè)備將虛擬對象與真實環(huán)境融為一體，并呈現(xiàn)給使用者一個真實的視覺感受。增強現(xiàn)實 技術(shù)利用標識物建立虛擬三維空間，標識物在虛擬空間與現(xiàn)實空間之間起到連接的作用。 根據(jù)標識物類別目前分為有標識增強現(xiàn)實技術(shù)和無標識增強現(xiàn)實技術(shù)兩類。增強現(xiàn)實能夠 將虛擬場景與真實場景進行相互的融合，其強大的視覺沖擊力正在獲得廣泛的關(guān)注。隨著 3D技術(shù)的突飛猛進，雙目立體攝像機可以間接獲得三維場景的深度信息，自由立體顯示技 術(shù)則無需用戶佩戴任何的輔助設(shè)備，裸眼即可感知立體效果。
[0003] 立體相機是指記錄立體圖像的數(shù)碼相機，由兩套相同規(guī)格的數(shù)碼相機組成，兩數(shù) 碼相機的調(diào)焦、變焦、感光等參數(shù)由一套控制電路實施控制。虛擬多視點是指將三維場景表 達為"視頻+深度"的數(shù)據(jù)格式，利用虛擬視點生成技術(shù)渲染出多個虛擬視點位置的圖像， 可為自由立體顯示器提供同一場景的多視點圖像和視頻。
[0004] 現(xiàn)有的二維虛擬現(xiàn)實系統(tǒng)，為了使虛擬空間具有同樣的透視關(guān)系以及正確的遮擋 關(guān)系，實現(xiàn)虛實空間的融合，需要從靜態(tài)景物如道路、階梯、障礙物等，動態(tài)景物如行人、車 輛等提出約束條件，計算量較大，并且不夠準確，同時攝像機視角與虛擬場景的視角的準確 匹配需要對攝像機進行實時校準，因此其應(yīng)用范圍受限。

【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種基于深度信息的三維場景增強現(xiàn)實的方 法及系統(tǒng)，能夠有效的減低計算的復(fù)雜度，使得場景融合更加的真實，效果增強，應(yīng)用范圍 廣泛。
[0006] 第一方面，本發(fā)明提供了一種基于深度信息的三維場景增強現(xiàn)實的方法，包括：
[0007] 攝像機采集當前現(xiàn)實場景，并將所述當前現(xiàn)實場景發(fā)送給中央服務(wù)器；
[0008] 所述中央服務(wù)器根據(jù)預(yù)設(shè)的虛擬場景和所述當前現(xiàn)實場景，確定融合的混合場 景；
[0009] 所述中央服務(wù)器將所述融合的混合場景發(fā)送給顯示器，以使所述顯示器顯示所述 融合的混合場景。
[0010] 進一步地，在所述攝像機采集當前現(xiàn)實場景步驟之前，還包括：
[0011] 所述中央服務(wù)器獲取所述預(yù)設(shè)的虛擬場景的俯仰角，并將所述預(yù)設(shè)的虛擬場景的 俯仰角發(fā)送給所述攝像機；
[0012] 所述攝像機根據(jù)所述預(yù)設(shè)的虛擬場景的俯仰角采集所述當前現(xiàn)實場景。
[0013] 進一步地，所述中央服務(wù)器獲取所述預(yù)設(shè)的虛擬場景的俯仰角，包括：
[0014] 所述中央服務(wù)器根據(jù)所述預(yù)設(shè)的虛擬場景的深度圖的消失線斜率，采用第一公 式，確定所述虛擬場景的俯仰角；
[0015] 所述預(yù)設(shè)的虛擬場景包括圖像信息和深度信息；
[0016] 其中，所述第一公式為：
[0017] k=cos0
[0018] k為消失線斜率，0為虛擬場景的俯仰角。
[0019] 進一步地，所述中央服務(wù)器根據(jù)預(yù)設(shè)的虛擬場景和所述當前現(xiàn)實場景，確定融合 的混合場景，包括：
[0020] 所述中央服務(wù)器獲取所述當前現(xiàn)實場景中的前景與背景相交點的深度變化率和 所述虛擬場景中的背景與所述當前現(xiàn)實場景中的前景相交點的深度變化率；
[0021] 若所述當前現(xiàn)實場景中的前景與背景相交點的深度變化率與所述虛擬場景中的 背景與所述當前現(xiàn)實場景中的前景相交點的深度變化率相同時，則所述中央服務(wù)器獲取所 述預(yù)設(shè)的虛擬場景的深度和所述當前現(xiàn)實場景的深度；
[0022] 若所述預(yù)設(shè)的虛擬場景的深度與所述當前現(xiàn)實場景的深度相交等于零，則所述預(yù) 設(shè)的虛擬場景遮擋所述當前現(xiàn)實場景或者所述當前現(xiàn)實場景遮擋所述預(yù)設(shè)的虛擬場景，進 而確定融合的混合場景。
[0023] 進一步地，所述中央服務(wù)器根據(jù)預(yù)設(shè)的虛擬場景和所述當前現(xiàn)實場景，確定融合 的混合場景，包括：
[0024] 若所述預(yù)設(shè)的虛擬場景的深度與所述當前現(xiàn)實場景的深度相交不等于零，則所述 預(yù)設(shè)的虛擬場景與所述當前現(xiàn)實場景具有重疊；
[0025] 所述中央服務(wù)器將所述預(yù)設(shè)的虛擬場景與所述當前現(xiàn)實場景具有重疊部分移除， 則進而確定融合的混合場景。
[0026] 進一步地，所述方法還包括：
[0027] 若所述當前現(xiàn)實場景中的前景與背景相交點的深度變化率與所述虛擬場景中的 背景與所述當前現(xiàn)實場景中的前景相交點的深度變化率不相同時，則調(diào)整所述預(yù)設(shè)的現(xiàn)實 場景的俯仰角。
[0028] 所述攝像機根據(jù)所述調(diào)整預(yù)設(shè)的虛擬場景的俯仰角采集所述當前現(xiàn)實場景，使得 當前現(xiàn)實場景中的前景與背景相交點的深度變化率與所述虛擬場景中的背景與所述當前 現(xiàn)實場景中的前景相交點的深度變化率相同。
[0029] 進一步地，所述方法還包括：
[0030] 若所述預(yù)設(shè)的當前現(xiàn)實場景中的前景與背景相交點的深度變化率與所述虛擬場 景中的背景與所述當前現(xiàn)實場景中的前景相交點的深度變化率不相同時，則調(diào)整所述當前 現(xiàn)實場景的尺寸，以使當前現(xiàn)實場景中的前景與背景相交點的深度變化率與所述虛擬場景 中的背景與所述當前現(xiàn)實場景中的前景相交點的深度變化率不相同。
[0031] 進一步地，所述中央服務(wù)器將所述融合的混合場景發(fā)送給顯示器，包括：
[0032] 所述中央服務(wù)器根據(jù)所述融合的混合場景，確定多視點的圖像序列；
[0033] 所述中央服務(wù)器將所述多視點的圖像序列發(fā)送給所述顯示器。
[0034] 第二方面，本發(fā)明提供一種基于深度信息的三維場景增強現(xiàn)實的系統(tǒng)，所述系統(tǒng) 包括攝像機，中央服務(wù)器和顯示器；
[0035] 所述攝像機與所述中央服務(wù)器通信連接；
[0036] 所述中央服務(wù)器與所述顯示器通信連接。
[0037] 由上述技術(shù)方案可知，通過本發(fā)明提供的基于深度信息的三維場景增強現(xiàn)實的方 法及系統(tǒng)，其中，方法包括：攝像機采集當前現(xiàn)實場景，并將所述當前現(xiàn)實場景發(fā)送給中央 服務(wù)器；所述中央服務(wù)器根據(jù)預(yù)設(shè)的虛擬場景和所述當前現(xiàn)實場景，確定融合的混合場景； 所述中央服務(wù)器將所述融合的混合場景發(fā)送給顯示器，以使所述顯示器顯示所述融合的混 合場景。通過本發(fā)明提供的基于深度信息的三維場景增強現(xiàn)實的方法及系統(tǒng)，能夠有效的 減低計算的復(fù)雜度，使得場景融合更加的真實，效果增強，應(yīng)用范圍廣泛。
【附圖說明】
[0038] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面對實施例或現(xiàn)有 技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā) 明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根 據(jù)這些附圖獲得其他的附圖。
[0039] 圖1為本發(fā)明實施例提供的一種基于深度信息的三維場景增強現(xiàn)實的方法流程 示意圖；
[0040] 圖2為本發(fā)明實施例提供的另一種基于深度信息的三維場景增強現(xiàn)實的方法流 程不意圖；
[0041] 圖3為本發(fā)明實施例提供的一種基于深度信息的三維場景增強現(xiàn)實的方法中當 前現(xiàn)實場景攝像效果示意圖；
[0042] 圖4為本發(fā)明實施例提供的一種基于深度信息的三維場景增強現(xiàn)實的方法中遮 擋與重疊關(guān)系的效果示意圖；
[0043] 圖5為本發(fā)明實施例提供的一種基于深度信息的三維場景增強現(xiàn)實的系統(tǒng)結(jié)構(gòu) 示意圖。
【具體實施方式】
[0044] 為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例 中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整的描述，顯然，所描述的實施例僅 僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明的實施例，本領(lǐng)域普通技術(shù)人 員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他的實施例，都屬于本發(fā)明保護的范圍。
[0045] 圖1為本發(fā)明實施例提供的一種基于深度信息的三維場景增強現(xiàn)實的方法流程 示意圖，如圖1所示，本實施例的基于深度信息的三維場景增強現(xiàn)實的方法如下所述。
[0046]101、攝像機采集當前現(xiàn)實場景，并將所述當前現(xiàn)實場景發(fā)送給中央服務(wù)器。
[0047] 應(yīng)理解的是，攝像機采集當前現(xiàn)實場景，同時將采集到的當前現(xiàn)實場景發(fā)送給中 央服務(wù)器。
[0048] 這里的攝像機采用的是立體攝像機。立體攝像機為：攝像機可以為兩個視點的立 體相機，拍攝到的為兩個視點圖，深度圖像由兩個視點圖進行匹配計算獲到。攝像機的圖 像傳感器（Charge Coupled Device，簡稱CCD)分辨率一般大于1920*1080。用普通攝像機 和深度攝像機進行攝像也可以實現(xiàn)圖像的采集。
[0049] 102、所述中央服務(wù)器根據(jù)預(yù)設(shè)的虛擬場景和所述當前現(xiàn)實場景，確定融合的混合 場景。
[0050] 應(yīng)理解的是，中央服務(wù)器接收攝像機發(fā)送的當前現(xiàn)實場景，同時根據(jù)中央服務(wù)器 中預(yù)設(shè)的虛擬場景，進行增強現(xiàn)實，從而確定融合的混合場景。
[0051] 103、所述中央服務(wù)器將所述融合的混合場景發(fā)送給顯示器，以使所述顯示器顯示 所述融合的混合場景。
[0052] 應(yīng)理解的是，中央服務(wù)器將確定的融合的混合場景發(fā)送給顯示器，顯示器接收中 央服務(wù)器發(fā)送的融合的混合場景，并顯示融合的混合場景。
[0053] 通過本實施例提供的基于深度信息的三維場景增強現(xiàn)實的方法，能夠有效的減低 計算的復(fù)雜度，使得場景融合更加的真實，效果增強，應(yīng)用范圍廣泛。
[0054] 圖2為本發(fā)明實施例提供的另一種基于深度信息的三維場景增強現(xiàn)實的方法流 程示意圖，圖3為本發(fā)明實施例提供的一種基于深度信息的三維場景增強現(xiàn)實的方法中當 前現(xiàn)實場景攝像效果示意圖，圖4為本發(fā)明實施例提供的一種基于深度信息的三維場景增 強現(xiàn)實的方法中遮擋與重疊關(guān)系的效果示意圖，如圖2至4所示，本實施例的基