專利名稱：一種基于雙目圖像和對象輪廓的虛實遮擋處理方法
一種基于雙目圖像和對象輪廓的虛實遮擋處理方法技術領域
本發(fā)明屬于增強現實領域和圖像處理領域，是解決增強現實場中虛實遮擋問題的一種基于交互式對象分割的虛實遮擋處理方法。
背景技術：
增強現實又稱為增強型虛擬現實，是虛擬現實的進一步拓展，它具有虛實結合、實時交互、三維注冊的特點。在增強現實場景中，將虛擬對象三維注冊到原場景中時，可能其放置的三維方位會與原場景中某些真實對象產生遮擋關系。為了實現虛實融合，必須要解決虛實對象之間的遮擋問題，以保證增強現實場景的真實感和可信性。在增強現實中，實現虛實遮擋處理的關鍵問題就是如何確定虛實對象之間的前后遮擋關系和遮擋區(qū)域。因此， 一方面，需要獲取真實對象在當前視線下的幾何形狀信息和真實對象間的前后位置關系； 另一方面，需要獲取虛擬對象在當前視線下的幾何形狀信息和空間位置信息，從而確定虛實對象之間的前后遮擋關系和遮擋區(qū)域，實現虛實遮擋處理。
目前，增強現實中的虛實遮擋處理方法的一般思路是通過某種手段或設備獲得場景的幾何信息和深度信息，從而完成虛實遮擋處理。這些方法可能需要特殊設備，一般都是通過立體視覺的方法計算真實對象每個像素點的深度信息，在三維空間逐像素比較判斷虛實對象之間的前后遮擋關系從而處理遮擋。這種像素級別的遮擋處理方法不僅計算量大， 且遮擋處理的邊界效果不佳，有時候對場景和攝像機放置要求高，很難在增強現實場景中推廣應用。
實際上，對于大部分的虛實遮擋處理情況，不需要獲得真實對象每個像素點的深度信息，而只需要獲得虛實對象間的前后遮擋關系和在當前場景中的準確區(qū)域輪廓，就能達到虛實遮擋處理的目的。同時，遮擋效果最終體現還是在二維圖像空間，可見遮擋區(qū)域的計算也可以在二維圖像空間實現，不需要轉換到三維空間判斷遮擋。
在計算機圖像理解中，將廣義圖像的一些部分聚集成單元，這些單元對某一種或某幾種特性是均一的，這就形成了分割圖像。分割圖像包含了初步的域相關解釋，是圖像處理與計算機視覺的基本問題之一。在這個描述級別上，物體的內在域相關模型開始影響廣義圖像結構的聚集，使得劃分的單元相對于該應用領域是有意義的。
早在50年代，計算機圖像理解的研究中就出現了圖像分割的概念，從那時開始， 圖像分割一直是計算機圖像理解中一個十分活躍的研究領域。從分割操作策略上講，可以分為基于區(qū)域生成的分割方法，基于邊界檢測的分割方法和區(qū)域生成與邊界檢測的混合方法。在圖像分割研究之初，圖像分割方法都是基于底層特征和機器學習方法，沒有硬性的前景和背景約束，只能提取出對象在圖像中的位置或粗略輪廓，不能達到將對象準確從原圖像中提取出來的目的。近年來，基于圖論的交互式圖像分割和對象提取方法逐漸成為國際上圖像分割領域的一個新的研究熱點。該類分割方法能夠準確計算出圖像中感興趣對象的準確區(qū)域輪廓，應用到虛實遮擋處理方法中，能夠提高虛實遮擋處理效果。
因此，本發(fā)明針對以上問題，將圖像分割技術中的前景背景分割方法引入到基于雙目圖像和對象輪廓的虛實遮擋處理方法中，用于確定真實對象在當前視角下的區(qū)域輪廓作為真實對象的幾何形狀信息，提高虛實遮擋處理的效果；在確定虛實對象前后遮擋關系時，不需要計算出真實對象每個像素的準確深度信息，只需要根據視差與深度的對應關系確定出虛實對象的相對深度信息，在二維圖像空間完成對象級別的虛實遮擋處理，從而降低深度判斷過程的復雜度，提高整個遮擋處理算法的運算速度。發(fā)明內容
針對現有增強現實中遮擋處理方法的不足，本發(fā)明的目的在于提供一種基于雙目圖像和對象輪廓的虛實遮擋處理方法，為用戶提供動態(tài)調整虛實對象遮擋關系和遮擋效果的接口，從而使用戶協同工作，實現滿足用戶要求的虛實遮擋處理效果。
為完成發(fā)明的目的，本發(fā)明采用的技術方案是
在當前視角下采集原場景的一幀視頻圖像；由用戶標記感興趣的真實對象，采集真實對象和背景的樣本信息；利用最大流-最小割圖像分割方法確定真實對象在該視角下的準確區(qū)域輪廓，動態(tài)調整對象提取方法的參數，找到真實對象最佳的區(qū)域輪廓。
由于對象視差和對象深度存在反比關系，因此可以通過近似估算真實對象的視差來反映真實對象相對于攝像機的深度信息。具體估算視差如下根據對象提取過程得到的對象輪廓以及左右灰度圖像，分別計算左右圖像中對象的水平重心坐標，利用左右水平重心坐標之差近似作為對象的視差。
虛擬對象三維注冊采用增強現實場景中傳統(tǒng)的注冊方法，即利用人工標志物完成虛擬對象的三維注冊。首先，用戶在原場景中指定位置放置標志物，系統(tǒng)自動檢測標志物位置，確定世界坐標系，并將虛擬對象三維注冊到原場景中。用戶調整虛擬對象在增強現實場景中的三維坐標和自身比例，使之與真實對象處于預期遮擋狀態(tài)，并估算虛擬對象的視差 fn息ο
根據視差與深度的反比關系，利用已獲得的真實對象和虛擬對象的視差信息，確定虛實對象的相對深度信息大小。對象的深度信息是以對象重心坐標的深度信息來度量的，對象上所有的像素點都對應同一個深度值，對象的深度值越大其層次值越大。將場景按到攝像機距離由近及遠劃分為真實對象、虛擬對象和背景等多個層次，從而獲得對象間的前后遮擋關系，即可進行虛實對象的遮擋判斷。不需要逐像素點計算真實對象的真實深度信息判斷虛實對象的遮擋關系，因此降低了虛實對象遮擋關系判斷的復雜程度，提高了虛實遮擋處理的速度，能夠實現大多數的虛實遮擋處理情況。
虛實遮擋處理是對象級別的遮擋處理，只在虛擬對象區(qū)域判斷虛實遮擋關系。根據虛實對象的相對深度信息和場景層次，虛實對象的遮擋關系是唯一確定的，不存在虛實對象交錯放置的情況，能夠反映大部分的遮擋情況。根據已知的場景層次和虛實對象在該視角下的區(qū)域輪廓，在繪制虛擬對象區(qū)域時，判斷像素點最小的場景層次是否為虛擬對象層次。如果屬于虛擬對象層即繪制虛擬對象；否則表明該區(qū)域屬于某個真實對象層次，不繪制虛擬對象。不論是虛實遮擋還是實虛遮擋，遮擋處理的時間復雜度只與虛擬對象在當前視角下的所在區(qū)域大小有關，能夠快速完成對象級別的虛實遮擋處理，進一步提高整個系統(tǒng)的速度。


圖1本發(fā)明的系統(tǒng)結構圖2本發(fā)明的真實對象提取模塊設計流程圖3本發(fā)明的視差和遮擋關系示意圖4本發(fā)明的相對深度信息估計模塊流程圖5本發(fā)明的動態(tài)虛擬對象注冊流程圖6本發(fā)明的整體系統(tǒng)流程圖。
具體實施方式
參閱圖1虛實遮擋處理的系統(tǒng)結構圖，基于雙目圖像和對象輪廓的虛實遮擋處理方法可分為真實對象提取、相對深度信息估計、虛擬對象注冊和虛實遮擋處理四個子功能模塊。如前所述，真實對象提取模塊主要負責在當前視角下的視頻圖像中確定真實對象的準確區(qū)域輪廓信息；相對信息估計模塊的主要功能是估算在當前視角下的對象間的相對深度信息，劃分場景層次；虛擬對象三維注冊的功能即確定攝像機的內參數和方位參數，將虛擬對象的三維幾何模型注冊到真實環(huán)境的視頻圖像；虛實遮擋處理工具則是利用前三個模塊的結果快速在二維圖像空間完成對象級別的遮擋處理。下面分別介紹各模塊的設計與實現細節(jié)。
對于圖像對象提取問題，交互式前景背景分割方法的思想是根據用戶輸入的前景和背景的采樣點信息，將圖像轉化為表征前景/背景分布情況的圖結構，定義能夠表示最佳分割的能量函數，將圖像二值分割問題轉化在圖結構上求最小割問題，通過求解能量函數最小化尋找最小割的最優(yōu)解。由于該類方法加入確定的前景背景信息作為分割的硬性約束條件，結合圖像本身存在的特征分布作為弱約束條件，并將分割問題轉化為最小割問題， 使之能夠在多項式時間內求解出很好的前景背景分割效果。
本發(fā)明采用基于圖結構的圖像分割方法。該方法通過用戶在圖像上明確標記出部分對象點和背景點，作為圖像分割的硬性約束條件，并以此為依據構建圖像相應的圖結構。 在構建圖過程中，將每個像素點看作圖的一個節(jié)點，并與其周圍的像素點構成四連通的鄰居系統(tǒng)，連接各鄰居的邊稱為鄰居邊，表示相鄰節(jié)點為相同類別(對象或背景)的可能性大小，其權值根據相鄰節(jié)點顏色值的相似程度計算得到，權值越大，相鄰兩點為相同類別的可能性越大；同時在所構建的圖中還存在兩個特殊的節(jié)點，被稱為源點和終點，分別代表前景和背景，每個像素點和兩終結點的連接邊稱為終結邊，表示像素點本身為對象或背景的可能性大小，其權值則根據采集到的前景和背景樣本計算前景和背景的顏色直方圖得到，權值越大則該點為相應類別的可能性越大，這樣構建的圖就能夠表示圖像中對象和背景的差異關系。
真實對象提取模塊要實現當前視角下的視頻圖像中確定真實對象的準確區(qū)域輪廓信息，該部分需要用戶交互獲取初始分割信息，包括用戶標記感興趣的真實對象、采集真實對象和背景的樣本信息、利用最大流-最小割圖像分割方法確定真實對象在該視角下的準確區(qū)域輪廓，以及動態(tài)調整對象提取方法的參數，找到真實對象最佳的區(qū)域輪廓。因此， 真實對象提取模塊完成的任務包括指定感興趣真實對象；采集真實對象和背景的樣本信息；利用最大流-最小割圖像分割方法計算真實對象的準確區(qū)域輪廓；提供接口供用戶調整區(qū)域輪廓結果。真實對象提取模塊設計流程如圖2所示。
在大多數的虛實遮擋處理方法中，前后遮擋關系是通過各種方法和技術手段逐像素估算各對象的深度信息來確定，這種方式雖然很精確，但是可能需要特定設備或技術，計算過程復雜。實際上，除了相互遮擋情況之外，對于大多數的虛實遮擋情況，真實對象整體的空間位置信息即可代表真實對象每一像素點的空間位置，并不需要準確計算真實對象所有像素點在真實場景中的深度信息。因此，本發(fā)明提供的基于雙目圖像和對象輪廓的虛實遮擋處理方法認為可采用間接方式來估算對象間的相對深度信息，分別估計虛實對象在當前視角下的前后相對位置關系，進而確定虛實對象間可能存在的空間遮擋關系，以降低深度信息估計的時間復雜度。由于視差為左右雙目觀察場景中某一對象時，呈現在左右圖像上時造成對象在水平方向上存在的位置差異，因此可知，對象距離攝像機的深度越小，其對應的雙目視差就越大。如圖3所示，真實世界坐標系下放置的兩個物體真實對象1和真實對象2，真實對象1的視差大于真實對象2的視差，因此真實對象1相對于真實對象2要距離攝像機更近。
相對深度信息估計模塊的主要功能是估算真實對像和虛擬對象在當前視角下的近似視差，從而確定對象間的相對深度信息，并按距離攝像機的距離大小劃分出場景層次。 相對深度信息估計模塊的設計流程圖如圖4所示。根據對象視差和對象深度的負相關關系，可以通過近似估算對象的視差來反映對象相對于攝像機的深度信息。具體估算視差如下輸入對象的左右雙目兩幅區(qū)域圖像，對于每幅圖像的所有像素點判斷該點是否為對象點。如果為對象點，則將該點對應的水平坐標值累加，最后將累加水平坐標值除以對象點總數，求得對象點水平坐標的平均值，近似作為對象的重心坐標。將左目圖像上對象的水平重心坐標與右目圖像上對象的水平重心坐標相減，這個重心坐標之差就是近似估算的對象在當前視角下的視差。
根據視差與深度的負相關關系，利用已獲得的真實對象和虛擬對象的視差信息， 確定所有虛實對象的相對深度信息大小，從而按照離攝像機距離由近及遠劃分為真實對象、虛擬對象和背景等多個層次，為虛實對象遮擋判斷提供依據。例如圖3中，虛擬對象的層次在真實對象1之后，在真實對象2之前。在左圖中，真實對象1遮擋了虛擬對象，虛擬對象遮擋了真實對象2 ；在右圖中，只有虛擬對象遮擋真實對象2。
虛擬對象三維注冊過程為通過攝像機標定實驗，計算并確定攝像機的內參數和方位參數，并且根據用戶視點在真實環(huán)境的位置和方向，以攝像機的內參數和方位參數分別確定三維注冊的投影矩陣和視景矩陣，從而利用矩陣計算虛擬對象在真實環(huán)境的映射位置，將虛擬對象的三維幾何模型注冊到真實環(huán)境的視頻圖像。
虛擬對象注冊采用增強現實場景中傳統(tǒng)的注冊方法，即利用人工標志物完成虛擬對象的三維注冊。首先，用戶在原場景中指定位置放置標志物，調用AR增強現實工具包中提供的相關函數，檢測人工標志物在當前場景中的位置。接著，在檢測到標志物后調用AR 增強現實工具包中的相關函數，以標志物坐標系為世界坐標系，計算攝像機的內外參數，確定世界坐標系與攝像機坐標系間的轉換矩陣，確定三維注冊的投影矩陣和視景矩陣，從而利用矩陣計算虛擬對象在真實環(huán)境的映射位置，將虛擬對象的三維幾何模型注冊到真實環(huán)境的視頻圖像中。同時，為滿足用戶對不同虛實遮擋效果的需求，在虛實三維注冊模塊中， 設置鍵盤交互接口，供用戶動態(tài)調整虛擬對象在當前場景中的位置和比例，保持虛擬對象在當前視角下的透視效果，達到預期的虛實遮擋效果，為虛實遮擋處理奠定基礎。動態(tài)虛擬對象注冊的流程圖如圖5所示。
交互式虛實遮擋處理方法的一大特點就是在二維圖像空間快速完成對象級別的遮擋處理，從而避免復雜的在真實的三維空間逐像素判斷遮擋關系繼而處理遮擋，提高整個遮擋處理的計算效率。在虛實遮擋處理階段，將虛擬對象的三維幾何模型注冊到真實環(huán)境的視頻圖像中。
具體的虛實遮擋判斷與處理過程設計如下根據已知的場景層次和虛實對象在該視角下所占有的區(qū)域輪廓，在繪制虛擬對象區(qū)域時，判斷像素點最小的場景層次，判斷每個像素點上的距離攝像機最近的層次是否為虛擬對象。如果屬于虛擬對象層，表明可能虛擬對象遮擋真實對象，應實施的遮擋處理措施即為直接在該像素點繪制虛擬對象；否則，表明虛擬對象在該像素點被某個真實對象遮擋，應實施的遮擋處理措施即為不繪制虛擬對象， 保持原有顏色值。對虛擬對象所占有的每個像素點都進行上述的遮擋判斷和處理，就能快速完成對象級別的虛實遮擋處理，最后將完成虛實遮擋處理的圖像輸出到OpenCV窗口呈現給用戶。
需要指出的是，上述虛實遮擋處理過程不論是虛實遮擋情況還是實虛遮擋情況都要判斷是否存在遮擋情況，因此所需的計算復雜度僅僅與虛擬對象在增強現實場景中的區(qū)域大小成正比關系。為滿足用戶對不同虛實遮擋效果的需求，在虛實遮擋環(huán)節(jié)還提供遮擋效果動態(tài)調整接口，用戶可調整虛擬對象在增強現實場景中的三維坐標和自身比例，使之與真實對象處于預期遮擋狀態(tài)，達到用戶要求的虛實遮擋處理效果?？偨Y各子模塊的分析設計，基于雙目圖像和對象輪廓的虛實遮擋處理方法的整體流程如圖6所示，保證用戶能夠動態(tài)調整虛實遮擋關系，快速獲得虛實遮擋處理效果。
以上所述僅為本發(fā)明技術構思下的一些基本說明，而依據本發(fā)明的技術方案所做的任何等效變換，均應屬于本發(fā)明的保護范圍。
權利要求
1.一種基于雙目圖像和對象輪廓的虛實遮擋處理方法，其特征在于包括以下步驟(1)利用交互式的前景背景二值分割方法，將當前視角下場景視頻圖像中感興趣的真實對象的輪廓信息提取出來；(2)根據視差和深度的負相關關系，估算各對象的視差信息，比較得到各對象的相對深度信息，按離攝像機遠近距離劃分場景對象的層次，從而獲得可能存在的對象之間前后遮擋關系；(3)根據交互式提取的對象區(qū)域輪廓信息和由視差估算的相對深度信息，在繪制虛擬對象時判斷是否存在遮擋和被遮擋，并進行相應虛實遮擋處理，最終生成滿足遮擋要求的增強現實場景。
2.如權利要求1所述的基于雙目圖像和對象輪廓的虛實遮擋處理方法，其特征在于 所述步驟(1)中將當前視角下場景視頻圖像中感興趣的真實對象的輪廓信息提取出來，是利用圖像分割技術中交互式的前景背景分割方法，在視頻圖像上確定真實對象在當前視角下的區(qū)域輪廓，作為真實對象的幾何形狀信息。
3.如權利要求1所述的基于雙目圖像和對象輪廓的虛實遮擋處理方法，其特征在于 步驟O)中所述的對象的相對深度采用以下步驟得到根據視差與深度的負相關關系，利用對象在左右雙目圖像中所占有的區(qū)域信息，求得對象在左右雙目圖像中的水平重心坐標，利用左右水平重心坐標之差近似作為整個對象在當前視角下的視差；根據估算出的虛實對象的視差，比較對象視差大小，從而獲得所有對象的相對深度信息；對象的深度信息是以對象重心坐標的深度信息來度量的，對象上所有的像素點都對應同一個深度值。
4.如權利要求1所述的基于雙目圖像和對象輪廓的虛實遮擋處理方法，其特征在于 步驟O)中所述的對象之間的前后遮擋關系采用以下步驟獲得根據各對象的深度信息確定場景的層次信息，深度值越大層次值越大，從而獲得虛實對象間蘊含的前后遮擋關系。
5.如權利要求1所述的基于雙目圖像和對象輪廓的虛實遮擋處理方法，其特征在于 步驟(3)中所述的虛實遮擋處理是對象級別的遮擋處理，只在虛擬對象區(qū)域判斷虛實遮擋關系。
全文摘要
本發(fā)明是一種基于雙目圖像和對象輪廓的虛實遮擋處理方法，包括通過交互式圖像分割算法準確計算出真實對象的區(qū)域輪廓，作為真實對象的幾何形狀信息；根據視差與深度的負相關關系，估算虛實對象在當前視角下的視差，確定當前場景中虛實對象的相對深度信息，劃分出場景層次。利用相對深度信息估計確定虛實對象間的前后遮擋關系，不需要逐像素計算深度信息；在二維圖像空間實現虛實遮擋處理，判斷虛實對象間是否存在遮擋并進行相應處理，能適用于大多數的遮擋情況，達到較好的虛實遮擋處理效果。本發(fā)明可廣泛應用到交互式數字娛樂、體育研究與訓練模擬、遠程教育與培訓等虛擬現實系統(tǒng)的空間遮擋處理中。
文檔編號G06T7/00GK102509343SQ201110294400
公開日2012年6月20日 申請日期2011年9月30日 優(yōu)先權日2011年9月30日
發(fā)明者李青, 趙東悅, 趙沁平, 陳小武 申請人:北京航空航天大學