基于多視角自適應特征配準的三維重建方法
【專利摘要】本發(fā)明公開一種基于多視角自適應特征配準的三維重建方法，包含由包含以下步驟：A.選中每幅二維圖像的種子點；B.采用區(qū)域生長法對二維圖像進行圖像分割，得到每幅圖像每個圖形的邊界點集合；C.結合分割圖像的邊界點集合和極線幾何約束理論，自適應的對角度鄰近的兩幅圖像進行立體配準；D.根據邊界點的視差圖像，進行三維重建。本發(fā)明充分利用了圖像分割的區(qū)域生長方法、極線幾何約束理論，有效解決了特征點選取、立體配準的需求，適用于三維重建系統的實施。
【專利說明】基于多視角自適應特征配準的三維重建方法
【技術領域】
[0001]本發(fā)明涉及一種計算機圖像處理的方法，具體是通過對像素的處理以獲取三維圖像數據的方法。
【背景技術】
[0002]由多角度的視察圖像進行三維重建，關鍵是確定場景中同一物點在不同圖像中的對應關系，解決該問題的方法之一是選擇合適的圖像特征并進行匹配。特征是像素或像素集合或它們的抽象表達，常用的匹配特征主要有點特征、線狀特征和區(qū)域特征等。一般來講，大尺度特征含有較豐富的信息，本身數據較少，易于得到快速匹配，但對它們的提取和描述相對復雜，定位精度也差；而小尺度特征本身的定位精高，表達描述簡單，但數目眾多，所含信息量卻較少，因而在匹配時需要采用較強的約束準則和匹配策略。因此合理的選擇匹配特征對立體匹配工作有十分重要的意義，應綜合考慮各種因素，根據不同的景物特點和應用要求選擇。一般的，對于包含有大量非規(guī)則形狀和高度突變的場景，比較適合提取點狀特征，因為提取險段、區(qū)域等特征既困難又會引入誤差；對于具有規(guī)則結構的場景，若線段和區(qū)域特征的提取和描述比較容易且誤差較少，應提取線段特征以實現快速匹配。

【發(fā)明內容】

[0003]本發(fā)明主要是針對現有對ニ維圖像進行三維重建的方法中存在運算量大、魯棒性不強等缺陷，提出一種基于多視角圖像區(qū)域生長的自適應特征配準的三維重建方法，它是一個將成組的像素或區(qū)域發(fā)展成更大區(qū)域的過程，這些點的區(qū)域增長是通過將與每個種子點具有相似屬性如強度、灰度、紋理顏色等的相鄰像素合并到給定區(qū)域，因此它是ー個不斷迭代的過程，其通常能將具有相同特征的連通區(qū)域分割出來，提供很好的邊界信息和分割結果，并且簡單易實現。本方法主要通過在多視角的ニ維圖像基礎上，采用圖像區(qū)域生長的方式得到特征點，然后進行自適應特征配準，最后得到視差圖像，進行三維重建。
[0004]本發(fā)明所采用的技術方案為:
包括如下步驟:
A.選中每幅ニ維圖像的種子點；
B.采用區(qū)域生長法對ニ維圖像進行圖像分割，得到每幅圖像每個圖形的邊界點集合；
C.結合分割圖像的邊界點集合和極線幾何約束理論，自適應的對角度鄰近的兩幅圖像進行立體配準；
D.根據邊界點的視差圖像，進行三維重建。
[0005]所述選中每幅ニ維圖像種子點步驟，由用戶采用人工的方式選定各個區(qū)域的種子點，以備后續(xù)的圖像分割使用。這樣的方法避免了選擇輪廓或者選擇特征點的過多的人為方式。區(qū)域生長法的人工選擇種子點，可以在一大片相同屬性的像素中選擇ー個就可以，大大降低了人為參與的干擾度。
[0006]所述的采用區(qū)域生長法對ニ維圖像進行圖像分割，得到每幅圖像每個圖形的邊界點集合的步驟，是先將ニ維彩色圖像轉換到HIS空間上，在HIS空間中，亮度分量I類似與彩色圖像灰度化后的值，對人眼的感知最接近于原先的彩色圖像，然后通過I分量，計算種子點相鄰八個像素的差值；如果都小于閾值T，說明該點仍然是區(qū)域內的點，反之，說明該點已經處于某個方向上的邊界點。對小于閾值T的相鄰點，將其壓入堆棧，作為新的種子點；通過上述方法的反復迭代，最終得到區(qū)域的邊界點集合。
[0007]所述結合分割圖像的邊界點集合和極線幾何約束理論，自適應的對角度鄰近的兩幅圖像進行立體配準的步驟，根據前ー步驟得到的邊界點集合，運用極線幾何約束理論，對角度相鄰的兩幅圖像進行自適應立體配準。
[0008]所述極線幾何約束理論，即當給定一點P，它的匹配點一定出現在它所對應的極線上，由此，可以將我們的搜索空間壓縮到ー維的直線，即極線上。求得極線后，對圖像上沿極線方向上的像素點匹配，能很方便的找出該點在對應圖像上的匹配點。
[0009]所述自適應立體配準，即由極線幾何約束理論得到的極線，必然與區(qū)域產生交點，結合圖像的拍攝角度，系統可以的自適應的求出對應的交點即為需要配準的特征點。
[0010]所述根據邊界點的視差圖像，進行三維重建步驟，當通過立體匹配得到邊界點視差圖像后，就可以確定深度圖像并恢復邊界點場景3D信息了，因為前述運用區(qū)域生長的分割方法，區(qū)域內的圖像I分量比較類似，采用種子點的像素色彩對區(qū)域內的三維表面進行插值重建。
[0011]本發(fā)明采用以上技術方案的有益效果是:
(1)通過區(qū)域生長法得到區(qū)域的邊界點集合，從而作為圖像配準的特征點，極大的避免了人為選擇特征的隨意性和誤差；
(2)結合區(qū)域邊界點集合作為特征點、極線幾何約束理論以及相鄰圖像的角度關系，快速、高效的得到配準點。
[0012]本發(fā)明充分利用了圖像分割的區(qū)域生長方法、極線幾何約束理論，有效解決了特征點選取、立體配準的需求，適用于三維重建系統的實施。
【專利附圖】

【附圖說明】
[0013]圖1為本實施例的框架示意圖；
圖2為本實施例采用的圖像分割法涉及的函數方法示意圖；
圖3為本實施例采用的區(qū)域生長圖像分割法的示意圖；
圖4為本實施例運用極線幾何約束理論的立體配準示意圖。
【具體實施方式】
[0014]本發(fā)明提出的基于多視角自適應特征配準的三維重建方法，在本部門結合具體實施例及附圖詳細說明。
[0015]如圖1所示，本發(fā)明提出的方法，包括完整的五個步驟:
第一歩，人工選定圖像區(qū)域的種子點。通過人工選定的種子點的方式，既降低了自動計算的復雜度，又為后續(xù)的特征點選擇提供了很高的準確率；
第二步，對ニ維圖像進行圖像分割。采用區(qū)域生長法，基于選定的種子，逐步擴展，得到圖像區(qū)域； 第三歩，獲取圖像的區(qū)域邊界，作為圖像配準的特征點；
第四步，利用極線幾何約束理論進行立體配準，由于特征點都是在邊界上的，那么通過利用圖像分割區(qū)域的邊界和極線的交點，很容易得出配準點；
第五步，將得到的視差圖像進行三維重建。
[0016]人工選定圖像區(qū)域的種子點步驟，需要對所有的ニ維圖像進行種子點選擇，當然，為了簡單、準確、高效，我們采用從某ー視點開始的ニ維圖像開始，基于同一個旋轉方向，依次對對應的ニ維圖像進行種子點的選擇。
[0017]對ニ維圖像進行圖像分割步驟，主要是采用基于區(qū)域生長的方法來進行圖像分害I]，如圖2所示，基于區(qū)域生長的方法包括以下幾個部分:
(1)主函數main，該函數是整個方法的總控函數，完全種子點數據的輸入，調用其它部分，采取多種判斷、循環(huán)操作，最終完成圖像區(qū)域的分割；
(2)設置堆棧stackl，用于存放擴充選入待判斷的像素點，同時進行相應的操作；
(3)設置堆棧stack2，用于存放滿足生成規(guī)則的像素點，并待進一步處理；
(4)排序函數arrange，用于對stackl中的數據進行排序。
[0018]如圖3所示，ニ維圖像具體分割方法由以下幾個步驟組成:
(1)輸入選定的種子點和區(qū)域生長準則T，生成ニ維矩陣Cut，對應著二位圖像的每個象素，初始值為255 ；
(2)基于種子點坐標，設定Cut矩陣中對應的標志值為0;
(3)將種子點周圍的8個點壓入堆棧stackl，并標記對應的Cut矩陣中的標志為125，對stackl進行排序；
(4)根據區(qū)域生長準則T，針對堆棧stackl，逐個判斷是否符合該區(qū)域生長準則；
(5)將堆棧stackl中滿足區(qū)域生長準則的點壓入堆棧stack2，并刪除stackl中對應的點，將指針sp2指向新壓入的第一個點；
(6)依次取出新壓入堆棧stack2中的點，將Cut矩陣中對應的標志值設為0，搜索與之相鄰的8個點；
(7)檢查與之相鄰的這8個點對應Cut矩陣中的標志值是否為255，如果為255說明該點還沒有處理過；
(8)將檢查出來的沒有處理過的點加入stackl，并標記對應Cut矩陣中的標志值為125。當(5)步提取出來的點都處理完以后，令sp2=0。
[0019]獲取每個圖像的邊界步驟，根據上ー步驟分割得到的圖像區(qū)域，得到該區(qū)域ニ維座標的最大最小值(XMIN，YMIN, XMAX, YMAX)。在(XMIN，YMIN)和(XMAX，YMAX)所規(guī)定的矩形內，逐行進行掃描，每個點與堆棧stack2中的點進行比較，如果在X軸上是本行內第一個或者最后ー個在堆棧stack2中存在的點，該點即為邊界點，壓入堆棧stack3。
[0020]應用極線幾何約束理論進行立體配準步驟(如圖4)，具體分為以下幾個實施步驟:
(1)選定一幅ニ維圖作為起點匹配圖，并將其分割圖像區(qū)域的邊界點作為特征點，相鄰的一幅圖作為待配準的圖；
(2)求出特征點在待配準圖上的對應的極線；
(3)將(2)中求出的極線與待配準圖上的各個區(qū)域邊界進行比較，得到一系列的交點； (4)將(3)中得到的交點像素色彩與特征點的色彩進行比較，由于選擇種子點的時候，已經確定不同區(qū)域的色彩有明顯不同，因此色彩相近的點即為配準點。如果在同一個配準區(qū)域上有多個交點，根據兩幅圖像旋轉的角度，得出對應的點為配準點；
(5)重復步驟(2)，即可以求出兩幅相鄰的ニ維圖像所有的配準點；
(6 )按照相同的角度，對相鄰的圖像依次進行配準。
[0021]進行三維重建步驟，ー舉以上得到的視差圖像，對所有的特征點進行三維重建。因為我們前述運用區(qū)域生長的分割方法，區(qū)域內的圖像I分量比較類似，采用種子點的像素色彩對區(qū)域內的三維表面進行插值重建。最終完成這個模型從多角度ニ維圖像向三維的重建工作。
[0022]上述的【具體實施方式】只是示例性的，是為了更好的使本領域技術人員能夠理解本專利，不能理解為是對本專利包括范圍的限制；只要是根據本專利公開的技術方案所做出的技術內容實質相同或等同的任何的變更或修飾，均落入本專利包括的范圍。
【權利要求】
1.一種基于多視角自適應特征配準的三維重建方法，其特征在于:包含以下步驟: 選中每幅ニ維圖像的種子點； 采用區(qū)域生長法對ニ維圖像進行圖像分割，得到每幅圖像每個圖形的邊界點集合； 結合分割圖像的邊界點集合和極線幾何約束理論，自適應的對角度鄰近的兩幅圖像進行立體配準； 根據邊界點的視差圖像，進行三維重建。
2.如權利要求1所述的基于多視角自適應特征配準的三維重建方法，其特征在于:所述步驟A，由用戶采用人工的方式選定各個區(qū)域的種子點，以備后續(xù)的圖像分割使用。
3.如權利要求1所述的基于多視角自適應特征配準的三維重建方法，其特征在于:所述的步驟B，是先將ニ維彩色圖像轉換到HIS空間上，在HIS空間中，亮度分量I類似與彩色圖像灰度化后的值，對人眼的感知最接近于原先的彩色圖像，然后通過I分量，計算種子點相鄰八個像素的差值；如果都小于閾值T，說明該點仍然是區(qū)域內的點，反之，說明該點已經處于某個方向上的邊界點；對小于閾值T的相鄰點，將其壓入堆棧，作為新的種子點；通過上述方法的反復迭代，最終得到區(qū)域的邊界點集合。
4.如權利要求1所述的基于多視角自適應特征配準的三維重建方法，其特征在于:所述的步驟C，根據前ー步驟得到的邊界點集合，運用極線幾何約束理論，對角度相鄰的兩幅圖像進行自適應立體配準。
5.如權利要求4所述的基于多視角自適應特征配準的三維重建方法，其特征在于:所述極線幾何約束理論，即當給定一點P，它的匹配點一定出現在它所對應的極線上，由此，可以將我們的搜索空間壓縮到ー維的直線，即極線上；求得極線后，對圖像上沿極線方向上的像素點匹配，能很方便的找出該點在對應圖像上的匹配點。
6.如權利要求4所述的基于多視角自適應特征配準的三維重建方法，其特征在于:所述自適應立體配準，即由極線幾何約束理論得到的極線，必然與區(qū)域產生交點，結合圖像的拍攝角度，系統可以的自適應的求出對應的交點即為我們需要配準的特征點。
7.如權利要求1所述的基于多視角自適應特征配準的三維重建方法，其特征在于:所述的步驟D，通過立體匹配得到邊界點視差圖像，確定深度圖像并恢復邊界點場景3D信息。
【文檔編號】G06T17/00GK103514625SQ201210204510
【公開日】2014年1月15日 申請日期:2012年6月20日 優(yōu)先權日:2012年6月20日
【發(fā)明者】謝劍鋒, 周智明 申請人:上海路同信息科技有限公司