利用直射變換翹曲函數(shù)配準第一和第二圖像的至少一個部分的方法
【專利摘要】本發(fā)明涉及一種用于配準第一圖像的至少一個部分和第二圖像的至少一個部分的方法，包括如下步驟：提供真實環(huán)境的第一圖像（T）和關(guān)聯(lián)到第一圖像的坐標系，真實環(huán)境的第二圖像（I），以及拍攝第二圖像（I）時拍攝裝置（D）相對于真實環(huán)境的取向（R）和/或距離（d1，d2，…，dN）的測量值。然后從關(guān)聯(lián)到第二圖像（I）的至少一個部分的測量值確定直射變換翹曲函數(shù)（P）。該方法還包括如下步驟：通過應(yīng)用對應(yīng)的所確定直射變換翹曲函數(shù)（P）變換第二圖像（I）的至少一個部分，確定第二翹曲函數(shù)（A），其用于利用圖像配準方法配準第二圖像的變換（Ip）的至少一個部分與第一圖像（T）的至少一個部分，以及利用所述直射變換翹曲函數(shù)（P）和第二翹曲函數(shù)（A）配準第二圖像（I）的至少一個部分和第一圖像（T）的至少一個部分。
【專利說明】利用直射變換翹曲函數(shù)配準第一和第二圖像的至少一個部分的方法
[0001]本發(fā)明涉及一種利用直射變換翅曲函數(shù)(collineation warping function)配準第一和第二圖像的至少一個部分的方法。此外，本發(fā)明涉及一種包括用于實施該方法的軟件代碼段的計算機程序產(chǎn)品。
[0002]在諸如增強現(xiàn)實(AR)應(yīng)用的計算機視覺應(yīng)用中常常需要上述方法。例如，給定第一圖像T為模板圖像，計算機視覺領(lǐng)域中的很多應(yīng)用要求在空間上將第二圖像I，即當前攝像機圖像的至少一部分與模板圖像配準。范例包括全景拼合和攝像機姿態(tài)估計，例如對于視頻透視增強現(xiàn)實應(yīng)用。假設(shè)沒有任何透鏡畸變的完美針孔攝像機，從對應(yīng)于平面表面的模板任何部分到其在當前攝像機圖像中的對應(yīng)位置的變換由3D平移、隨后的3D旋轉(zhuǎn)、最后的圖像平面上的透視的投影構(gòu)成?？梢岳帽硎灸０逯?D點和攝像機圖像中2D對應(yīng)點之間的透視變換的直射變換W完整描述這種變換。
[0003]常常由可逆的(3X3)矩陣表示直射變換。取決于比例來定義矩陣，其具有八個自由度，可以寫作:
[0004]W=
[0005][plp2p3]
[0006][p4p5p6]
[0007][p7p81]
[0008]直射變換定義一對一和向上翅曲(onto warping)。直射變換翅曲函數(shù)如下將來自第一圖像的點X=[U, V]變換成第二圖像中的點X’ =[U’，V’ ]:
[0009]U，= (plu+p2v+p3) / (p7u+p8v+l)
[0010]V，= (p4u+p5v+p6) / (p7u+p8v+l)
[0011]這樣的翹曲保持了共線性、并發(fā)性、接觸度和交比(cross ratio)。每個翹曲點有兩次除法，使得翹曲在計算成本方面很昂貴。
[0012]在對應(yīng)矩陣的項p7和p8等于零時，直射變換翹曲被稱為仿射翹曲。因此直射變換能夠被表示為矩陣A=
[0013][plp2p3]
[0014][P4p5p6]
[0015][001]因此，仿射翹曲函數(shù)如下將來自第一圖像的點x=[u，v]變換成第二圖像中的點 X’ =[u’，V’ ]:
[0016]u’=plu+p2v+p3
[0017]V’ =p4u+p5v+p6
[0018]注意，在這種情況下，用于仿射翹曲運算的次數(shù)低于標準直射變換翹曲函數(shù)的運算次數(shù)。特別地，由于在仿射翹曲函數(shù)中沒有除法，所以在計算能力有限的裝置上要快得多。
[0019]此外，仿射翹曲保持了平行性和距離比等。
[0020]在采集第一和第二圖像，使得圖像平面平行于特定平面表面時，那么對應(yīng)于該平面表面的直射變換翹曲為仿射翹曲。
[0021]在現(xiàn)有技術(shù)中，本領(lǐng)域中公開了以下參考文獻:
[0022][I]C.Steger.0cclusion,clutter,and illumination invariant objectrecognition.1nt.Arc.Phot0.Remote Sensing,XXXIV，part3A:345-350，2002。
[0023][2]B.Lucas and T.Kanade.An iterative image registration technique withan application to stereo vision.1n Proceedings of the International JointConference on Artificial Intelligence, 1981。
[0024][3]Wonwoo Lee et al.Point-and-Shoot for Ubiquitous Tagging on MobilePhones.Proc.1nternational Symposium on Mixed and Augmented Reality 2010。
[0025][4]Myung Hwangboj Jun-Sik Kimj and Takeo Kanade.1nertial-Aided KLTFeature Tracking for a Moving Camera.The2009IEEE/RSJ International Conferenceon Intelligent Robots and Systems。
[0026][5]Loboj J.and Dias, J.Vision and Inertial Sensor Cooperation UsingGravity as a Vertical Reference.1EEE Transactions on Pattern AnalysisandMachine Intelligence.Volume:25Issue:12，pages1597—1608。
[0027][6]Simon Baker and Iain Matthews.Equivalence and Efficiency of ImageAlignment Algorithms.Proceedings of the2001IEEE Conference on Computer Visionand Pattern Recognition。
[0028][7] S.Hinterstoisserj V.Lepetitj S.Benhimanej P.Fuaj and N.Navab.LearningReal-Time Perspective Patch Rectification.1nternational Journal ofComputerVision,2010。
[0029]圖1中示出了找到上述變換的標準方法。
[0030]在第一步驟SI中，由攝像機拍攝或從源加載一個或多個模板或參考圖像(第一圖像)。然后，首先拍攝或加載當前圖像(第二圖像)(步驟S2)。在下一步驟S3中，進行實際估計。已經(jīng)發(fā)現(xiàn)，直射變換翹曲函數(shù)將當前圖像的至少一部分與模板圖像中的對應(yīng)位置配準。在各種技術(shù)中，可以在迭代求極小值過程中這樣做，其中將模板圖像中的第一組像素與當前攝像機圖像中的計算組像素比較，該攝像機圖像中的用于比較的計算組像素在每次迭代時變化，例如參見范例[2]。
[0031]從數(shù)學上講，用于將攝像機圖像的至少一部分與模板圖像的至少一部分配準的所有方法都進行八維非線性優(yōu)化。目標是找到翹曲參數(shù)的矢量，該矢量使得能夠獲得對應(yīng)于模板圖像的所有像素在模板和翹曲當前圖像之間相似性度量的極值。這通常是計算成本很高的任務(wù)。
[0032]最后，在步驟S4中，將找到的直射變換翹曲函數(shù)W用于應(yīng)用中。
[0033]標準方法存在如下限制:
[0034]找到配準當前圖像的至少一部分與模板圖像的直射變換翹曲函數(shù)所需的八維非線性優(yōu)化成本很高，使得依賴于它的應(yīng)用對處理能力有限的移動裝置特別有挑戰(zhàn)性。在迭代方式中，例如在Lucas-Kanade[2]中，必須要在每次迭代中計算當前圖像中像素的昂貴非線性翹曲，以便計算與模板的相似性。
[0035]除了計算復雜之外，在離線步驟中通過很多可能方式對模板進行變換的方法中，存儲器的消耗可能會極大。隨著預(yù)計算變換的次數(shù)的增加，存儲器的消耗會隨著自由度(DoF)的增加而增加(呈指數(shù)形式)。對于任意的剛性變換，有6個DoF(3D平移和3D旋轉(zhuǎn))。對于每個當前圖像，這樣的方法都試圖找到最接近當前一個的預(yù)計算變換，例如參見[1]，所需的大量預(yù)計算數(shù)據(jù)使得它們在諸如移動電話的存儲器受限裝置上不可行。
[0036]已經(jīng)提出了解決方案，其中弱透視投影通過縮放的正交投影(即線性變換)而近似地透視。盡管這種近似允許計算比非線性翹曲一般更快的線性翹曲，但如果在當前圖像中模板接近光軸但遠離攝像機，則它只能用于圖像配準。
[0037]仿射變換僅支持平移、共面旋轉(zhuǎn)和縮放。這也能實現(xiàn)快速的線性翹曲，但由于所有點所在的平面必須始終平行于圖像平面，所以應(yīng)用范圍非常有限。
[0038]例如，[3]中的作者使用移動拍攝裝置的由加速度計測量的取向來將他們使用的圖像校正為模板圖像。不過，在將當前攝像機圖像與模板圖像對準期間，它們根本不考慮裝置的取向。
[0039][4]中的作者使用附著于攝像機的陀螺儀從KLT跟蹤器中的當前圖像到下一當前圖像預(yù)測它們跟蹤的特征的位置和取向。這對于快速的攝像機移動來說尤其有用。
[0040][5]中的作者使用附著于立體攝像機的慣性傳感器來判斷哪些特征位于地平面上，哪些不是。它們還能夠檢測源自地平面(例如房間的角落)的垂直特征。
[0041]將慣性傳感器與上述計算機視覺的方法組合并非旨在配準攝像機圖像的至少一部分與模板圖像，而仿射變換和弱透視投影僅提供了對問題的近似。這些僅對非常具體的情況有效。
[0042]因此希望有一項技術(shù)，能夠針對任意攝像機的位置和取向，獲得用于配準當前攝像機圖像的至少一部分與模板圖像的至少一部分所需的直射變換翹曲函數(shù)，從而以更低的計算成本實現(xiàn)與標準方法相似的結(jié)果。
[0043]根據(jù)本發(fā)明的一方面，提供了一種用于配準第一和第二圖像的至少一個部分的方法，包括如下步驟:
[0044]a.提供真實環(huán)境的第一圖像和關(guān)聯(lián)到第一圖像的坐標系，
[0045]b.提供真實環(huán)境的第二圖像，
[0046]c.提供拍攝第二圖像時拍攝裝置相對于真實環(huán)境的取向和/或距離的測量值，
[0047]d.從關(guān)聯(lián)到第二圖像的至少一個部分的測量值確定直射變換翹曲函數(shù)，
[0048]e.通過應(yīng)用對應(yīng)的所確定直射變換翹曲函數(shù)變換第二圖像的至少一個部分，
[0049]f.確定第二翹曲函數(shù)，用于利用圖像配準方法配準第二圖像的變換的至少一個部分與第一圖像的至少一個部分，以及
[0050]g.利用所述直射變換翹曲函數(shù)和第二翹曲函數(shù)配準第二圖像的至少一個部分和第一圖像的至少一個部分。
[0051]因此，本發(fā)明提出通過包括拍攝裝置的實測取向，如上所述減小找到直射變換翹曲函數(shù)W的所需的復雜性，該函數(shù)用于在空間上配準拍攝的當前圖像與模板圖像。具體而言，可以將直射變換翹曲函數(shù)W分解成可以直接從實測取向計算的直射變換翹曲函數(shù)P和需要估計的仿射變換A。找到A比找到W更便宜且更穩(wěn)定，因為它需要估計更少的參數(shù)，如下文更詳細闡述的那樣。
[0052]根據(jù)實施例，由慣性傳感器、加速度計、陀螺儀、指南針、或機械、電磁、聲學或光學跟蹤系統(tǒng)中的至少一種提供取向的測量值。在本發(fā)明的上下文中，慣性傳感器例如可以利用如下任意組合連續(xù)提供傳感器信息，包括對象或裝置相對于環(huán)境的位置和/或取向:磁強計(例如指南針)、運動傳感器/旋轉(zhuǎn)傳感器(加速度計/陀螺儀)、重力傳感器和提供這種信息的其他傳感器。
[0053]根據(jù)另一實施例，由飛行時間攝像機、立體攝像機、無線電信號的三角測量、相位測量差異或使用基于結(jié)構(gòu)光的方法的裝置中的至少一種提供距離的測量值。提供距離信息的傳感器可以是使用基于結(jié)構(gòu)化光的方法的裝置，其中光是可見的或紅外的(例如，Microsoft的已知Kinect攝像機)。
[0054]根據(jù)實施例，取向的測量值包括基于重力矢量測量值計算的二維旋轉(zhuǎn)。第一圖像的至少一個部分對應(yīng)于相對于實測重力矢量處于已知取向的物理對象。所述直射變換翹曲函數(shù)然后可以與相對于實測重力矢量處在已知取向的虛像平面相關(guān)。
[0055]根據(jù)另一實施例，所述取向的測量值包括在拍攝裝置拍攝第二圖像時拍攝裝置相對于真實環(huán)境的三維旋轉(zhuǎn)。
[0056]例如，從取向和/或距離的取向測量值，計算拍攝裝置相對于與第一圖像相關(guān)聯(lián)的坐標系的取向并用于在步驟d)中確定直射變換翹曲函數(shù)。所述直射變換翹曲函數(shù)可以與對準到坐標系的虛像平面相關(guān)。
[0057]根據(jù)另一演變，進一步從距離的測量值，確定拍攝裝置到物理對象的距離，用于計算拍攝裝置在坐標系中的一維平移。
[0058]例如，從第二圖像中一組N個點的距離測量值確定取向，其中N至少為三。
[0059]根據(jù)實施例，第一圖像和/或第二圖像是假設(shè)為逐片平面的三維物理對象的圖像。例如，第二翹曲函數(shù)是仿射翹曲函數(shù)。
[0060]根據(jù)另一實施例，所述圖像配準方法基于迭代求極小值過程，其中將第一圖像中的第一組像素與第二圖像中的計算組像素比較，該第二圖像中的用于比較的計算組像素在每次迭代時變化。例如，配準中的比較是基于圖像強度差異。通過這種方式，可以計算光測誤差?？梢詫⑦@一誤差用于搜索參數(shù)集更新的非線性優(yōu)化的成本函數(shù)。
[0061]可以通過利用梯度下降的方法確定第二翹曲函數(shù)，所述方法例如是逆組合、逆相力口、正組合或正相加方法，如[6]中所述。此外，可以利用基于學習的方法確定第二翹曲函數(shù)，其中已經(jīng)事先計算了模板圖像(第一圖像)的不同視圖，并確定與當前變換最接近的預(yù)計算變換，例如[I]或[7]中所述。
[0062]具體而言，可以將第二翹曲函數(shù)的參數(shù)的初始估計值提供給迭代求極小值過程。例如，利用拍攝第一圖像和拍攝第二圖像之間拍攝裝置的運動估計值，確定翹曲函數(shù)參數(shù)的初始估計值。
[0063]根據(jù)本發(fā)明實施例，在步驟c )中，進一步提供至少第三圖像(例如一個或多個其他模板圖像)和相應(yīng)的關(guān)聯(lián)坐標系，第二圖像至少部分包含第一圖像和至少第三圖像的對象，其中逐個針對第一圖像和至少第三圖像執(zhí)行步驟d) _g)。
[0064]例如，第一圖像和/或至少第三圖像及其關(guān)聯(lián)坐標系是離線采集的。
[0065]根據(jù)另一實施例，第一圖像和/或至少第三圖像及其關(guān)聯(lián)坐標系是在線采集和/或更新的。在這種情況下，除了找到位于水平面上的共面模板和當前圖像中對應(yīng)區(qū)域之間的變換之外，還可以通過相同方式找到兩個或更多當前圖像中共面水平區(qū)域之間的變換。不過，所有圖像都需要投影到虛像平面上。
[0066]這樣允許進行圖像拼合以獲得地板或天花板的全景。一種有趣的性質(zhì)是能夠容易地識別不在用于拼合的平面(例如位于地板上的小物體或天花板處的燈)上的點，因為根據(jù)攝影機位置，這些點覆蓋的像素的外觀在投影的攝像機圖像中是不同的，而平面上的所有點都理想地保持其外觀?？梢詫⒋擞糜诘仄矫娴淖詣用芗指睢?br> [0067]在本發(fā)明的可能實施方式中，將配準第二圖像的至少一個部分的結(jié)果用于確定拍攝裝置的姿態(tài)。例如，將所確定的拍攝裝置的姿態(tài)用于增強現(xiàn)實應(yīng)用中。
[0068]本發(fā)明的另一方面還涉及一種計算機程序產(chǎn)品，其適于加載到數(shù)字計算機的內(nèi)部存儲器中并包括軟件代碼段，在所述產(chǎn)品運行于所述計算機上時，利用其執(zhí)行根據(jù)本發(fā)明所述的方法。
[0069]現(xiàn)在將參考示范性實施例連同附圖的以下描述，解釋本發(fā)明，附圖中:
[0070]圖1示出了用于圖像配準的標準方法的流程圖；
[0071]圖2示出了根據(jù)本發(fā)明實施例用于圖像配準的示范性方法的流程圖；
[0072]圖3示出了根據(jù)本發(fā)明實施例用于至少有第三圖像的圖像配準的示范性方法的流程圖；
[0073]圖4示出了利用已知的3DoF攝像機取向和已知的任意模板取向，配準模板圖像和根據(jù)本發(fā)明實施例的攝像機拍攝的當前圖像的過程的可視化；
[0074]圖5示出了利用已知的2DoF攝像機取向和找平的模板，配準模板圖像和根據(jù)本發(fā)明實施例的攝像機拍攝的當前圖像的另一過程的可視化；
[0075]圖6示出了利用深度感測攝像機和未知的任意模板取向，配準模板圖像和根據(jù)本發(fā)明實施例的攝像機拍攝的當前圖像的另一過程的可視化。
[0076]參考以下附圖，將更詳細地解釋根據(jù)本發(fā)明各方面的方法實施例。本領(lǐng)域技術(shù)人員將理解，以下描述僅僅是根據(jù)本發(fā)明的方法的各方面的可能實現(xiàn)，也可以將方法或其步驟用于應(yīng)當配準第一和第二圖像的任何其他領(lǐng)域或應(yīng)用中。
[0077]在下文中，假設(shè)提供了一種拍攝裝置D，例如攝像機，用于拍攝真實環(huán)境的圖像，具有本征參數(shù)的估計值，即本征攝像機的參數(shù)。連接的是直接輸送或從環(huán)境中在圖像中拍攝的至少三個點的實測距離確定攝像機取向R的測量值。我們打算在空間上配準當前攝像機圖像I與模板T。在下文中，提出一種手段，通過包括拍攝裝置D的實測取向R來減小T和I的視覺配準復雜性。出于清晰和可讀性的原因，說明書針對的是表示平面物體正前方視圖的模板圖像，目的是將整個模板T與I中的對應(yīng)像素配準。不過，也可以將該方法推廣到可以被認為是逐片平面的目標。例如，可以通過將模板圖像的部分關(guān)聯(lián)到物理對象的局部平面區(qū)域來簡單地實現(xiàn)這個目的。
[0078]在下文中，參考圖2，其示出了根據(jù)本發(fā)明的實施例的用于圖像配準的示范性方法的流程圖。圖2示出了通常的方法，將根據(jù)圖4-6中所示的范例進一步解釋該方法。根據(jù)本發(fā)明各方面，用于找到直射變換翹曲函數(shù)W(該函數(shù)配準平面模板T的至少一部分與其在任意視角下拍攝的當前攝像機圖像I中的對應(yīng)位置)的方法，是首先在步驟SI中拍攝或加載第一圖像T作為具有關(guān)聯(lián)坐標系CS的模板。在步驟S2中，加載或拍攝第二圖像I作為當前攝像機圖像。在步驟S3中，測量拍攝裝置(即攝像機)的取向或加載拍攝第二圖像時的取向。在步驟S4中使用裝置取向R、坐標系CS和第二圖像I計算第二圖像I在虛像平面VIP上的投影。利用直射變換翹曲函數(shù)P進行這種變換，該函數(shù)是攝像機取向R和CS的函數(shù)。
[0079]將變換的圖像Ip與第一圖像T配準的變換是線性的，該變換可以利用仿射單應(yīng)性描述。在步驟S5中估計這種單應(yīng)性(例如，在迭代求極小值過程中，例如使用LucasKanade [2]的已知算法計算)。同樣有很多方法這樣做，但由于單應(yīng)性A是仿射單應(yīng)性，所以估計它比上文參考標準方法所述估計直射變換翹曲函數(shù)計算復雜性更低。在以下步驟S6中，計算P和A的組合作為變換原始當前圖像至少一個部分的直射變換翹曲函數(shù)W。最后在步驟S7中，諸如增強現(xiàn)實應(yīng)用的應(yīng)用使用這一投影變換W。本領(lǐng)域的技術(shù)人員要理解的是，在步驟S5和步驟S6中，都可以通過在任一方向翹曲來實現(xiàn)配準。例如，在步驟S5中，可以確定A，從而將變換的圖像Ip配準到第一圖像T，或者可以通過將第一圖像T配準到變換的圖像Ip來確定A的逆矩陣。
[0080]在本發(fā)明的實施例中，進一步提供至少第三圖像T3和關(guān)聯(lián)的坐標系CS3，第三圖像是額外的模板圖像，將如圖3中所示擴展圖2中的流程圖。在圖3的步驟SI中，除了第一圖像T及其關(guān)聯(lián)的坐標系CS之外，還至少提供第三圖像T3與關(guān)聯(lián)的坐標系CS3。如前所述，在圖3的步驟S2和S3中，拍攝或加載第二圖像I，并測量或加載拍攝裝置D的取向R。然后將I和R提供給核心算法，在步驟S4、S5和S6中將當前圖像I與模板圖像配準。由執(zhí)行步驟S4-S6的核心算法的實例處理每個模板圖像與關(guān)聯(lián)的坐標系，即第一和至少第三圖像。最后在步驟S7中使用所得的直射變換翹曲函數(shù)W、W3、…。
[0081]相對于標準方法的根本差異和改善是，直射變換翹曲函數(shù)W被分解成受約束的，例如仿射變換A以及可以直接從拍攝裝置D的實測取向R計算的直射變換翹曲函數(shù)P。將原始當前圖像I與模板圖像T配準——如標準方法中所做——是利用圖像配準方法找到非線性翹曲函數(shù)W的八維非線性優(yōu)化問題。在這種情況下，必須要估計完整的直射變換翹曲函數(shù)。在根據(jù)本發(fā)明的新方法中，僅需要確定受約束的，例如仿射變換A。
[0082]這使得提出的方法比標準方法又快又穩(wěn)定。對于基于預(yù)計算模板視圖的圖像配準技術(shù)，新的方法還需要較少的存儲器。
[0083]在下文中，將參考圖4-6中所示的三種示范性實施方式解釋根據(jù)本發(fā)明的方法各方面。
[0084]圖4示出了配準到任意但已知取向的平面模板(即，平面模板圖像T的法線η以及用于定義矢量u的旋轉(zhuǎn)是已知的)以及拍攝裝置的給定當前3DoF取向的可視化。如果拍攝裝置D的實測取向R描述了相對于靜態(tài)世界坐標系的三維旋轉(zhuǎn)，提議離線或在線在世界坐標系中定義靜態(tài)平面模板圖像T的三維法線η以及一個垂直矢量U。在運行時間，由于取向度量的漂移可以更新η和U。
[0085]給定拍攝裝置D的n、u和當前取向R，提議利用直射變換翹曲函數(shù)P向虛像平面VIP上投影當前攝像機圖像I，其中該虛像平面VIP垂直于模板圖像T的已知法線η并與模板圖像T的已知矢量u平行(參見圖4)。
[0086]在這一變換的圖像Ip中，將位于模板圖像T上的任何點集表示為數(shù)學上類似的和直立的。更確切地說，圖像Ip中的外觀是均勻縮放，隨后對圖像τ中原點進行平移的結(jié)果。那么，將這一變換的當前圖像Ip配準到模板圖像T是三維非線性優(yōu)化問題，可以利用仿射單應(yīng)性A完整描述找到線性翹曲作為變換，仿射單應(yīng)性僅支持均勻縮放、X和y (兩個圖像軸)上的平移。
[0087]總之，參考圖2的流程圖，在圖4的范例中，分別做出以下假設(shè)或?qū)嵤?拍攝裝置的當前3DoF取向是已知的；模板圖像T相對于全局坐標系的取向是已知的；可以利用能夠測量拍攝裝置D在全局坐標系中的3D取向的任何裝置實施步驟S3 ;取向測量值R是全局坐標系中的3D旋轉(zhuǎn)，P (X，P)表示與裝置坐標系平行的虛像平面VIP上的投影；A (x，P)是支持x、y、z平移(3D)的仿射單應(yīng)性。
[0088]圖5示出了給定相對于重力的2DoF攝像機取向時，配準到水平平面模板的可視化。一些傳感器，像慣性傳感器，僅提供拍攝裝置相對于重力矢量的2維旋轉(zhuǎn)。在這種情況下，取向的測量值R僅描述重力矢量的方向。這里，可以使用如參考圖4所述的類似方法，其限于位于找平(水平)平面上的模板，例如位于工作臺上的雜志，位于地板或涂漆天花板上的馬賽克。利用直射變換翹曲函數(shù)P，向垂直于實測重力η的虛像平面VIP上投影當前攝像機圖像I。這樣獲得了變換的圖像Ιρ，其中將位于模板圖像T上的任何點集表示為數(shù)學上類似的。更確切地說，Ip中的外觀與原點的均勻縮放結(jié)果是全等的?；蛘邚囊曈X上講，變換的攝像機圖像Ip看起來似乎是從模板圖像T的頂部正交地獲得的(參考圖5)。[0089]那么，將這一變換的當前圖像Ip配準到模板圖像T是六維非線性優(yōu)化問題，可以利用仿射單應(yīng)性A完整描述找到線性翹曲作為變換。這種單應(yīng)性僅支持沿兩個圖像軸平移、均勻縮放和共面旋轉(zhuǎn)。
[0090]總之，參考圖2的流程圖，在圖5的范例中，分別做出以下假設(shè)或?qū)嵤?模板圖像T在找平的平面上；可以利用加速度計實施步驟S3 ;取向測量值R是重力的方向，因此是2D旋轉(zhuǎn)的方向；Ρ (X，P)表示垂直于實測重力的虛像平面VTP上的投影；A (X，P)是支持X、y、z平移和共面旋轉(zhuǎn)(4D)的仿射單應(yīng)性。
[0091]圖6示出了給定攝像機坐標系中模板法線的情況下，對任意取向的平面模板進行配準的可視化。如果拍攝裝置或連接的裝置D提供了針對當前圖像I的特定像素的實測深度信息，如果本征攝像機參數(shù)是已知的，那么可以計算攝像機坐標系中個體像素的3D位置。在已經(jīng)利用標準方法將當前攝像機圖像I與任意取向的模板圖像T成功配準之后，在后續(xù)的當前圖像中，提議首先對接近中間區(qū)域(R2)的當前攝像機圖像I中的至少三個像素采樣實測深度(dl，d2，d3，…，dN)，其中模板在上一當前圖像(區(qū)域Rl)中，參見圖6。這里的假設(shè)是，這些像素仍然包含當前圖像中的模板。然后將平面擬合到對應(yīng)于所采樣像素的3D點，并使用具有法線η的這個平面作為虛像平面VIP，如圖6中所示。
[0092]將把利用直射變換翹曲函數(shù)P投影到這個虛像平面VIP上的當前攝像機圖像I稱為Ip?？梢岳弥С諼和y (圖像軸)上的平移、共面旋轉(zhuǎn)和均勻縮放的仿射單應(yīng)性A描述將Ip與模板圖像T空間上配準。
[0093]總之，參考圖2的流程圖，在圖6的范例中，分別做出以下假設(shè)或?qū)嵤?利用深度感測攝像機，例如對假設(shè)包含模板的攝像機圖像中的至少三個像素深度采樣的已知Microsoft Kinect攝像機實施步驟S3 ;取向測量值R是拍攝裝置坐標系中模板的法線的方向，因此是2D旋轉(zhuǎn)的方向；P (X，P)表示垂直于實測模板法線的虛像平面VTP上的投影；A(X，P)是支持X、1、z平移和共面旋轉(zhuǎn)(4D)的仿射單應(yīng)性。
[0094]在下文中，將描述本發(fā)明各方面的進一步任選改善或額外應(yīng)用。技術(shù)人員將認識到，以下說明描述了本發(fā)明各方面的可能應(yīng)用情形，但不將本發(fā)明限于這一應(yīng)用領(lǐng)域。在優(yōu)選實施例中，可以將本發(fā)明用于運行于裝備攝像機的移動計算裝置上的實時增強現(xiàn)實應(yīng)用。該應(yīng)用的目標例如是在拍攝位于水平表面上的真實平面物體的實況視頻流上覆蓋虛擬信息，例如計算機圖形模型。在這種應(yīng)用中進行的疊加考慮了攝像機和平面物體之間的相對姿態(tài)，表示計算機圖形模型也是在移動裝置在改變其相對于平面物體的位置和取向時被無縫地集成到實況視頻流中。運行于移動計算裝置上的應(yīng)用可以包括提供攝像機相對于位于水平表面上的平面物體的相對位置(3D平移)和取向(3D旋轉(zhuǎn))的算法。可以從(3X3)直射變換矩陣獲得3D平移和旋轉(zhuǎn)，這表示該算法首先找到將參考圖像變換成當前采集的圖像的最優(yōu)(3X3)直射變換矩陣，然后在知道移動計算裝置攝像機本征參數(shù)的情況下提取3D平移和旋轉(zhuǎn)。
[0095]在當前上下文中，如果使用移動計算裝置相對于重力矢量的取向，可以由慣性傳感器提供這樣的數(shù)據(jù)，給定平面物體位于水平表面上的事實，可以對當前圖像進行預(yù)翹曲，使得未知的直射變換矩陣變?yōu)榉律涞摹＿@種方法在計算要求和效率方面改進了在實況視頻流上無縫整合計算機圖形模型所需的3D平移和旋轉(zhuǎn)的過程，因為減少了未知的自由度。
【權(quán)利要求】
1.一種用于配準第一圖像的至少一個部分和第二圖像的至少一個部分的方法，包括如下步驟: a.提供真實環(huán)境的第一圖像(T)和關(guān)聯(lián)到第一圖像的坐標系， b.提供真實環(huán)境的第二圖像(I)， c.提供拍攝第二圖像(I)時拍攝裝置(D)相對于真實環(huán)境的取向(R)和/或距離(dl，d2，...，dN)的測量值， d.從關(guān)聯(lián)到第二圖像(I)的至少一個部分的測量值確定直射變換翹曲函數(shù)(P)， e.通過應(yīng)用對應(yīng)的所確定直射變換翹曲函數(shù)(P)變換第二圖像(I)的至少一個部分， f.確定第二翹曲函數(shù)(A)，其用于利用圖像配準方法配準第二圖像的變換(Ip)的至少一個部分與第一圖像(T)的至少一個部分，以及 g.利用所述直射變換翹曲函數(shù)(P)和第二翹曲函數(shù)(A)配準第二圖像(I)的至少一個部分和第一圖像(T)的至少一個部分。
2.根據(jù)權(quán)利要求1所述的方法，其中由慣性傳感器、加速度計、陀螺儀、指南針或機械、電磁、聲學或光學跟蹤系統(tǒng)中的至少一種提供取向(R)的測量值。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，由飛行時間攝像機、立體攝像機、無線電信號的三角測量、相位測量值的差異或使用基于結(jié)構(gòu)光的方法的裝置中的至少一種提供距離(dl，d2，…，dN)的測量值。
4.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中取向(R)的測量值包括基于重力矢量(η)的測量值計算的二維旋轉(zhuǎn)。
5.根據(jù)權(quán)利要求4所述的方法，其中第一圖像(T)的至少一個部分對應(yīng)于相對于實測重力矢量(η)處于已知取向的物理對象。
6.根據(jù)權(quán)利要求5所述的方法，其中所述直射變換翹曲函數(shù)(P)與相對于實測重力矢量(η)處在已知取向的虛像平面(VIP)相關(guān)。
7.根據(jù)權(quán)利要求1到3中的一項所述的方法，其中取向(R)的測量值包括在拍攝裝置(D)拍攝第二圖像(I)時拍攝裝置相對于真實環(huán)境的三維旋轉(zhuǎn)。
8.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中從取向(R)和/或距離(dl，d2，…，dN)的測量值，計算拍攝裝置(D)相對于與第一圖像相關(guān)聯(lián)的坐標系的取向，該取向用于在步驟d)中確定所述直射變換翹曲函數(shù)(P)。
9.根據(jù)權(quán)利要求8所述的方法，其中所述直射變換翹曲函數(shù)(P)與對準到坐標系的虛像平面(VIP)相關(guān)。
10.根據(jù)權(quán)利要求8或9所述的方法，其中進一步從距離的測量值，確定拍攝裝置(D)到物理對象的距離(dl，d2，…，dN),以計算拍攝裝置在坐標系中的一維平移。
11.根據(jù)權(quán)利要求8到10中的任一項所述的方法，其中從在第二圖像(I)中具有N個點的一組的距離(dl，d2，…，dN)的測量值確定所述取向，其中N至少為三。
12.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中第一圖像(T)和/或第二圖像(I)是假設(shè)為逐片平面的對象的圖像。
13.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中第二翹曲函數(shù)(A)是仿射翹曲函數(shù)。
14.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中所述圖像配準方法基于迭代求極小值過程，其中將第一圖像(T)中的第一組像素與第二圖像(I)中的計算組像素比較，該第二圖像中用于比較的計算組像素在每次迭代時變化。
15.根據(jù)權(quán)利要求14所述的方法，其中所述圖像配準方法中的比較基于圖像強度差巳
16.根據(jù)權(quán)利要求14或15中的任一項所述的方法，其中將第二翹曲函數(shù)(A)的參數(shù)的初始估計值提供給迭代求極小值過程。
17.根據(jù)權(quán)利要求16所述的方法，其中利用拍攝第一圖像(T)和拍攝第二圖像(I)之間拍攝裝置(D)的運動估計值，確定第二翹曲函數(shù)(A)的參數(shù)的初始估計值。
18.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中在步驟c)中 -進一步提供至少第三圖像和關(guān)聯(lián)的坐標系，并且 -第二圖像(I)至 少部分包含第一圖像(T)的對象和至少第三圖像的對象，并且 -逐個針對第一圖像(I)和至少第三圖像執(zhí)行步驟d) -g)。
19.根據(jù)權(quán)利要求18所述的方法，其中第一圖像(T)和/或至少第三圖像及其關(guān)聯(lián)坐標系被尚線米集。
20.根據(jù)權(quán)利要求18或19所述的方法，其中第一圖像(T)和/或至少第三圖像及其關(guān)聯(lián)坐標系被在線采集和/或更新。
21.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中將配準第二圖像(I)的至少一個部分的結(jié)果用于確定拍攝裝置(D)的姿態(tài)。
22.根據(jù)權(quán)利要求21所述的方法，其中將所確定的拍攝裝置(D)的姿態(tài)用于增強現(xiàn)實應(yīng)用中。
23.一種計算機程序產(chǎn)品，其適于加載到數(shù)字計算機的內(nèi)部存儲器中并包括軟件代碼段，在所述產(chǎn)品運行于所述計算機上時，利用該軟件代碼段執(zhí)行根據(jù)權(quán)利要求1到22中的任一項所述的方法。
【文檔編號】G06T3/00GK103597513SQ201180069485
【公開日】2014年2月19日 申請日期:2011年3月23日 優(yōu)先權(quán)日:2011年3月23日
【發(fā)明者】S·本希馬寧, D·庫爾茨 申請人:Metaio有限公司