欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

用于使用一組基元配準(zhǔn)數(shù)據(jù)的方法

文檔序號(hào):9575600閱讀:558來(lái)源:國(guó)知局
用于使用一組基元配準(zhǔn)數(shù)據(jù)的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體涉及計(jì)算機(jī)視覺(jué),并且更特別地,涉及估計(jì)相機(jī)的姿勢(shì)。
【背景技術(shù)】
[0002] 在重建場(chǎng)景的3D結(jié)構(gòu)的同時(shí)跟蹤相機(jī)的姿勢(shì)的系統(tǒng)和方法被廣泛用于增強(qiáng)現(xiàn)實(shí) (AR)可視化、機(jī)器人導(dǎo)航、場(chǎng)景建模、以及計(jì)算機(jī)視覺(jué)應(yīng)用。這樣的處理通常被稱為同時(shí)定 位與地圖構(gòu)建(SLAM)。實(shí)時(shí)SLAM系統(tǒng)可以使用獲取二維(2D)圖像的傳統(tǒng)相機(jī)、獲取三維 (3D)點(diǎn)云(一組3D點(diǎn))的深度相機(jī)、或者獲取2D圖像和3D點(diǎn)云兩者的紅、綠、藍(lán)和深度 (RGB-D)相機(jī)(諸如,KinCCtK )。跟蹤是指使用相機(jī)的預(yù)測(cè)運(yùn)動(dòng)以用于順序地估計(jì)相機(jī)的 姿勢(shì)的處理,而重定位是指使用一些基于特征的全局配準(zhǔn)(registration)以用于從跟蹤 失敗恢復(fù)的處理。
[0003] 使用2D相機(jī)的SLAM系統(tǒng)針對(duì)紋理場(chǎng)景通常是成功的,但是針對(duì)無(wú)紋理區(qū)域很可 能失敗。在迭代最近點(diǎn)(ICP)方法的幫助下,使用深度相機(jī)的系統(tǒng)依靠場(chǎng)景中的幾何變化 (諸如,曲面和深度邊界)。然而,當(dāng)幾何變化很小時(shí)(諸如,在平面場(chǎng)景中),基于ICP的系 統(tǒng)經(jīng)常失敗。使用RGB-D相機(jī)的系統(tǒng)可以利用紋理和幾何特征兩者,但是它們?nèi)匀灰螵?dú) 特的紋理。
[0004] 很多方法都沒(méi)有明確解決重建比單人房間大的三維模型時(shí)的困難。為了將那些方 法擴(kuò)展到較大的場(chǎng)景,要求較好的存儲(chǔ)器管理技術(shù)。然而,存儲(chǔ)器限制不是唯一的挑戰(zhàn)。通 常,房間規(guī)模的場(chǎng)景包括具有紋理和幾何特征的許多對(duì)象。為了擴(kuò)展到較大的場(chǎng)景,需要跟 蹤具有有限紋理和不充分幾何變化的區(qū)域(諸如,走廊)中的相機(jī)姿勢(shì)。
[0005] 相機(jī)跟蹤
[0006] 考慮到一些3D對(duì)應(yīng),使用3D傳感器獲取3D點(diǎn)云的系統(tǒng)將跟蹤問(wèn)題歸納為配準(zhǔn)問(wèn) 題。ICP方法從由相機(jī)運(yùn)動(dòng)預(yù)測(cè)給出的初始姿勢(shì)估計(jì)開(kāi)始,迭代地定位點(diǎn)到點(diǎn)或點(diǎn)到平面對(duì) 應(yīng)。ICP已被廣泛用于移動(dòng)機(jī)器人中的線掃描3D傳感器(也稱為掃描匹配)以及用于產(chǎn)生 全部3D點(diǎn)云的深度相機(jī)和3D傳感器。U.S. 20120194516以ICP方法將點(diǎn)到平面對(duì)應(yīng)用于 Κ?ηο?θ機(jī)的姿勢(shì)跟蹤。地圖的該表示是一組體元(voxel)。每個(gè)體元表示針對(duì)到最接近 表面點(diǎn)的距離的截?cái)喾?hào)距離函數(shù)(truncatedsigneddistancefunction)。該方法不從 3D點(diǎn)云提取平面;相反,通過(guò)使用局部鄰域確定3D點(diǎn)的法線來(lái)建立點(diǎn)到平面對(duì)應(yīng)。這樣的 基于ICP的方法要求場(chǎng)景具有充分幾何變化以用于精確配準(zhǔn)。
[0007] 另一種方法從RGB圖像提取特征并且執(zhí)行基于描述符的點(diǎn)匹配,以確定點(diǎn)到點(diǎn)對(duì) 應(yīng)并且估計(jì)相機(jī)姿勢(shì),然后利用ICP方法將相機(jī)姿勢(shì)細(xì)化。該方法使用場(chǎng)景中的紋理(RGB) 和幾何(深度)特征。然而,僅使用點(diǎn)特征來(lái)處理無(wú)紋理區(qū)域和具有重復(fù)紋理的區(qū)域仍然 有問(wèn)題。
[0008] 使用平面的SLAM
[0009] 平面特征已被用于許多SLAM系統(tǒng)中。為了確定相機(jī)姿勢(shì),要求其法線跨越R3的至 少三個(gè)平面。因此,特別是當(dāng)視場(chǎng)(F0V)或傳感器的范圍較小(諸如,在Kinect?中)時(shí),僅 使用平面導(dǎo)致許多退化問(wèn)題(degeneracyissue)。大FOV線掃描3D傳感器和小視場(chǎng)(FOV) 深度相機(jī)的組合可以利用額外系統(tǒng)成本避免退化。
[0010] 相關(guān)申請(qǐng)中描述的方法使用了點(diǎn)-平面SLAM,點(diǎn)-平面SLAM使用點(diǎn)和平面兩者以 避免在使用這些基元中的一個(gè)基元的方法中常見(jiàn)的失敗模式。該系統(tǒng)不使用任何相機(jī)運(yùn)動(dòng) 預(yù)測(cè)。相反,該系統(tǒng)通過(guò)全局地定位點(diǎn)和平面對(duì)應(yīng),針對(duì)所有幀執(zhí)行重定位。結(jié)果,該系統(tǒng) 僅能每秒處理約三個(gè)幀,并且遇到由于基于描述符的點(diǎn)匹配導(dǎo)致的一些重復(fù)紋理的失敗。
[0011] 相關(guān)申請(qǐng)中描述的方法還提出了使用點(diǎn)到點(diǎn)和平面到平面對(duì)應(yīng)兩者在不同坐標(biāo) 系中配準(zhǔn)3D數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0012] 在包括人造結(jié)構(gòu)的室內(nèi)和室外場(chǎng)景中,平面是主要的。本發(fā)明的實(shí)施方式提供了 一種用于跟蹤使用點(diǎn)和平面作為基元特征的RGB-D相機(jī)的系統(tǒng)和方法。通過(guò)擬合平面, 該方法隱式地處理3D傳感器特有的深度數(shù)據(jù)中的噪聲。跟蹤方法由重定位和集束調(diào)整 (bundleadjustment)處理支持,以展示使用手持式或機(jī)器人上安裝的RGB-D相機(jī)的實(shí)時(shí) 同時(shí)定位與地圖構(gòu)建(SLAM)系統(tǒng)。
[0013] 本發(fā)明的一個(gè)目的是在將導(dǎo)致配準(zhǔn)失敗的退化問(wèn)題減到最小的同時(shí)使能快速和 精確的配準(zhǔn)。該方法使用相機(jī)運(yùn)動(dòng)預(yù)測(cè)定位點(diǎn)和平面對(duì)應(yīng),并且提供基于預(yù)測(cè)和校正框架 的跟蹤器。該方法結(jié)合使用點(diǎn)和平面兩者的重定位和集束調(diào)整處理,以從跟蹤失敗恢復(fù)并 且持續(xù)細(xì)化相機(jī)姿勢(shì)估計(jì)。
[0014] 具體地,一種方法使用包括點(diǎn)和平面的一組基元來(lái)配準(zhǔn)數(shù)據(jù)。首先,該方法從第一 坐標(biāo)系中的數(shù)據(jù)選擇第一組基元,其中,第一組基元包括至少三個(gè)基元和至少一個(gè)平面。
[0015] 對(duì)從第一坐標(biāo)系到第二坐標(biāo)系的變換進(jìn)行預(yù)測(cè)。使用該變換將第一組基元變換到 第二坐標(biāo)系。根據(jù)變換到第二坐標(biāo)系的第一組基元確定第二組基元。
[0016] 然后,使用第一坐標(biāo)系中的第一組基元和第二坐標(biāo)系中的第二組基元,將第二坐 標(biāo)系與第一坐標(biāo)系配準(zhǔn)。所述配準(zhǔn)可以用于跟蹤獲取數(shù)據(jù)的相機(jī)的姿勢(shì)。
【附圖說(shuō)明】
[0017] 圖1是根據(jù)本發(fā)明的實(shí)施方式的用于跟蹤相機(jī)的姿勢(shì)的方法的流程圖;以及
[0018] 圖2是根據(jù)本發(fā)明的實(shí)施方式的用于使用相機(jī)的預(yù)測(cè)姿勢(shì)在當(dāng)前幀與地圖(map) 之間建立點(diǎn)到點(diǎn)和平面到平面對(duì)應(yīng)的過(guò)程的示意圖。
【具體實(shí)施方式】
[0019] 本發(fā)明的實(shí)施方式提供了 一種用于跟蹤相機(jī)的姿勢(shì)的系統(tǒng)和方法。本發(fā)明 通過(guò)將相機(jī)運(yùn)動(dòng)預(yù)測(cè)用于更快速的對(duì)應(yīng)搜索和配準(zhǔn),擴(kuò)展了在我們的相關(guān)美國(guó)申請(qǐng) Sn. 13/539,060中描述的實(shí)施方式。我們使用在當(dāng)前幀和地圖之間建立的點(diǎn)到點(diǎn)和平面到 平面對(duì)應(yīng)。地圖包括來(lái)自之前在全局坐標(biāo)系中配準(zhǔn)的幀的點(diǎn)和平面。這里,我們關(guān)注的是 使用相機(jī)運(yùn)動(dòng)預(yù)測(cè)來(lái)建立平面到平面對(duì)應(yīng)以及建立點(diǎn)到點(diǎn)和平面到平面對(duì)應(yīng)兩者的混合 情況。
[0020] 系統(tǒng)概述
[0021] 在優(yōu)選系統(tǒng)中,RGB-D相機(jī)102是Kined?或ASUS*XtionPROLIVE,其獲取一系 列幀101。我們使用基于關(guān)鍵幀的SLAM系統(tǒng),這里我們選擇多個(gè)代表幀作為關(guān)鍵幀,并且 將在單個(gè)全局坐標(biāo)系中配準(zhǔn)的關(guān)鍵幀存儲(chǔ)在地圖中。與僅使用點(diǎn)的現(xiàn)有技術(shù)SLAM相比,我 們?cè)谙到y(tǒng)中的所有處理中使用點(diǎn)和平面兩者作為基元。每個(gè)幀中的點(diǎn)和平面被稱為量度 (measurement),并且來(lái)自關(guān)鍵幀的量度作為地標(biāo)被存儲(chǔ)在地圖中。
[0022] 在給定地圖的情況下,我們使用預(yù)測(cè)和校正框架來(lái)估計(jì)當(dāng)前幀的姿勢(shì):我們預(yù)測(cè) 相機(jī)的姿勢(shì),并且使用該姿勢(shì)來(lái)確定點(diǎn)和平面量度與點(diǎn)和平面地標(biāo)之間的對(duì)應(yīng),然后使用 所述對(duì)應(yīng)來(lái)確定相機(jī)姿勢(shì)。
[0023] 跟蹤可能由于不正確或不充分的對(duì)應(yīng)而失敗。在預(yù)定數(shù)量的連續(xù)跟蹤失敗之后, 我們重定位,其中,我們?cè)诋?dāng)前幀與地圖之間使用全局點(diǎn)和平面對(duì)應(yīng)搜索。我們還應(yīng)用使用 點(diǎn)和平面的集束調(diào)整,以異步地細(xì)化在地圖中的地標(biāo)。
[0024] 方法概述
[0025] 如圖1所述,由場(chǎng)景103的紅、綠、藍(lán)和深度(RGB-D)相機(jī)102獲取110當(dāng)前幀101。 預(yù)測(cè)獲取所述幀時(shí)該相機(jī)的姿勢(shì),相機(jī)的姿勢(shì)被用于定位130幀與地圖194之間的點(diǎn)和平 面對(duì)應(yīng)。在隨機(jī)采樣一致性(RANSAC)框架140中使用點(diǎn)和平面對(duì)應(yīng),以將幀配準(zhǔn)到地圖。 如果150配準(zhǔn)失敗,則對(duì)連續(xù)失敗的數(shù)量進(jìn)行計(jì)數(shù)154,并且如果為假(F),則繼續(xù)下一幀, 否則如果為真(T),則使用全局配準(zhǔn)方法而不使用相機(jī)運(yùn)動(dòng)預(yù)測(cè)來(lái)重定位158相機(jī)。
[0026] 如果RANSAC配準(zhǔn)成功,則在RANSAC框架中估計(jì)的姿勢(shì)160被用作幀的姿勢(shì)。接 下來(lái),確定170當(dāng)前幀是否為關(guān)鍵幀,并且如果為假,則在步驟110處,繼續(xù)進(jìn)行下一幀。否 貝1J,在當(dāng)前幀中提取180附加的點(diǎn)和平面,更新190地圖194,并且針對(duì)下一幀繼續(xù)進(jìn)行。使 用集束調(diào)整對(duì)地圖進(jìn)行異步細(xì)化198。
[0027] 可以在連接到本領(lǐng)域中已知的存儲(chǔ)器和輸入/輸出接口的處理器中執(zhí)行這些步 驟。
[0028] 相機(jī)姿勢(shì)跟蹤
[0029] 如上所述,我們的跟蹤使用包括點(diǎn)和平面兩者的特征。所述跟蹤基于預(yù)測(cè)和校正 方案,這可以被概括如下。針對(duì)每一個(gè)幀,我們使用相機(jī)運(yùn)動(dòng)模型來(lái)預(yù)測(cè)姿勢(shì)?;谒A(yù)測(cè) 的姿勢(shì),我們定位幀中與地圖中的點(diǎn)和平面地標(biāo)相對(duì)應(yīng)的點(diǎn)和平面量度。我們使用點(diǎn)和平 面對(duì)應(yīng)來(lái)執(zhí)行基于RANSAC的配準(zhǔn)。如果該姿勢(shì)與當(dāng)前存儲(chǔ)在地圖中的任何關(guān)鍵幀的姿勢(shì) 不
當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
高淳县| 新巴尔虎右旗| 泗洪县| 临邑县| 彩票| 华蓥市| 虞城县| 沐川县| 昌黎县| 沂南县| 敦煌市| 丰原市| 永济市| 射阳县| 晋州市| 武功县| 陆河县| 台前县| 深州市| 县级市| 丹江口市| 昌邑市| 静海县| 灵宝市| 封开县| 斗六市| 布尔津县| 绥化市| 定西市| 西乡县| 尼木县| 九寨沟县| 德令哈市| 读书| 津南区| 漳州市| 西林县| 米林县| 科技| 麻栗坡县| 金沙县|