116)得到的SIFT特征描述 子，與通過右視圖的操作步驟(步驟121-126)得到的SIFT特征描述子進(jìn)行SIFT特征點(diǎn)匹 配，以便獲取左右視圖的SIFT特征點(diǎn)匹配點(diǎn)對，后續(xù)簡稱為匹配點(diǎn)對。
[0095] 綜上所述，圖3流程的基本點(diǎn)主要為：
[0096] (a)檢測尺度空間極值點(diǎn)，包括尺度空間的生成，空間極值點(diǎn)檢測。
[0097] 具體的，SIFT使用了高斯差分（DoG)尺度空間，它由相鄰尺度的高斯差分核與輸 入圖像卷積而成。DoG核不僅是對LoG的線性近似，而且大大簡化了尺度空間的計(jì)算。對每 個像素點(diǎn)在其圖像空間和DoG尺度空間的鄰域中搜索極值點(diǎn)，初步得到特征點(diǎn)的位置。中 間的待檢測點(diǎn)和它同尺度的8個相鄰點(diǎn)和上下相鄰尺度對應(yīng)的9X2個點(diǎn)共26個點(diǎn)構(gòu)成的 鄰域中比較，以確保在尺度空間和二維圖像空間都檢測到極值點(diǎn)。一個點(diǎn)如果在D0G尺度 空間本層以及上下兩層的26個領(lǐng)域中是最大或最小值時，就認(rèn)為該點(diǎn)是圖像在該尺度下 的一個特征點(diǎn)。
[0098] (b)精確定位空間極值點(diǎn)，包括去除低對比度的關(guān)鍵點(diǎn)，去除邊緣響應(yīng)點(diǎn)。
[0099] (c)生成128維SIFT特征描述子。
[0100] 具體的，實(shí)際計(jì)算過程中，為了增強(qiáng)匹配的穩(wěn)健性，對每個關(guān)鍵點(diǎn)使用4X4共16 個種子點(diǎn)來描述，每個種子點(diǎn)有8個方向向量信息，這樣對于一個關(guān)鍵點(diǎn)就可以產(chǎn)生128個 數(shù)據(jù)，即最終形成128維的SIFT特征向量。
[0101] 第二步：對左右視圖的SIFT特征點(diǎn)進(jìn)彳丁匹配。當(dāng)兩幅圖像（圖像1和圖像2)的 SIFT特征向量生成后，下一步采用關(guān)鍵點(diǎn)特征向量的歐式距離作為兩幅圖像中關(guān)鍵點(diǎn)的相 似性判定度量。歐氏距離定義如公式1所示：
[0102]
【主權(quán)項(xiàng)】
1. 一種數(shù)據(jù)處理方法，其特征在于，所述方法包括： 對采集的每峽立體圖像數(shù)據(jù)進(jìn)行預(yù)處理時，對每峽立體圖像數(shù)據(jù)的左視圖和右視圖分 別提取特征值并進(jìn)行匹配，根據(jù)匹配結(jié)果得到左右視圖之間的像素坐標(biāo)映射模型； 每峽立體圖像數(shù)據(jù)對應(yīng)一個左右視圖之間的像素坐標(biāo)映射模型，根據(jù)多峽立體圖像數(shù) 據(jù)對應(yīng)的左右視圖之間的像素坐標(biāo)映射模型得到平均像素坐標(biāo)映射模型； 基于所述平均像素坐標(biāo)映射模型進(jìn)行圖像處理。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對每峽立體圖像數(shù)據(jù)的左視圖和右 視圖分別提取特征值并進(jìn)行匹配，具體包括： 對左視圖和右視圖分別提取SIFT特征，獲得左視圖和右視圖分別對應(yīng)的SIFT特征描 述子； 將左視圖和右視圖分別對應(yīng)的SIFT特征描述子進(jìn)行SIFT特征點(diǎn)匹配，獲得左右視圖 的SIFT特征點(diǎn)的匹配點(diǎn)對。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)匹配結(jié)果得到左右視圖之間的 像素坐標(biāo)映射模型，具體包括： W所述匹配點(diǎn)對作為輸入?yún)?shù)來得到所述左右視圖之間的像素坐標(biāo)映射模型。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述W所述匹配點(diǎn)對作為輸入?yún)?shù)來得 到所述左右視圖之間的像素坐標(biāo)映射模型，具體包括： 從由所述匹配點(diǎn)對構(gòu)成的集合S中隨機(jī)選取一個數(shù)據(jù)點(diǎn)集進(jìn)行初始化； 從所述數(shù)據(jù)點(diǎn)集中按照預(yù)設(shè)闊值過濾出符合的支撐點(diǎn)集Si,作為一致集； 根據(jù)Si的大小與預(yù)設(shè)闊值的比對來不斷選取新的數(shù)據(jù)樣本及估計(jì)左右視圖之間的像 素坐標(biāo)映射模型直至獲得最大的一致集，根據(jù)所述最大的一致集為最終數(shù)據(jù)樣本得到所需 的左右視圖之間的像素坐標(biāo)映射模型。
5. 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述根據(jù)多峽立體圖像數(shù)據(jù)對 應(yīng)的左右視圖之間的像素坐標(biāo)映射模型得到平均像素坐標(biāo)映射模型，具體包括： 獲取立體圖像合成前最新采集的指定個數(shù)的多峽立體圖像數(shù)據(jù)對應(yīng)的左右視圖之間 的像素坐標(biāo)映射模型，對所述多峽立體圖像數(shù)據(jù)對應(yīng)的左右視圖之間的像素坐標(biāo)映射模型 取平均，得到平均像素坐標(biāo)映射模型。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述平均像素坐標(biāo)映射模型進(jìn) 行圖像處理，具體包括： 基于所述平均像素坐標(biāo)映射模型進(jìn)行破損區(qū)域的修復(fù)處理； 基于所述平均像素坐標(biāo)映射模型進(jìn)行降噪處理。
7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述平均像素坐標(biāo)映射模型進(jìn) 行破損區(qū)域的修復(fù)處理，具體包括： 檢測到破損區(qū)域，基于所述平均像素坐標(biāo)映射模型確定破損區(qū)域在另一正常視圖中的 坐標(biāo)信息，用正常視圖中相應(yīng)區(qū)域的圖像內(nèi)容替換當(dāng)前破損區(qū)域的圖像內(nèi)容，對檢測到破 損區(qū)域的邊緣，用左右兩視圖對應(yīng)像素點(diǎn)灰度值的平均數(shù)修正。
8. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述平均像素坐標(biāo)映射模型進(jìn) 行降噪處理，具體包括： 檢測到可疑噪聲點(diǎn)，基于所述平均像素坐標(biāo)映射模型確定可疑噪聲點(diǎn)在另一視圖中的 位置區(qū)域，進(jìn)行灰度比較確定可疑噪聲點(diǎn)是否為噪聲點(diǎn)； 將確定的噪聲點(diǎn)按照預(yù)定位置區(qū)域的鄰域內(nèi)各像素灰度值用另一視圖對應(yīng)像素點(diǎn)的 灰度值進(jìn)行修正。
9. 一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括： 預(yù)處理單元，用于對采集的每峽立體圖像數(shù)據(jù)進(jìn)行預(yù)處理時，對每峽立體圖像數(shù)據(jù)的 左視圖和右視圖分別提取特征值并進(jìn)行匹配，根據(jù)匹配結(jié)果得到左右視圖之間的像素坐標(biāo) 映射模型； 圖像處理單元，用于基于所述平均像素坐標(biāo)映射模型進(jìn)行圖像處理；每峽立體圖像數(shù) 據(jù)對應(yīng)一個左右視圖之間的像素坐標(biāo)映射模型，根據(jù)多峽立體圖像數(shù)據(jù)對應(yīng)的左右視圖之 間的像素坐標(biāo)映射模型得到所述平均像素坐標(biāo)映射模型。
10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述預(yù)處理單元，進(jìn)一步包括：特征匹配 子單元； 所述特征匹配子單元，用于對左視圖和右視圖分別提取SIFT特征，獲得左視圖和右視 圖分別對應(yīng)的SIFT特征描述子；將左視圖和右視圖分別對應(yīng)的SIFT特征描述子進(jìn)行SIFT 特征點(diǎn)匹配，獲得左右視圖的SIFT特征點(diǎn)的匹配點(diǎn)對。
11. 根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述預(yù)處理單元，進(jìn)一步包括；模型估 計(jì)子單元； 所述模型估計(jì)子單元，用于W所述匹配點(diǎn)對作為輸入?yún)?shù)來得到所述左右視圖之間的 像素坐標(biāo)映射模型。
12. 根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述模型估計(jì)子單元，用于從由所述匹 配點(diǎn)對構(gòu)成的集合S中隨機(jī)選取一個數(shù)據(jù)點(diǎn)集進(jìn)行初始化；從所述數(shù)據(jù)點(diǎn)集中按照預(yù)設(shè)闊 值過濾出符合的支撐點(diǎn)集Si,作為一致集；根據(jù)Si的大小與預(yù)設(shè)闊值的比對來不斷選取新 的數(shù)據(jù)樣本及估計(jì)左右視圖之間的像素坐標(biāo)映射模型直至獲得最大的一致集，根據(jù)所述最 大的一致集為最終數(shù)據(jù)樣本得到所需的左右視圖之間的像素坐標(biāo)映射模型。
13. 根據(jù)權(quán)利要求9至12任一項(xiàng)所述的裝置，其特征在于，所述圖像處理單元，進(jìn)一步 包括：模型均值獲取子單元； 所述模型均值獲取子單元，用于獲取立體圖像合成前最新采集的指定個數(shù)的多峽立體 圖像數(shù)據(jù)對應(yīng)的左右視圖之間的像素坐標(biāo)映射模型，對所述多峽立體圖像數(shù)據(jù)對應(yīng)的左右 視圖之間的像素坐標(biāo)映射模型取平均，得到平均像素坐標(biāo)映射模型。
14. 根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述圖像處理單元，進(jìn)一步包括：第一 處理子單元和第二處理子單元； 所述第一處理子單元，用于基于所述平均像素坐標(biāo)映射模型進(jìn)行破損區(qū)域的修復(fù)處 理； 第二處理子單元，用于基于所述平均像素坐標(biāo)映射模型進(jìn)行降噪處理。
15. 根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述第一處理子單元，進(jìn)一步用于檢 測到破損區(qū)域，基于所述平均像素坐標(biāo)映射模型確定破損區(qū)域在另一正常視圖中的坐標(biāo)信 息，用正常視圖中相應(yīng)區(qū)域的圖像內(nèi)容替換當(dāng)前破損區(qū)域的圖像內(nèi)容，對檢測到破損區(qū)域 的邊緣，用左右兩視圖對應(yīng)像素點(diǎn)灰度值的平均數(shù)修正。
16. 根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述第二處理子單元，進(jìn)一步用于檢 測到可疑噪聲點(diǎn)，基于所述平均像素坐標(biāo)映射模型確定可疑噪聲點(diǎn)在另一視圖中的位置區(qū) 域，進(jìn)行灰度比較確定可疑噪聲點(diǎn)是否為噪聲點(diǎn)；將確定的噪聲點(diǎn)按照預(yù)定位置區(qū)域的鄰 域內(nèi)各像素灰度值用另一視圖對應(yīng)像素點(diǎn)的灰度值進(jìn)行修正。
17. -種計(jì)算機(jī)存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)存儲介質(zhì)包括一組指令，當(dāng)執(zhí)行所 述指令時，引起至少一個處理器執(zhí)行所述如權(quán)利要求1至8任一項(xiàng)所述的數(shù)據(jù)處理方法。
18. -種用戶終端，其特征在于，所述用戶終端包括如權(quán)利要求9至16任一項(xiàng)所述的數(shù) 據(jù)處理裝置。
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)存儲介質(zhì)及用戶終端，其中，該方法包括：對采集的每幀立體圖像數(shù)據(jù)進(jìn)行預(yù)處理時，對每幀立體圖像數(shù)據(jù)的左視圖和右視圖分別提取特征值并進(jìn)行匹配，根據(jù)匹配結(jié)果得到左右視圖之間的像素坐標(biāo)映射模型；每幀立體圖像數(shù)據(jù)對應(yīng)一個左右視圖之間的像素坐標(biāo)映射模型，根據(jù)多幀立體圖像數(shù)據(jù)對應(yīng)的左右視圖之間的像素坐標(biāo)映射模型得到平均像素坐標(biāo)映射模型；基于所述平均像素坐標(biāo)映射模型進(jìn)行圖像處理。采用本發(fā)明，至少解決了不能得到穩(wěn)定的立體圖像數(shù)據(jù)的問題，能對得到的立體圖像數(shù)據(jù)進(jìn)行優(yōu)化重建。
【IPC分類】G06T5-50
【公開號】CN104574331
【申請?zhí)枴緾N201310500005
【發(fā)明人】李飛, 王云飛
【申請人】中興通訊股份有限公司
【公開日】2015年4月29日
【申請日】2013年10月22日
【公告號】WO2014180255A1