一種數(shù)據(jù)處理方法、裝置、計算機存儲介質(zhì)及用戶終端的制作方法
【技術領域】
[0001] 本發(fā)明屬于多媒體應用技術領域，尤其涉及一種數(shù)據(jù)處理方法、裝置、計算機存儲 介質(zhì)及用戶終端。
【背景技術】
[0002]SIFT是SIFT局部特征描述算法中涉及的局部特征描述子，SIFT特征獨特性好，信 息量豐富，并且對大多數(shù)圖像變換具有很強的不變性。在Mikolajczyk對包括SIFT算子在 內(nèi)的十種局部描述子所做的不變性對比實驗中，SIFT及其擴展算法已被證實在同類描述子 中具有最強的魯棒性，所謂魯棒性是指穩(wěn)定性的一種描述。
[0003]SIFT算法包含了兩個部分：一個尺度不變的興趣區(qū)域檢測器和一個基于興趣區(qū) 域的灰度階梯分布的特征描述符。其主要特點如下：
[0004]a)SIFT特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對視 角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。
[0005]b)獨特性（Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行 快速、準確的匹配。
[0006]c)多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量SIFT特征向量。
[0007]d)高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達到實時的要求。
[0008]e)可擴展性，可以很方便的與其他形式的特征向量進行聯(lián)合。
[0009]SIFT特征匹配算法主要包括兩個階段，第一階段是SIFT特征的生成，即從多幅圖 像中提取對尺度縮放、旋轉、亮度變化無關的特征向量；第二階段是SIFT特征向量的匹配。
[0010] 如今，SIFT算法已經(jīng)廣泛應用于目標識別、圖像復原、圖像拼接等領域。
[0011]隨機取樣一致性算法（RANSAC，randomsampleconsensus)是由Fishier和 Bolles提出的一種魯棒性估計方法。如今，RANSAC技術已經(jīng)成為線性、非線性模型估計重 要方法。
[0012] 本申請發(fā)明人在實現(xiàn)本申請實施例技術方案的過程中，至少發(fā)現(xiàn)現(xiàn)有技術中存在 如下技術問題：
[0013] 在用戶終端，例如移動終端的多媒體應用領域，采集設備利用采集的圖像數(shù)據(jù)進 行立體成像，立體圖像的合成工作包括立體數(shù)據(jù)的準備、子像素判斷準則、各視點像素子采 樣、各視點子像素排列合成、立體圖像的壓縮傳輸與顯示幾個部分。
[0014] 在兩視點立體圖像采集合成過程中，由于每一幀立體數(shù)據(jù)只有左右視點兩張圖 片，所以合成算法容錯率較低。在使用移動終端采集雙視點立體圖像數(shù)據(jù)時，由于用戶操作 不穩(wěn)定的問題，容易出現(xiàn)手指遮擋等問題，當采集設備出現(xiàn)噪聲較大，攝像頭遮擋等問題的 時候，容易造成立體圖像數(shù)據(jù)的不可用，穩(wěn)定性差，從而最終合成錯誤或者質(zhì)量較差的立體 圖片?？梢?，在整個立體圖像采集合成過程中，作為數(shù)據(jù)源的立體圖像數(shù)據(jù)的穩(wěn)定性對最終 合成立體圖片起著至關重要的作用，然而，對于如何得到穩(wěn)定的立體圖像數(shù)據(jù)尚未存在有 效的解決方案。

【發(fā)明內(nèi)容】

[0015] 有鑒于此，本發(fā)明的主要目的在于提供一種數(shù)據(jù)處理方法、裝置及用戶終端，至少 解決了不能得到穩(wěn)定的立體圖像數(shù)據(jù)的問題，能對得到的立體圖像數(shù)據(jù)進行優(yōu)化重建。
[0016] 為達到上述目的，本發(fā)明的技術方案是這樣實現(xiàn)的：
[0017] 本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，包括：
[0018] 對采集的每幀立體圖像數(shù)據(jù)進行預處理時，對每幀立體圖像數(shù)據(jù)的左視圖和右視 圖分別提取特征值并進行匹配，根據(jù)匹配結果得到左右視圖之間的像素坐標映射模型；
[0019] 每幀立體圖像數(shù)據(jù)對應一個左右視圖之間的像素坐標映射模型，根據(jù)多幀立體圖 像數(shù)據(jù)對應的左右視圖之間的像素坐標映射模型得到平均像素坐標映射模型；
[0020] 基于所述平均像素坐標映射模型進行圖像處理。
[0021] 上述方案中，所述對每幀立體圖像數(shù)據(jù)的左視圖和右視圖分別提取特征值并進行 匹配，具體包括：
[0022] 對左視圖和右視圖分別提取SIFT特征，獲得左視圖和右視圖分別對應的SIFT特 征描述子；
[0023] 將左視圖和右視圖分別對應的SIFT特征描述子進行SIFT特征點匹配，獲得左右 視圖的SIFT特征點的匹配點對。
[0024] 上述方案中，所述根據(jù)匹配結果得到左右視圖之間的像素坐標映射模型，具體包 括：
[0025] 以所述匹配點對作為輸入?yún)?shù)來得到所述左右視圖之間的像素坐標映射模型。
[0026] 上述方案中，所述以所述匹配點對作為輸入?yún)?shù)來得到所述左右視圖之間的像素 坐標映射模型，具體包括：
[0027] 從由所述匹配點對構成的集合S中隨機選取一個數(shù)據(jù)點集進行初始化；
[0028] 從所述數(shù)據(jù)點集中按照預設閾值過濾出符合的支撐點集Si，作為一致集；
[0029] 根據(jù)Si的大小與預設閾值的比對來不斷選取新的數(shù)據(jù)樣本及估計左右視圖之間 的像素坐標映射模型直至獲得最大的一致集，根據(jù)所述最大的一致集為最終數(shù)據(jù)樣本得到 所需的左右視圖之間的像素坐標映射模型。
[0030] 上述方案中，所述根據(jù)多幀立體圖像數(shù)據(jù)對應的左右視圖之間的像素坐標映射模 型得到平均像素坐標映射模型，具體包括：
[0031] 獲取立體圖像合成前最新采集的指定個數(shù)的多幀立體圖像數(shù)據(jù)對應的左右視圖 之間的像素坐標映射模型，對所述多幀立體圖像數(shù)據(jù)對應的左右視圖之間的像素坐標映射 模型取平均，得到平均像素坐標映射模型。
[0032] 上述方案中，所述基于所述平均像素坐標映射模型進行圖像處理，具體包括：
[0033] 基于所述平均像素坐標映射模型進行破損區(qū)域的修復處理；
[0034] 基于所述平均像素坐標映射模型進行降噪處理。
[0035] 上述方案中，所述基于所述平均像素坐標映射模型進行破損區(qū)域的修復處理，具 體包括：
[0036] 檢測到破損區(qū)域，基于所述平均像素坐標映射模型確定破損區(qū)域在另一正常視圖 中的坐標信息，用正常視圖中相應區(qū)域的圖像內(nèi)容替換當前破損區(qū)域的圖像內(nèi)容，對檢測 到破損區(qū)域的邊緣，用左右兩視圖對應像素點灰度值的平均數(shù)修正。
[0037] 上述方案中，所述基于所述平均像素坐標映射模型進行降噪處理，具體包括：
[0038] 檢測到可疑噪聲點，基于所述平均像素坐標映射模型確定可疑噪聲點在另一視圖 中的位置區(qū)域，進行灰度比較確定可疑噪聲點是否為噪聲點；
[0039] 將確定的噪聲點按照預定位置區(qū)域的鄰域內(nèi)各像素灰度值用另一視圖對應像素 點的灰度值進行修正。
[0040] 本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置，包括：
[0041] 預處理單元，用于對采集的每幀立體圖像數(shù)據(jù)進行預處理時，對每幀立體圖像數(shù) 據(jù)的左視圖和右視圖分別提取特征值并進行匹配，根據(jù)匹配結果得到左右視圖之間的像素 坐標映射模型；
[0042] 圖像處理單元，用于基于所述平均像素坐標映射模型進行圖像處理；每幀立體圖 像數(shù)據(jù)對應一個左右視圖之間的像素坐標映射模型，根據(jù)多幀立體圖像數(shù)據(jù)對應的左右視 圖之間的像素坐標映射模型得到所述平均像素坐標映射模型。
[0043] 上述方案中，所述預處理單元，進一步包括：特征匹配子單元；
[0044] 所述特征匹配子單元，用于對左視圖和右視圖分別提取SIFT特征，獲得左視圖和 右視圖分別對應的SIFT特征描述子；將左視圖和右視圖分別對應的SIFT特征描述子進行 SIFT特征點匹配，獲得左右視圖的SIFT特征點的匹配點對。
[0045] 上述方案中，所述預處理單元，進一步包括：模型估計子單元；
[0046] 所述模型估計子單元，用于以所述匹配點對作為輸入?yún)?shù)來得到所述左右視圖之 間的像素坐標映射模型。
[0047] 上述方案中，所述模型估計子單元，用于從由所述匹配點對構成的集合S中隨機 選取一個數(shù)據(jù)點集進行初始化；從所述數(shù)據(jù)點集中按照預設閾值過濾出符合的支撐點集Si，作為一致集；根據(jù)Si的大小與預設閾值的比對來不斷選取新的數(shù)據(jù)樣本及估計左右視 圖之間的像素坐標映射模型直至獲得最大的一致集，根據(jù)所述最大的一致集為最終數(shù)據(jù)樣 本得到所需的左右視圖之間的像素坐標映射模型。
[0048] 上述方案中，所述圖像處理單元，進一步包括：模型均值獲取子單元；
[0049] 所述模型均值獲取子單元，用于獲取立體圖像合成前最新采集的指定個數(shù)的多幀 立體圖像數(shù)據(jù)對應的左右視圖之間的像素坐標映射模型，對所述多幀立體圖像數(shù)據(jù)對應的 左右視圖之間的像素坐標映射模型取平均，得到平均像素坐標映射模型。
[0050] 上述方案中，所述圖像處理單元，進一步包括：第一處理子單元和第二處理子單 元；
[0051] 所述第一處理子單元，用于基于所述平均像素坐標映射模型進行破損區(qū)域的修復 處理；
[0052] 第二處理子單元，用于基于所述平均像素坐標映射模型進行降噪處理。
[0053] 上述方案中，所述第一處理子單元，進一步用于檢測到破損區(qū)域，基于所述平均像 素坐標映射模型確定破損區(qū)域在另一正常視圖中的坐標信息，用正常視圖中相應區(qū)域的圖