欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種使用時域視覺傳感器的雙目立體深度匹配方法

文檔序號:9930088閱讀:388來源:國知局
一種使用時域視覺傳感器的雙目立體深度匹配方法
【技術領域】
[0001] 本發(fā)明設及計算機視覺、數(shù)字圖像處理W及圖像傳感器設計等多個技術領域,具體設 及一種使用時域視覺傳感器的雙目立體深度匹配方法。
【背景技術】
[0002] -、雙目立體深度匹配方法 雙目立體視覺系統(tǒng)模擬生物雙眼的視差功能,使用兩臺性能相同、相對位置固定的攝 像機,同時從不同的角度獲取同一場景的兩幅圖像,然后計算原空間中任意一點在運兩幅 圖像中的(位置)視差,進而通過=角測距原理計算出該點的=維坐標信息。雙目立體視覺 是機器視覺的重要分支之一,已應用于工業(yè)檢測、追蹤定位、=維重建、機器人導航避障、圖 像分割等很多領域。
[0003] 雙目立體視覺通過W下幾個步驟獲取空間點的立體深度:攝像機標定、圖像獲取、 圖像校正、立體深度匹配、計算深度和表面差。其中核屯、的立體深度匹配是使用圖像匹配算 法獲取空間一點在左右圖像中的匹配點對,根據(jù)左右匹配點對的視差信息獲得視差圖,為 進一步計算深度及其它處理奠定基礎。
[0004] 附圖1給出雙目視覺立體深度計算的基本原理。經(jīng)過嚴格配準與標定的兩臺相同 像機平行固定,則空間一點P在兩臺相機中的成像原理如左圖所示。圖中Or和化為兩個成像 面的焦點,他們之間的連線稱為基線,長度為b;成像焦距為f??臻g一點P距基線為Z,其在左 右成像面的成像點分別為P和P'(雙目立體視覺系統(tǒng)中的左右相機經(jīng)過配準及校正后,兩個 匹配點P和P'應當具有相同的行坐標和不同的列坐標)。設P點的橫坐標為Xr,p'的橫坐標為 財。由相似S角形定理可得: 上式變形可得: 上式中d=XR-村為P和P'的橫坐標之差(左右兩個成像面的相同行)。由此只要獲得了坐 標差d,就可W獲得空間點到基線的距離Z,然后根據(jù)坐標平面的變換可W確定空間點的深 度距離。上述尋找空間點P在兩個成像面中的兩個投影點P和P'的過程稱為立體(深度)匹 配。
[0005] 在匹配過程中均W-幅圖像為參考圖像,另外一幅為目標圖像。如果左視圖中一 點(x,y),在右視圖中對應的匹配點為(X',y'),運兩個匹配點的坐標差值為d(x,y)。則對 于已經(jīng)校正過的左、右視圖,運兩個匹配點只在橫向掃描線 上存在差異。因此有:
對于參考圖像中的每一像素點(x,y),均能求出視差d,進而形成與像素坐標一致的視 差圖。附圖I右圖為最常見的左右相機平行匹配方法。
[0006] 已經(jīng)提出的基于"帖圖像"的立體匹配算法有很多種,大體分為基于區(qū)域的匹配與 基于特征的匹配?;趨^(qū)域的匹配通過度量左右圖像中兩個小區(qū)域的某種相似度來判斷其 是否匹配。而基于特征的匹配則是首先提取參考圖像中的某種特征,例如邊緣、角點等,然 后在目標圖像中尋找對應的特征并計算其位置差。在實際雙目相機產(chǎn)品中基于區(qū)域的匹配 方法得到了廣泛使用。通常匹配算法由四個步驟組成:匹配代價函數(shù)計算、代價疊加、視差 計算和一致性檢查優(yōu)化。代價函數(shù)表示圖像像素(局部)的相似性測度,一般W能量最小化 策略構(gòu)成,即同一空間點在左右兩幅圖像中的對應成像點(或周圍小區(qū)域)之間具有最小的 亮度差。常用的代價函數(shù)有:SAD(絕對差值之和)、SSD(差平方和)、歸一化SSD、歸一化相關 等。W上運些代價函數(shù)的基本形式在實際應用中可進行各種變形。
[0007] 圖2給出雙目立體深度匹配的示例說明。W左圖為參考,使用右圖進行匹配得到的 深度圖如(C)所示,由圖可見,距離相機較近的空間點(高亮度)具有較大的視差,距離愈遠 則視差越小。
[000引二、視覺傳感器 依據(jù)成像原理,當前規(guī)范使用的半導體圖像傳感器忍片(CCD及CMOS)都是基于"帖采 樣"模式進行圖像采集的: 1、 所有像素在復位后開始感光(收集光電荷),在達到設定曝光時間后停止感光; 2、 依次讀出每個像素所收集的光電荷,并將其轉(zhuǎn)換為電壓; 3、 該電壓經(jīng)模數(shù)轉(zhuǎn)換后變?yōu)閿?shù)字量,輸出后存儲。該數(shù)字量即為該點的亮度值。所有像 素亮度值組成的二維矩陣即為所拍攝圖像。
[0009] 在使用上述"帖采樣"圖像傳感器相機的機器視覺系統(tǒng)中,圖像序列(視頻)的拍攝 速度通常為30帖/秒。機器視覺系統(tǒng)中的計算機執(zhí)行圖像處理算法提取目標并進行判別與 分析。
[0010] 上述"帖采樣"成像方式存在的缺點: (1) 、背景數(shù)據(jù)冗余。相鄰兩帖間存在大量的冗余背景信息,不變的背景區(qū)域被重復采 樣讀出,對系統(tǒng)的處理和存儲能力帶來巨大壓力。拍攝速度越高,則傳輸、存儲和處理壓力 越大,實時性差; (2) 、高響應延遲。場景中的變化不能立即被圖像傳感器感知并輸出,而必須按照"帖" 的節(jié)奏被感知和輸出。運種高響應延遲對于高速運動目標的跟蹤與識別非常不利,運動速 度越快則檢測結(jié)果的間斷性和誤差越明顯。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明針對上述現(xiàn)有技術中存在的技術問題,提供了一種使用時域視覺傳感器的 雙目立體深度匹配方法。
[0012] 本發(fā)明為解決運一問題所采取的技術方案是: 一種使用時域視覺傳感器的雙目立體深度匹配方法,該方法使用一對經(jīng)標定配準的時 域視覺傳感器作為視覺輸入源,W左視覺傳感器輸出的事件序列為參考,對右視覺傳感器 的事件序列進行時間--空間的雙重比較來得到匹配代價,選取具有最小匹配代價且滿足匹 配順序一致性和視差平滑性檢查的事件作為匹配對象。
[0013]該方法包括如下步驟: 設空間運動點在經(jīng)過標定校正的左右TVS產(chǎn)生的AE序列分別為{
其中L代表左相機,R代表右相機;上標 1〇分別表示左、右相機產(chǎn)生的第1和第^個46,?為事件極性,*1,^'為46的時間標記; 循環(huán)執(zhí)行W下步驟: (1) 接收AE,根據(jù)其來源歸入A垃或AEr: FPGA控制器收集來自左右相機的AE,進行時間戳標記和來源標記,輸出的AE流為:
(式1)
匹配計算將左TVS的AE流作為參考序列,在右AE流中尋找其對應的AE;因此根據(jù)時間戳 t及來源source將AE流分為依時間排序的左右兩列: (式2) (式3) 更新Tc; (2) 若Tc < AT,返回(1);否則繼續(xù); (3) 自中選擇未被處理且與Tc間隔大于A T的最近、.片扔心.I;作為參考事件,將 滿足W下條件自^
扣入匹配目標候選集合:
I、時間差有限 泣、視差距離宅 鎌、極線平行: 跋、事件屬性: 扛、匹配唯一性:,
衣與其他AE匹配; (4) 計算匹配代價;使用W下公式計算;
與匹配目標集合中每 個AE的匹配代價:
上式中Wl為極線差權(quán)重,當yL=y拙寸,此項為0 ;W2為時間差權(quán)重; 巧)匹配事件確定: $:、選擇匹配目標集中具有最小匹配代價的AE進行匹配順序一致性檢查:對深度匹配圖 中()周圍A L范圍內(nèi)的視差值進行匹配順序一致性檢查; 妓、視差平滑性檢查:將當前所得視差與(心周圍A L范圍內(nèi)的已有視差平滑一致 性檢查;若當前視差為公C,周圍已有視差的平均值為志,標準差為^
溢、若當前AE滿足W上條件,認為其為匹配AE,將視差M-Jl寫入深度匹配圖口^〇心 )位置,標記
為已匹配;若不滿足,則選取具有 次最小代價的AE重復上述過程;若選擇匹配目標集中的AE均不滿足上述條件,則深度匹配 圖位置標記為0; (6)返回(1)繼續(xù)或結(jié)束。
[0014] 本發(fā)明具有的優(yōu)點和積極效果是: 本發(fā)明根據(jù)雙目立體深度測量的原理,使用TVS為輸入源,通過比較左右TVS產(chǎn)生的AE 序列進行時間-空間匹配。由于TVS采用變化采樣、異步輸出、地址事件表示的成像原理,因 此具有極低數(shù)據(jù)冗余、高實時性與時間分辨率的優(yōu)勢,非常適合于運動目標的立體深度測 量計算。
[0015] 同時由于采用"變化采樣+像素異步輸出"的采樣原理,因此場景中的變化能夠W 微秒級的延遲被感知和輸出,相當于帖采樣下的幾千~幾萬帖/每秒。如此高的時間分辨率 深度計算具有更高的準確性,適合于高速運動目標跟蹤與定位應用;TVS的數(shù)據(jù)輸出量通常 只有"帖采樣"圖像傳感器的5-10%,因此計算量大為降低,深度計算的實時性大大提高,同 時有利于系統(tǒng)成本的降低。
【附圖說明】
[0016] 圖1是雙目視覺立體深度計算的基本原理W及平行式雙目相機的構(gòu)成圖;左:=角 測距原理;右:雙目相機平行配置; 圖2是使用雙目視覺方法進行立體深度匹配計算的示例圖;從左到右分別為:左視圖; 右視圖;視差圖; 圖3是本發(fā)明的TVS雙目視覺系統(tǒng)的硬件結(jié)構(gòu)圖; 圖4是本發(fā)明的使用時域視覺傳感器的雙目立體深度匹配方法的流程圖。
【具體實施方式】
[0017] W下參照附圖對本發(fā)明的使用時域視覺傳感器的雙目立體深度匹配方法進行詳 細的說明。下面描述的具體實施例僅是本發(fā)明的最佳實施方式,而不能理解為對本發(fā)明的 限制。
[0018] 近年來,研究者依據(jù)生物視覺"變化采樣"的原理,采用超大規(guī)模集成電路(VLSI) 技術設計出新型工作模式的"視覺傳感器(Vision Sensor, VS)"。原理包括: (1) 、生物視覺系統(tǒng)不W "帖"的方式進行成像,視覺感光細胞只對變化敏感,并將運種 變化W神經(jīng)脈沖的形式傳遞到大腦視皮層進行處理; (2) 、模仿生物視覺的成像機理,VS像素只對場景中的"變化事件(Activity Event, AE)"敏感并采樣輸出。按其性質(zhì),AE可分為空間變化(某像素與其周邊像素的亮度關系發(fā)生 變化)和時間變化(像素自身的亮度發(fā)生變化)兩大類。時域變化敏感的視覺傳感器稱之為 時域視覺傳感器(Temporal Vision Sensor ,TVS); (3) 、TVS中的各像素自主地檢測所感受的光強是否發(fā)生變化。具體方法是每個像素周 期測量極短時間內(nèi)的光生電流變化量。當光生電流變化量超過設定的闊值時,表明該點所 受的光強發(fā)生變化,因此每個AE的產(chǎn)生代表了光強發(fā)生了固定的變化量。像素產(chǎn)生的AE通 過串行總線異步輸出,像素間互不關聯(lián); (4)
當前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
新巴尔虎左旗| 芦山县| 崇仁县| 宣武区| 阿拉善右旗| 饶河县| 双鸭山市| 高台县| 翼城县| 保靖县| 吕梁市| 岱山县| 合山市| 化州市| 紫阳县| 白水县| 尉犁县| 易门县| 大方县| 同德县| 清丰县| 报价| 天柱县| 青龙| 裕民县| 长泰县| 陆良县| 祥云县| 漠河县| 禹州市| 龙门县| 荆门市| 上杭县| 集安市| 黑龙江省| 新闻| 小金县| 山东| 涿鹿县| 揭东县| 旬邑县|