專(zhuān)利名稱(chēng)：劇烈光照變化下基于角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種劇烈光照變化下基于 角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì)方法。
技術(shù)背景光流法是分析序列圖像中物體運(yùn)動(dòng)的重要方法，在視頻圖像分析方面有著極 其重要的應(yīng)用。當(dāng)物體在攝像機(jī)前運(yùn)動(dòng)或者攝像機(jī)在環(huán)境中運(yùn)動(dòng)時(shí)，就會(huì)發(fā)現(xiàn)圖 像的改變，圖像模式運(yùn)動(dòng)的速度分布就稱(chēng)為光流，圖像上的每一點(diǎn)就形成光流場(chǎng)。 但是由于相鄰幀之間亮度恒常條件假設(shè)的存在，使得其應(yīng)用范圍大為縮減。光流 場(chǎng)的計(jì)算的問(wèn)題主要在于兩個(gè)方面1，由相對(duì)運(yùn)動(dòng)所引起的運(yùn)動(dòng)不連續(xù)性；2， 劇烈的光照變化破壞光流恒定方程。當(dāng)物體在具有與背景所不相同的速度進(jìn)行運(yùn) 動(dòng)時(shí)，所產(chǎn)生的運(yùn)動(dòng)的不連續(xù)性打破了 Horn-Schunck (霍恩-舒恩克)光流法的基 本假設(shè)。經(jīng)對(duì)現(xiàn)有的技術(shù)文獻(xiàn)檢索發(fā)現(xiàn)，Hulya Yalcin等在Background Estimation under Rapid Gain Change in Thermal Imagery (快速增益變化下紅外圖像中的 背景予頁(yè)測(cè))，Second IEEE Workshop on Object Tracking and Classification in and Beyond the Visible Spectrum (OTCBVS'05) ， June, 2005 (第二屆可見(jiàn)譜與 非可見(jiàn)譜物體跟蹤與分類(lèi)電氣和電子工程師協(xié)會(huì)研討會(huì)，2005年六月)，該文中針 對(duì)紅外圖像中增益變化比較大的情況提出了一種用已經(jīng)進(jìn)行運(yùn)動(dòng)補(bǔ)償后的前一幀 尸w來(lái)對(duì)當(dāng)前幀/,利用表示式/,=附*/~-1+6進(jìn)行線(xiàn)性光照補(bǔ)償?shù)哪Ｐ汀５沁@種模型相對(duì)比較粗糙，還存在如下不足1、由于其圖片為紅外圖片，所以暗含假 設(shè)為如果光照增益強(qiáng)度發(fā)生變化，那么必定是各像素點(diǎn)增益都按照同樣方式發(fā)生 變化，并且變化均為線(xiàn)性。但是這顯然與平常我們所用的視頻監(jiān)控?cái)z像機(jī)進(jìn)行由 亮處到暗處的掃描時(shí)圖像光照強(qiáng)度的非均勻變化情況不符；2、由于其用歸一化的 互相關(guān)函數(shù)來(lái)進(jìn)行匹配，而互相關(guān)函數(shù)受旋轉(zhuǎn)，以及仿射變換等因素影響比較大，因此不適合于運(yùn)動(dòng)情況比較劇烈以及運(yùn)動(dòng)為非線(xiàn)性的情況；3、對(duì)于運(yùn)動(dòng)物體上角 點(diǎn)數(shù)目比較多的情況，此方法也并沒(méi)有提出一種有效的解決方案來(lái)將物體上的運(yùn) 動(dòng)矢量誤判為全局運(yùn)動(dòng)矢量的情況消除。 發(fā)明內(nèi)容本發(fā)明針對(duì)上述現(xiàn)有技術(shù)中的不足，提出了一種劇烈光照變化下基于角點(diǎn)匹 配與光流法的運(yùn)動(dòng)估計(jì)方法，使其既能夠提高普通情況下光流法的精度，又能夠 在外界光照環(huán)境極其惡劣的情況下提供較為可靠的運(yùn)動(dòng)的估計(jì)，使其在下一步的 視頻編解碼以及提取和穩(wěn)像當(dāng)中發(fā)揮用處。本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)，本發(fā)明包括如下步驟① 對(duì)當(dāng)前幀進(jìn)行角點(diǎn)檢測(cè)；② 對(duì)當(dāng)前幀與上一幀進(jìn)行旋轉(zhuǎn)不變的歸一化角點(diǎn)匹配；③ 對(duì)于匹配好的角點(diǎn)，進(jìn)行分塊，并計(jì)算所分的每一個(gè)塊內(nèi)的仿射變換參數(shù)， 針對(duì)仿射變換參數(shù)對(duì)當(dāng)前幀進(jìn)行分塊全局運(yùn)動(dòng)矢量估計(jì)，并利用向量估計(jì)對(duì)前一 幀進(jìn)行運(yùn)動(dòng)補(bǔ)償；④ 針對(duì)運(yùn)動(dòng)補(bǔ)償之后的前一幀分塊進(jìn)行分塊線(xiàn)性光照補(bǔ)償；⑤ 利用已經(jīng)進(jìn)行線(xiàn)性光照補(bǔ)償?shù)膱D像與當(dāng)前圖像幀進(jìn)行光流計(jì)算，對(duì)下一幀 的全局運(yùn)動(dòng)矢量進(jìn)行估計(jì)。所述的旋轉(zhuǎn)不變，是指在經(jīng)過(guò)基于圖像中物體表面的梯度或者弧度的最大化 的角點(diǎn)檢測(cè)方法將圖像幀當(dāng)中的角點(diǎn)顯式的表現(xiàn)出來(lái)以后，提取各個(gè)角點(diǎn)附近的 特征以及角點(diǎn)域選擇時(shí)均采用不依賴(lài)于旋轉(zhuǎn)的方法，具體是采用對(duì)于旋轉(zhuǎn)不敏感 的拉普拉斯高斯濾波器來(lái)對(duì)圖像進(jìn)行濾波來(lái)選取特征，采用半徑為r的一個(gè)圓來(lái) 作為角點(diǎn)域，r為3像素-10像素。所述的旋轉(zhuǎn)不變的歸一化角點(diǎn)匹配，是指選取旋轉(zhuǎn)不變的特征以及角點(diǎn)域并 對(duì)此特征進(jìn)行匹配，得到每個(gè)角點(diǎn)區(qū)域內(nèi)的總濾波圖像像素值、平均濾波圖像像 素值、濾波之前的總圖像像素值、平均圖像像素值，以上四個(gè)值構(gòu)成表征圖像每 個(gè)角點(diǎn)的四個(gè)特征，然后將此四個(gè)特征進(jìn)行歸一化處理，來(lái)消除由光照突然變化 所引起的影響，形成每個(gè)象素點(diǎn)的歸一化特征向量，利用此特征向量來(lái)尋找前一 幀中在以本角點(diǎn)附近區(qū)域范圍內(nèi)的角點(diǎn)，選取與此角點(diǎn)特征向量平方誤差最小的 特征向量所代表的角點(diǎn)作為其匹配角點(diǎn)。所述計(jì)算所分的每一個(gè)塊內(nèi)的仿射變換參數(shù)，是指將整幅圖像幀分為十六個(gè) 塊，每次分別任意選取不相鄰的三個(gè)塊，再在每一個(gè)塊中隨機(jī)挑選一個(gè)匹配點(diǎn)對(duì)， 再利用分塊挑選的隨機(jī)挑選一致性(RANSAC)方法，對(duì)于前景運(yùn)動(dòng)物體以及背景 上面角點(diǎn)數(shù)目占所有角點(diǎn)數(shù)目的比例達(dá)到1/3的圖像幀進(jìn)行圖像仿射運(yùn)動(dòng)參數(shù)的 計(jì)算，得到仿射坐標(biāo)的六個(gè)參數(shù)，再由仿射坐標(biāo)的六個(gè)參數(shù)，計(jì)算運(yùn)動(dòng)矢量。所述的進(jìn)行分塊線(xiàn)性光照補(bǔ)償，是指將整幅圖像劃分為n個(gè)塊，對(duì)于前一幀與已經(jīng)進(jìn)行運(yùn)動(dòng)補(bǔ)償之后的當(dāng)前幀的每一塊都進(jìn)行除灰度值為零的點(diǎn)外的對(duì)應(yīng)塊的逐點(diǎn)比較，并且由線(xiàn)性回歸式4("，V):W/'(,)("，V) + 6得到補(bǔ)償系數(shù)，其中f(u，v)代表補(bǔ)償后的圖像灰度值，I'代表補(bǔ)償前像素灰度值，i代表第i個(gè)塊，i〈n， (",v)表示前一幀中某一點(diǎn)位置，m》為線(xiàn)性補(bǔ)償系數(shù)，由線(xiàn)性回歸式，得到任意 點(diǎn)(",v)處的光強(qiáng)，對(duì)于連接縫處所出現(xiàn)的光照突變，采用鄰域的局部平均法來(lái)消 除。所述的進(jìn)行光流計(jì)算，是指將經(jīng)由分塊線(xiàn)性光照補(bǔ)償之后的前一幀圖像與當(dāng)前像素幀之間的運(yùn)動(dòng)假設(shè)為六參數(shù)模型的仿射運(yùn)動(dòng)，那么根據(jù)光流恒定方程和能量最小化原則，并且根據(jù)仿射運(yùn)動(dòng)模型f 二"^ + "^ + :1計(jì)算出仿射運(yùn)動(dòng)的六參|y= a3w + a4v + 62數(shù)apa2,a3，a4,b,，b2， w， v表示前一幀中某一點(diǎn)位置，"'，v'表示當(dāng)前幀中此點(diǎn) 位置。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果本發(fā)明在進(jìn)行光流法計(jì)算運(yùn)動(dòng) 矢量之前先采用旋轉(zhuǎn)不變的歸 一化的角點(diǎn)匹配方法來(lái)對(duì)圖像進(jìn)行光照補(bǔ)償操作， 克服了由于劇烈的光照變化以及大幅度旋轉(zhuǎn)等不良條件而導(dǎo)致的光流法失效的缺 點(diǎn)，獲得較高的準(zhǔn)確率；經(jīng)實(shí)驗(yàn)驗(yàn)證，本發(fā)明較普通光流法而言能減少上面所述 惡劣情況下誤檢率的10%以上至35%之間。并且本發(fā)明采用分塊化的方法來(lái)進(jìn)行運(yùn) 動(dòng)補(bǔ)償，克服了運(yùn)動(dòng)物體上角點(diǎn)數(shù)目比較多而導(dǎo)致運(yùn)動(dòng)矢量誤判的情況，利用分 塊方法進(jìn)行光照補(bǔ)償使得本發(fā)明在普通攝像機(jī)在由亮到暗掃描時(shí)的檢測(cè)具有魯棒 性。所以本發(fā)明結(jié)合了歸一化角點(diǎn)匹配方法對(duì)噪聲抑制良好具有良好穩(wěn)健性和光 流法運(yùn)算精度高的優(yōu)點(diǎn)，可以應(yīng)用于視頻監(jiān)控、視頻編解碼、電子穩(wěn)像、視頻分 割等技術(shù)領(lǐng)域。


圖1是在微弱光照變化以及小運(yùn)動(dòng)尺度的含有運(yùn)行汽車(chē)的視頻中的圖片幀； 圖2是與圖1相隔5幀的在微弱光照變化以及小運(yùn)動(dòng)尺度的含有運(yùn)行汽車(chē)的 視頻中的圖片幀；圖3是大運(yùn)動(dòng)尺度含有起自行車(chē)行人的視頻中的圖片幀；圖4是與圖3相隔5幀的大運(yùn)動(dòng)尺度含有起自行車(chē)行人的視頻中的圖片幀；圖5是強(qiáng)烈光照變化下含有行人的視頻中的圖片幀；圖6是與圖5相隔5幀的強(qiáng)烈光照變化下含有行人的視頻中的圖片幀。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明本實(shí)施例在以本發(fā)明技術(shù)方案 為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù) 范圍不限于下述的實(shí)施例。本實(shí)施例所采用的視頻來(lái)源于拍攝的具有光照突變的多物體視頻庫(kù)。本實(shí)施例包括如下具體步驟步驟一，采用Harris (哈里斯)角點(diǎn)檢測(cè)法，對(duì)圖像進(jìn)行一階或者二階差分，計(jì)算每個(gè)像素點(diǎn)的平均平方梯度矩陣C(30:。、一卵,r) 〃i其中，"^'s ) -3"'， ^ 分別為圖像幀/(x)與標(biāo)準(zhǔn)差為^的高斯核微分進(jìn)行巻積運(yùn)算得到/(A^)后對(duì)",v分別所求的一階偏導(dǎo)，其中。為兩維矢量，、(^,嚴(yán))=^^;為巻積后圖像上某點(diǎn)3 的像素值/(f,f )在M， v方向上的混合偏導(dǎo)。特征值W:detf(勾)-A:"r2(C^))，判斷R是否大于設(shè)定的域值即可判定所選點(diǎn)是否是角點(diǎn)，本實(shí)施例中域值的設(shè)置為根據(jù)角點(diǎn)數(shù)目進(jìn)行互鎖的自動(dòng)調(diào)整，也 就是說(shuō)，預(yù)先設(shè)置一個(gè)域值th=40000，以及一個(gè)鎖變量5=0， pi使其中的角點(diǎn)數(shù) 目為300 400，如果數(shù)目不在此范圍內(nèi)，則自動(dòng)將域值進(jìn)行開(kāi)平方或乘3/2次方進(jìn)行操作，但是對(duì)于域值開(kāi)平方后所得的角點(diǎn)數(shù)目初次大于300，則令3=1;域值乘3/2次方后所得的角點(diǎn)數(shù)目初次小于400，則令p:l;迭代對(duì)此域值進(jìn)行調(diào)整，直到角點(diǎn)數(shù)目為300 400或者無(wú)論進(jìn)行開(kāi)平方或乘3/2次方中的哪項(xiàng)操作都將使 得5=1，并且p^為止。其中，det為矩陣的行列式，tr是矩陣的直跡，k為一個(gè) 經(jīng)驗(yàn)值取值為0.04~0.06，本例中取k-0.05。步驟二，由于視頻監(jiān)控?cái)z像頭會(huì)根據(jù)目標(biāo)作一定程度的旋轉(zhuǎn)，并且在做仿射 變換時(shí)，也會(huì)使得通常的匹配方法產(chǎn)生誤判，因此采用旋轉(zhuǎn)不變的歸一化角點(diǎn)匹 配。首先，提取各個(gè)角點(diǎn)附近區(qū)域的特征，采用對(duì)每個(gè)角點(diǎn)周?chē)x取半徑為5像 素的一個(gè)圓構(gòu)成角點(diǎn)域來(lái)采用對(duì)于旋轉(zhuǎn)不敏感的拉普拉斯高斯濾波器來(lái)對(duì)圖像進(jìn) 行濾波，得到每個(gè)角點(diǎn)兩個(gè)特征值，即總濾波圖像像素值與平均濾波圖像像素值， 然后與濾波之前圖像的角點(diǎn)域內(nèi)的總圖像像素值與平均圖像像素值構(gòu)成表征圖像 每個(gè)角點(diǎn)的四個(gè)特征；其次，將此四個(gè)特征進(jìn)行歸一化處理，形成每個(gè)象素點(diǎn)的特征向量，利用這 個(gè)特征向量來(lái)尋找前一幀中在以本角點(diǎn)附近20*20區(qū)域范圍內(nèi)的所有角點(diǎn)，選取 與此角點(diǎn)特征向量平方誤差最小的特征向量所代表的角點(diǎn)作為其匹配角點(diǎn)。步驟三，由匹配好的角點(diǎn)進(jìn)行分塊仿射運(yùn)動(dòng)參數(shù)的計(jì)算，以及由此參數(shù)來(lái)對(duì) 當(dāng)前幀進(jìn)行全局運(yùn)動(dòng)矢量的估計(jì)與補(bǔ)償；對(duì)于監(jiān)控?cái)z像頭的全局性運(yùn)動(dòng)，只涉及到旋轉(zhuǎn)和平移，因此采取仿射坐標(biāo)六 參數(shù)模型來(lái)進(jìn)行對(duì)其進(jìn)行模擬，用"，v來(lái)表示前一幀中某一點(diǎn)位置，用"'，v'來(lái) 表示當(dāng)前幀中此點(diǎn)位置，仿射關(guān)系如下v'=a3w + a4v + 62 其中a,，a2,a;,a4，Vb2均為仿射運(yùn)動(dòng)參數(shù)。從步驟二匹配成功的匹配角點(diǎn)中利用隨機(jī)挑選一致性方法(RANSAC)方法選取 點(diǎn)對(duì)來(lái)對(duì)此參數(shù)進(jìn)行估計(jì)。本實(shí)施例中使用RANSAC對(duì)數(shù)據(jù)進(jìn)行多次隨機(jī)取樣來(lái)進(jìn)行仿射參數(shù)的計(jì)算，隨 機(jī)挑選一致性方法是一種有效的具有魯棒性的方法。所述隨機(jī)挑選一致性方法，具體如下-第一步，根據(jù)隨機(jī)挑選的次數(shù)的經(jīng)驗(yàn)公式《=i"SVi-"來(lái)估算所需迭代的log(l _ w)次數(shù)，其中Z,W分別為所要求的結(jié)果正確的概率以及所取點(diǎn)為好點(diǎn)的概率，本實(shí)施例中需要結(jié)果正確的概率2 = 0.99， w-0.5也就是說(shuō)有一半點(diǎn)是好點(diǎn)，根據(jù) 上述公式可以得到1<: = 17，為確保正確性，本方法采用K-30。第二步，每次隨機(jī)取出三個(gè)匹配角點(diǎn)對(duì)來(lái)確定仿射模型參數(shù)，即由公式<formula>formula see original document page 9</formula>擬合出仿射參數(shù)apa2,a3，a^b,，b2 ，第三步，選取一個(gè)判斷點(diǎn)是否擬合的比較好的閾值t，對(duì)于采樣點(diǎn)以外的所有 點(diǎn)用t來(lái)比較此點(diǎn)與利用第二步中擬合出來(lái)的由六個(gè)參數(shù)建立模型的計(jì)算點(diǎn)之間 的距離，如果此距離小于t，那么確定點(diǎn)是很靠近的，將之確定為好點(diǎn)；如果大于 t，那么將之確定為壞點(diǎn)，并且記錄此點(diǎn)對(duì)的好點(diǎn)數(shù)目d。這樣連續(xù)迭代第二，三步K-30次選取找出好點(diǎn)數(shù)目d最多的三個(gè)匹配的角 點(diǎn)對(duì)，以此角點(diǎn)對(duì)作為計(jì)算模型參數(shù)的候選點(diǎn)進(jìn)行仿射六參數(shù)a,，a2,^,a,，b,，b,的計(jì)算。利用RANSAC方法可以比較準(zhǔn)確的搜索計(jì)算背景占有整個(gè)圖像幀中絕大部分面 積中的仿射參數(shù)，然而對(duì)于前景對(duì)象比較大的圖像幀來(lái)講，由于前景運(yùn)動(dòng)物體以 及背景上面角點(diǎn)數(shù)目占所有角點(diǎn)數(shù)目的比例非常多，在這種情況下，顯然這樣的 隨機(jī)挑選完全有可能將前景信息當(dāng)作背景信息，從而導(dǎo)致錯(cuò)誤的計(jì)算結(jié)果，因此， 本實(shí)施例采取一種分塊挑選的方法，也就是說(shuō)將整幅圖像分為十六個(gè)塊，每次分 別任意選取不相鄰的三個(gè)塊，再在每一個(gè)塊中隨機(jī)挑選一個(gè)匹配點(diǎn)隊(duì)，這樣就大 大降低了所有選取的點(diǎn)均選取在同一個(gè)運(yùn)動(dòng)物體上的概率，同時(shí)也降低誤算的概 率。對(duì)于計(jì)算出來(lái)的仿射坐標(biāo)的六個(gè)參數(shù)，采用P:"'力z"'—"來(lái)計(jì)算出運(yùn)動(dòng)矢量，<formula>formula see original document page 9</formula>由此來(lái)對(duì)當(dāng)前幀進(jìn)行全局運(yùn)動(dòng)補(bǔ)償，使當(dāng)前幀中的所有點(diǎn)穩(wěn)定到前一幀的位置， 并將新出現(xiàn)的點(diǎn)灰度值置零。步驟四，對(duì)進(jìn)行運(yùn)動(dòng)補(bǔ)償之后的前一幀與當(dāng)前幀劃塊進(jìn)行分塊線(xiàn)性光照補(bǔ)償;本實(shí)施例中假設(shè)光源為單一的點(diǎn)光源，對(duì)于任意選取的相鄰幀的標(biāo)準(zhǔn)參考小 塊之間由于相機(jī)與光源之間相對(duì)變化所產(chǎn)生的光強(qiáng)的突變可利用一個(gè)線(xiàn)性函數(shù)來(lái) 表示，但是對(duì)于圖像幀上其余的與此標(biāo)準(zhǔn)參考小塊之間距離比較遠(yuǎn)的參考點(diǎn)之間 由于距離不同而導(dǎo)致的光強(qiáng)變化用此模型就表示的不確切，本步驟仍然采取分塊 求解的方法。所述分塊線(xiàn)性光照補(bǔ)償方法，具體為將整幅圖像劃分為九個(gè)塊，對(duì)于前一 幀與運(yùn)動(dòng)補(bǔ)償之后的當(dāng)前幀的每一塊都進(jìn)行除灰度值為零的點(diǎn)外的對(duì)應(yīng)塊的逐點(diǎn) 比較，并且由線(xiàn)性回歸式<formula>formula see original document page 10</formula>得到補(bǔ)償系數(shù)，其中/(n,v)代表補(bǔ)償后的圖像灰度值，I'代表補(bǔ)償前像素灰度值，i代表第i個(gè)塊，由線(xiàn)性回歸式， 得到圖像幀上任意一點(diǎn)(w,力處的光強(qiáng)，但在圖像塊連接處會(huì)可能會(huì)出現(xiàn)亮度差， 因此，對(duì)于連接縫處采用四點(diǎn)鄰域的局部平均法消除此現(xiàn)象，這樣可以得到亮度 比較平滑的效果。步驟五，利用消除光照影響后的前一幀圖像與當(dāng)前圖像幀，利用光流法估計(jì) 下一幀的全局運(yùn)動(dòng)矢量具體為將這種全局性的運(yùn)動(dòng)假設(shè)為六參數(shù)模型的仿射運(yùn)動(dòng)，根據(jù)光流恒定方程<formula>formula see original document page 10</formula>其中，In,Iv，It分別為光強(qiáng)對(duì)于尺度空間 上u，v方向的偏導(dǎo)，和對(duì)于時(shí)間的偏導(dǎo)，x，y為運(yùn)動(dòng)矢量，再依據(jù)能量最小化原則f的向量表示，并且根據(jù)仿射運(yùn)動(dòng)模<formula>formula see original document page 10</formula>其中f為運(yùn)動(dòng)矢量<formula>formula see original document page 10</formula>的向量表示，并且根據(jù)仿射運(yùn)動(dòng)模型<formula>formula see original document page 10</formula>變換為其矩陣形式<formula>formula see original document page 10</formula>，其中，<formula>formula see original document page 10</formula><formula>formula see original document page 10</formula> ，計(jì)算出仿射運(yùn)動(dòng)的六參數(shù)為<formula>formula see original document page 10</formula>這樣，由此六參數(shù)可以由式f^" + ^,以及^ ="'—"來(lái)得到運(yùn)動(dòng)向量，即為所求的運(yùn)動(dòng)估計(jì)向量。與現(xiàn)有技術(shù)相比，本實(shí)施的有益效果在于本實(shí)施例在結(jié)合角點(diǎn)匹配方法與 光流方法基礎(chǔ)之上所提出的運(yùn)動(dòng)向量估計(jì)方法，通過(guò)大量試驗(yàn)證明，本實(shí)施例方 法較之以往方法能較好的進(jìn)行運(yùn)動(dòng)的向量的估計(jì)。圖l， 2是普通視頻中相隔5幀的兩張圖片幀，圖l (a)、圖2 (a)是當(dāng)前圖 像幀，圖1 (b)、圖2 (b)為在由本實(shí)施例方法所得的運(yùn)動(dòng)向量補(bǔ)償給前一幀基 礎(chǔ)之上進(jìn)行的相鄰幀差分，由此來(lái)進(jìn)行準(zhǔn)確性比較，由圖l， 2所示可以看出，由 本實(shí)施例方法所得到的結(jié)果可以在微弱光照變化以及小運(yùn)動(dòng)尺度的情況下準(zhǔn)確的 將運(yùn)行的汽車(chē)檢測(cè)出來(lái)。圖3， 4是大運(yùn)動(dòng)尺度視頻中相隔5幀的兩張圖片，圖3 (a)、圖4 (a)是當(dāng) 前圖像幀，圖3 (b)、圖4 (b)為在由本實(shí)施例方法所得的運(yùn)動(dòng)向量補(bǔ)償給前一 幀基礎(chǔ)之上進(jìn)行的相鄰幀差分，由此來(lái)進(jìn)行準(zhǔn)確性比較，由附圖3， 4所示可以看 出，由本實(shí)施例方法所得到的結(jié)果可以在微弱光照變化以及大運(yùn)動(dòng)尺度的情況下 準(zhǔn)確的將其自行車(chē)的人檢測(cè)出來(lái)。圖5， 6是強(qiáng)烈光照變化視頻中相隔5幀的兩張圖片，圖5 (a)、圖6 (a)是 當(dāng)前圖像幀，圖5 (b)、圖6 (b)為在由本實(shí)施例方法所得的運(yùn)動(dòng)向量補(bǔ)償給前 一幀基礎(chǔ)之上進(jìn)行的相鄰幀差分，由此來(lái)進(jìn)行準(zhǔn)確性比較，由附圖5， 6所示可以 看出，由本實(shí)施例方法所得到的結(jié)果可以在強(qiáng)烈光照變化以及大運(yùn)動(dòng)尺度的情況 下準(zhǔn)確的將行人檢測(cè)出來(lái)，并且其中的誤檢比較少。
權(quán)利要求
1、一種劇烈光照變化下基于角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì)方法，其特征在于，包括如下步驟①對(duì)當(dāng)前幀進(jìn)行角點(diǎn)檢測(cè)；②對(duì)當(dāng)前幀與上一幀進(jìn)行旋轉(zhuǎn)不變的歸一化角點(diǎn)匹配；③對(duì)于匹配好的角點(diǎn)，進(jìn)行分塊，并計(jì)算所分的每一個(gè)塊內(nèi)的仿射變換參數(shù)，針對(duì)仿射變換參數(shù)對(duì)當(dāng)前幀進(jìn)行分塊全局運(yùn)動(dòng)矢量估計(jì)，并利用向量估計(jì)對(duì)前一幀進(jìn)行運(yùn)動(dòng)補(bǔ)償；④針對(duì)運(yùn)動(dòng)補(bǔ)償之后的前一幀分塊進(jìn)行分塊線(xiàn)性光照補(bǔ)償；⑤利用已經(jīng)進(jìn)行線(xiàn)性光照補(bǔ)償?shù)膱D像與當(dāng)前圖像幀進(jìn)行光流計(jì)算，對(duì)下一幀的全局運(yùn)動(dòng)矢量進(jìn)行估計(jì)。
2、 根據(jù)權(quán)利要求1所述的劇烈光照變化下基于角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì) 方法，其特征是，所述的旋轉(zhuǎn)不變，是指在經(jīng)過(guò)基于圖像中物體表面的梯度或者 弧度的最大化的角點(diǎn)檢測(cè)方法將圖像幀當(dāng)中的角點(diǎn)顯式的表現(xiàn)出來(lái)以后，采用拉 普拉斯高斯濾波器來(lái)對(duì)圖像進(jìn)行濾波來(lái)選取特征，采用半徑為r的一個(gè)圓來(lái)作為 角點(diǎn)域，r為3像素-IO像素。
3、 根據(jù)權(quán)利要求1所述的劇烈光照變化下基于角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì) 方法，其特征是，所述計(jì)算所分的每一個(gè)塊內(nèi)的仿射變換參數(shù)，是指將整幅圖像 幀分為十六個(gè)塊，每次分別任意選取不相鄰的三個(gè)塊，在每一個(gè)塊中隨機(jī)挑選一 個(gè)匹配點(diǎn)對(duì)，再利用分塊挑選的隨機(jī)挑選一致性方法，對(duì)于前景運(yùn)動(dòng)物體以及背 景上面角點(diǎn)數(shù)目占所有角點(diǎn)數(shù)目的比例達(dá)到1/3的圖像幀進(jìn)行圖像仿射運(yùn)動(dòng)參數(shù) 的計(jì)算，得到仿射坐標(biāo)的六個(gè)參數(shù)，再由仿射坐標(biāo)的六個(gè)參數(shù)，計(jì)算運(yùn)動(dòng)矢量。
4、 根據(jù)權(quán)利要求1所述的劇烈光照變化下基于角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì) 方法，其特征是，所述的進(jìn)行分塊線(xiàn)性光照補(bǔ)償，是指將整幅圖像劃分為n個(gè) 塊，對(duì)于前一幀與已經(jīng)進(jìn)行運(yùn)動(dòng)補(bǔ)償之后的當(dāng)前幀的每一塊都進(jìn)行除灰度值為零 的點(diǎn)外的對(duì)應(yīng)塊的逐點(diǎn)比較，并且由線(xiàn)性回歸式/(,)(",力=(",v) + 6得到補(bǔ)償系數(shù)，其中/(u,v)代表補(bǔ)償后的圖像灰度值，I'代表補(bǔ)償前像素灰度值，i代表第i個(gè)塊，i〈n， (M,力表示前一幀中某一點(diǎn)位置，m,6為線(xiàn)性補(bǔ)償系數(shù)，由線(xiàn)性回歸 式，得到任意點(diǎn)(w，"處的光強(qiáng)，對(duì)于連接縫處所出現(xiàn)的光照突變，采用鄰域的局 部平均法來(lái)消除。
5、根據(jù)權(quán)利要求1所述的劇烈光照變化下基于角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì) 方法，所述的進(jìn)行光流計(jì)算，是指將經(jīng)由分塊線(xiàn)性光照補(bǔ)償之后的前一幀圖像與當(dāng)前像素幀之間的運(yùn)動(dòng)假設(shè)為六參數(shù)模型的仿射運(yùn)動(dòng)，根據(jù)光流恒定方程和能 量最小化原則，并且根據(jù)仿射運(yùn)動(dòng)模型l"^"一+"^+，計(jì)算出仿射運(yùn)動(dòng)的六參數(shù)<formula>formula see original document page 3</formula>apa^a^a^b"!^, w， v表示前一幀中某一點(diǎn)位置，m'， v'表示當(dāng)前幀中此點(diǎn)位置。
全文摘要
一種計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域的劇烈光照變化下基于角點(diǎn)匹配與光流法的運(yùn)動(dòng)估計(jì)方法，包括如下步驟首先，對(duì)當(dāng)前幀進(jìn)行角點(diǎn)檢測(cè)；其次，對(duì)當(dāng)前幀與上一幀進(jìn)行旋轉(zhuǎn)不變的歸一化角點(diǎn)匹配；然后，對(duì)于匹配好的角點(diǎn)，進(jìn)行分塊，并計(jì)算所分的每一個(gè)塊內(nèi)的仿射變換參數(shù)，針對(duì)仿射變換參數(shù)對(duì)當(dāng)前幀進(jìn)行分塊全局運(yùn)動(dòng)矢量估計(jì)，并利用向量估計(jì)對(duì)前一幀進(jìn)行運(yùn)動(dòng)補(bǔ)償；再次，針對(duì)運(yùn)動(dòng)補(bǔ)償之后的前一幀分塊進(jìn)行分塊線(xiàn)性光照補(bǔ)償；最后，利用已經(jīng)進(jìn)行線(xiàn)性光照補(bǔ)償?shù)膱D像與當(dāng)前圖像幀進(jìn)行光流計(jì)算，對(duì)下一幀的全局運(yùn)動(dòng)矢量進(jìn)行估計(jì)。本發(fā)明克服了由于劇烈的光照變化以及大幅度旋轉(zhuǎn)等不良條件而導(dǎo)致的光流法失效的缺點(diǎn)，獲得較高的準(zhǔn)確率。
文檔編號(hào)G06T7/00GK101216941SQ20081003274
公開(kāi)日2008年7月9日 申請(qǐng)日期2008年1月17日 優(yōu)先權(quán)日2008年1月17日
發(fā)明者曾貴華, 博 梁, 羅青山 申請(qǐng)人:上海交通大學(xué)