專利名稱：從分割圖像中去除偽邊緣的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及圖像及視頻處理領(lǐng)域。尤其涉及對圖像及視頻的基于區(qū)域的分割和濾波，并將具體參考其而進(jìn)行描述。
視頻序列被用來從所觀察的運動域中估算對象的時變的三維(3D)結(jié)構(gòu)。得益于時變的三維重建的應(yīng)用包括基于視覺的控制(機器人學(xué))、安全系統(tǒng)，和為在立體(3D)電視上觀看而對傳統(tǒng)的單像管(monoscopic)視頻(2D)所進(jìn)行的轉(zhuǎn)換。在這種技術(shù)中，使用運動恢復(fù)結(jié)構(gòu)(structure from motion)方法從視頻序列中的兩個連續(xù)圖像導(dǎo)出深度圖。
圖像分割是重要的第一步，其經(jīng)常在例如基于分割的深度估算的其它任務(wù)之前進(jìn)行。一般而言，圖像分割就是將圖像劃分成一組無重疊的部分或片斷的處理，并且該組部分或片斷一同與場景中存在的自然對象盡可能的相一致。進(jìn)行圖像分割任務(wù)的途徑有很多種，包括基于直方圖的分割、傳統(tǒng)的基于邊緣的分割、基于區(qū)域的分割，以及混合分割。但是，對于上述任何一種分割方法都有一個問題，就是在分割的圖像中有可能出現(xiàn)偽邊緣(false edge)。這些偽邊緣可由許多原因引起，包括在兩個對象邊界的像素彩色可能平穩(wěn)地變化而不是突然變化，這導(dǎo)致了一個具有兩個相應(yīng)的偽邊緣而不是單一的真實邊緣的薄的細(xì)長的片斷。該問題易于出現(xiàn)在散焦對象的邊界上，或者出現(xiàn)于在三個彩色通道的一個或者多個通道中具有降低的空間分辨率的視頻素材中。偽邊緣問題嚴(yán)重困擾著為在3D電視上觀看而進(jìn)行的從傳統(tǒng)2D視頻到3D視頻的轉(zhuǎn)換。
在另外的申請中已提出了一些檢測偽邊緣的方法。例如，美國專利No.5268967揭示了一種從數(shù)字射線照相的圖像的不期望區(qū)域中自動分割出所期望區(qū)域的數(shù)字圖像處理方法。該方法包括邊緣檢測、塊生成、塊分類、塊精細(xì)化，和位圖生成步驟。
美國專利No.5025478揭示了一種用來處理用于傳輸?shù)膱D片信號的方法和設(shè)備，其中，圖片信號被提供給一個識別有相似強度的區(qū)域的分割裝置。將因此產(chǎn)生的區(qū)域信號提供給一個模態(tài)濾波器，在其中區(qū)域邊緣被矯正，隨后將其發(fā)送到一個自適應(yīng)輪廓平滑電路，在其中，對識別為偽邊緣的輪廓部分進(jìn)行平滑。從原始亮度信號中減去濾波信號以產(chǎn)生編碼的亮度紋理信號。將區(qū)域信號與指示區(qū)域信號中的哪個輪廓表現(xiàn)為偽邊緣的標(biāo)志一起編碼。
已公布的PCT申請WO00/77735揭示了一種圖像分割器，其采用一種漸進(jìn)的底面填充(floor fill)來不完全填充有界片斷和采用標(biāo)度變換以及在一標(biāo)度處使用另一標(biāo)度的分割結(jié)果來引導(dǎo)分割；其使用一個由多彩色平面合成的復(fù)合圖像來檢測邊緣，利用多級邊緣像素生成邊緣鏈，利用所述標(biāo)度變換生成邊緣鏈，并在一標(biāo)度處根據(jù)在另一個標(biāo)度處檢測到的邊緣來濾波偽邊緣。
但是，現(xiàn)有技術(shù)只包括對偽邊緣的邊緣檢測和/或平滑。沒有一項發(fā)明例如通過使用僅對分割圖操作的濾波器而實際上從被分割圖像去除了偽邊緣。本發(fā)明設(shè)計了一種改進(jìn)的設(shè)備和方法，克服了上述及其它局限。
根據(jù)本發(fā)明的一個方面，提供一種圖像處理設(shè)備。提供一種用于將圖像分割為分割圖的分割裝置，該分割圖包括多個由至少包含一些偽邊緣的邊緣分隔的像素組。提供一種用于濾波分割圖以去除偽邊緣的濾波裝置，該濾波裝置將經(jīng)濾波的分割接著輸出到分割裝置用于預(yù)分割。
根據(jù)本發(fā)明的另一個方面，提供一種用于處理一個或多個圖像的方法。一圖像被分割成一分割圖，該分割圖包括多個由至少包含一些偽邊緣的邊緣分隔的像素組。濾波該分割圖以去除偽邊緣。重復(fù)該分割步驟以生成一輸出圖像。
本發(fā)明的一個優(yōu)點在于改進(jìn)了將2D視頻素材轉(zhuǎn)換為3D視頻的分割質(zhì)量。
本發(fā)明的另一個優(yōu)點在于改進(jìn)了視頻圖像在對象邊緣的分割質(zhì)量。
本發(fā)明的還一個優(yōu)點在于減小了用于圖像和視頻壓縮的邊緣編碼的花費。
對本領(lǐng)域的技術(shù)人員而言，通過閱讀下面優(yōu)選實施例的詳細(xì)描述，本發(fā)明眾多的其它優(yōu)點和有益效果將變得顯而易見。
本發(fā)明可采用多種組件及組件排列的形式，以及采用多個步驟及步驟排列的形式。附圖僅為說明優(yōu)選實施例，而不能理解為對本發(fā)明的限制。


圖1示出了一種在分割步驟之間利用偽邊緣去除濾波器的圖像分割方法。
圖2(a)示出了一個輸入圖像的例子。
圖2(b)示出了一個具有5×5像素的正方形區(qū)域的初始分割圖的例子。
圖2(c)示出了一個具有偽邊緣的輸出分割圖的例子。
圖2(d)示出了一個已去除偽邊緣的已濾波分割圖的例子。
圖3示出了一種示范的偽邊緣去除濾波方法。
圖4示出了一個以像素位置(i，j)為中心的5×5像素窗的例子。
從2D視頻到3D視頻的轉(zhuǎn)換中的一個重要步驟是識別具有均勻彩色的圖像區(qū)域，即，圖像分割。假設(shè)深度不連續(xù)性與檢測到的均勻彩色區(qū)域的邊緣相一致。對每一彩色區(qū)域估算一個單一深度值。這個每區(qū)域的深度估算具有使每種清晰度都存在沿區(qū)域邊界的大彩色對比的優(yōu)點。彩色邊緣位置的時間穩(wěn)定性對于深度圖的最終質(zhì)量是決定性的。當(dāng)邊緣隨著時間的過去變得不穩(wěn)定時，如果在3D彩色電視上顯示該視頻，那么觀眾可能會察覺到令人厭惡的閃爍。因此，在從2D到3D視頻的轉(zhuǎn)換過程中，第一步是要有一個時間穩(wěn)定的分割方法。利用一種恒定彩色模型的基于區(qū)域的圖像分割可實現(xiàn)這種期望的效果。以下將更細(xì)致地描述這種圖像分割的方法。
恒定彩色模型假設(shè)可以通過平均的區(qū)域彩色來對對象區(qū)域的時變的圖像進(jìn)行足夠細(xì)致的描述。利用圖像坐標(biāo)的向量值函數(shù)來表示圖像I(x，y)＝(r(x，y)，g(x，y)，b(x，y)) (1)其中r(x，y)，g(x，y)和b(x，y)是紅、綠、藍(lán)彩色通道。目標(biāo)是找到一個區(qū)域劃分，其被稱為由固定數(shù)目的區(qū)域N構(gòu)成的分割1。最佳分割1opt被定義為使遍及圖像中所有像素的誤差項加規(guī)則項f(x，y)之和最小化的分割lopt=argminlΣ(x,y)[e(x,y)+kf(x,y)]---(2)]]>其中k是一個對規(guī)則項的重要性加權(quán)的規(guī)則化參數(shù)。當(dāng)一個樣本從一個群移動到另一個群時，用于對誤差準(zhǔn)則進(jìn)行簡單而有效更新的方程式在2001年紐約的John Wiley and Sons Inc.的Richard O.Duda、PeterE.Hart，和David G.Stork的“Pattern clasification(圖案分類)”的第548-549頁導(dǎo)出。這些推導(dǎo)被應(yīng)用于導(dǎo)出分割方法的方程式。需注意所述規(guī)則項是基于由1998年Artech-House的C.Oliver和S.Quegan在“Understanding Synthetic Aperture Radar Images(了解合成孔徑雷達(dá)圖像)”中給出的測定。該規(guī)則項限制了隨機信號波動(例如傳感器噪聲)在邊緣位置產(chǎn)生的影響。在像素位置(x，y)的誤差e(x，y)依賴于彩色值I(x，y)和區(qū)域標(biāo)記l(x，y)e(x,y)=||I(x,y)-ml(x,y)||22---(3)]]>其中mc是區(qū)域c的平均彩色，并且l(x，y)是在區(qū)域標(biāo)記圖中位置(x，y)的區(qū)域標(biāo)記。在雙垂直線處的下標(biāo)表示歐幾里德范數(shù)。規(guī)則項f(x，y)依賴于區(qū)域的形狀f(x,y)=Σ(x′,y′)χ(l(x,y),l(x′,y′))---(4)]]>其中(x′，y′)是來自于(x，y)的8個連接的相鄰像素的坐標(biāo)。x(A，B)的值取決于區(qū)域標(biāo)記A和B是否不同 函數(shù)f(x，y)具有一個簡單解譯。對于給定的像素位置(x，y)，該函數(shù)僅僅返回具有不同的區(qū)域標(biāo)記的8個連接的相鄰像素的數(shù)量。
利用正方形的鑲嵌式小方格對分割進(jìn)行初始化。給出該初始分割，則通過將一個邊界像素指配到毗連的區(qū)域來在區(qū)域邊界制造一個變化。假設(shè)將當(dāng)前處于標(biāo)記為A的區(qū)域內(nèi)的、坐標(biāo)為(x，y)的像素試驗性地移到具有標(biāo)記B的區(qū)域。則區(qū)域A的平均彩色的變化是ΔmA=-I(x,y)-mAnA-1---(6)]]>區(qū)域B的平均彩色的變化是ΔmB=I(x,y)-mBnB+1---(7)]]>其中的nA和nB分別是在區(qū)域A和B中的像素的數(shù)量。提議的標(biāo)記改變導(dǎo)致由下式給出的誤差函數(shù)的相應(yīng)變化Δe=nBnB+1||I(x,y)-mB||22-nAnA-1||I(x,y)-mA||22---(8)]]>在像素(x，y)處的提議從A到B的標(biāo)記變化還改變?nèi)忠?guī)則化函數(shù)f。提議的移動不僅在(x，y)，還在(x，y)的8個連接的相鄰像素位置影響f。規(guī)則化函數(shù)的改變由下面的總和給出
Δf=2Σ(x′,y′)x(B,l(x′,y′))-χ(A,l(x′,y′))---(9)]]>其中上述總和遍及由(x′，y′)表示的8個連接的相鄰位置。上述改變Δf的簡單形式是從x是對稱的事實而得出的x(A，B)＝x(B，A) (10)如果Δe+kΔf＜0，則提議的標(biāo)記改變就改進(jìn)了擬合準(zhǔn)則。最后，將區(qū)域合并。
上述的、在改進(jìn)模型對數(shù)據(jù)的擬合時用于更新分割圖并接受所提議的更新的過程對上述序列中的每一個圖像都進(jìn)行。只有在合并步驟之后，才用從視頻流中讀出的新圖像更新上述區(qū)域平均值。該區(qū)域擬合和合并將再次對新圖像開始。
參照圖1，優(yōu)選地根據(jù)恒定彩色模型的一個基于區(qū)域的分割操作30以彩色圖像10和初始分割圖20作為它的輸入。分割操作30的輸出是一個分割圖40，該圖示出了在圖像中發(fā)現(xiàn)的對象。圖2(a)示出了輸入彩色圖像10的一個例子。其中，圖像有一連串尺寸遞減的橢圓形以及一連串尺寸遞減的矩形。在圖2(b)所示的示范實施例中，圖像被分割為5×5像素的正方形區(qū)域。圖2(c)示出了輸出分割圖40的一個例子。
在圖2(c)中可以很好地看到可能出現(xiàn)在分割圖像中的偽邊緣。這些偽邊緣的出現(xiàn)是由于在兩個對象間邊界處的散焦造成的。由于很多電影具有降低的彩色通道空間分辨率，所以也可以出現(xiàn)偽邊緣。
此外，彩色欠采樣(undersample)會導(dǎo)致分割算法的問題。當(dāng)一個分割算法試圖以高精度檢測邊緣時，通常會出現(xiàn)信號的空間欠采樣并在接近對象邊界處導(dǎo)致小而細(xì)長的區(qū)域。圖2(c)很好地示出了這一不想要的影響。以白色編碼的多重邊緣在對象邊界附近是可視的。通過在分割步驟之間增加一個偽邊緣去除濾波步驟50來去除這些小而細(xì)長的區(qū)域。圖2(d)示出了將濾波50應(yīng)用于圖2(c)所示圖像數(shù)據(jù)的結(jié)果。
圖像分割應(yīng)用需要少量具有高邊緣精度的區(qū)域。例如，精確的邊緣是從2D單像管視頻到3D立體視頻的精確轉(zhuǎn)換所必須的。對于這種應(yīng)用，將分割用于深度估算，并且在分割圖像中每個區(qū)域被指配給一個單一深度值。這樣邊緣位置和其時間穩(wěn)定性對于3D視頻的感知質(zhì)量是很重要的。
偽邊緣問題的解決方法是在分割操作之間增加偽邊緣去除濾波步驟50。參照圖1，優(yōu)選實施例包括彩色圖像10、初始分割圖20、分割步驟30、第一輸出分割圖40、偽邊緣去除濾波步驟50、已濾波的分割圖60、第二分割步驟70，以及第二輸出分割圖80。濾波器50作用于分割圖40，因而獨立于彩色圖像10。
參照圖3，下面將描述偽邊緣去除濾波器50的操作。在步驟100中，輸出分割圖40的每個像素(i，j)均取決于其彩色而用區(qū)號(或分割標(biāo)記)來標(biāo)記。指配給每個區(qū)號k的值是一個任意的整數(shù)。在步驟110中，在正方形窗w中對每個像素(i，j)計算分割標(biāo)記的直方圖。該直方圖用向量表示[hk]1≤k＜n (11)其中hk是窗w中區(qū)號k的頻率，且n為分割中的區(qū)域總數(shù)。在步驟120中，確定每個區(qū)號的出現(xiàn)頻率。在步驟130中，確定最頻繁出現(xiàn)的區(qū)號。在步驟140中，確定所述直方圖是否具有一個單一最大值。如果是，則在步驟150中，如下地通過出現(xiàn)最大值的區(qū)號kmax給出在像素(i，j)處的已濾波的分割圖kmax＝argmax([hk]) (12)但是，有可能是這種情況，即兩個或更多區(qū)號具有相同的頻率并且該頻率高于窗口w中所有其它編號的頻率。在這種情況下，使用仲裁器160，例如將同樣頻繁出現(xiàn)的區(qū)號中最小的一個指配給輸出分割，或?qū)⒆畲蟮膮^(qū)號指配給輸出分割。
圖4示出了一個以像素位置(i，j)為中心的示范5×5像素窗100的例子。但是，可選擇地，還可以設(shè)想其它窗尺寸，如3×3像素窗。在濾波器操作的左手邊是帶有輸入?yún)^(qū)號的窗100。包含星號(*)的像素位置位于圖像平面之外。就是說，示出的實例有圖片的邊緣。當(dāng)構(gòu)建直方圖時，這些像素位置的區(qū)號被忽略。濾波器操作以編號3作為輸出?？梢酝ㄟ^計數(shù)輸入窗中每一區(qū)號的頻率來驗證這一結(jié)果[hk]＝(h1，h2，h3，h4...，hn)＝(6，0，7，7，...，0) (13)在這個例子里，直方圖中具有多于一個的全局最大值。就是說，區(qū)號3和4都具有頻率7。利用仲裁器選擇較小的區(qū)號(k＝3)作為答案并在像素位置(i，j)處指配給輸出分割。但是，可選擇地，也可以選擇較大的區(qū)號(k＝4)并在像素位置(i，j)處指配給輸出分割。偽邊緣去除濾波步驟50一直重復(fù)，直至分析完分割圖40中的所有像素(i，j)。
任意數(shù)量的區(qū)域分割方法都可以使用，只要該方法在給出初始分割的情況下能迭代地擬合(或更新)區(qū)域邊界。偽邊緣去除濾波器50不僅去除小的和細(xì)長的區(qū)域，還可以去除畸變的區(qū)域邊界。因此，在應(yīng)用濾波操作后，可以通過再次運行分割操作70來校正畸變。
將已被濾波和分割的圖像的圖載入已濾波的分割圖或存儲空間60中。執(zhí)行第二分割處理70以重新分割圖60，產(chǎn)生輸出圖80。濾波和分割步驟有可能被重復(fù)一次或多次。
偽邊緣去除濾波器的應(yīng)用包括對用于從現(xiàn)有的2D視頻素材到3D視頻的轉(zhuǎn)換的分割質(zhì)量進(jìn)行改進(jìn)；改進(jìn)對象邊緣的視頻圖像質(zhì)量(邊緣銳化算法)；和降低用于圖像及視頻壓縮的邊緣編碼的花費。
本發(fā)明已經(jīng)參考優(yōu)選實施例進(jìn)行了描述。很明顯，可以在對先前詳細(xì)描述的閱讀和理解的基礎(chǔ)上作出其它修改和變更。旨在使本發(fā)明可以解釋為包括所有這種修改及變更，只要它們是在附加權(quán)利要求或其等同物范圍之內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括一個第一分割裝置(30)，用于將一個或多個圖像(10)分割成一包含以邊緣分隔的多個像素組的輸出分割圖(40)，所述邊緣至少包含一些偽邊緣；一個濾波裝置(50)，用于濾波該分割圖(40)以去除該偽邊緣，該濾波裝置(50)接著將已濾波的分割(60)輸出到第二分割裝置(70)用于再分割。
2.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中第一和第二分割裝置(30，70)使用恒定彩色模型，該恒定彩色模型包括一個識別裝置，用于識別具有均勻的彩色或灰度等級的圖像區(qū)域。
3.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中的像素組初始是矩形形狀區(qū)域。
4.根據(jù)權(quán)利要求1的圖像處理裝置，其中的濾波裝置包括一個計算裝置(110)，用于計算在一圍繞分割圖中給定像素的窗內(nèi)的像素標(biāo)記的直方圖(200)；和一個第一確定裝置(120)，用于確定窗中的每一個像素標(biāo)記的出現(xiàn)頻率。
5.根據(jù)權(quán)利要求4的圖像處理裝置，其中的濾波裝置進(jìn)一步包括一個第二確定裝置(130)，用于確定直方圖中最頻繁出現(xiàn)的像素標(biāo)記；一個指配裝置(150)，用于將最頻繁出現(xiàn)的像素標(biāo)記指配給輸出分割圖(40)中的給定像素。
6.根據(jù)權(quán)利要求5的圖像處理設(shè)備，進(jìn)一步包括一個仲裁裝置(160)，用于在兩個或更多標(biāo)記同樣且最頻繁出現(xiàn)時選擇以下之一以指配給該給定像素同樣最頻繁出現(xiàn)的標(biāo)記中的較大標(biāo)記，和同樣最頻繁出現(xiàn)的標(biāo)記中的較小標(biāo)記。
7.根據(jù)權(quán)利要求5的圖像處理設(shè)備，進(jìn)一步包括一個仲裁裝置(160)，用于在兩個或更多像素標(biāo)記具有相同頻率并且該頻率高于直方圖中所有其它像素標(biāo)記的頻率時，選擇出要指配給該給定像素的像素標(biāo)記。
8.根據(jù)權(quán)利要求4的圖像處理設(shè)備，其中的窗(110)是一個5×5像素的正方形。
9.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中的一個或多個圖像(10)包括一二維視頻的幀。
10.一種用于處理一個或多個圖像的方法，該方法包括將圖像分割成一包含以邊緣分隔的多個像素組的分割圖，所述邊緣至少包含一些偽邊緣；濾波該分割圖以去除該偽邊緣；并重復(fù)分割步驟以生成一輸出圖像。
11.根據(jù)權(quán)利要求10的用于處理一個或多個圖像的方法，進(jìn)一步包括多次重復(fù)基于區(qū)域的分割步驟和濾波步驟以進(jìn)一步精細(xì)化邊緣。
12.根據(jù)權(quán)利要求10的用于處理一個或多個圖像的方法，其中的圖像分割是基于區(qū)域的。
13.根據(jù)權(quán)利要求12的用于處理一個或多個圖像的方法，其中的基于區(qū)域的分割步驟使用一個恒定彩色模型，該恒定彩色模型包括對具有均勻彩色的圖像區(qū)域的識別。
14.根據(jù)權(quán)利要求10的用于處理一個或多個圖像的方法，其中的像素組是5×5像素的正方形區(qū)域。
15.根據(jù)權(quán)利要求10的用于處理一個或多個圖像的方法，其中的濾波步驟包括計算在一用于分割圖中給定輸出像素的窗內(nèi)的像素標(biāo)記的直方圖；及確定窗中每個像素標(biāo)記的出現(xiàn)頻率。
16.根據(jù)權(quán)利要求15的用于處理一個或多個圖像的方法，其中的濾波步驟進(jìn)一步包括確定直方圖的最頻繁出現(xiàn)的標(biāo)記；將出現(xiàn)最多的像素標(biāo)記指配給輸出像素。
17.根據(jù)權(quán)利要求16的用于處理一個或多個圖像的方法，進(jìn)一步包括在多于一個的像素標(biāo)記出現(xiàn)得同樣最頻繁時，將下述其中之一指配給定像素同樣頻繁的標(biāo)記中最小的一個，和同樣頻繁的標(biāo)記中最大的一個。
18.根據(jù)權(quán)利要求10的用于處理一個或多個圖像的方法，其中所述的一個或多個圖像包括一二維視頻的幀。
全文摘要
在用于處理一個或多個圖像的方法中，圖像被分割成一包含以邊緣分隔的多個像素組的分割圖，所述邊緣至少包含一些偽邊緣。濾波該分割圖以去除偽邊緣。重復(fù)分割步驟從而生成一輸出分割圖。
文檔編號G06T5/00GK1720550SQ200380104972
公開日2006年1月11日 申請日期2003年12月4日 優(yōu)先權(quán)日2002年12月5日
發(fā)明者C·瓦雷坎普 申請人:皇家飛利浦電子股份有限公司