專利名稱：利用光跡分析的移動(dòng)物體偵測(cè)裝置與方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于一種利用光跡(optical flow)分析的移動(dòng)物體偵測(cè)(moving object detection廣置與方法。
背景技術(shù)：
移動(dòng)物體偵測(cè)在自動(dòng)化監(jiān)控(surveillance)系統(tǒng)中扮演相當(dāng)重要的角色。 影像監(jiān)控系統(tǒng)由分析監(jiān)控畫(huà)面內(nèi)移動(dòng)物體軌跡(trajectory)與行為 (behavior),得以偵測(cè)異常保全事件的發(fā)生，并且有效通知安全人員進(jìn)行處 理。
然而，傳統(tǒng)的監(jiān)控環(huán)境大多在監(jiān)控場(chǎng)景架設(shè)多只固定式(fixed)攝影機(jī) 監(jiān)控，于異常事件發(fā)生時(shí)，無(wú)法提供動(dòng)態(tài)保安支持。故應(yīng)用移動(dòng)式攝影機(jī) 的觀念逐漸興起，但在移動(dòng)式攝影機(jī)監(jiān)控架構(gòu)下，攝影機(jī)的移動(dòng)可能會(huì)造 成整體畫(huà)面變換，導(dǎo)致無(wú)法直接應(yīng)用傳統(tǒng)影像式移動(dòng)物體偵測(cè)技術(shù)于可疑 事件的偵測(cè)。
美國(guó)專利號(hào)6,867,799的文獻(xiàn)里，揭露了一種備有移動(dòng)式攝影機(jī)的對(duì)象 監(jiān)控方法與裝置(Method and Apparatus for Object Surveillance with a Movable Camera)。此對(duì)象監(jiān)控裝置包含移動(dòng)對(duì)象偵測(cè)、使用者指定(interest object manual selector)、對(duì)象與攝影機(jī)相對(duì)禾多動(dòng)估算(determine difference)、對(duì)象移動(dòng)預(yù)測(cè)(predict fUture position)、與攝影機(jī)移動(dòng)訊號(hào)發(fā)送(generate moving signal)等模塊。其技術(shù)特征在于建構(gòu)一個(gè)系統(tǒng)，可根據(jù)使用者所指 定的移動(dòng)對(duì)象區(qū)域，持續(xù)移動(dòng)攝影機(jī)，使移動(dòng)的對(duì)象保持在可視畫(huà)面內(nèi)。 美國(guó)專利號(hào)5,991,428的文獻(xiàn)里，揭露一種移動(dòng)物體偵測(cè)裝置與方法 (Moving Object Detection Apparatus and Method)?？捎谝苿?dòng)攝影機(jī)畫(huà)面內(nèi)， 偵測(cè)出前景(foregroimd)移動(dòng)物體。其技術(shù)特征是先將畫(huà)面分割為多個(gè)區(qū)塊 (a plurality of blocks)， 再由畫(huà)面比對(duì)(template matching)與綜合評(píng)分 (evaluation and voting)機(jī)制，估計(jì)相鄰時(shí)間擷取的攝影機(jī)畫(huà)面對(duì)應(yīng)區(qū)塊的位 移向量，根據(jù)整張畫(huà)面的多數(shù)(dominant)移動(dòng)向量(motion vector),決定相 鄰畫(huà)面間的一對(duì)齊(align)向量，據(jù)此對(duì)齊向量移動(dòng)(shifting)其中一張畫(huà)面 進(jìn)行對(duì)齊，再進(jìn)行對(duì)齊畫(huà)面差異比對(duì)，最后從差異結(jié)果分析出移動(dòng)物體區(qū) 域(moving area)。
美國(guó)專利號(hào)5,473,364的文獻(xiàn)里，揭露了一種從移動(dòng)平臺(tái)中指出移動(dòng) 物體的視訊技術(shù)(Video Technique for Indicating Moving Objects from a Movable Platform)。此技術(shù)提供一種在移動(dòng)平臺(tái)上搭載(carrying)兩具攝影 機(jī)或一具可移動(dòng)攝影機(jī)的移動(dòng)物體偵測(cè)系統(tǒng)。其中，此兩具攝影機(jī)的架設(shè) 位置或可移動(dòng)攝影機(jī)的移動(dòng)位置必須與載具(vehicle)行進(jìn)的方向一致。其 技術(shù)特征是先將一時(shí)間點(diǎn)之前攝影機(jī)擷取的影像存入內(nèi)存，當(dāng)載具行進(jìn)一 小段時(shí)間后，再擷取后攝影機(jī)的影像，并將之前內(nèi)存中前攝影機(jī)的影像做 對(duì)齊后與后攝影機(jī)的影像相減。再利用高斯金字塔建構(gòu)法(Gaussian pyramid construction)計(jì)算區(qū)域能量而偵測(cè)出移動(dòng)物體。
此篇專利文獻(xiàn)中，假設(shè)前時(shí)間之前攝影機(jī)擷取出的影像與后時(shí)間后攝
7影機(jī)擷取出的影像的擷取位置只有些許差異，對(duì)齊后的前影像背景與后影 像背景的誤差與只使用一只固定于平臺(tái)的攝影機(jī)于兩時(shí)間擷取的兩影像 經(jīng)對(duì)齊的誤差比來(lái)得小，故相減后可得到較穩(wěn)定的移動(dòng)物體輪廓。
美國(guó)專利6,710,722號(hào)的文獻(xiàn)里，揭露了一種感測(cè)移動(dòng)物體的影像處 理裝置與方法以及使用此技術(shù)的范圍尋找器(Image Processing Device and Method for Sensing Moving Objects and Rangefmder Employing the Same)。
此技術(shù)可從復(fù)雜的背景中偵測(cè)出移動(dòng)物體，其技術(shù)特征是將攝影機(jī)擷取的 一連串影像放入內(nèi)存中，把前幾張影像平均作為背景影像而與目前影像相 減得到移動(dòng)物體，并利用兩個(gè)攝影機(jī)及立體視覺(jué)的技術(shù)而計(jì)算出移動(dòng)物 體的距離。
在上述及其它諸多的移動(dòng)物體偵測(cè)的公知技術(shù)中，影像對(duì)齊法和立體 視覺(jué)光跡追蹤法是兩種普通常用的移動(dòng)平臺(tái)偵測(cè)移動(dòng)物體的方法。如圖1 所示，影像對(duì)齊法是先估計(jì)兩張影像(也就是前影像與后影像)的二維 (2-dimenskmal)對(duì)齊參數(shù)，并將其中一張影像(如前影像)對(duì)齊至另一張影像 (如后影像)。然后兩張影像相減，求出其差異處后，再偵測(cè)出移動(dòng)物體。 此影像對(duì)齊技術(shù)中，運(yùn)算速度快，并且只需一只攝影機(jī)。然而，得到的只 有物體輪廓上的差異，并且當(dāng)場(chǎng)景中的背景物體距離與攝影機(jī)過(guò)近時(shí)，可 能會(huì)產(chǎn)生誤差。
如圖2所示，立體視覺(jué)光跡追蹤法是先求取兩張影像(也就是前影像與 后影像)的光跡信息，搭配利用深度信息去估計(jì)平臺(tái)移動(dòng)參數(shù)，據(jù)此平臺(tái)移 動(dòng)參數(shù)和深度信息去估計(jì)出背景光跡。然后將兩張影像的光跡信息和此背 景光跡相減，求出其差異處后，再偵測(cè)出移動(dòng)物體。此立體視覺(jué)光跡追蹤技術(shù)中，誤差小，并且可求得實(shí)心物體。然而，運(yùn)算速度慢，并且需要多 只攝影機(jī)求取深度信息，影像平滑處也難以求得深度信息。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種利用光跡分析的移動(dòng)物體偵測(cè)裝置與方 法，以克服公知技術(shù)中存在的缺陷。
為實(shí)現(xiàn)上述目的，本發(fā)明提供的利用光跡分析的移動(dòng)物體偵測(cè)裝置， 該裝置包含
一影像擷取模塊，持續(xù)擷取多個(gè)影像；
一影像校準(zhǔn)模塊，從該多個(gè)影像的每?jī)上噜徲跋?，稱之為前影像與后 影像，求出一校準(zhǔn)后的前影像；
一對(duì)應(yīng)像素搜尋模塊，于該校準(zhǔn)后，以像素為單位，通過(guò)光流追蹤， 找出該校準(zhǔn)后的前后影像各對(duì)應(yīng)像素的位移向量；以及
一移動(dòng)物體篩選模塊，整合該后影像中所有像素的該對(duì)應(yīng)像素位移向 量，并判定出該移動(dòng)物體在畫(huà)面內(nèi)的位置。
所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中該影像校準(zhǔn)模塊包
括
一影像對(duì)應(yīng)單元，根據(jù)輸入的該每?jī)上噜徲跋?，建立兩相鄰?huà)面的對(duì) 應(yīng)關(guān)系；
一校準(zhǔn)參數(shù)估計(jì)單元，根據(jù)該兩相鄰畫(huà)面的對(duì)應(yīng)關(guān)系，估算出一校準(zhǔn) 轉(zhuǎn)換參數(shù)；以及
一影像變形校準(zhǔn)單元，根據(jù)該校準(zhǔn)轉(zhuǎn)換參數(shù)，求出一校準(zhǔn)后的前影像。所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中該對(duì)應(yīng)像素搜尋模塊 包括
一像素位移方向判定單元，光流追蹤各像素在該兩相鄰畫(huà)面間位移方 向；以及
一像素位移距離估算單元，估算出該后影像中各像素的該對(duì)應(yīng)像素位 移向量。
所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中該移動(dòng)物體篩選模塊 包括
一位移方向投射轉(zhuǎn)換單元，根據(jù)該對(duì)應(yīng)像素位移向量，求出該后影像 中各像素的一位移向量轉(zhuǎn)換值；
一投射轉(zhuǎn)換分離值決定單元，根據(jù)該后影像中各像素的該位移向量轉(zhuǎn) 換值，求出其標(biāo)準(zhǔn)差，來(lái)決定出該后影像中各像素的一投射分離值；以及
一移動(dòng)物體單判定單元，根據(jù)該后影像中各像素的投射分離值，標(biāo)示 出該移動(dòng)物體在畫(huà)面內(nèi)的位置。
所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中該前影像與后影像是 從不同時(shí)間點(diǎn)擷取出來(lái)的。
所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中該影像擷取模塊備有 一攝影機(jī)來(lái)持續(xù)擷取多個(gè)影像。
所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中該后影像中各像素的 對(duì)應(yīng)像素位移向量是該后影像中各像素的光軌跡位移。
所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中當(dāng)該攝影機(jī)在移動(dòng)狀 態(tài)下或是在靜止?fàn)顟B(tài)下時(shí)，該裝置皆適用。本發(fā)明提供的利用光跡分析的移動(dòng)物體偵測(cè)方法，該方法包含下列步
驟
一攝影機(jī)持續(xù)擷取多個(gè)影像；
從該多個(gè)影像的每?jī)上噜徲跋瘢Q為前影像與后影像，估算出兩相鄰
畫(huà)面的一校準(zhǔn)轉(zhuǎn)換參數(shù)；
根據(jù)該校準(zhǔn)轉(zhuǎn)換參數(shù)，校準(zhǔn)該每?jī)上噜徲跋竦谋尘皡^(qū)域；
以像素為單位，于校準(zhǔn)后的該每?jī)上噜徲跋襁M(jìn)行光流追蹤，找出該后 影像中各像素的一個(gè)對(duì)應(yīng)像素位移向量；以及
整合該后影像中所有像素的該對(duì)應(yīng)像素位移向量，并判定出該移動(dòng)物 體在畫(huà)面內(nèi)的位置。
所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中該校準(zhǔn)轉(zhuǎn)換參數(shù)是經(jīng) 由先估算出該每?jī)上噜彯?huà)面的對(duì)應(yīng)關(guān)系，再根據(jù)該兩相鄰畫(huà)面對(duì)應(yīng)關(guān)系而 估算得出的。
所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中該光流追蹤的進(jìn)行通 過(guò)一種影像式點(diǎn)對(duì)點(diǎn)光跡追蹤技術(shù)，來(lái)提供相鄰畫(huà)面內(nèi)以像素為單位的影 像追蹤結(jié)果，來(lái)找出該后影像中各像素的光軌跡位移。
所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中該整合該后影像中所 有像素的該對(duì)應(yīng)像素位移向量的步驟包括
根據(jù)該對(duì)應(yīng)像素位移向量，求出該后影像中各像素的一位移向量轉(zhuǎn)換 值；以及
根據(jù)該后影像中各像素的該位移向量轉(zhuǎn)換值，來(lái)決定出該后影像中各 像素的一投射分離值。所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中該判定出該移動(dòng)物體 在畫(huà)面內(nèi)的位置的步驟包括
根據(jù)該后影像中各像素的該投射分離值，標(biāo)示出該移動(dòng)物體在畫(huà)面內(nèi) 的位置。
所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中該位移向量轉(zhuǎn)換值是 通過(guò)分析影像中各像素點(diǎn)的光跡距離而求出。
換言之，本發(fā)明的范例中可提供一種利用光跡分析的移動(dòng)物體偵測(cè)裝 置與方法。本發(fā)明綜合影像對(duì)齊法和立體視覺(jué)光跡追蹤法的優(yōu)點(diǎn)，并且由 先補(bǔ)償因攝影機(jī)移動(dòng)所造成的畫(huà)面移動(dòng)，再搭配相鄰畫(huà)面移動(dòng)向量分析， 提供可應(yīng)用于移動(dòng)式或固定式攝影機(jī)平臺(tái)的移動(dòng)物體偵測(cè)技術(shù)。
利用光跡分析的移動(dòng)物體偵測(cè)裝置包含影像擷取模塊(image capturing module)、影像校準(zhǔn)模塊(image aligning module)、對(duì)應(yīng)像素搜尋模塊(pixel matching module)禾卩移云力物體篩選模塊(moving object detection module)。
影像擷取模塊在攝影機(jī)背景移動(dòng)或靜止的狀態(tài)下，持續(xù)擷取影像，作 為此利用光跡分析的移動(dòng)物體偵測(cè)裝置的輸入組件。影像校準(zhǔn)模塊根據(jù)輸 入的相鄰影像，估算出每?jī)上噜彯?huà)面的對(duì)應(yīng)關(guān)系，據(jù)此相鄰畫(huà)面的對(duì)應(yīng)關(guān) 系估算出此兩相鄰影像的一校準(zhǔn)轉(zhuǎn)換參數(shù)，再根據(jù)此校準(zhǔn)轉(zhuǎn)換參數(shù)，校準(zhǔn) 此兩相鄰影像的背景區(qū)域，求出一校準(zhǔn)后的前影像。完成前影像的校準(zhǔn)后， 對(duì)應(yīng)像素搜尋模塊即以像素為單位，追蹤每像素在相鄰畫(huà)面間的對(duì)應(yīng)像素 位移向量。最后，移動(dòng)物體篩選模塊整合光跡追蹤產(chǎn)生的信息，并判定出 移動(dòng)物體在畫(huà)面內(nèi)的位置。
本發(fā)明可將整個(gè)前景移動(dòng)物體找出，并且能穩(wěn)定且正確地偵測(cè)出前景的移動(dòng)物體區(qū)域，不易受噪聲誤差的干擾。只需一只攝影機(jī)架設(shè)在移動(dòng)式 或固定式攝影機(jī)平臺(tái)上即可實(shí)施本發(fā)明。
本發(fā)明有多種應(yīng)用。例如，將本發(fā)明建構(gòu)于智能型保全機(jī)器人
(intelligent security robot)平臺(tái)，可提供監(jiān)控系統(tǒng)動(dòng)態(tài)巡守支持，并根據(jù)欲 加強(qiáng)的監(jiān)控區(qū)域，交由保全機(jī)器人進(jìn)行巡邏監(jiān)控，并于移動(dòng)物體事件發(fā)生 時(shí)，自動(dòng)發(fā)出保全警告，提供此智能型保全機(jī)器人偵測(cè)異常移動(dòng)物體的能 力。


配合下列附圖、實(shí)施例的詳細(xì)說(shuō)明及權(quán)利要求范圍，將上述及本發(fā)明 的其它目的與優(yōu)點(diǎn)詳述于后；其中
圖1為公知的移動(dòng)物體偵測(cè)技術(shù)中，影像對(duì)齊法的一個(gè)示意圖。
圖2為公知的移動(dòng)物體偵測(cè)技術(shù)中，立體視覺(jué)光跡追蹤法的一個(gè)概要 示意圖。
圖3是本發(fā)明的光跡分析的移動(dòng)物體偵測(cè)裝置的一個(gè)概要范例示意圖。
圖4是本發(fā)明中，實(shí)現(xiàn)影像校準(zhǔn)模塊的一個(gè)范例示意圖。
圖5是本發(fā)明中，實(shí)現(xiàn)對(duì)應(yīng)像素搜尋模塊的一個(gè)范例示意圖。
圖6是本發(fā)明中，實(shí)現(xiàn)移動(dòng)物體篩選模塊的一個(gè)范例示意圖。
圖7是在攝影機(jī)移動(dòng)的狀況下，使用仿射運(yùn)動(dòng)模型，估算出前后影像
的變形參數(shù)的一個(gè)范例示意圖。
圖8a、 b是利用圖7中估算出的變形參數(shù)將前后影像的背景對(duì)齊的一
個(gè)范例示意圖。圖9a、 b是將圖8中背景對(duì)齊過(guò)的前后影像進(jìn)行光跡追蹤的一個(gè)范例
示意圖。
圖10a、 b是篩選出移動(dòng)物體的一個(gè)范例示意圖。
圖11說(shuō)明圖10中篩選出此移動(dòng)物體的所使用式子的一個(gè)范例。
具體實(shí)施例方式
圖3是本發(fā)明的利用光跡分析的移動(dòng)物體偵測(cè)裝置的一個(gè)概要范例示 意圖。參考圖3，此利用光跡分析的移動(dòng)物體偵測(cè)裝置300包含一影像擷 取模塊301、 一影像校準(zhǔn)模塊303、 一對(duì)應(yīng)像素搜尋模塊305和一移動(dòng)物 體篩選模塊307。
影像擷取模塊301持續(xù)擷取多個(gè)影像，例如，從一監(jiān)控場(chǎng)景里，在一 攝影機(jī)310移動(dòng)或靜止的狀態(tài)下，來(lái)擷取多個(gè)影像。影像擷取模塊301作 為此利用光跡分析的移動(dòng)物體偵測(cè)裝置300的輸入組件。影像校準(zhǔn)模塊 303從輸入的每?jī)上噜徲跋?，稱之為前影像3011與后影像3012，求出一 校準(zhǔn)后的前影像3031。完成此影像校準(zhǔn)后，對(duì)應(yīng)像素搜尋模塊305以像素 為單位，通過(guò)光流(opticalflow)追蹤，找出后影像3012中各像素的光軌跡 位移，稱之為對(duì)應(yīng)像素位移向量3051。最后，移動(dòng)物體篩選模塊307整合 后影像3012中所有像素的對(duì)應(yīng)像素位移向量3051，判定出移動(dòng)物體在畫(huà) 面內(nèi)的位置3071。
有了影像擷取模塊301從不同時(shí)間點(diǎn)擷取出來(lái)的每?jī)上噜徲跋?前影 像3011與后影像3012)后，本發(fā)明再通過(guò)「影像校準(zhǔn)」與「對(duì)應(yīng)像素搜尋」， 來(lái)達(dá)成利用單攝影機(jī)進(jìn)行「移動(dòng)攝影機(jī)的移動(dòng)物體偵測(cè)」。其實(shí)施的范例可通過(guò)多階層移動(dòng)模塊估算技術(shù)和光跡追蹤技術(shù)來(lái)達(dá)成。以下進(jìn)一步說(shuō)明
本發(fā)明中影像校準(zhǔn)模塊303、對(duì)應(yīng)像素搜尋模塊305和移動(dòng)物體篩選模塊 307的細(xì)部結(jié)構(gòu)和運(yùn)作。
圖4是本發(fā)明中，實(shí)現(xiàn)影像校準(zhǔn)模塊303的一個(gè)范例的示意圖。參考 圖4，影像校準(zhǔn)模塊303可由影像對(duì)應(yīng)單元403a、校準(zhǔn)參數(shù)估計(jì)單元403b、 和影像變形校準(zhǔn)單元403c來(lái)實(shí)現(xiàn)。影像對(duì)應(yīng)單元403a根據(jù)輸入的每?jī)上?鄰的前影像3011與后影像3012，先建立兩相鄰畫(huà)面的對(duì)應(yīng)關(guān)系。此兩相 鄰畫(huà)面的對(duì)應(yīng)關(guān)系描述著兩相鄰畫(huà)面的影像對(duì)應(yīng)關(guān)系4031。根據(jù)此兩相鄰 畫(huà)面的對(duì)應(yīng)關(guān)系4031，校準(zhǔn)參數(shù)估計(jì)單元403b可通過(guò)如多階層移動(dòng)模塊 (multi-resolution estimation of parametric motion model)估算技術(shù)，估算出一 校準(zhǔn)轉(zhuǎn)換參數(shù)4032。由此校準(zhǔn)轉(zhuǎn)換參數(shù)4032可估算出一前后影像的變形， 使兩相鄰畫(huà)面的差異達(dá)到最小。根據(jù)此校準(zhǔn)轉(zhuǎn)換參數(shù)4032，影像變形校準(zhǔn) 單元403c可套用一轉(zhuǎn)換矩陣來(lái)完成影像變形與校準(zhǔn)，求出一校準(zhǔn)后的前 影像3031。
多階層移動(dòng)模塊估算技術(shù)包括選定運(yùn)動(dòng)模型與目標(biāo)方程式，以及最佳 化求解估算。此技術(shù)先利用高斯低通濾波器建立多階層影像金字塔，再通 過(guò)增值估算(incremental estimation)與逐級(jí)估算(coarse-to-fine estimation),
逼近出相鄰畫(huà)面最適當(dāng)?shù)倪\(yùn)動(dòng)補(bǔ)償參數(shù)。
當(dāng)使用二維多項(xiàng)式運(yùn)動(dòng)模型(2D polynomial motion modd)時(shí)，攝影機(jī) 的運(yùn)動(dòng)參數(shù)與畫(huà)面的關(guān)系可經(jīng)由矩陣來(lái)表示。在此矩陣表示法下，常數(shù) (constant)、仿射(affme)、 二次方程(quadratic)運(yùn)動(dòng)模型皆可使用。不失一 般性，以下使用仿射運(yùn)動(dòng)模型為例，說(shuō)明本發(fā)明如何實(shí)現(xiàn)影像校準(zhǔn)。先使用高斯低通濾波器建立多階層影像金字塔，再利用多階層最小平 方根估算出前后影像的變形參數(shù)八=[^,&，..,^]，根據(jù)A，可利用下列式子
求得前影像中點(diǎn)/的變形位移(《，《)。
《<formula>formula see original document page 16</formula>
其中，矩陣A是由所選的仿射運(yùn)動(dòng)模型決定的轉(zhuǎn)換矩陣，而(x^i)代表一 個(gè)點(diǎn)的空間影像位置(spatial image position of a point)。
圖5是本發(fā)明中，實(shí)現(xiàn)對(duì)應(yīng)像素搜尋模塊305的一個(gè)范例示意圖。參 考圖5，對(duì)應(yīng)像素搜尋模塊305可由像素位移方向判定單元505a和像素位 移距離估算單元505b來(lái)實(shí)現(xiàn)。當(dāng)影像校準(zhǔn)模塊303求出校準(zhǔn)后的前影像 3031后，像素位移方向判定單元505a即以像素為單位，根據(jù)后影像3012 和校準(zhǔn)后的前影像3031，光流追蹤每像素在兩相鄰畫(huà)面間位移方向，稱之 為像素位移方向5051。此像素位移方向5051包括該像素在兩相鄰畫(huà)面間 水平與垂直位移方向。像素位移距離估算單元505b根據(jù)每像素位移方向 5051，估算出后影像中每像素的光軌跡位移，即對(duì)應(yīng)像素位移向量3051。 對(duì)應(yīng)像素位移向量3051包含像素點(diǎn)在后影像中水平與垂直方向的移動(dòng)速 度。
本發(fā)明中，對(duì)應(yīng)像素搜尋模塊305可通過(guò)影像式點(diǎn)對(duì)點(diǎn)(piecewise)光 跡追蹤技術(shù)，來(lái)提供相鄰畫(huà)面內(nèi)以像素為單位的影像追蹤結(jié)果，由數(shù)據(jù)維 持(data conversation)與空間連貫(spatial coherence)的假設(shè)，找尋最匹配的相 鄰畫(huà)面像素對(duì)應(yīng)點(diǎn)。本發(fā)明實(shí)現(xiàn)對(duì)應(yīng)像素搜尋模塊305的范例中，將相鄰 畫(huà)面內(nèi)以像素為單位的影像追蹤結(jié)果帶入光跡追蹤技術(shù)，并且將下列的數(shù)據(jù)維持及空間連貫的公式最小化，得到后影像中各像素點(diǎn)的光軌跡位移。 以下進(jìn)一步說(shuō)明此數(shù)據(jù)維持與空間連貫的假設(shè)。
資料維持的假設(shè)意指時(shí)間為t的影像內(nèi)(Xt，Yt)坐標(biāo)的像素值應(yīng)該和
時(shí)間t+l的影像內(nèi)(Xt +dx, Yt +€1力坐標(biāo)的相對(duì)應(yīng)像素值相同。此又可稱為 常數(shù)亮度假設(shè)(brightness constancy assumption)。這個(gè)假設(shè)可定義如下
其中，(M，V)表示水平與垂直方向的影像移動(dòng)速度，^則是極小的一段時(shí)間。 而最直接使用常數(shù)亮度假設(shè)的方法就是使用最小平方根差值 (sum-of-squared differences， SSD)的方式。換句話說(shuō)，假設(shè)極小時(shí)間&內(nèi)， 影像亮度變化在各像素附近區(qū)間內(nèi)接近于固定常數(shù)。由最小化下列式子， 即可得到正確的像素水平與垂直方向移動(dòng)速度。
五D (",力=Z [7(X, 乂 0 _ 70 + W&,少+ V&, , + &)]2
("，r)" 。
空間連貫的假設(shè)意指每一像素相鄰區(qū)域乃隸屬于相同表面(surface)。 在此假設(shè)下，平滑剛性物體(smooth rigid object)上的區(qū)域影像變化幅度不 大，故可經(jīng)由套用光滑限制(smooth constraint)在鄰近區(qū)域的光跡變化上， 執(zhí)行空間連貫的假設(shè)。這個(gè)假設(shè)可定義如下
￡5 (W, V) = Z/， + W) + V) + 由方程式^"，v)-^("，v) +碼("'v)，并搭配數(shù)據(jù)維持與空間連貫的假
設(shè)與利用A定義兩假設(shè)的權(quán)重比例，通過(guò)最小化算法，即可逼近出最正確 的各像素在水平與垂直方向的移動(dòng)速度。
圖6是本發(fā)明中，實(shí)現(xiàn)移動(dòng)物體篩選模塊307的一個(gè)范例示意圖。參 考圖6，移動(dòng)物體篩選模塊307可由位移方向投射轉(zhuǎn)換單元607a、投射轉(zhuǎn)換分離值決定單元607b和移動(dòng)物體單判定單元607c來(lái)實(shí)現(xiàn)。當(dāng)對(duì)應(yīng)像素 搜尋模塊305找出后影像中各像素的對(duì)應(yīng)像素位移向量3051后，位移方 向投射轉(zhuǎn)換單元607a根據(jù)此對(duì)應(yīng)像素位移向量3051，求出后影像中各像 素的位移向量轉(zhuǎn)換值6071。投射轉(zhuǎn)換分離值決定單元607b根據(jù)后影像中 各像素的位移向量轉(zhuǎn)換值6071，求出其標(biāo)準(zhǔn)差a，來(lái)決定出后影像中各像 素的投射分離值6072。根據(jù)后影像中各像素的投射分離值6072，移動(dòng)物 體單判定單元607c就可標(biāo)示出移動(dòng)物體在畫(huà)面內(nèi)的位置3071。標(biāo)示出的 移動(dòng)物體在畫(huà)面內(nèi)的位置點(diǎn)所形成的區(qū)域就是移動(dòng)物體的前景 (foreground)。
本發(fā)明中，位移方向投射轉(zhuǎn)換單元607a可先求出各像素點(diǎn)/的光跡距
離"("'。)2+(v'。)2 ，再以半高斯模型描述影像中所有點(diǎn)的光跡距離，也就 是位移向量轉(zhuǎn)換值6071，然后求出其標(biāo)準(zhǔn)差(standarddeviation)cj。而移動(dòng)
物體篩選模塊307可以下列式子來(lái)篩選出移動(dòng)物體點(diǎn)o,。
0'=<[o 其他 ，
其中4in為移動(dòng)向量最小值，可由實(shí)驗(yàn)得知。
綜上可看出，本發(fā)明先經(jīng)由相鄰畫(huà)面分析，取得畫(huà)面補(bǔ)償參數(shù)，用以 還原因攝影機(jī)移動(dòng)所造成的背景畫(huà)面變換。然后于補(bǔ)償完成的相鄰畫(huà)面 內(nèi)，追蹤相對(duì)應(yīng)像素偏移。在對(duì)應(yīng)像素追蹤中，由將光跡追蹤產(chǎn)生的信息 進(jìn)行整合，可標(biāo)示出前景的移動(dòng)區(qū)塊，再消除過(guò)小的噪聲，進(jìn)而偵測(cè)移動(dòng) 物體在畫(huà)面內(nèi)的發(fā)生區(qū)域。
由于本發(fā)明將前時(shí)間擷取的影像經(jīng)對(duì)齊后與后時(shí)間擷取的影像進(jìn)行 像素對(duì)應(yīng)與追蹤，如此不僅可以完整標(biāo)示出移動(dòng)物體全部區(qū)域，同時(shí)，只有正確移動(dòng)物體區(qū)域才會(huì)產(chǎn)生大范圍的移動(dòng)結(jié)果，非常容易與未完全對(duì)齊 的畫(huà)面噪聲區(qū)別，故不須使用兩只攝影機(jī)來(lái)減低誤差，不僅能降低成本容 易安裝，并且能應(yīng)用于移動(dòng)式或固定式攝影機(jī)平臺(tái)的移動(dòng)物體偵測(cè)，換言 之，攝影機(jī)移動(dòng)或靜止的狀態(tài)下，皆可應(yīng)用本發(fā)明來(lái)偵測(cè)移動(dòng)物體。
不失一般性，以下的圖7至圖11是以攝影機(jī)移動(dòng)的狀況為例，來(lái)進(jìn) 一步說(shuō)明本發(fā)明的實(shí)施結(jié)果。圖7是在攝影機(jī)移動(dòng)的狀況下，使用仿射運(yùn)
動(dòng)模型，估算出前后影像的變形參數(shù)A的一個(gè)范例示意圖。圖7中，左圖
與右圖分別是攝影機(jī)移動(dòng)的狀況下，所拍攝的前影像與后影像，其中斜線 部分表示該影像的背景區(qū)域。前影像與后影像中的笑臉是該影像的前景移 動(dòng)物體。因?yàn)閿z影機(jī)的移動(dòng)，影像中的前景和背景區(qū)域在畫(huà)面內(nèi)都發(fā)生移
動(dòng)，所以可看出前影像內(nèi)的笑臉(smiling face)出現(xiàn)在后影像內(nèi)的笑臉的右 上方，而前影像內(nèi)的背景區(qū)域的長(zhǎng)方形框出現(xiàn)在后影像內(nèi)的背景區(qū)域的長(zhǎng) 方形框的右方。由計(jì)算變形參數(shù)A，欲對(duì)前后影像的背景區(qū)域作修正對(duì)齊。
圖8是利用圖7中估算出的變形參數(shù)A，將前后影像的背景對(duì)齊的一 個(gè)范例示意圖。利用影像校準(zhǔn)模塊303完成校準(zhǔn)后，可看出背景區(qū)域的長(zhǎng) 方形框已對(duì)齊在兩影像內(nèi)相同的位置了。如此，可使不同位置擷取的影像 有共同的影像基底。
圖9是將圖8中背景對(duì)齊過(guò)的前后影像進(jìn)行光跡追蹤的一個(gè)范例示意 圖。畫(huà)面內(nèi)的任一像素/進(jìn)行光跡追蹤后，得到x軸與y軸方向的向量， 如右圖中所示的箭頭就是此向量。如此，可找出相鄰畫(huà)面內(nèi)因?yàn)榍熬耙苿?dòng) 所造成的未對(duì)齊區(qū)域，以標(biāo)示出移動(dòng)物體區(qū)域。
圖IO是篩選出移動(dòng)物體的一個(gè)范例示意圖。圖10中，左圖是經(jīng)過(guò)對(duì)應(yīng)像素搜尋模塊305計(jì)算后，找出后影像中各像素的光軌跡位移，其中的 笑臉是位移量大的光跡追蹤區(qū)域，其余是位移量不大的光跡追蹤區(qū)域。右
圖中標(biāo)號(hào)1071所指區(qū)域是左圖經(jīng)過(guò)移動(dòng)物體篩選模塊307分離出的前景 移動(dòng)物體發(fā)生區(qū)域。
圖11說(shuō)明圖10中篩選出此移動(dòng)物體的所使用式子的一個(gè)范例?？v軸 p代表高斯模型的機(jī)率分配，橫軸J代表影像中像素點(diǎn)的光跡追蹤距離， 4 是設(shè)定的移動(dòng)向量最小值。
從圖7至圖11的例子中可清楚看出本發(fā)明提供的利用光跡分析的移 動(dòng)物體偵測(cè)裝置與方法的可實(shí)施性與穩(wěn)定的效果，
本發(fā)明所描述的架構(gòu)也可應(yīng)用于智能型車輛設(shè)計(jì)，提供未來(lái)車輛自動(dòng) 偵測(cè)可視范圍內(nèi)的移動(dòng)行人或物體，減少因?yàn)槿藶槭枋д`判所造成的損 失。另外，本發(fā)明也可用在消除室外監(jiān)控?cái)z影機(jī)所造成的大畫(huà)面震動(dòng)情形， 應(yīng)用本發(fā)明不會(huì)受到震動(dòng)的影響，而得到的是穩(wěn)定的監(jiān)控畫(huà)面，并且是穩(wěn) 定而正確的移動(dòng)物體偵測(cè)結(jié)果。
以上所述，僅為發(fā)明的實(shí)施范例而已，當(dāng)不能依此限定本發(fā)明實(shí)施的 范圍。即大凡以本發(fā)明所作的均等變化與修飾，皆應(yīng)仍屬本發(fā)明的權(quán)利要 求范圍內(nèi)。
權(quán)利要求
1、 一種利用光跡分析的移動(dòng)物體偵測(cè)裝置，該裝置包含 一影像擷取模塊，持續(xù)擷取多個(gè)影像；一影像校準(zhǔn)+莫塊，從該多個(gè)影像的每?jī)上噜徲跋瘢Q之為前影像與后影像，求出一校準(zhǔn)后的前影像；一對(duì)應(yīng)像素搜尋模塊，于該校準(zhǔn)后，以像素為單位，通過(guò)光流追蹤， 找出該校準(zhǔn)后的前后影像各對(duì)應(yīng)像素的位移向量；以及一移動(dòng)物體篩選模塊，整合該后影像中所有像素的該對(duì)應(yīng)像素位移向 量，并判定出該移動(dòng)物體在畫(huà)面內(nèi)的位置。
2、 如權(quán)利要求1所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中， 該影像校準(zhǔn)模塊包括一影像對(duì)應(yīng)單元，根據(jù)輸入的該每?jī)上噜徲跋?，建立兩相鄰?huà)面的對(duì) 應(yīng)關(guān)系；一校準(zhǔn)參數(shù)估計(jì)單元，根據(jù)該兩相鄰畫(huà)面的對(duì)應(yīng)關(guān)系，估算出一校準(zhǔn) 轉(zhuǎn)換參數(shù)；以及一影像變形校準(zhǔn)單元，根據(jù)該校準(zhǔn)轉(zhuǎn)換參數(shù)，求出一校準(zhǔn)后的前影像。
3、 如權(quán)利要求1所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中， 該對(duì)應(yīng)像素搜尋模塊包括一像素位移方向判定單元，光流追蹤各像素在該兩相鄰畫(huà)面間位移方 向；以及一像素位移距離估算單元，估算出該后影像中各像素的該對(duì)應(yīng)像素位移向量。
4、 如權(quán)利要求1所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中， 該移動(dòng)物體篩選模塊包括一位移方向投射轉(zhuǎn)換單元，根據(jù)該對(duì)應(yīng)像素位移向量，求出該后影像 中各像素的一位移向量轉(zhuǎn)換值；一投射轉(zhuǎn)換分離值決定單元，根據(jù)該后影像中各像素的該位移向量轉(zhuǎn) 換值，求出其標(biāo)準(zhǔn)差，來(lái)決定出該后影像中各像素的一投射分離值；以及一移動(dòng)物體單判定單元，根據(jù)該后影像中各像素的投射分離值，標(biāo)示 出該移動(dòng)物體在畫(huà)面內(nèi)的位置。
5、 如權(quán)利要求1所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中，該前影像與后影像是從不同時(shí)間點(diǎn)擷取出來(lái)的。
6、 如權(quán)利要求1所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中， 該影像擷取模塊備有一攝影機(jī)來(lái)持續(xù)擷取多個(gè)影像。
7、 如權(quán)利要求1所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中， 該后影像中各像素的對(duì)應(yīng)像素位移向量是該后影像中各像素的光軌跡位 移。
8、 如權(quán)利要求6所述的利用光跡分析的移動(dòng)物體偵測(cè)裝置，其中， 當(dāng)該攝影機(jī)在移動(dòng)狀態(tài)下或是在靜止?fàn)顟B(tài)下時(shí)，該裝置皆適用。
9、 一種利用光跡分析的移動(dòng)物體偵測(cè)方法，該方法包含下列步驟 一攝影機(jī)持續(xù)擷取多個(gè)影像；從該多個(gè)影像的每?jī)上噜徲跋?，稱為前影像與后影像，估算出兩相鄰 畫(huà)面的一校準(zhǔn)轉(zhuǎn)換參數(shù)；根據(jù)該校準(zhǔn)轉(zhuǎn)換參數(shù)，校準(zhǔn)該每?jī)上噜徲跋竦谋尘皡^(qū)域； 以像素為單位，于校準(zhǔn)后的該每?jī)上噜徲跋襁M(jìn)行光流追蹤，找出該后影像中各像素的一個(gè)對(duì)應(yīng)像素位移向量；以及整合該后影像中所有像素的該對(duì)應(yīng)像素位移向量，并判定出該移動(dòng)物 體在畫(huà)面內(nèi)的位置。
10、 如權(quán)利要求9所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中， 該校準(zhǔn)轉(zhuǎn)換參數(shù)是經(jīng)由先估算出該每?jī)上噜彯?huà)面的對(duì)應(yīng)關(guān)系，再根據(jù)該兩 相鄰畫(huà)面對(duì)應(yīng)關(guān)系而估算得出的。
11、 如權(quán)利要求9所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中， 該光流追蹤的進(jìn)行通過(guò)一種影像式點(diǎn)對(duì)點(diǎn)光跡追蹤技術(shù)，來(lái)提供相鄰畫(huà)面 內(nèi)以像素為單位的影像追蹤結(jié)果，來(lái)找出該后影像中各像素的光軌跡位 移。
12、 如權(quán)利要求9所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中， 該整合該后影像中所有像素的該對(duì)應(yīng)像素位移向量的步驟包括根據(jù)該對(duì)應(yīng)像素位移向量，求出該后影像中各像素的一位移向量轉(zhuǎn)換值；以及根據(jù)該后影像中各像素的該位移向量轉(zhuǎn)換值，來(lái)決定出該后影像中各 像素的一投射分離值。
13、 如權(quán)利要求12所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中， 該判定出該移動(dòng)物體在畫(huà)面內(nèi)的位置的步驟包括根據(jù)該后影像中各像素的該投射分離值，標(biāo)示出該移動(dòng)物體在畫(huà)面內(nèi) 的位置。
14、如權(quán)利要求12所述的利用光跡分析的移動(dòng)物體偵測(cè)方法，其中， 該位移向量轉(zhuǎn)換值是通過(guò)分析影像中各像素點(diǎn)的光跡距離而求出。
全文摘要
一種利用光跡分析的移動(dòng)物體偵測(cè)裝置與方法。此裝置包含四個(gè)模塊，影像擷取、影像校準(zhǔn)、對(duì)應(yīng)像素搜尋和移動(dòng)物體篩選。本發(fā)明在攝影機(jī)背景移動(dòng)與靜止的狀態(tài)下，持續(xù)擷取影像。然后根據(jù)輸入的相鄰影像，估算出此相鄰影像的畫(huà)面對(duì)應(yīng)關(guān)系，據(jù)此估算出此相鄰影像的一校準(zhǔn)轉(zhuǎn)換參數(shù)，再根據(jù)此校準(zhǔn)轉(zhuǎn)換參數(shù)，校準(zhǔn)此相鄰影像的背景區(qū)域，求出一校準(zhǔn)后的前影像。完成校準(zhǔn)后，追蹤每像素在相鄰畫(huà)面間的對(duì)應(yīng)像素位移向量。最后，整合光跡追蹤產(chǎn)生的信息，并穩(wěn)定且正確地判定出移動(dòng)物體在畫(huà)面內(nèi)的位置。本發(fā)明不易受噪聲誤差的干擾，可應(yīng)用于移動(dòng)式或固定式攝影機(jī)平臺(tái)的移動(dòng)物體偵測(cè)。
文檔編號(hào)G06T7/20GK101312524SQ20071010765
公開(kāi)日2008年11月26日 申請(qǐng)日期2007年5月23日 優(yōu)先權(quán)日2007年5月23日
發(fā)明者富博超, 石明于 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院