專利名稱：用于軌跡估計(jì)的方法和裝置以及用于分割的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及軌跡估計(jì)方法和軌跡估計(jì)裝置以及分割方法，并且特別地涉及能夠基于兩幅或更多幅圖像而精確地估計(jì)諸如移動(dòng)而改變形狀的人等對(duì)象在圖像上的軌跡的軌跡估計(jì)方法和軌跡估計(jì)裝置以及分割方法。
背景技術(shù)：
常規(guī)上，已經(jīng)廣泛地進(jìn)行了對(duì)圖像上的軌跡進(jìn)行估計(jì)的研究與開發(fā)。具體地，對(duì)諸如人等改變形狀的對(duì)象的軌跡進(jìn)行估計(jì)的技術(shù)是普遍用于例如數(shù)碼攝像機(jī)或數(shù)碼相機(jī)中的聚焦控制和圖像質(zhì)量改進(jìn)處理以及汽車的駕駛安全支持系統(tǒng)或使用機(jī)器人的碰撞避免控制或警報(bào)的基礎(chǔ)技術(shù)。用于估計(jì)軌跡的最通常的方法是通過(guò)在一幅圖像中提供塊(該塊為部分區(qū)域)并且在另一幅圖像中使用包括在該塊中的像素信息(像素值)來(lái)執(zhí)行空間搜索，從而基于像素信息中的相似性來(lái)估計(jì)運(yùn)動(dòng)矢量。通過(guò)時(shí)間上連接這樣的運(yùn)動(dòng)矢量可以估計(jì)軌跡。然而，根據(jù)該方法，運(yùn)動(dòng)矢量是基于塊內(nèi)的像素值的相似性來(lái)估計(jì)的。因此，在包括諸如不具有紋理的均勻區(qū)域等區(qū)域或具有條紋圖案的區(qū)域的圖像的情況下，不可能精確地估計(jì)運(yùn)動(dòng)矢量，從而導(dǎo)致誤差被包括在軌跡中。另一方面，非專利文獻(xiàn)2描述了一種用于估計(jì)更精確軌跡的方法。利用該方法，在對(duì)諸如不具有紋理的均勻區(qū)域等區(qū)域的軌跡進(jìn)行估計(jì)的情況下，僅通過(guò)使用諸如角落或邊緣等魯棒點(diǎn)來(lái)進(jìn)行研究，在魯棒點(diǎn)處，像素值不太可能隨時(shí)間變化。這給出了允許更精確估計(jì)軌跡的優(yōu)點(diǎn)。引用列表非專利文獻(xiàn)[非專利文獻(xiàn) 1]1989 年的 hternational Journal of Computer Vision，卷 2， 第 283-310 頁(yè)，作者為 P. Anandan 的文章"A computational Framework and an Algorithm for the Measurement of Visual Motion，，[非專利文獻(xiàn) 2] 1994 年的 IEEE Conference on Computer Vision and Pattern Recognition,第 593-600 頁(yè)，作者為 Jianbo Shi 禾口 Carlo Tomasi 的文章"Good Features to Track，，

發(fā)明內(nèi)容
技術(shù)問(wèn)題然而，在常規(guī)的方法中，為了處理在諸如人等對(duì)象中頻繁發(fā)生的大小(scale)改變或形狀改變，需要采取對(duì)應(yīng)于該大小改變或該形狀改變的移動(dòng)模型。因此，如果沒(méi)有執(zhí)行移動(dòng)模型的合適設(shè)置，則存在不能夠獲得精確軌跡的問(wèn)題。特別是，在不使用任何關(guān)于對(duì)象的先前知識(shí)的情況下，很難針對(duì)形狀改變?cè)O(shè)置合適的運(yùn)動(dòng)模型。因此，構(gòu)思了本發(fā)明來(lái)解決以上的問(wèn)題，并且本發(fā)明的目的是提供一種能夠基于兩幅或更多幅圖像而精確地估計(jì)諸如移動(dòng)而改變形狀的人等對(duì)象或包括均勻紋理的對(duì)象在圖像上的軌跡的軌跡估計(jì)方法和軌跡估計(jì)裝置以及分割方法。解決問(wèn)題的方案為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明一方面的軌跡估計(jì)方法是用于對(duì)構(gòu)成視頻中的移動(dòng)對(duì)象的全部或移動(dòng)對(duì)象的部分的子區(qū)域的軌跡進(jìn)行估計(jì)的軌跡估計(jì)方法，并且所述軌跡估計(jì)方法包括接收包括在所述視頻中的多幅圖像，所述多幅圖像是按時(shí)間排序的；通過(guò)對(duì)在所述接收中接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí) (hierarchical level)上生成子區(qū)域，使得空間上較大的子區(qū)域包括空間上較小的子區(qū)域，所述空間上較大的子區(qū)域和所述空間上較小的子區(qū)域?qū)儆诒舜瞬煌姆謱蛹?jí)；以及通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡 (representative trajectory)0應(yīng)該注意，本發(fā)明不僅可以被實(shí)現(xiàn)為上述軌跡估計(jì)方法，而且還可以被實(shí)現(xiàn)為軌跡估計(jì)裝置、程序和計(jì)算機(jī)可讀非易失性記錄介質(zhì)，其中所述軌跡估計(jì)裝置包括作為組成要素的、包括在所述軌跡估計(jì)方法中的特征步驟，所述程序使計(jì)算機(jī)執(zhí)行包括在所述軌跡估計(jì)方法中的所述特征步驟，以及計(jì)算機(jī)可讀非易失性記錄介質(zhì)例如是光盤只讀存儲(chǔ)器 (CD-ROM)，在該計(jì)算機(jī)可讀非易失性記錄介質(zhì)上存儲(chǔ)所述程序。發(fā)明的有益效果根據(jù)本發(fā)明，可以精確地對(duì)諸如移動(dòng)而改變形狀的人等對(duì)象或包括均勻紋理的對(duì)象在圖像上的軌跡進(jìn)行估計(jì)。


圖1是示出根據(jù)本發(fā)明第一實(shí)施例的軌跡估計(jì)裝置的基本結(jié)構(gòu)的功能框圖。圖2是示出根據(jù)本發(fā)明第一實(shí)施例的軌跡估計(jì)裝置的硬件結(jié)構(gòu)的功能框圖。圖3是示出根據(jù)本發(fā)明第一實(shí)施例的軌跡估計(jì)裝置的基本操作的流程圖。圖4是示出根據(jù)本發(fā)明第一實(shí)施例的用于估計(jì)運(yùn)動(dòng)矢量的處理的示例的簡(jiǎn)圖。圖5是示出根據(jù)本發(fā)明第一實(shí)施例的用于估計(jì)軌跡的處理的示例的簡(jiǎn)圖。圖6是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元執(zhí)行的處理的示例的簡(jiǎn)圖。圖7是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元輸入的輸入圖像的示例的簡(jiǎn)圖。圖8是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元執(zhí)行的處理的結(jié)果的示例的簡(jiǎn)圖。圖9是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元執(zhí)行的處理的結(jié)果的示例的簡(jiǎn)圖。圖10是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元執(zhí)行的處理的結(jié)果的示例的簡(jiǎn)圖。圖11是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元執(zhí)行的處理的結(jié)果的示例的簡(jiǎn)圖。
圖12是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元執(zhí)行的處理的結(jié)果的示例的簡(jiǎn)圖。圖13是示出由根據(jù)本發(fā)明第一實(shí)施例的分層子區(qū)域生成單元執(zhí)行的處理的結(jié)果的示例的簡(jiǎn)圖。圖14是示出由根據(jù)本發(fā)明第一實(shí)施例的代表軌跡估計(jì)單元生成模板的處理的示例的簡(jiǎn)圖。圖15是示出由根據(jù)本發(fā)明第一實(shí)施例的代表軌跡估計(jì)單元執(zhí)行的匹配處理的示例的簡(jiǎn)圖。圖16是示出由根據(jù)本發(fā)明第一實(shí)施例的代表軌跡估計(jì)單元執(zhí)行的匹配處理的另一示例的簡(jiǎn)圖。圖17是示出由根據(jù)本發(fā)明第一實(shí)施例的代表軌跡估計(jì)單元估計(jì)代表軌跡的處理的示例的簡(jiǎn)圖。圖18是示出由根據(jù)本發(fā)明第一實(shí)施例的代表軌跡估計(jì)單元估計(jì)的代表軌跡的示例的簡(jiǎn)圖。圖19是示出根據(jù)本發(fā)明第二實(shí)施例的分割裝置的基本結(jié)構(gòu)的功能框圖。圖20是示出根據(jù)本發(fā)明第二實(shí)施例的分割裝置的基本操作的流程圖。圖21是示出由根據(jù)本發(fā)明第二實(shí)施例的分割單元執(zhí)行的處理的示例的簡(jiǎn)圖。圖22是示出由根據(jù)本發(fā)明第二實(shí)施例的分割單元執(zhí)行的處理的優(yōu)點(diǎn)的簡(jiǎn)圖。圖23是示出由根據(jù)本發(fā)明第二實(shí)施例的分割單元執(zhí)行的測(cè)地距離(geodetic distance)轉(zhuǎn)換的結(jié)果的示例的簡(jiǎn)圖。圖M是示出由根據(jù)本發(fā)明第二實(shí)施例的分割單元執(zhí)行的處理的結(jié)果的示例的簡(jiǎn)圖。圖25是示出根據(jù)本發(fā)明第二實(shí)施例的分割裝置的基本操作的流程圖。圖沈是示出由根據(jù)本發(fā)明第二實(shí)施例的變型的分割單元生成的最小生成樹 (MST)的示例的簡(jiǎn)圖。圖27是示出由根據(jù)本發(fā)明第二實(shí)施例的變型的分割單元生成的當(dāng)前對(duì)的示例的簡(jiǎn)圖。圖觀是示出由根據(jù)本發(fā)明第二實(shí)施例的變型的分割單元執(zhí)行的用于自動(dòng)地確定類別數(shù)量的示例的簡(jiǎn)圖。
具體實(shí)施例方式根據(jù)本發(fā)明的一個(gè)實(shí)施例是用于對(duì)構(gòu)成視頻中的移動(dòng)對(duì)象的全部或移動(dòng)對(duì)象的部分的子區(qū)域的軌跡進(jìn)行估計(jì)的軌跡估計(jì)方法，并且所述軌跡估計(jì)方法包括接收包括在所述視頻中的多幅圖像，所述多幅圖像是按時(shí)間排序的；通過(guò)對(duì)在所述接收中接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得空間上較大的子區(qū)域包括空間上較小的子區(qū)域，所述空間上較大的子區(qū)域和所述空間上較小的子區(qū)域?qū)儆诒舜瞬煌姆謱蛹?jí)；以及通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。
根據(jù)該結(jié)構(gòu)，跨分層(hierarchy)地搜索子區(qū)域。由于這促進(jìn)了吸收形狀和尺寸的差異，所以可以改進(jìn)搜索精確度。特別是，可以精確地估計(jì)諸如移動(dòng)而改變形狀的人等對(duì)象或包括均勻紋理的對(duì)象的軌跡。優(yōu)選地，上述軌跡估計(jì)方法還包括通過(guò)針對(duì)由包括在所述多幅圖像中的每一幅圖像中的一個(gè)或多個(gè)像素構(gòu)成的每個(gè)塊分析所述多幅圖像之間的運(yùn)動(dòng)而在所述視頻中生成所述塊的軌跡，其中在所述估計(jì)中，通過(guò)使包括在所述特定圖像中的所述子區(qū)域與包括在所述子區(qū)域中的所述塊的所述軌跡一起移動(dòng)來(lái)生成預(yù)測(cè)子區(qū)域，所述預(yù)測(cè)子區(qū)域是在與所述特定圖像不同的所述圖像中預(yù)測(cè)的子區(qū)域，并且通過(guò)跨與所述特定圖像不同的所述圖像中的所述分層級(jí)，搜索與所述預(yù)測(cè)子區(qū)域最相似的所述子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為所述代表軌跡。根據(jù)該結(jié)構(gòu)，還可以基于屬于每個(gè)子區(qū)域的軌跡，通過(guò)在下一時(shí)間生成模板而響應(yīng)于子區(qū)域的形狀改變來(lái)魯棒地估計(jì)軌跡。更優(yōu)選地，在所述估計(jì)中，使包括在所述生成中生成的每個(gè)子區(qū)域的軌跡對(duì)于所述每個(gè)子區(qū)域是平滑的，并且基于包括在所述每個(gè)子區(qū)域中的平滑的軌跡來(lái)估計(jì)所述代表軌跡。根據(jù)該結(jié)構(gòu)，可以通過(guò)每個(gè)子區(qū)域地校正所述軌跡來(lái)針對(duì)每個(gè)區(qū)域估計(jì)連貫一致的軌跡。更優(yōu)選地，在所述估計(jì)中，通過(guò)使用相似性測(cè)度(similarity measure)來(lái)確定子區(qū)域之間的相似性，從而搜索所述子區(qū)域，其中所述相似性測(cè)度包括所述子區(qū)域的像素值和形狀信息中的至少之一。根據(jù)該結(jié)構(gòu)，可以基于包括形狀信息和像素值中的至少一個(gè)的相似性測(cè)度來(lái)估計(jì)軌跡。此外，在所述估計(jì)中，可以通過(guò)⑴采用曲線圖(graph)、和(ii)將動(dòng)態(tài)編程應(yīng)用于所述曲線圖而生成用于所述曲線圖的最優(yōu)路徑來(lái)估計(jì)所述代表軌跡，在所述曲線圖中 包括在所述特定圖像中的所述子區(qū)域和包括在與所述特定圖像不同的所述圖像中的所述子區(qū)域是節(jié)點(diǎn)；使用邊來(lái)對(duì)表示包括在所述特定圖像中的所述子區(qū)域的一個(gè)節(jié)點(diǎn)和表示包括在與所述特定圖像不同的所述圖像中的所述子區(qū)域的另一節(jié)點(diǎn)進(jìn)行連接；并且這樣的值是邊權(quán)重，即對(duì)于由所述邊連接的子區(qū)域之間的較大相似性，該值是較小的。根據(jù)該結(jié)構(gòu)，可以通過(guò)采用上述曲線圖并且使用動(dòng)態(tài)編程計(jì)算最優(yōu)路徑來(lái)從全局優(yōu)化視角來(lái)看在相對(duì)長(zhǎng)的時(shí)間段中精確地估計(jì)所述代表軌跡。特別地，在估計(jì)用于三個(gè)或更多個(gè)幀的代表軌跡的情況中，可以利用關(guān)于全部幀的信息來(lái)估計(jì)最優(yōu)代表軌跡。優(yōu)選地，在所述生成中，基于包括輪廓信息的特征，在分層級(jí)上生成所述子區(qū)域。根據(jù)該結(jié)構(gòu)，通過(guò)使用包括輪廓信息的特征，可以生成所述子區(qū)域，所述子區(qū)域?qū)τ陬伾土炼炔▌?dòng)是魯棒的并且從所述子區(qū)域中排除諸如陰影等影響，并且因此可以估計(jì)高精確的軌跡。本發(fā)明的另一實(shí)施例是用于對(duì)每個(gè)移動(dòng)對(duì)象的視頻執(zhí)行分割的分割方法，并且該分割方法包括上述軌跡估計(jì)方法中包括的處理；以及通過(guò)將代表軌跡之間具有相似性的子區(qū)域進(jìn)行結(jié)合來(lái)對(duì)視頻執(zhí)行分割。根據(jù)該結(jié)構(gòu)，可以通過(guò)使用估計(jì)的軌跡和子區(qū)域來(lái)執(zhí)行分割。因此，在改變形狀的對(duì)象的情況下，也可以更精確地執(zhí)行分割。優(yōu)選地，在所述執(zhí)行中，通過(guò)連接小于閾值的距離來(lái)將代表軌跡之間的距離轉(zhuǎn)換為測(cè)地距離、檢測(cè)在獲得的測(cè)地距離中的不連續(xù)點(diǎn)并且通過(guò)將彼此分開的距離比在所檢測(cè)的不連續(xù)點(diǎn)處的測(cè)地距離小的軌跡分為一類來(lái)執(zhí)行分割。根據(jù)該結(jié)構(gòu)，將彼此分開的距離比在不連續(xù)點(diǎn)處的測(cè)地距離小的軌跡分為一類。 因此，與使用歐幾里得距離(歐幾里得距離為線性距離)的聚類(clustering)相比，執(zhí)行考慮了軌跡之間相似性的時(shí)空連續(xù)性的聚類。因此，可靠地區(qū)分了圖片中的每個(gè)塊屬于同一對(duì)象(或區(qū)域)還是屬于另一對(duì)象(或區(qū)域)。因此，甚至在檢測(cè)諸如由具有不同運(yùn)動(dòng)的區(qū)域構(gòu)成的人等關(guān)節(jié)式對(duì)象的情況下，也可以正確地執(zhí)行分割，以便可靠地檢測(cè)移動(dòng)對(duì)象。 換言之，可以對(duì)諸如移動(dòng)而改變形狀的人等移動(dòng)對(duì)象精確地執(zhí)行分割，并由此可以檢測(cè)圖像中的移動(dòng)對(duì)象。此外，在所述執(zhí)行中，基于對(duì)應(yīng)于要被結(jié)合的子區(qū)域的代表軌跡和鄰近所述要被結(jié)合的子區(qū)域的至少一個(gè)子區(qū)域的代表軌跡，可以確定是否結(jié)合所述要被結(jié)合的子區(qū)域。根據(jù)該結(jié)構(gòu)，可以通過(guò)不僅考慮要被結(jié)合的子區(qū)域而且還考慮鄰近的子區(qū)域來(lái)執(zhí)行考慮鄰近子區(qū)域的分割。因此，這產(chǎn)生了以下有益效果，即能夠更好地反映圖像的結(jié)構(gòu)并且執(zhí)行不易受諸如圖像中的對(duì)象尺寸差異等影響的分割。優(yōu)選地，在所述執(zhí)行中，基于在根據(jù)曲線圖計(jì)算的最小生成樹中表示的連接關(guān)系來(lái)執(zhí)行分割，在該曲線圖中，將代表軌跡假設(shè)為節(jié)點(diǎn)并且通過(guò)使用邊來(lái)將代表軌跡彼此連接；并且由邊連接的代表軌跡之間的距離被假設(shè)為邊權(quán)重。通過(guò)使用最小生成樹以有限的連接關(guān)系表示所述代表軌跡，可以以最小計(jì)算量來(lái)執(zhí)行分割。更優(yōu)選地，在所述執(zhí)行中，基于用于將具有以下關(guān)系的一對(duì)代表軌跡與鄰近該對(duì)代表軌跡的至少一個(gè)代表軌跡連接的邊權(quán)重，通過(guò)在最小生成樹中確定是否結(jié)合該對(duì)代表軌跡來(lái)執(zhí)行分割代表軌跡是使用一條邊直接彼此連接的。根據(jù)該結(jié)構(gòu)，可以通過(guò)執(zhí)行這種包括鄰域(neighborhood)的成對(duì)聚類(pairwise clustering)來(lái)考慮包括手和腳之間關(guān)系的區(qū)域之間的關(guān)系。因此，這產(chǎn)生了允許甚至對(duì)諸如人等關(guān)節(jié)式對(duì)象進(jìn)行精確分割的優(yōu)點(diǎn)。此外，由于還考慮了與空間上遠(yuǎn)的地方的關(guān)系，因此可以執(zhí)行不易受諸如圖像中的對(duì)象尺寸變化或差異等影響的分割。本發(fā)明的又一實(shí)施例是用于對(duì)構(gòu)成視頻中的移動(dòng)對(duì)象的全部或移動(dòng)對(duì)象的部分的子區(qū)域的軌跡進(jìn)行估計(jì)的軌跡估計(jì)裝置，并且所述軌跡估計(jì)裝置包括圖像接收單元，其接收包括在所述視頻中的多幅圖像，所述多幅圖像是按時(shí)間排序的；分層子區(qū)域生成單元， 其通過(guò)對(duì)由所述圖像接收單元接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得空間上較大的子區(qū)域包括空間上較小的子區(qū)域，所述空間上較大的子區(qū)域和所述空間上較小的子區(qū)域?qū)儆诒舜瞬煌姆謱蛹?jí)；以及代表軌跡估計(jì)單元，其通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。本發(fā)明的又一實(shí)施例是用于對(duì)構(gòu)成視頻中的移動(dòng)對(duì)象的全部或移動(dòng)對(duì)象的部分的子區(qū)域的軌跡進(jìn)行估計(jì)的程序，并且所述程序使計(jì)算機(jī)執(zhí)行接收包括在所述視頻中的圖像，所述圖像是按時(shí)間排序的；通過(guò)對(duì)在所述接收中接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得空間上較大的子區(qū)域包括空間上較小的子區(qū)域，所述空間上較大的子區(qū)域和所述空間上較小的子區(qū)域?qū)儆诒舜瞬煌姆謱蛹?jí)；以及通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。本發(fā)明的又一實(shí)施例是一種對(duì)每個(gè)移動(dòng)對(duì)象的視頻執(zhí)行分割的分割裝置，并且所述分割裝置包括上述軌跡估計(jì)裝置；以及分割單元1101，其通過(guò)將代表軌跡之間具有相似性的子區(qū)域進(jìn)行結(jié)合來(lái)對(duì)視頻執(zhí)行分割。本發(fā)明的又一實(shí)施例是一種用于對(duì)每個(gè)移動(dòng)對(duì)象的視頻執(zhí)行分割的程序，并且所述程序使計(jì)算機(jī)執(zhí)行包括在上述軌跡估計(jì)方法中的處理；以及通過(guò)將代表軌跡之間具有相似性的子區(qū)域進(jìn)行結(jié)合來(lái)對(duì)視頻執(zhí)行分割。在下文中，參考附圖來(lái)描述本發(fā)明的實(shí)施例。實(shí)施例1圖1是示出根據(jù)第一實(shí)施例的軌跡估計(jì)裝置的結(jié)構(gòu)的圖。圖1中示出的軌跡估計(jì)裝置是對(duì)諸如移動(dòng)而改變形狀的人等對(duì)象或包括均勻紋理的對(duì)象的軌跡進(jìn)行精確估計(jì)的裝置，并且該軌跡估計(jì)裝置包括圖像接收單元101、運(yùn)動(dòng)分析單元102、分層子區(qū)域生成單元103、代表軌跡估計(jì)單元104和輸出單元105。應(yīng)該注意本發(fā)明中的必要組成元件是圖像接收單元101、分層子區(qū)域生成單元103和代表軌跡估計(jì)單元104，并且該軌跡估計(jì)裝置不需要包括運(yùn)動(dòng)分析單元102和輸出單元105。圖像接收單元101接收按時(shí)間排序的并且包括在視頻中的圖像的輸入。該圖像接收單元101例如是攝像機(jī)或連接到該攝像機(jī)的通信接口等。運(yùn)動(dòng)分析單元102針對(duì)由圖像接收單元101接收的多幅圖像中的每一幅圖像中包括的一個(gè)或多個(gè)像素構(gòu)成的每個(gè)塊分析所述多幅圖像之間的運(yùn)動(dòng)而在視頻中生成所述塊的軌跡。換言之，運(yùn)動(dòng)分析單元102通過(guò)使用圖像接收單元101接收的多幅圖像中的至少兩幅時(shí)間上不同的圖像來(lái)估計(jì)塊運(yùn)動(dòng)?；谒烙?jì)的塊運(yùn)動(dòng)，運(yùn)動(dòng)分析單元102通過(guò)追蹤塊在按時(shí)間排序的多幅圖像上的運(yùn)動(dòng)來(lái)估計(jì)像素的軌跡。分層子區(qū)域生成單元103通過(guò)對(duì)由圖像接收單元101接收的多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得在屬于彼此不同的分層級(jí)的子區(qū)域中， 空間上較大的子區(qū)域包括空間上較小的子區(qū)域。使用特別是包括輪廓信息的特征，分層子區(qū)域生成單元103對(duì)由圖像接收單元101獲得的圖像執(zhí)行分割，將其分割成子區(qū)域。分層子區(qū)域生成單元103從空間上粗糙的子區(qū)域到空間上精細(xì)的子區(qū)域分層地執(zhí)行分割。本實(shí)施例具有以下特征，即空間上粗糙的子區(qū)域(空間上較大尺寸)包括空間上精細(xì)的子區(qū)域 (空間上較小尺寸)。代表軌跡估計(jì)單元104通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。利用該處理，代表軌跡估計(jì)單元104估計(jì)代表每個(gè)子區(qū)域的軌跡。更具體地，代表軌跡估計(jì)單元104通過(guò)使包括在所述特定圖像中的子區(qū)域與包括在所述子區(qū)域中的塊的軌跡一起移動(dòng)來(lái)生成預(yù)測(cè)子區(qū)域，所述預(yù)測(cè)子區(qū)域是在與所述特定圖像不同的圖像中預(yù)測(cè)的子區(qū)域，并且代表軌跡估計(jì)單元104通過(guò)跨與所述特定圖像不同的所述圖像中的分層級(jí)，搜索與所述預(yù)測(cè)子區(qū)域最相似的所述子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為所述代表軌跡。這里，產(chǎn)生如下有益效果，即通過(guò)使用用于每個(gè)子區(qū)域的軌跡來(lái)生成預(yù)測(cè)子區(qū)域(模板)，從而能夠處理子區(qū)域的形狀改變。而且，跨分層執(zhí)行的空間搜索產(chǎn)生以下有益效果，即能夠精確地計(jì)算在具有均勻紋理等的區(qū)域中的軌跡。應(yīng)該注意代表軌跡估計(jì)單元104通過(guò)使用相似性測(cè)度來(lái)確定子區(qū)域之間的相似性，從而搜索子區(qū)域，其中該相似性測(cè)度包括子區(qū)域的像素值和形狀信息中的至少之一。輸出單元105將代表每個(gè)子區(qū)域的軌跡輸出到監(jiān)視器(顯示器)等。根據(jù)本實(shí)施例，也可以基于每個(gè)子區(qū)域及其軌跡來(lái)輸出結(jié)果，作為時(shí)空分割的結(jié)果。應(yīng)該注意包括在軌跡估計(jì)裝置中的每個(gè)組成元件(圖像接收單元101、運(yùn)動(dòng)分析單元102、分層子區(qū)域生成單元103、代表軌跡估計(jì)單元104和輸出單元10 可以通過(guò)使用諸如在計(jì)算機(jī)上執(zhí)行的程序等軟件來(lái)實(shí)現(xiàn)，并且也可以被實(shí)現(xiàn)為諸如電子電路等硬件，該計(jì)算機(jī)包括CPU、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、通信接口、輸入/輸出(I/O)端口、硬盤、顯示器等。這同樣適用于另一實(shí)施例中的分割裝置。圖2是示出通過(guò)使用軟件實(shí)現(xiàn)的根據(jù)本發(fā)明的軌跡估計(jì)裝置的硬件結(jié)構(gòu)的簡(jiǎn)圖。在圖2中，照相機(jī)201捕獲并輸出圖像，并且計(jì)算機(jī)202獲得由照相機(jī)201捕獲的圖像，執(zhí)行用于估計(jì)代表軌跡的處理以及生成用于顯示代表軌跡的計(jì)算結(jié)果的圖像。顯示器203獲得并顯示由計(jì)算機(jī)202生成的圖像。 計(jì)算機(jī) 202 包括接口(I/F)204、CPU 205,ROM 206,RAM 207、硬盤驅(qū)動(dòng)器(HDD) 208 和視頻卡209。使計(jì)算機(jī)202運(yùn)行的程序由ROM 206或HDD 208預(yù)先保存。CPU 205從ROM 206或 HDD 208讀出該程序，并且該程序由RAM207擴(kuò)展，其中CPU 205是處理器。CPU 205執(zhí)行在由RAM 207擴(kuò)展的程序中的每個(gè)編碼的命令。用于執(zhí)行程序的中間處理數(shù)據(jù)臨時(shí)地存儲(chǔ)在 RAM207或HDD 208上。根據(jù)程序的執(zhí)行，I/F 204取回由照相機(jī)201捕獲的圖像，并將其放到RAM 207中。視頻卡209根據(jù)程序的執(zhí)行來(lái)輸出所生成的圖像，并且顯示器203顯示輸出圖像。應(yīng)該注意計(jì)算機(jī)程序可以存儲(chǔ)在例如光盤等(非易失性記錄介質(zhì))上，不限于為半導(dǎo)體的ROM 206或HDD 208。此外，計(jì)算機(jī)程序也可以經(jīng)由有線或無(wú)線網(wǎng)絡(luò)、廣播等發(fā)送， 并且計(jì)算機(jī)程序可以被取回并放到計(jì)算機(jī)的RAM 207中。在下文中，使用圖3中的流程圖來(lái)描述根據(jù)本發(fā)明第一實(shí)施例的代表軌跡估計(jì)裝置的操作。這里描述了以下示例，即接收包括諸如移動(dòng)而改變形狀的人等對(duì)象或包括均勻紋理的對(duì)象的圖像的輸入，并且然后估計(jì)軌跡。圖像接收單元101接收T幅圖像(T彡2)的輸入(步驟S301)。運(yùn)動(dòng)分析單元102估計(jì)關(guān)于輸入的T幅圖像之間的運(yùn)動(dòng)的信息，并且生成和輸出軌跡(步驟S302)。這里，用于估計(jì)T幅圖像之間的運(yùn)動(dòng)的方法參考T幅圖像中的特定圖像上的點(diǎn)I來(lái)搜索包括在其它T-I幅圖像中的對(duì)應(yīng)像素。應(yīng)該注意替代點(diǎn)I處的像素，用于估計(jì)圖像之間的運(yùn)動(dòng)的方法可以參考I個(gè)矩形子區(qū)域(塊)。例如，如圖4所示，通過(guò)使用在時(shí)間t和時(shí)間t+Ι捕獲的輸入圖像401來(lái)
估計(jì)對(duì)應(yīng)于在時(shí)間t的圖像上的像素i的像素坐標(biāo)(XtSytO (i = 1......I)的在時(shí)間t+1
的圖像上的像素坐標(biāo)(Χ +Λ yt+/)。此時(shí)，在時(shí)間t的矩形子區(qū)域402(塊)被掃描在時(shí)間 t+Ι (虛線箭頭)的圖像上，并且將具有在時(shí)間t的矩形子區(qū)域中的像素值與在時(shí)間t+Ι的矩形子區(qū)域中的像素值之間差異的最小和的像素坐標(biāo)(實(shí)線箭頭)估計(jì)為對(duì)應(yīng)的像素。對(duì)于像素坐標(biāo)而言，可以使用表示塊的中心位置的像素坐標(biāo)。這里，可以預(yù)先確定掃描范圍。 此外，為了計(jì)算差異，可以使用任何事物，只要它表示待比較的塊的像素值中的差異可以使用在時(shí)間t的矩形子區(qū)域中的像素值與在時(shí)間t+Ι的矩形子區(qū)域中的像素值之間的均方誤差，并且也可以使用受諸如中值等離群值(outlier)影響較小的測(cè)度。在三幅或更多幅圖像的情況中，通過(guò)順序地估計(jì)對(duì)應(yīng)的坐標(biāo)來(lái)估計(jì)與在所輸入的I幅圖像中的每一幅圖像中的點(diǎn)I相對(duì)應(yīng)的點(diǎn)。作為估計(jì)如上所述的圖像之間的對(duì)應(yīng)點(diǎn)的另一種特定方法，也可以使用在非專利文獻(xiàn)1、3、4中公開的方法。關(guān)于用于估計(jì)圖像之間的對(duì)應(yīng)點(diǎn)的特定方法，由于通過(guò)引用將這些非專利文獻(xiàn)并入本文，因此這里不再重復(fù)對(duì)其的詳細(xì)說(shuō)明。[3] 2001 International Conference on Computer Vision, # 者為 Vladimir Kolmogorov 禾口 Ramin Zabih 的文章"Computing Visual Correspondence with Occlusions via Graph Cuts，，[ # # ^lJ i K 4] 2007 的 International Conference on Medical Image Computing and Computer Assisted Intervention, 作者為 Thomas Pock、Martin Urschler、Christopher Zach、Reinhard Beichel 禾口 Horst Bischof 的文章"A Duality Based Algorithm for TV-L I-Optimal-Flow Image Registration，，在步驟S302中，當(dāng)假設(shè)例如在步驟S301中輸入T幅圖像時(shí)，運(yùn)動(dòng)分析單元102使用在時(shí)間t和時(shí)間t+Ι捕獲的兩幅圖像來(lái)估計(jì)像素i的運(yùn)動(dòng)矢量(UtS Vt1)。這里，兩幅圖像不需要是按時(shí)間排序的，并且通過(guò)使用例如在時(shí)間t和時(shí)間t+n輸入的圖像，也可以估計(jì)像素運(yùn)動(dòng)。然而，η是等于或大于1的整數(shù)。應(yīng)該注意代替使用運(yùn)動(dòng)矢量，運(yùn)動(dòng)分析單元102可以估計(jì)和使用仿射參數(shù)作為運(yùn)動(dòng)信息。這時(shí)，運(yùn)動(dòng)分析單元102可以估計(jì)全部像素的運(yùn)動(dòng)信息。此外，當(dāng)旨在執(zhí)行高速處理時(shí)，運(yùn)動(dòng)分析單元102可以將圖像分成網(wǎng)格并且僅估計(jì)預(yù)定間隔的網(wǎng)格上的像素的運(yùn)動(dòng)信息，或者如之前所述，運(yùn)動(dòng)分析單元102可以將圖像分成塊并且估計(jì)關(guān)于每個(gè)塊的運(yùn)動(dòng)信息。此外，當(dāng)使用在非專利文獻(xiàn)1中公開的方法來(lái)估計(jì)運(yùn)動(dòng)矢量時(shí)，運(yùn)動(dòng)分析單元102 可以估計(jì)運(yùn)動(dòng)信息的可靠性，并且因此可以僅估計(jì)高可靠性的運(yùn)動(dòng)信息并且將所估計(jì)的信息用作運(yùn)動(dòng)信息。此外，當(dāng)使用在非專利文獻(xiàn)3中公開的方法來(lái)估計(jì)運(yùn)動(dòng)矢量時(shí)，運(yùn)動(dòng)分析單元102可以估計(jì)遮擋(occlusion)。因此，運(yùn)動(dòng)分析單元102可以僅估計(jì)關(guān)于未被遮擋的像素的信息并且將所估計(jì)的信息用作運(yùn)動(dòng)信息。此外，作為用于估計(jì)像素運(yùn)動(dòng)的方法，代替使用如前所述的通過(guò)采取塊的平行移動(dòng)來(lái)估計(jì)運(yùn)動(dòng)矢量的方法，運(yùn)動(dòng)分析單元102可以使用通過(guò)采取塊的仿射變換來(lái)估計(jì)運(yùn)動(dòng)矢量的方法。對(duì)于通過(guò)采取仿射變換來(lái)估計(jì)運(yùn)動(dòng)矢量的方法，可以使用在非專利文獻(xiàn)2中公開的方法。非專利文獻(xiàn)2中公開的方法是估計(jì)對(duì)應(yīng)于在時(shí)間t和時(shí)間t+Ι輸入的圖像中的像素i的鄰域的運(yùn)動(dòng)的仿射參數(shù)ΑΛ對(duì)于像素i而言，在時(shí)間t和時(shí)間t+Ι的圖像上的像素位置 < 和xt+/具有以下的關(guān)系(表達(dá)式1)。數(shù)學(xué)式1x;+1 = A1X(表達(dá)式1)根據(jù)該方法，特別對(duì)于正在旋轉(zhuǎn)移動(dòng)的移動(dòng)對(duì)象而言，可以估計(jì)比在使用通過(guò)采
11取平行移動(dòng)來(lái)估計(jì)運(yùn)動(dòng)矢量的方法的情況下更精確地像素i的運(yùn)動(dòng)。再次，參考圖3，使用在步驟S302中估計(jì)的運(yùn)動(dòng)信息，運(yùn)動(dòng)分析單元102基于像素 i的運(yùn)動(dòng)針對(duì)按時(shí)間排序的T幅圖片估計(jì)像素i的軌跡(步驟S303)。如圖5所示，使用在步驟S302中估計(jì)的運(yùn)動(dòng)信息502，從在時(shí)間t輸入的輸入圖像501的像素i 503開始追蹤像素i的運(yùn)動(dòng)。這時(shí)，通過(guò)使用像素i已經(jīng)通過(guò)的在時(shí)間t的圖像上的像素位置(XtSyti)， 如下所述地估計(jì)像素i的軌跡。換言之，表達(dá)式2表示從第一幅圖像到第T幅圖像的像素位置(χΛ yt0的軌跡。數(shù)學(xué)式2x' =(x\,y\,...,x't,ylt,...,xlT,ylT)(表達(dá)式2)這里，T是計(jì)算軌跡所使用的圖像的數(shù)量。再次，參考圖3，分層子區(qū)域生成單元103通過(guò)執(zhí)行多個(gè)分割來(lái)分層地將由圖像接收單元101獲得的相應(yīng)圖像分割為子區(qū)域(步驟S304)，其中所述多個(gè)分割中的每一個(gè)是使用不同的空間劃分?jǐn)?shù)量(粒度)執(zhí)行的。每個(gè)分層級(jí)對(duì)應(yīng)于子區(qū)域分割的粒度，并且每個(gè)子區(qū)域的空間大小(尺寸)在具有粗糙粒度的分層級(jí)上是相對(duì)大的，并且子區(qū)域的空間大小(尺寸)在具有精細(xì)粒度的分層級(jí)上是相對(duì)小的。圖6示出將一幅輸入圖像601分層地分割為子區(qū)域602的結(jié)果的示例。如圖6所示，在步驟S304中，分層子區(qū)域生成單元103將輸入圖像601分割為子區(qū)域602，從而建立以下關(guān)系較高分層級(jí)(具有粗糙粒度)上的子區(qū)域602包括較低分層級(jí)(具有精細(xì)粒度) 上的子區(qū)域602。應(yīng)該注意相反地，也可以建立以下關(guān)系較低分層級(jí)上的子區(qū)域包括較高分層級(jí)上的子區(qū)域。分層級(jí)的數(shù)量可以預(yù)先確定，并且分層級(jí)的數(shù)量也可以開始利用子區(qū)域數(shù)量的上限來(lái)確定。不言自明的是，可以根據(jù)時(shí)間來(lái)改變分層級(jí)的數(shù)量。在第一實(shí)施例中，假設(shè)預(yù)先確定分層級(jí)的數(shù)量。圖7示出實(shí)際輸入圖像的示例，并且圖8至圖13示出按粗糙粒度的次序的分割的結(jié)果。換言之，圖8示出具有最粗糙粒度(處于最高的分層級(jí))的分割結(jié)果，并且圖13示出具有最精細(xì)粒度(處于最低的分層級(jí))的分割結(jié)果。如由這些分割結(jié)果所顯示的那樣， 處于較高分層級(jí)的子區(qū)域包括處于較低分層級(jí)的子區(qū)域。由于用于分層地將圖像分割為子區(qū)域的上述方法是如在非專利文獻(xiàn)5中公開的廣泛已知方法，這里不再重復(fù)其詳細(xì)的描述。利用在非專利文獻(xiàn)5中公開的方法，使用包括輪廓信息的特征所執(zhí)行的這種子區(qū)域分割產(chǎn)生以下有益效果可以允許較不易受顏色和亮度的波動(dòng)影響的分割并且因此允許穩(wěn)定的分割為子區(qū)域。在本實(shí)施例中，還可以使用包括輪廓信息的特征來(lái)執(zhí)行子區(qū)域分割。[非專利文獻(xiàn) 5]2009 年的 Computer Vision and Pattern Recognition，作者為 Pablo Arbelaez、Michael Maire、Charless Fowlkes 禾口 Jitendra Marik 的文章"From Contours to Regions :An Empirical Evaluation，，再次，參考圖3，使用子區(qū)域和屬于該子區(qū)域的軌跡，代表軌跡估計(jì)單元104生成在子區(qū)域移動(dòng)到目的地的時(shí)間的預(yù)測(cè)子區(qū)域，以便適應(yīng)于子區(qū)域的時(shí)間上的形狀改變(步驟S305)。這里，對(duì)于預(yù)測(cè)子區(qū)域而言，像素值包括在子區(qū)域中并且在子區(qū)域開始從源移動(dòng)的時(shí)間定位該像素值。應(yīng)該注意預(yù)測(cè)子區(qū)域被用于之后要被描述的匹配處理(步驟 S306)，但是，可以使用預(yù)測(cè)子區(qū)域的形狀信息來(lái)執(zhí)行該匹配或者可以使用像素值信息來(lái)執(zhí)行該匹配。這里，描述了作為模板生成的預(yù)測(cè)子區(qū)域的示例。這里，優(yōu)選的是，模板是利用預(yù)定分層級(jí)或利用包括預(yù)定數(shù)量子區(qū)域的分層級(jí)生成的。首先，在由分層子區(qū)域生成單元103 執(zhí)行的分割所產(chǎn)生的子區(qū)域和由運(yùn)動(dòng)分析單元102估計(jì)的軌跡中，將通過(guò)每個(gè)子區(qū)域的軌跡表示如下。通過(guò)子區(qū)域的軌跡是包括在子區(qū)域中的像素的軌跡。數(shù)學(xué)式3χ--'SC_i e 子區(qū)域 sc (表達(dá)式 3)這里，sc_i 表示屬于子區(qū)域SC的軌跡i。使用圖14來(lái)描述用于在步驟S305中生成模板的方法。如在圖14(a)和圖14(b) 中所示，首先，代表軌跡估計(jì)單元104利用屬于子區(qū)域701的軌跡702的目的地的信息，計(jì)算在不同于對(duì)應(yīng)于子區(qū)域701的時(shí)間的時(shí)間的模板703的形狀。這里，描述用于生成在下一時(shí)間的用于子區(qū)域701的模板的方法，但是只要關(guān)于目的地的信息可以使用，就不需要生成在下一時(shí)間的模板，而是可以生成在任何時(shí)間的模板。例如，可以生成比對(duì)應(yīng)于子區(qū)域701的時(shí)間早的時(shí)間的模板，并且可以以相同的方式執(zhí)行以下的過(guò)程。更具體地，參考圖 14(c)，假設(shè)代表軌跡估計(jì)單元104利用屬于在時(shí)間t的子區(qū)域sc的軌跡i來(lái)估計(jì)在時(shí)間t+Ι的軌跡705的一組對(duì)應(yīng)點(diǎn)706，并且將該組對(duì)應(yīng)點(diǎn)確定為模板703。應(yīng)該注意，假設(shè) 對(duì)于包括在模板703中的每個(gè)像素的像素值，使用在軌跡705的源處的像素值，即時(shí)間t時(shí)的像素值。因此，使用關(guān)于軌跡的目的地的信息，代表軌跡估計(jì)單元104更新每一幀的模板 703。利用這一點(diǎn)，模板的形狀隨時(shí)間而改變。換言之，由于預(yù)測(cè)子區(qū)域隨時(shí)間而改變， 因此具有以下有益效果能夠在響應(yīng)于對(duì)象的形狀改變的同時(shí)跟蹤對(duì)象。此外，通過(guò)使用具有空間密度的軌跡，也可以甚至對(duì)于非線性的形狀改變生成魯棒的模板。出于解釋的目的， 圖14已經(jīng)描述了一個(gè)子區(qū)域，但是代表軌跡估計(jì)單元104生成用于多個(gè)或全部子區(qū)域的模板。再次，參考圖3，通過(guò)跨分層地空間搜索不同時(shí)間的相似子區(qū)域，代表軌跡估計(jì)單元104估計(jì)在子區(qū)域中的對(duì)應(yīng)點(diǎn)(步驟S306)。這里，為了清晰地描述，描述了跨分層在不同時(shí)間的兩幅圖像之間執(zhí)行搜索的示例。具體地，代表軌跡估計(jì)單元104從分層地生成的在時(shí)間t+Ι的子區(qū)域中，跨分層地并且使用在步驟S305中生成的預(yù)測(cè)子區(qū)域來(lái)搜索相對(duì)于預(yù)測(cè)子區(qū)域具有最小誤差的子區(qū)域。在下文中，作為特定的示例，描述了一個(gè)示例，其中通過(guò)將預(yù)測(cè)子區(qū)域用作模板，執(zhí)行與分割為在時(shí)間t+Ι生成的子區(qū)域的圖像或子區(qū)域的形狀的匹配。參考圖15，代表軌跡估計(jì)單元104使用在步驟S305中生成的模板801來(lái)執(zhí)行與在時(shí)間t+Ι的多個(gè)子區(qū)域802中的每一個(gè)子區(qū)域的匹配。這里，可以使用一個(gè)模板801來(lái)執(zhí)行與在全部分層級(jí)上的子區(qū)域802的匹配，或者僅可以對(duì)模板801所屬的分層級(jí)的鄰近分層級(jí)上的子區(qū)域802執(zhí)行該匹配。通過(guò)計(jì)算模板801的像素值與在時(shí)間t+Ι的每一個(gè)子區(qū)域802的像素值之間的差異的和來(lái)執(zhí)行該匹配。假設(shè)模板801與具有差異的最小和的子區(qū)域802最匹配。換言之，具有差異的最小和等同于具有最大的相似性。這時(shí)，假設(shè)對(duì)應(yīng)點(diǎn)是已經(jīng)被用于生成模板801的在時(shí)間t 的子區(qū)域802的形心位置(centroid position)以及與在時(shí)間t+1的子區(qū)域802最匹配的模板801的形心位置。通過(guò)沿著時(shí)間方向重復(fù)該計(jì)算，可以利用對(duì)應(yīng)點(diǎn)來(lái)計(jì)算代表軌跡。這里，空間匹配的目標(biāo)范圍可以被預(yù)先限定為在時(shí)間t的模板801的位置的外圍等，或在不執(zhí)行空間匹配的情況下，也可以僅沿著分層方向執(zhí)行匹配，這是因?yàn)檐壽E信息已經(jīng)被用于在步驟S305中生成模板801。對(duì)于計(jì)算差異(相似性)而言，可以使用任何事物， 只要它表示模板801和子區(qū)域802中的每一個(gè)子區(qū)域802之間的像素值的差異可以使用模板801的像素值與在時(shí)間t+Ι的子區(qū)域802中的每一個(gè)的像素值之間的均方誤差，并且也可以使用較不易受諸如中值等離群值影響的測(cè)度。此外，也可以使用模板801的像素?cái)?shù)量與要被匹配的子區(qū)域802的像素?cái)?shù)量之和，對(duì)諸如像素值的差異的和和均方誤差等測(cè)度執(zhí)行歸一化。例如，當(dāng)假設(shè)模板801的像素?cái)?shù)量是Tnum，要被匹配的子區(qū)域802的像素?cái)?shù)量是R ，并且彼此重疊并包括在模板801和要被匹配的子區(qū)域802中的像素的像素?cái)?shù)量是 Onum，可以根據(jù)以下的表達(dá)式4來(lái)對(duì)差異的和歸一化。數(shù)學(xué)式4歸一化的差異的和=差異的和X (Tnum+RnJ/0nmi(表達(dá)式4)此外，代替使用像素值，可以將模板801的形狀與要被匹配的子區(qū)域802的形狀之間的相似性用作相似性測(cè)度。例如，可以將通過(guò)使用模板801和子區(qū)域802的像素?cái)?shù)量對(duì)當(dāng)模板801和子區(qū)域802疊加時(shí)重疊的像素的數(shù)量進(jìn)行歸一化而得到的值用作相似性。然后，具有最高相似性的子區(qū)域802可以被認(rèn)為與模板801最匹配。另外，如圖16所示，當(dāng)子區(qū)域在兩幅圖像之間的形狀改變大時(shí)，可能具有如由分層級(jí)A的匹配結(jié)果807所示的小相似性，從而導(dǎo)致即使當(dāng)使用分層級(jí)A的模板805時(shí)也不能執(zhí)行合適匹配的情況。在該情況中，可以執(zhí)行以下的處理。當(dāng)不能合適地執(zhí)行匹配時(shí)，相似性小。因此，當(dāng)使用分層級(jí)A的模板805進(jìn)行匹配所產(chǎn)生的相似性小于預(yù)定值時(shí)，使用用于在分層級(jí)B上的子區(qū)域的模板來(lái)執(zhí)行匹配，該分層級(jí)B包括通過(guò)分割生成的、比在分層級(jí) A上的子區(qū)域精細(xì)的子區(qū)域。這里，由于在步驟S304中輸入圖像601被分割為子區(qū)域602 以便建立其中較高分層級(jí)(具有粗糙粒度)的子區(qū)域602包括較低分層級(jí)(具有精細(xì)粒度)的子區(qū)域602的關(guān)系，因此可以使用分層級(jí)A的模板和分層級(jí)B的模板之間的包含關(guān)系。具體地，使用兩個(gè)模板中的每一個(gè)(例如分層級(jí)B的模板806)來(lái)執(zhí)行匹配，其中該分層級(jí)B的模板806與分層級(jí)A的模板805之間為包含關(guān)系并且包括通過(guò)分割生成的更精細(xì)的子區(qū)域。因此，如由分層級(jí)B的匹配結(jié)果808所示，甚至當(dāng)子區(qū)域在兩幅圖像之間改變形狀時(shí)，也可以執(zhí)行更精確的匹配。這時(shí)，可以將分層級(jí)B的兩個(gè)模板的代表軌跡的平均值確定為分層級(jí)A的模板的代表軌跡。如上所述，在由于子區(qū)域的形狀改變所致而不能執(zhí)行匹配的情況下，由此使用具有包含關(guān)系的不同分層級(jí)的模板所執(zhí)行的匹配產(chǎn)生了能夠計(jì)算精確的軌跡的有益效果。當(dāng)使用如在非專利文獻(xiàn)5中公開的用于分割為子區(qū)域的方法，發(fā)生這樣的情況，其中由于對(duì)象隨時(shí)間移動(dòng)或者在不同時(shí)間的照相機(jī)運(yùn)動(dòng)的原因，分割為子區(qū)域的結(jié)果在時(shí)間t和時(shí)間 t+Ι之間不同。另外，也存在這樣的情況，其中分層中的子區(qū)域802的粗糙度取決于時(shí)間而變化。如果是這種情況，具有大尺寸差異和大形狀差異的子區(qū)域802與模板801之間的匹配將要被執(zhí)行，從而引起不能夠執(zhí)行合適匹配的問(wèn)題。反之，如通過(guò)圖15中的匹配結(jié)果803
14所示，跨分層的匹配很可能吸收形狀和尺寸的差異，從而產(chǎn)生改進(jìn)匹配精確度的有益效果。再次，參考圖3，代表軌跡估計(jì)單元104使用在步驟S306中執(zhí)行的匹配的結(jié)果來(lái)估計(jì)每個(gè)子區(qū)域802的代表軌跡(步驟S307)。如圖17所示，代表軌跡估計(jì)單元104通過(guò)在時(shí)間上連接在步驟S306中獲得的對(duì)應(yīng)點(diǎn)904來(lái)將每個(gè)模板801的軌跡估計(jì)為代表軌跡。 代表軌跡可以由以下的表達(dá)式5表示。數(shù)學(xué)式5

(表達(dá)式5)這里，XiW是在時(shí)間i的圖像中的對(duì)應(yīng)點(diǎn)904的像素位置，并且代表軌跡由按照時(shí)間排列的對(duì)應(yīng)點(diǎn)904構(gòu)成。如圖18所示，軌跡估計(jì)裝置可以通過(guò)執(zhí)行上述步驟S301到步驟S307的處理來(lái)獲得用于每一個(gè)子區(qū)域802的代表軌跡1002，其中該代表軌跡1002按照時(shí)間連接對(duì)應(yīng)點(diǎn) 1001。因此，子區(qū)域802具有空間連接性，并且對(duì)應(yīng)點(diǎn)1001具有子區(qū)域802的時(shí)間連接性。 因此，可以使作為代表軌跡1002的時(shí)空?qǐng)D像信息集中。當(dāng)執(zhí)行分割或識(shí)別圖像時(shí)，這產(chǎn)生了能夠進(jìn)一步減少計(jì)算量的有益效果。另外，還可以使用這里提取的子區(qū)域802和按照時(shí)間連接子區(qū)域802的代表軌跡1002作為對(duì)時(shí)空?qǐng)D像執(zhí)行分割的結(jié)果。如上所述，在本發(fā)明的第一實(shí)施例中，圖像被分層地分割為區(qū)域，并且子區(qū)域之間的對(duì)應(yīng)性通過(guò)執(zhí)行跨分層的匹配而建立。據(jù)此，這種基于輪廓信息來(lái)分割為子區(qū)域的方案允許每個(gè)子區(qū)域保持形狀信息?；谛螤钚畔⒌钠ヅ洚a(chǎn)生了以下有益效果，即該匹配對(duì)于由陰影和亮度改變引起的像素值改變是魯棒的。另一方面，為了執(zhí)行基于形狀信息的匹配， 需要每個(gè)匹配目標(biāo)保持形狀信息。即，目標(biāo)應(yīng)該被分割為子區(qū)域。然而，很難將具有相同粒度但時(shí)間上不同的圖像分割為子區(qū)域。因此，通過(guò)將圖像分割為具有在分層上不同粒度的子區(qū)域并且執(zhí)行跨分層的搜索，可以對(duì)包括在這種彼此不同的圖像中的子區(qū)域執(zhí)行匹配。此外，這有助于建立子區(qū)域之間的對(duì)應(yīng)性同時(shí)吸收形狀和尺寸的差異，從而產(chǎn)生改進(jìn)匹配精確度的有益效果。具體地，這產(chǎn)生了以下有益效果，即能夠精確地建立子區(qū)域之間的對(duì)應(yīng)性，甚至對(duì)于諸如移動(dòng)而改變形狀的人或包括均勻紋理的人等對(duì)象也是如此。另夕卜，基于子區(qū)域之間的對(duì)應(yīng)性來(lái)估計(jì)軌跡產(chǎn)生了能夠計(jì)算精確軌跡的另一有益效果。此外， 使用根據(jù)本發(fā)明實(shí)施方法估計(jì)的代表軌跡還產(chǎn)生了減少計(jì)算量以及改進(jìn)分割和圖像識(shí)別的精確度的有益效果。應(yīng)該注意在第一實(shí)施例中，已經(jīng)描述了通過(guò)執(zhí)行在時(shí)間t和時(shí)間t+Ι輸入的圖像之間的匹配來(lái)估計(jì)代表軌跡的示例，但是代表軌跡也可以通過(guò)使用在時(shí)間t和時(shí)間t+n輸入的圖像執(zhí)行匹配來(lái)估計(jì)。然而，η是大于等于1的整數(shù)。應(yīng)該注意在第一實(shí)施例的步驟S305中，如表達(dá)式3所示，已經(jīng)從由運(yùn)動(dòng)分析單元102估計(jì)的軌跡中提取了經(jīng)過(guò)由分層子區(qū)域生成單元103分割所得到的每一個(gè)子區(qū)域的軌跡，但是這并沒(méi)有將軌跡限制用在步驟S305中，并且也可以使用采用另一方法獲得的軌跡。例如，可以使用屬于子區(qū)域sc的軌跡i來(lái)重新校正軌跡。換言之，代表軌跡估計(jì)單元 104每個(gè)子區(qū)域地使包括在子區(qū)域中的軌跡平滑，并且基于子區(qū)域和包括在子區(qū)域中的平滑軌跡來(lái)估計(jì)代表軌跡。具體地，如以下的表達(dá)式6所示，通過(guò)將平滑濾波型的雙邊濾波應(yīng)用到包括在由表達(dá)式3表示的子區(qū)域sc中的軌跡i，可以減少離群值的影響并且估計(jì)具有空間平滑性的軌跡。這時(shí)，通過(guò)不使用不屬于子區(qū)域sc的軌跡來(lái)執(zhí)行雙邊濾波，可以為每個(gè)子區(qū)域計(jì)算連貫一致的軌跡。此外，代替執(zhí)行雙邊濾波，可以通過(guò)執(zhí)行處理，例如排除以等于或大于預(yù)定閾值的值(level)偏離屬于子區(qū)域sc的軌跡的平均值的軌跡來(lái)排除離群值。數(shù)學(xué)式6

權(quán)利要求
1.一種用于對(duì)構(gòu)成視頻中的移動(dòng)對(duì)象的全部或移動(dòng)對(duì)象的部分的子區(qū)域的軌跡進(jìn)行估計(jì)的軌跡估計(jì)方法，所述軌跡估計(jì)方法包括接收包括在所述視頻中的多幅圖像，所述多幅圖像是按時(shí)間排序的；通過(guò)對(duì)在所述接收中接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得空間上較大的子區(qū)域包括空間上較小的子區(qū)域，所述空間上較大的子區(qū)域和所述空間上較小的子區(qū)域?qū)儆诒舜瞬煌姆謱蛹?jí)；以及通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。
2.根據(jù)權(quán)利要求1所述的軌跡估計(jì)方法，還包括通過(guò)針對(duì)由包括在所述多幅圖像中的每一幅圖像中的一個(gè)或多個(gè)像素構(gòu)成的每個(gè)塊分析所述多幅圖像之間的運(yùn)動(dòng)而在所述視頻中生成所述塊的軌跡，其中在所述估計(jì)中，通過(guò)使包括在所述特定圖像中的所述子區(qū)域與包括在所述子區(qū)域中的所述塊的所述軌跡一起移動(dòng)來(lái)生成預(yù)測(cè)子區(qū)域，所述預(yù)測(cè)子區(qū)域是在與所述特定圖像不同的所述圖像中預(yù)測(cè)的子區(qū)域，并且通過(guò)跨與所述特定圖像不同的所述圖像中的所述分層級(jí)，搜索與所述預(yù)測(cè)子區(qū)域最相似的所述子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為所述代表軌跡。
3.根據(jù)權(quán)利要求2所述的軌跡估計(jì)方法，其中在所述估計(jì)中，使包括在所述生成中生成的每個(gè)子區(qū)域中的軌跡對(duì)于所述每個(gè)子區(qū)域是平滑的，并且基于包括在所述每個(gè)子區(qū)域中的平滑的軌跡來(lái)估計(jì)所述代表軌跡。
4.根據(jù)權(quán)利要求1至3之一所述的軌跡估計(jì)方法，其中在所述估計(jì)中，通過(guò)使用相似性測(cè)度來(lái)確定子區(qū)域之間的相似性，從而搜索所述子區(qū)域，其中所述相似性測(cè)度包括所述子區(qū)域的像素值和形狀信息中的至少之一。
5.根據(jù)權(quán)利要求1所述的軌跡估計(jì)方法，其中在所述估計(jì)中，通過(guò)(i)采用曲線圖、和(ii)將動(dòng)態(tài)編程應(yīng)用于所述曲線圖而生成用于所述曲線圖的最優(yōu)路徑來(lái)估計(jì)所述代表軌跡，在所述曲線圖中包括在所述特定圖像中的所述子區(qū)域和包括在與所述特定圖像不同的所述圖像中的所述子區(qū)域是節(jié)點(diǎn)；使用邊來(lái)對(duì)表示包括在所述特定圖像中的所述子區(qū)域的一個(gè)節(jié)點(diǎn)和表示包括在與所述特定圖像不同的所述圖像中的所述子區(qū)域的另一節(jié)點(diǎn)進(jìn)行連接；并且這樣的值是邊權(quán)重，即對(duì)于由所述邊連接的子區(qū)域之間的較大相似性，該值是較小的。
6.根據(jù)權(quán)利要求1至5之一所述的軌跡估計(jì)方法，其中在所述生成中，基于包括輪廓信息的特征，在所述分層級(jí)上生成所述子區(qū)域。
7.一種用于對(duì)每個(gè)移動(dòng)對(duì)象的視頻執(zhí)行分割的分割方法，所述分割方法包括包括在根據(jù)權(quán)利要求1至6之一所述的軌跡估計(jì)方法中的處理；以及通過(guò)將代表軌跡之間具有相似性的子區(qū)域進(jìn)行結(jié)合來(lái)對(duì)所述視頻執(zhí)行分割。
8.根據(jù)權(quán)利要求7所述的分割方法，其中，在所述執(zhí)行中，通過(guò)連接小于閾值的距離來(lái)將所述代表軌跡之間的距離轉(zhuǎn)換為測(cè)地距離、檢測(cè)在獲得的測(cè)地距離中的不連續(xù)點(diǎn)并且將彼此分開的距離比在所檢測(cè)的不連續(xù)點(diǎn)處的測(cè)地距離小的軌跡分到一個(gè)類別，從而執(zhí)行分割。
9.根據(jù)權(quán)利要求7所述的分割方法，其中，在所述執(zhí)行中，基于對(duì)應(yīng)于要被結(jié)合的子區(qū)域的代表軌跡和鄰近所述要被結(jié)合的子區(qū)域的至少一個(gè)子區(qū)域的代表軌跡，確定是否結(jié)合所述要被結(jié)合的子區(qū)域。
10.根據(jù)權(quán)利要求9所述的分割方法，其中，在所述執(zhí)行中，基于在根據(jù)曲線圖計(jì)算的最小生成樹中表示的連接關(guān)系來(lái)執(zhí)行分割，在該曲線圖中，將所述代表軌跡假設(shè)為節(jié)點(diǎn)并且使用邊來(lái)將所述代表軌跡彼此連接； 并且由所述邊連接的所述代表軌跡之間的距離被假設(shè)為邊權(quán)重。
11.根據(jù)權(quán)利要求10所述的分割方法，其中，在所述執(zhí)行中，基于用于將具有以下關(guān)系的一對(duì)代表軌跡與鄰近該對(duì)代表軌跡的至少一個(gè)代表軌跡連接的邊權(quán)重，通過(guò)在最小生成樹中確定是否結(jié)合該對(duì)代表軌跡來(lái)執(zhí)行分割所述代表軌跡是使用一條邊直接彼此連接的。
12.一種用于對(duì)構(gòu)成視頻中的移動(dòng)對(duì)象的全部或移動(dòng)對(duì)象的部分的子區(qū)域的軌跡進(jìn)行估計(jì)的軌跡估計(jì)裝置，所述軌跡估計(jì)裝置包括圖像接收單元，被配置為接收包括在所述視頻中的多幅圖像，所述多幅圖像是按時(shí)間排序的；分層子區(qū)域生成單元，被配置為通過(guò)對(duì)由所述圖像接收單元接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得空間上較大的子區(qū)域包括空間上較小的子區(qū)域，所述空間上較大的子區(qū)域和所述空間上較小的子區(qū)域?qū)儆诒舜瞬煌姆謱蛹?jí)；以及代表軌跡估計(jì)單元，被配置為通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。
13.一種用于對(duì)構(gòu)成視頻中的移動(dòng)對(duì)象的全部或移動(dòng)對(duì)象的部分的子區(qū)域的軌跡進(jìn)行估計(jì)的程序，并且所述程序使計(jì)算機(jī)執(zhí)行接收包括在所述視頻中的多幅圖像，所述多幅圖像是按時(shí)間排序的；通過(guò)對(duì)在所述接收中接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得空間上較大的子區(qū)域包括空間上較小的子區(qū)域，所述空間上較大的子區(qū)域和所述空間上較小的子區(qū)域?qū)儆诒舜瞬煌姆謱蛹?jí)；以及通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。
全文摘要
一種軌跡估計(jì)裝置，包括圖像接收單元(101)，其接收按時(shí)間排序的并且包括在視頻中的多幅圖像；分層子區(qū)域生成單元(102)，其通過(guò)對(duì)由所述圖像接收單元(101)接收的所述多幅圖像中的每一幅圖像執(zhí)行分層分割來(lái)在分層級(jí)上生成子區(qū)域，使得在屬于彼此不同的分層級(jí)的子區(qū)域當(dāng)中，空間上較大的子區(qū)域包括空間上較小的子區(qū)域；以及代表軌跡估計(jì)單元(104)，其通過(guò)跨與特定圖像不同的圖像中的分層級(jí)，搜索與包括在所述特定圖像中的子區(qū)域最相似的子區(qū)域來(lái)將包括在所述特定圖像中的所述子區(qū)域在所述視頻中的軌跡估計(jì)為代表軌跡。
文檔編號(hào)G06T7/20GK102473307SQ201080028724
公開日2012年5月23日 申請(qǐng)日期2010年3月15日 優(yōu)先權(quán)日2010年3月15日
發(fā)明者F·加拉索, R·奇波拉, 巖崎正宏, 甲本亞矢子, 登一生 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社