專利名稱：消失方向確定方法和裝置、攝像機自標(biāo)定方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于視頻圖像確定消失方向的方法和裝置、用于攝像機自標(biāo)定的方法和裝置，以及使用該方法和裝置的攝像機。
背景技術(shù)：
視頻監(jiān)控系統(tǒng)被廣泛地應(yīng)用于各種場合，諸如道路、停車場、銀行、商場等。其從攝像機所拍攝的二維圖像中獲取三維空間信息，諸如運動物體的速度、車輛的長度、人的身高等。為了求出二維圖像中的像素所對應(yīng)的三維坐標(biāo)，從而從所拍攝的二維圖像推算出真實世界的信息，需要對攝像機進行標(biāo)定，即確定攝像機相對于地面的姿態(tài)(相機的旋轉(zhuǎn)角度、高度等)。與手工標(biāo)定相比，考慮到人員工作量和測量難度，攝像機的自標(biāo)定成為攝像機標(biāo)定的發(fā)展方向。 一般，根據(jù)三維世界在攝像機坐標(biāo)系下的三維消失方向來進行攝像機的自標(biāo)定。在現(xiàn)有技術(shù)中，主要是基于在視頻圖像中通過邊緣檢測得到的直線線段來估計消失方向。

發(fā)明內(nèi)容
然而，當(dāng)視頻圖像中過于缺少邊緣，或者邊緣雖多，但存在很多噪聲線段的時候，基于視頻圖像中通過邊緣檢測得到直線線段來估計消失方向無法穩(wěn)定地得到準(zhǔn)確的估計。此外，即使在能夠檢測到足夠數(shù)量的邊緣從而獲得足夠多的直線線段時，由于現(xiàn)有技術(shù)中不分組地使用這些直線線段進行消失方向的初始估計，給系統(tǒng)帶來了極大的計算負(fù)荷。鑒于現(xiàn)有技術(shù)的以上不足，本發(fā)明旨在提供一種用于基于視頻圖像確定消失方向的方法和裝置、攝像機自標(biāo)定的方法和裝置，以及使用這些方法和裝置的攝像機，使得即使在圖像中能夠檢測到的邊緣數(shù)量較少的情況下也能保證確定消失方向的準(zhǔn)確性。此外，還可使得估計消失方向的計算量大大減小。根據(jù)本發(fā)明的一個實施例，提供一種基于視頻圖像確定消失方向的方法，包括在視頻圖像中檢測運動物體所在的運動目標(biāo)區(qū)域；提取所檢測到的運動目標(biāo)區(qū)域中的運動物體上的特征點；在預(yù)定數(shù)目的幀中跟蹤特征點的移動，以獲得特征點的移動軌跡，并根據(jù)移動軌跡擬合直線線段；利用擬合出的直線線段確定運動物體的運動方向中最主要的運動方向所指向的消失方向。根據(jù)本發(fā)明的一個實施例，提供一種攝像機自標(biāo)定方法，包括使用根據(jù)上述實施例的確定消失方向的方法，基于攝像機拍攝的視頻圖像確定消失方向；將所確定的消失方向用來確定攝像機相對于地面的姿態(tài)。根據(jù)本發(fā)明的一個實施例，提供一種用于基于視頻圖像確定消失方向的裝置，包括運動目標(biāo)檢測單元，用于在輸入的視頻圖像中檢測運動物體所在的運動目標(biāo)區(qū)域；特征點提取單元，用于提取所檢測到的運動目標(biāo)區(qū)域中的運動物體上的特征點；運動軌跡獲取與線段擬合單元，用于在預(yù)定數(shù)目的幀中跟蹤特征點的移動，以獲得特征點的移動軌跡，并根據(jù)移動軌跡擬合直線線段；消失方向確定單元，用于通過利用擬合出的直線線段來確定運動物體的運動方向中最主要的運動方向所指向的消失方向。根據(jù)本發(fā)明的一個實施例，提供一種用于攝像機自標(biāo)定的設(shè)備，包括根據(jù)上述實施例的用于基于視頻圖像確定消失方向的裝置；攝像機標(biāo)定裝置，其將由確定消失方向的裝置計算出的消失方向用來確定攝像機相對于地面的姿態(tài)。根據(jù)本發(fā)明的一個實施例，提供一種基于視頻圖像確定消失方向的方法，包括對視頻圖像中的物體進行邊緣檢測，以獲得物體上的直線線段；以預(yù)定規(guī)則將直線線段分組，并按照直線線段的分組進行消失方向的初始估計；從全部分組的預(yù)定數(shù)目分組中選取至少一條方向與初始估計方向最接近的直線線段；用所選取的直線線段確定消失方向。根據(jù)本發(fā)明的一個實施例，提供一種攝像機自標(biāo)定方法，包括使用根據(jù)上述實施例的基于視頻確定消失方向的方法，基于攝像機拍攝的視頻圖像來確定消失方向；將所確定的消失方向用來確定攝像機相對于地面的姿態(tài)。
根據(jù)本發(fā)明的一個實施例，提供一種用于基于視頻圖像來確定消失方向的裝置，包括邊緣檢測單元，用于對視頻圖像中的物體進行邊緣檢測，以獲得物體上的直線線段；初始估計單元，用于以預(yù)定規(guī)則對直線線段進行分組，以按照直線線段的分組進行消失方向的初始估計；最接近直線線段選取單元，用于從全部分組的預(yù)定數(shù)目分組中選取至少一條與初始估計最接近的直線線段；消失方向獲得單元，用于使用所選取的直線線段確定消失方向。根據(jù)本發(fā)明的一個實施例，提供一種用于攝像機自標(biāo)定的設(shè)備，包括根據(jù)上述實施例的用于基于視頻圖像來確定消失方向的裝置；攝像機標(biāo)定單元，其將由確定消失方向的裝置計算出的消失方向用于確定攝像機相對于地面的姿態(tài)。根據(jù)本發(fā)明的其它實施例還提供了使用上述各方法和裝置的攝像機。根據(jù)本發(fā)明的實施例，利用視頻圖像中運動物體特征點的運動軌跡確定三維消失方向，使得即使在圖像中含有很少邊緣的情況下也能得到消失方向的準(zhǔn)確估計。此外，通過在將從圖像中獲得的直線線段進行分組后估計三維消失方向的初始方向，大大減少了系統(tǒng)的計算負(fù)荷。同樣，增加了攝像機自標(biāo)定的準(zhǔn)確性，降低了自標(biāo)定系統(tǒng)的計算量。


參照下面結(jié)合附圖對本發(fā)明實施例的說明，會更加容易地理解本發(fā)明的以上和其它目的、特點和優(yōu)點。在附圖中，相同的或?qū)?yīng)的技術(shù)特征或部件將采用相同或?qū)?yīng)的附圖標(biāo)記來表示。在附圖中不必依照比例繪制出單元的尺寸和相對位置。圖I是示出以道路監(jiān)控為例的本發(fā)明的應(yīng)用場合的示意圖。圖2是示出根據(jù)本發(fā)明實施例的基于視頻圖像確定消失方向的方法的流程圖。圖3是示出根據(jù)本發(fā)明實施例的攝像機自標(biāo)定方法的流程圖。圖4是示出根據(jù)預(yù)定數(shù)目的幀中特征點的移動軌跡擬合直線線段的示意圖。圖5是示出以車輛為邊緣檢測對象來獲得邊緣直線線段的示意圖。圖6是示出根據(jù)本發(fā)明實施例的用于基于視頻圖像確定消失方向的裝置的結(jié)構(gòu)的框圖。圖7是示出根據(jù)本發(fā)明實施例的用于攝像機自標(biāo)定的裝置的結(jié)構(gòu)的框圖。
圖8是示出根據(jù)本發(fā)明實施例的基于視頻圖像確定消失方向的方法的流程圖。圖9是示出根據(jù)本發(fā)明實施例的用于進行消失方向的初始估計的方法的流程圖。圖10是示出進行消失方向的初始估計的方法的具體應(yīng)用實例的流程圖。圖11是示出根據(jù)本發(fā)明實施例的攝像機自標(biāo)定方法的流程圖。圖12是示出根據(jù)本發(fā)明實施例的基于視頻圖像來確定消失方向的裝置的結(jié)構(gòu)的框圖。圖13是示出根據(jù)本發(fā)明實施例的消失方向確定裝置的初始估計單元的結(jié)構(gòu)的框圖。圖14是示出根據(jù)本發(fā)明實施例的用于攝像機自標(biāo)定的裝置的結(jié)構(gòu)的框圖。
圖15是示出實現(xiàn)本發(fā)明的計算機的示例性結(jié)構(gòu)的框圖。
具體實施例方式下面參照附圖來說明本發(fā)明的實施例。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域技術(shù)人員已知的部件和處理的表示和描述。下文中，為了方便說明，以道路監(jiān)控系統(tǒng)為例描述根據(jù)本發(fā)明的實施例。圖I是示出以道路監(jiān)控為例的本發(fā)明的應(yīng)用場合的示意圖。應(yīng)該理解該實例只是示例性的，根據(jù)本發(fā)明實施例的消失方向確定方法和裝置、攝像機自標(biāo)定方法和裝置，以及使用其的攝像機的應(yīng)用場合不限于此。例如，使用本發(fā)明的實施系統(tǒng)中的攝像機等攝像裝置還可以設(shè)置在商場等公共場合的大門處、地下停車場中等，以對這些場合的圖像進行監(jiān)控和分析。此外，需要說明的是，本申請說明書及權(quán)利要求書中使用了“預(yù)定數(shù)目”一詞，其所指代的數(shù)目是本領(lǐng)域普通技術(shù)人員能夠根據(jù)其現(xiàn)有的知識和經(jīng)驗，按照其具體需求而確定的數(shù)目，例如，在具有足夠軟硬件資源的情況下，可以選取較大數(shù)目的樣本進行處理，而獲得較好的結(jié)果，而在資源受限的情況下，可以選擇較小數(shù)目的樣本進行處理，以避免計算量或延時過大，在此選擇的數(shù)目無需具體限定。如圖I所示，攝像機V安裝在道路邊的攝像機架上，攝像機距地面的高度為h。為了能夠準(zhǔn)確測量車輛的速度和大小，需要進行攝像機的自標(biāo)定，以確定攝像機相對于地面的姿態(tài)。根據(jù)三維世界(地面)在攝像機坐標(biāo)系下的三維消失方向進行攝像機的自標(biāo)定。在圖I所示的實例中，三維消失方向即地面相對于攝像機的坐標(biāo)系的坐標(biāo)軸ox、0Y、OZ方向。下文中，消失方向OX可稱為地面水平方向的消失方向，消失方向OZ可稱為地面向遠(yuǎn)方延伸的消失方向，消失方向OY可稱為與地平面(Χ0Ζ平面)垂直的消失方向。一般，在得到消失方向OX和OZ后，可以根據(jù)坐標(biāo)系三個軸相互正交的原則，通過OZ和OX的外積得到消失方向0Y。因此，對消失方向的求取集中在如何求取地面水平消失方向OX以及地面向遠(yuǎn)方延伸的消失方向OZ。考慮到大部分被監(jiān)控的場景都存在運動物體，本發(fā)明對這樣的場景提出了一種特殊的方法，通過利用地面上行駛的車輛或運動的行人等運動物體，穩(wěn)定而準(zhǔn)確地確定地面向遠(yuǎn)方延伸的消失方向OZ。圖2是示出根據(jù)本發(fā)明實施例的基于視頻圖像確定三維消失方向的方法的流程圖。在步驟S201中，在由攝像機V拍攝的視頻圖像中檢測運動物體所在的運動目標(biāo)區(qū)域。在圖像中檢測運動物體的運動目標(biāo)區(qū)域可以通過已知的運動檢測或物體檢測技術(shù)來完成。具體方法例如可參見A. S. Ogale、C. Fermiiller和Y. Aloimonos的“Motionsegmentation using occlusions，，，IEEE Transactions on Pattern Analysis andMachine Intelligence, vol. 27, no. 6,988-992, 2005 和 P. Viola 和 M. Jones 的 “Robustreal-time object detection，，，International Journal of Computer Vision,2001。在步驟S202中，提取所檢測到的運動目標(biāo)區(qū)域中的運動物體上的特征點。所提取的運動物體上的特征點可以包括運動物體上便于從視頻圖像識別的任何位置或圖案。例如運動物體的角點或是運動物體上的紋理的角點。具體到道路監(jiān)控來說，可以是車身輪廓上的端點、車的標(biāo)志、后視鏡、車身上圖案線條的端點或交叉點等。為了使三維消失方向的估計更準(zhǔn)確，可以使在每個運動物體上所提取的特征點的數(shù)量盡可能大，尤其是視頻圖像中出現(xiàn)運動物體較少的情況下。在圖像中檢測特征點的具體方法例如可以參見C. Harris和M. Stephens的“A combined corner and edge detector，，，Proceedings of the4th Alvey Vision Conference, pp. 147-151,1988。在步驟S203中，在預(yù)定數(shù)目的幀中跟蹤特征點的移動，以獲得特征點的移動軌跡，并根據(jù)移動軌跡擬合直線線段。用于跟蹤特征點以獲得移動軌跡的幀的數(shù)目視具體應(yīng)用場合而定。例如，在道路監(jiān)控中，幀的數(shù)目可以是從汽車進入攝像機拍攝范圍開始到駛出拍攝范圍為止所拍攝視頻中含有的幀的數(shù)量。此外，也可以預(yù)先規(guī)定用于跟蹤特征點的視頻的截取長度或幀的數(shù)量。在步驟S203中所獲得的絕大多數(shù)運動軌跡是近似直線。使用這些近似直線來擬合直線線段的方法可以例如參考K. Kahn、L. Kitchen和E. M. Riseman的“A Fast LineFinder for Vision-Guided Robot Navigation " , IEEE Transactions on PatternAnalysis and Machine Intelligence,12(11) :1098-1102,1990。圖4是示出根據(jù)預(yù)定數(shù)目的幀中特征點的移動軌跡擬合直線線段(見圖4右手側(cè)的白色線段)的示意圖。從圖4中可以看出，在道路監(jiān)控系統(tǒng)中，所監(jiān)控的車輛除并道等改變方向外主要是沿著道路的方向前進的。也就是說，被監(jiān)控的車輛的運動方向中存在一個沿其行駛的車輛最多的方向，即車輛的最主要的運動方向，這里是道路方向。通常，在所監(jiān)控的所有運動物體的運動方向中，沿其運動的運動物體數(shù)量最多的方向是運動物體的運動方向中最主要的運動方向。但是，考慮到不同運動物體上可能提取的特征點的數(shù)目不同，可以將運動物體的運動方向中最主要的運動方向定義為在根據(jù)所有運動物體的特征點的運動軌跡所擬合的直線線段集中，指向該方向的直線線段的數(shù)量最多的方向。在本實施例中，所要確定的消失方向OZ即為監(jiān)控車輛的最主要運動方向所指向的消失方向。實驗證明，當(dāng)統(tǒng)計的車輛足夠多時，這個最主要的運動方向所指向的消失方向會重合于道路的消失方向。所以，這里的OZ也可以認(rèn)為是道路的消失方向。于是，在步驟S204中，利用在步驟S203中使用特征點運動軌跡擬合出的直線線段確定運動物體的運動方向中最主要的運動方向所指向的消失方向0Z。利用平面圖像中的直線線段集計算三維消失方向的方法可以采用本領(lǐng)域中公知的各種方法，諸如邊平面法線向量表示和RANSAC方法等。例如，在本實施例中，基于在步驟S203中獲得的直線線段集，采用邊平面法線向量方法從線段集的所有線段的兩兩組合中計算得到三維消失方向0Z。邊平面法線向量方法將2條二維圖像中的直線線段視為三維空間中2條平行線在二維圖像平面上的投影，在攝像機透視變換參數(shù)已知的情況下通過邊平面法線向量(三維)的外積得到三維消失方向OZ的一個估計。然后，對所有這樣的OZ的估計應(yīng)用RANSAC方法可以計算得到最終精確的0Z。關(guān)于邊平面法線向量，詳細(xì)的說明可以參考 Jana Kosecka 和 Wei Zhang 的“Video compass”，In Proc. of ECCV, 20020 關(guān)于 RANSAC方法，詳細(xì)的說明可以參考 Martin A. Fischler 和 Robert C. Bolles 的 “Random SampleConsensus A Paradigm for Model Fitting with Applications to Image Analysis andAutomated Cartography”，Comm, of the ACM 24 :381-395。使用圖2所示實施例的方法確定消失方向0Z，避免了使用邊緣檢測的直線線段進行消失方向估計，在邊緣數(shù)量不足或噪聲邊緣較多時所引起的估計不準(zhǔn)確。由于特征點便于辨識和跟蹤，并且運動方向在一定時間內(nèi)相對穩(wěn)定，從而保證了運動方向所指向的消失方向的估計的準(zhǔn)確性。圖3是示出根據(jù)本發(fā)明實施例的攝像機自標(biāo)定方法的流程圖。其中，步驟S301到S304是基于視頻圖像中的運動物體的特征點運動軌跡來估計運動物體的最主要運動方向所指向的消失方向的步驟，例如可采用與圖2中所示的步驟S201到S204相同的處理。因而，省略其詳細(xì)說明。在步驟S305中，將在步驟S304中確定的消失方向OZ用于攝像機的標(biāo)定，以確定攝像機相對于地面的姿態(tài)。將在后面的說明中以舉例的方式說明基于消失方向確定攝像機姿態(tài)參數(shù)的實例。圖6是示出根據(jù)本發(fā)明實施例的用于基于視頻圖像確定消失方向的裝置的結(jié)構(gòu)的框圖。消失方向確定裝置600包括運動目標(biāo)檢測單元601、特征點提取單元602、運動軌跡獲取與線段擬合單元603以及消失方向確定單元604。運動目標(biāo)檢測單元601在輸入的由攝像機拍攝的視頻圖像中檢測運動物體所在的運動目標(biāo)區(qū)域，并將檢測結(jié)果提供給特征點提取單元602。特征點提取單元602提取所檢測到的運動目標(biāo)區(qū)域中的運動物體上的特征點。該特征點可以是運動物體上任何易于辨識的位置或圖案。例如運動物體的角點或是運動物體上的紋理的角點。優(yōu)選盡可能多地提取運動物體上的特征點，尤其是在運動物體較少的情況下，以確保用于消失方向估計的直線線段條數(shù)。運動軌跡獲取與線段擬合單元603在預(yù)定數(shù)目的幀中跟蹤各個特征點的移動，以獲得特征點的移動軌跡，并根據(jù)該移動軌跡擬合直線線段。然后，運動估計獲取與線段擬合單元603將獲得的直線線段作為直線線段集提供給消失方向確定單元604.消失方向確定單元604通過利用該直線線段集確定運動物體的運動方向中最主要的運動方向所指向的消失方向。如上面已經(jīng)說明的，該主要的運動方向可以理解為所擬合出的直線線段集中，指向該方向的直線線段的數(shù)量最多的方向。在本實施例中，使用邊平面法線向量以及RANSAC方法根據(jù)直線線段集獲得消失方向?？梢岳斫膺€可以使用任何已知的方法來根據(jù)擬合直線線段獲得消失方向。圖7是示出根據(jù)本發(fā)明實施例的用于攝像機自標(biāo)定、的裝置的結(jié)構(gòu)的框圖。攝像機自標(biāo)定裝置700包括運動目標(biāo)檢測單元701、特征點提取單元702、運動軌跡獲取與線段擬合單元703、消失方向確定單元704以及攝像機標(biāo)定單元705。其中，單元701到704用于從視頻圖像中的運動目標(biāo)中提取特征點，并根據(jù)由特征點運動軌跡擬合出的直線線段獲得消失方向OZ。單元701到704例如可以與結(jié)合圖6說明的單元601到604具有相同的結(jié)構(gòu)和功能。因此，省略其詳細(xì)說明。攝像機標(biāo)定單元705將由消失方向確定單元704所確定的消失方向OZ用來進行攝像機自標(biāo)定，以確定攝像機相對于地面的姿態(tài)。使用根據(jù)運動物體的特征點運動軌跡擬合的直線線段獲得的消失方向進行攝像機自標(biāo)定，避免了視頻圖像中邊緣較少或噪聲邊緣較多時標(biāo)定不準(zhǔn)確的情況?？梢酝ㄟ^將根據(jù)本發(fā)明實施例的攝像機自標(biāo)定裝置安裝或集成在攝像機內(nèi)部，或者設(shè)置在攝像機之外來對由攝像機拍攝的視頻圖像進行處理，進而進行攝像機的自標(biāo)定。上面以示例的方式介紹了基于視頻圖像中運動物體特征點的運動軌跡來確定消失方向OZ的方法和裝置。接下來，提供一種獲得地面平行消失方向OX的方法。 圖8是示出根據(jù)本發(fā)明實施例的基于視頻圖像確定消失方向OX的方法的流程圖。在步驟S801中，對由攝像機拍攝的視頻圖像中的物體進行邊緣檢測，以獲得物體上的直線線段。邊緣檢測的對象可以是諸如建筑物的靜止物體，也可以是諸如汽車的運動物體。圖5是示出在道路監(jiān)控場合中以車輛為邊緣檢測對象來獲得邊緣直線線段(右手側(cè)圖片中方框中的白色線段)的示意圖。圖5所示的實施例中車輛相對較少，當(dāng)在車流量較大的情況下，通過邊緣檢測可能得到更大量的直線線段。在這種情況下，如果按照現(xiàn)有技術(shù)，不經(jīng)處理地根據(jù)獲得的所有直線線段對消失方向OX進行估計，會引入大量的噪聲，導(dǎo)致無法正確估計得到OX的方向，同時，系統(tǒng)還會承受相當(dāng)大的計算負(fù)荷。據(jù)此，本發(fā)明的實施例將邊緣檢測到的直線線段集進行分組，以分組的子線段集為單位對消失方向OX進行估計。具體來說，在步驟S802中，以預(yù)定規(guī)則將在步驟S801中獲得的直線線段分組，并按照該分組進行消失方向OX的初始估計。這里使用的進行分組的預(yù)定規(guī)則，可以是根據(jù)設(shè)計需求和應(yīng)用場景制定的任意規(guī)貝U。例如，將視頻圖像平均劃分為若干塊，以所劃分的塊為單位，將在其中獲得的邊緣直線線段作為一個分組。再例如，以已知含有平行于消失方向ox的邊緣直線線段的物體為單位，對直線線段進行分組。在本實施例中，可以以視頻圖像中物體的外接矩形為單位，對直線線段進行分組。當(dāng)外接矩形相接時，認(rèn)為靠近攝像機的物體遮擋了后面的物體，所以后面的外接矩形可以被挖掉兩個外接矩形的交集部分。在圖5所示的實施例中，物體為從輸入的視頻圖像中檢測到的運動物體。換句話說，在本實施例中，將檢測出的邊緣直線線段按照從屬的汽車不同而分成不同的分組。本發(fā)明創(chuàng)造性的提出對直線線段進行分組，進而以分組的子線段集為單位對消失方向OX進行估計，可以有效地減少系統(tǒng)的計算量。具體的，本領(lǐng)域技術(shù)人員可以通過現(xiàn)有的各種求取消失方向的初始估計方法，對消失方向OX進行初始估計。下面，以示例的方式介紹根據(jù)本發(fā)明實施例的求取消失方向OX的初始估計的方法。例如，可以使用預(yù)先確定的與要估計的消失方向垂直的另一消失方向，引入垂直約束來進行消失方向的初始估計。例如，在估計消失方向OX的初始方向時，在與OX垂直的OZ方向已經(jīng)通過任何方法(例如，圖2中描述的方法，或公知的其它確定OZ方向的方法)確定時，可以使用OZ對消失方向OX進行初始估計。
下面，參照圖9說明應(yīng)用垂直約束，使用OZ進行消失方向OX的初始估計的方法。應(yīng)該理解，該實例只是示例性的，OX的初始估計方法不限于此，可以使用本領(lǐng)域常用的各種方法進行。圖9是示出根據(jù)本發(fā)明實施例的用于進行消失方向OX的初始估計的方法的流程圖。在步驟S901中，對直線線段的各個分組進行組合，每個組合中包含至少兩個分組。在本實施例中，將各個分組兩兩組合，每個組合由兩個分組構(gòu)成。在步驟S902中，針對本實施例每個組合由兩個分組構(gòu)成的情況，針對全部組合中的每一個組合，對分別屬于該組合中的不同分組的直線線段的邊平面法線向量兩兩進行外積計算(例如，對于一組合中的分組A和分組B，將分組A的直線線段的邊平面法線向量與分組B的直線線段的邊平面法線向量兩兩外積)，并且求取所計算出的外積與垂直于OX的消失方向OZ的內(nèi)積?？紤]到計算量的問題，可以只對分組的全部組合中的預(yù)定數(shù)目的組合進行上述處理?？臻g直線的邊平面就是通過該直線線段的兩個端點和攝像機的光學(xué)中心三個點 確定的一個三維平面。相應(yīng)地，該三維平面的法線向量即為邊平面法線向量。邊平面法線向量的求取方法請參見 Jana Kosecka 和 Wei Zhang 的“Video compass”的 2. I 節(jié)，In Proc.of ECCV,2002ο在步驟S903中，將針對預(yù)定數(shù)目(全部或部分)的組合而計算出的全部內(nèi)積分別與閾值T1進行比較，并將小于閾值1\的內(nèi)積所對應(yīng)的邊平面法線向量的方向確定為消失方向OX的初始估計的初值。閾值T1的大小趨近于O。其趨近于O的程度反映了要求消失方向OX的初始估計的初值垂直于消失方向OZ的程度，可以根據(jù)對消失方向的估計的精確度的要求進行選取，例如可以取為O. I。可選擇地，當(dāng)每個組合中包括兩個以上的分組(諸如3個或4個分組)時，在步驟S902和S903中，可以使用例如最小二乘的方法從這若干個分組中確定消失方向OX的初始估計的初值。在求出OX的初始估計的初值后，可以根據(jù)需要采用各種標(biāo)準(zhǔn)和方法，根據(jù)初值來確定OX的最終的初始估計。例如，可以將獲得的各個初始估計的初值累加，然后計算平均值作為最終的初始估計值。在本實施例中，在步驟S904中，選取這些初值中支持分組的數(shù)量最大的一個作為消失方向OX的最終的初始估計。這里，本發(fā)明將滿足以下條件的分組稱為支持分組將該分組中的全部線段的邊平面的法線向量分別與已獲得的初值求取內(nèi)積，所獲得的內(nèi)積中的最小值小于閾值τ2。閾值T2的選取相似于閾值T1的選取，可以根據(jù)對消失方向的估計精度的要求選取趨近于O的任何值(當(dāng)然，是正值)。當(dāng)存在支持分組的數(shù)量相同的初值時，根據(jù)需要，可以進一步設(shè)置篩選初值的標(biāo)準(zhǔn)。在本實施例中，可以選取使得目標(biāo)函數(shù)最小的初值作為最終的初始估計。該目標(biāo)函數(shù)可以包括消失方向OX的初值與消失方向OZ的垂直程度的度量，以及該初值與其它支持分組中的與該初值最平行的線段的平行程度的度量。例如，在步驟S905中，將下面的等式(I)作為目標(biāo)函數(shù)，來選取使得等式(I)最小的初值，作為消失方向OX的最終的初始估計/(OX) = OX · OZ + -^― Y min(OX · L.)( I )其中，OX代表消失方向的初始估計的初值，OZ代表與之垂直的另一消失方向，N(S)為支持分組的數(shù)量，Σ為對所有支持分組求和，min(OX_L )為對OX的初值與分組i中
ieSJJ
的所有線段h的邊平面法線向量的內(nèi)積求取最小值。通過圖9所示的方法，利用垂直于消失方向OX的另一垂直方向0Z，引入垂直約束，得到了消失方向的初始估計。下面參考圖10，說明圖9所示方法的一個具體實現(xiàn)例子。圖10是示出進行OX的初始估計的方法的具體應(yīng)用實例的流程圖。 在步驟SlOOl中，在估計OX的直線線段集的分組中任意選擇出兩個分組。在步驟S1002中，從分別屬于該2個分組的線段的邊平面法線向量的兩兩外積中選擇與已知的、垂直于OX的消失方向OZ的內(nèi)積小于閾值T1，并且支持分組數(shù)量最大的外積所對應(yīng)的法線向量的方向。在步驟S1003中，確定是否在步驟S1002中選擇的方向的支持分組數(shù)量更大？如果是，則保留該選擇方向(步驟S1005)。如果在步驟S1003中確定為否，則在步驟S1004中，確定是否該選擇的方向的支持分組數(shù)量與已有的選擇方向的支持分組數(shù)量相同但能讓上面示出的式(I)更小。如果是，則保留該選出方向(步驟S1005)。如果在步驟S1004中確定為否，則在步驟S1007中丟棄該選出方向。在執(zhí)行步驟S1005或步驟S1007后，在步驟S1006中確定是否處理達(dá)到指定的迭代次數(shù)。如果尚未達(dá)到，則返回步驟S1001，再次進行步驟SlOOl及其后續(xù)處理。如果在步驟S1006中確定為已經(jīng)達(dá)到預(yù)設(shè)的指定迭代次數(shù)，則得到所需的OX的初始估計?，F(xiàn)在回到圖8，在步驟S803中，從全部分組的預(yù)定數(shù)目分組中選取至少一條方向與初始估計方向最接近的直線線段。判斷直線與消失方向(此處是消失方向的初始估計方向)是否接近的具體方法可以采用本領(lǐng)域中常用的各種方法，諸如，在J.Kosecka和 W. Zhang 的“Video compass，，，Proceedings of European Conference on ComputerVision, 2002中描述的方法。在步驟S804中，用在步驟S803中選取的直線線段確定消失方向OX。同樣，這里也可以使用本領(lǐng)域常用的各種根據(jù)直線線段集確定消失方向的方法，諸如RANSAC方法。使用圖8中所示的先對邊緣檢測的直線線段進行分組，再進行消失方向的初始估計的方法，在改進了系統(tǒng)準(zhǔn)確性的同時，大大減小了系統(tǒng)的計算負(fù)荷。圖11是示出根據(jù)本發(fā)明實施例的攝像機自標(biāo)定方法的流程圖。圖11中的步驟SllOl到步驟S1104涉及將通過邊緣檢測獲得的直線線段集進行分組后，以分組的子直線線段集進行消失方向OX的初始估計，從而確定消失方向OX的方法，例如可采用與圖8中的步驟S801到S804中進行的處理相同的處理。因此，此處省略其詳細(xì)說明。在步驟S1105中，將在步驟S1104中確定的OX消失方向與其它消失方向0Ζ、0Υ —起用來確定攝像機的姿態(tài)參數(shù)，即，攝像機相對于地面的姿態(tài)。將在下文中舉出基于消失方向確定攝像機的姿態(tài)參數(shù)的例子。圖12是示出根據(jù)本發(fā)明實施例的基于視頻圖像來確定消失方向的裝置的結(jié)構(gòu)的框圖。消失方向確定裝置1200包括邊緣檢測單元1201、初始估計單元1202、最接近直線線段選取單元1203以及消失方向獲得單元1204。在處理開始時，將由攝像機拍攝的視頻圖像輸入消失方向確定裝置1200。邊緣檢測單元1201對輸入的視頻圖像中的物體進行邊緣檢測，以獲得該物體上的直線線段。進行邊緣檢測的物體可以是諸如建筑物的靜止物體，也可是諸如汽車、行人的運動物體。為了減小系統(tǒng)的計算量，特別是在檢測到的邊緣直線線段數(shù)量較大時，減輕系統(tǒng)的計算負(fù)荷，初始估計單元1202以預(yù)定規(guī)則對直線線段進行分組，然后，以分組的直線線段為單位進行消失方向的初始估計。該分組規(guī)則可以根據(jù)需要由 設(shè)計人員指定，例如，可以以視頻圖像中物體的外接矩形為單位，對直線線段進行分組。在本實施例中，該物體為從視頻圖像中檢測出的運動物體，即正在道路上行駛的汽車。初始估計單元1202可以使用預(yù)先獲得的消失方向0Z，引入垂直約束機制進行消失方向OX的初始估計。圖13是示出根據(jù)本發(fā)明實施例的消失方向確定裝置的初始估計單元1300的結(jié)構(gòu)的框圖。圖13所示的初始估計單元1300與圖12中所示的初始估計單元1202相對應(yīng)。初始估計單元1300可以包括分組組合單元1301，垂直約束計算單元1302、初值確定單元1303以及初始估計確定單元1304。分組組合單元1301可以將邊緣直線線段的分組進行組合，使每一組合中包括至少兩個分組。在本實施例中，分組組合單元1301將各個分組兩兩組合。針對于本實施例中每個組合包括兩個分組的情況，垂直約束計算單元1302針對全部組合或部分組合中的每一個，對分別屬于該組合中的不同分組的直線線段的邊平面法線向量，兩兩進行外積計算，并且求取所計算出的外積與垂直于消失方向OX的另一消失方向OZ的內(nèi)積。初值確定單元1303可以將由所述垂直約束計算單元1302針對預(yù)定數(shù)目的組合(部分或全部組合)而計算出的全部內(nèi)積分別與閾值T1進行比較，并將小于閾值!\的內(nèi)積所對應(yīng)的邊平面法線向量的方向確定為消失方向OX的初始估計的初值。閾值T1的大小趨近于O。其趨近于O的程度反映了要求消失方向OX的初始估計的初值垂直于消失方向OZ的程度，可以根據(jù)對消失方向的估計的精確度的要求進行選取，例如可以取為O. I。可選擇地，當(dāng)每個組合包括兩個以上分組時，垂直約束計算單元1302和初值確定單元1303可以使用例如最小二乘的方法從這若干個分組中確定消失方向OX的初始估計的初值。初始估計確定單元1304可以通過預(yù)先設(shè)置采用不同確定標(biāo)準(zhǔn)來從取得的初值中確定消失方向OX的最終初始估計。例如，初始估計確定單元1304可以選取由初值確定單元1303確定的初值中支持分組的數(shù)量最大的一個初值作為消失方向OX的最終的初始估計。這里，將滿足以下條件的分組稱為支持分組將其中的全部線段的邊平面法線向量分別與獲得的初值求取內(nèi)積，所獲得的內(nèi)積中的最小值小于閾值T2。閾值T2的選取相似于閾值T1，可以根據(jù)對消失方向的估計精度的要求選取趨近于O的任何值。當(dāng)存在支持分組的數(shù)量相同的初值時，初始估計確定單元1304可以選取使得某個目標(biāo)函數(shù)最小的初值作為最終的初始估計，其中，該目標(biāo)函數(shù)中可以包括該初值與消失方向OZ的垂直程度的度量，以及該初值與其它支持分組中的與該初值最平行的線段的平行程度的度量。具體來說，該目標(biāo)函數(shù)可以選取為上面描述的等式(I)，并將使得等式(I)更小的初值作為消失方向OX的最終的初始估計?，F(xiàn)在回到圖12，消失方向確定裝置1200中的最接近直線線段選取單元1203從直線線段的全部分組的預(yù)定數(shù)目分組中選取至少一條與初始估計最接近的直線線段，并將所選取的直線線段提供給消失方向獲得單元1204。然后，消失方向獲得單元1204使用所選取的直線線段來確定消失方向0X。圖14是示出根據(jù)本發(fā)明實施例的用于攝像機自標(biāo)定的裝置的結(jié)構(gòu)的框圖。攝像機自標(biāo)定設(shè)備1400包括邊緣檢測單元1401、初始估計單元1402、最接近直線線段選取單元1403、消失方向獲得單元1404以及攝像機標(biāo)定單元1405。其中，單元1401到1404用于根據(jù)邊緣檢測得到的直線線段集的分組進行初始方向OX的初始估計，以最終確定消失方 向0X，例如可以與圖12中示出的單元1201到1204具有相同的功能和結(jié)構(gòu)。在此，省略對它們的說明。攝像機標(biāo)定單元1405可以使用由消失方向獲得單元1404得到的消失方向0X，以與另外的消失方向OZ和OY —起確定攝像機相對于地面的姿態(tài)。可以通過將根據(jù)本發(fā)明實施例的攝像機自標(biāo)定裝置安裝或集成在攝像機內(nèi)部，或者裝配在攝像機之外來對由攝像機拍攝的視頻圖像進行處理，進而進行攝像機的自標(biāo)定。上文中分別說明了通過運動物體特征點的運動軌跡估計運動物體的主要運動方向所指向的消失方向0Z，以及通過將邊緣檢測得到的直線線段進行分組確定地面水平消失方向OX的方法和裝置。在得到OZ和OX后，根據(jù)坐標(biāo)系三個軸相互正交的原則，可以通過OZ和OX的外積得到三維消失方向0Y。下文中，對如何根據(jù)已知的消失方向0Χ、0Ζ和OY獲得攝像機的姿態(tài)參數(shù)，即，確定攝像機相對于地面的姿態(tài)進行說明。對于圖I所示的實施例，基于消失方向0Χ、0Υ和0Ζ，可以容易地計算得到相機相對于地面的旋轉(zhuǎn)角度。再加上已知的相機高度h，就可以唯一地確定出相機在世界坐標(biāo)系XYZ中的姿態(tài)。此時，三維世界坐標(biāo)系中任意一點投影到圖像上的坐標(biāo)可以通過式(2)計算。
M f (x)V = —K- R y +T ■(2)
I1J U I其中，(X，y, z)為三維世界坐標(biāo)系中真實點坐標(biāo)，(U，V, I)為該真實點坐標(biāo)投影到成像平面上的圖像平面坐標(biāo)，K為3X3的攝像機透視變換矩陣，能夠通過攝像機的校準(zhǔn)得到(其具體獲得方法請參見 Z. Zhang 的 “Flexible Camera Calibration by Viewing aPlane From Unknown Orientations” · In Proc. of ICCV, 1999)。R 為 3X3 的攝像機旋轉(zhuǎn)矩陣，T為3X1的攝像機平移矩陣。本領(lǐng)域技術(shù)人員了解R和T可以通過消失方向0Χ、0Υ和OZ以及真實空間中一確定線段長度(本實施例中為攝像機高度h)計算得到。相反的，相機上的任意一個像素若已知其所拍攝的點位于地面，則該點所對應(yīng)的三維空間中的位置也可以通過式(2)的逆運算求得。另外需要說明的是，雖然本實施例中采用攝像機高度h作為系統(tǒng)輸入，來求取攝像機的姿態(tài)參數(shù)。本領(lǐng)域技術(shù)人員了解真實空間中任一已知線段的長度，或者已知運動物體的速度都可以代替攝像機高度h，用來確定攝像機相對于地面的姿態(tài)。根據(jù)本發(fā)明實施例的用于確定地面水平消失方向OX的方法和裝置以及用于確定地面延伸消失方向OZ的方法和裝置可以應(yīng)用于同一實現(xiàn)中。例如，可以在攝像機的標(biāo)定中全部使用根據(jù)本發(fā)明實施例所獲得的消失方向OX和0Z?；蛘撸梢栽谔囟ǖ膶崿F(xiàn)中，諸如攝像機的標(biāo)定中，只使用根據(jù)本發(fā)明實施例確定的消失方向OX和OZ之一，并使用其它方法(例如各種已知方法)確定的另外的消失方向。都可以獲得本發(fā)明預(yù)期的有益效果。下文中，參考圖15描述實現(xiàn)本發(fā)明的上述實施例描述的確定消失方向的方法和裝置及攝像機自標(biāo)定方法和裝置等的計算機的示例性結(jié)構(gòu)。圖15是示出實現(xiàn)本發(fā)明的計算機的示例性結(jié)構(gòu)的框圖。在圖15中，中央處理單元(CPU) 1501根據(jù)只讀存儲器(ROM) 1502中存儲的程序或從存儲部分1508加載到隨機存取存儲器(RAM) 1503的程序執(zhí)行各種處理。在RAM 1503中， 也根據(jù)需要存儲當(dāng)CPU 1501執(zhí)行各種處理時所需的數(shù)據(jù)。CPU 150UR0M 1502和RAM 1503經(jīng)由總線1504彼此連接。輸入/輸出接口 1505也連接到總線1504。下述部件連接到輸入/輸出接口 1505 :輸入部分1506，包括鍵盤、鼠標(biāo)等；輸出部分1507，包括顯示器，諸如陰極射線管(CRT)、液晶顯示器(LCD)等，以及揚聲器等；存儲部分1508，包括硬盤等；以及通信部分1509，包括網(wǎng)絡(luò)接口卡諸如LAN卡、調(diào)制解調(diào)器等。通信部分1509經(jīng)由網(wǎng)絡(luò)諸如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器1510也連接到輸入/輸出接口 1505?？刹鹦督橘|(zhì)1511諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等根據(jù)需要被安裝在驅(qū)動器1510上，使得從中讀出的計算機程序根據(jù)需要被安裝到存儲部分1508中。在通過軟件實現(xiàn)上述步驟和處理的情況下，從網(wǎng)絡(luò)諸如因特網(wǎng)或存儲介質(zhì)諸如可拆卸介質(zhì)1511安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖15所示的其中存儲有程序、與方法相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1511?？刹鹦督橘|(zhì)1511的例子包含磁盤、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)和半導(dǎo)體存儲器?；蛘?，存儲介質(zhì)可以是ROM 1502、存儲部分1508中包含的硬盤等，其中存有程序，并且與包含它們的方法一起被分發(fā)給用戶。根據(jù)本發(fā)明實施例的方法和裝置可以應(yīng)用于很多場合。諸如例子I :地面物體尺寸的測量由于所有視頻圖像上的點可以通過式(2)計算出其在三維空間中的位置，所以可以利用本發(fā)明提供的方法和裝置通過一個地面上的物體在圖像中的尺寸去測量其實際的尺寸，例如人的身高胖瘦、車輛尺寸等。例子2 :運動物體速度的測量通過在兩個時間點上檢測到地面上的運動物體在圖像上的位置，可以利用本發(fā)明提供的方法和裝置去測量這個物體在三維空間上運動的距離，進一步除以時間就得到該物體的運動速度。測速結(jié)果可進一步用于判斷超速等交通違規(guī)的發(fā)生。在前面的說明書中參照特定實施例描述了本發(fā)明。然而本領(lǐng)域的普通技術(shù)人員理解，在不偏離如權(quán)利要求書限定的本發(fā)明的范圍的前提下可以進行各種修改和改變。
權(quán)利要求
1.一種基于視頻圖像確定消失方向的方法，包括 在所述視頻圖像中檢測運動物體所在的運動目標(biāo)區(qū)域； 提取所檢測到的運動目標(biāo)區(qū)域中的運動物體上的特征點； 在預(yù)定數(shù)目的幀中跟蹤所述特征點的移動，以獲得所述特征點的移動軌跡，并根據(jù)所述移動軌跡擬合直線線段； 利用擬合出的所述直線線段確定所述運動物體的運動方向中最主要的運動方向所指向的消失方向。
2.根據(jù)權(quán)利要求I所述的基于視頻圖像確定消失方向的方法，其中，所述特征點是所述運動物體的角點，或是所述運動物體上的紋理的角點。
3.一種攝像機自標(biāo)定方法，包括 使用根據(jù)權(quán)利要求I或2所述的基于視頻圖像確定消失方向的方法，基于所述攝像機拍攝的視頻圖像確定消失方向； 將所確定的消失方向用來確定所述攝像機相對于地面的姿態(tài)。
4.一種用于基于視頻圖像確定消失方向的裝置，包括 運動目標(biāo)檢測單元，用于在輸入的所述視頻圖像中檢測運動物體所在的運動目標(biāo)區(qū)域； 特征點提取單元，用于提取所檢測到的運動目標(biāo)區(qū)域中的運動物體上的特征點； 運動軌跡獲取與線段擬合單元，用于在預(yù)定數(shù)目的幀中跟蹤所述特征點的移動，以獲得所述特征點的移動軌跡，并根據(jù)所述移動軌跡擬合直線線段； 消失方向確定單元，用于通過利用擬合出的所述直線線段來確定所述運動物體的運動方向中最主要的運動方向所指向的消失方向。
5.根據(jù)權(quán)利要求4所述的用于基于視頻圖像確定消失方向的裝置，其中，所述特征點是所述運動物體的角點，或是所述運動物體上的紋理的角點。
6.一種用于攝像機自標(biāo)定的設(shè)備，包括 根據(jù)權(quán)利要求4或5中所述的用于基于視頻圖像確定消失方向的裝置； 攝像機標(biāo)定裝置，其將由所述確定消失方向的裝置計算出的消失方向用來確定所述攝像機相對于地面的姿態(tài)。
7.一種攝像機，其包括根據(jù)權(quán)利要求6所述的用于攝像機自標(biāo)定的設(shè)備。
8.一種基于視頻圖像確定消失方向的方法，包括 對所述視頻圖像中的物體進行邊緣檢測，以獲得所述物體上的直線線段； 以預(yù)定規(guī)則將所述直線線段分組，并按照所述直線線段的分組進行消失方向的初始估計； 從全部所述分組的預(yù)定數(shù)目分組中選取至少一條方向與所述初始估計方向最接近的直線線段； 用所選取的直線線段確定所述消失方向。
9.根據(jù)權(quán)利要求8所述的基于視頻圖像確定消失方向的方法，其中，所述預(yù)定規(guī)則為以所述視頻圖像中物體的外接矩形為單位，對所述直線線段進行分組。
10.根據(jù)權(quán)利要求8或9所述的基于視頻圖像確定消失方向的方法，其中，通過使用預(yù)先確定的與所述消失方向垂直的另一消失方向來進行所述消失方向的初始估計。
11.根據(jù)權(quán)利要求10所述的基于視頻圖像確定消失方向的方法，其中，進行所述消失方向的初始估計包括 對所述分組進行組合，每個所述組合中包含至少兩個分組。
12.根據(jù)權(quán)利要求11所述的基于視頻圖像確定消失方向的方法，其中，每個所述組合由兩個分組構(gòu)成，進行所述消失方向的初始估計包括 針對全部組合中預(yù)定數(shù)目的組合中的每一個，對分別屬于該組合中的不同分組的直線線段的邊平面法線向量，兩兩進行外積計算，并且求取所計算出的外積與所述另一消失方向的內(nèi)積； 將針對所述預(yù)定數(shù)目的組合而計算出的全部內(nèi)積分別與第一閾值進行比較，并將小于所述第一閾值的內(nèi)積所對應(yīng)的邊平面法線向量的方向確定為所述消失方向的初始估計的初值； 根據(jù)所述初值確定所述消失方向的最終的初始估計。
13.根據(jù)權(quán)利要求12所述的基于視頻圖像確定消失方向的方法，其中，根據(jù)所述初值確定所述消失方向的最終的初始估計包括 選取所述初值中支持分組的數(shù)量最大的一個初值作為所述消失方向的最終的初始估計，其中，每一所述支持分組中的全部線段的邊平面法線向量分別與所述初值求取內(nèi)積，所獲得的內(nèi)積中的最小值小于第二閾值。
14.根據(jù)權(quán)利要求13所述的基于視頻圖像確定消失方向的方法，其中，根據(jù)所述初值確定所述消失方向的最終的初始估計包括當(dāng)存在支持分組的數(shù)量相同的初值時，選取使得目標(biāo)函數(shù)最小的初值作為最終的初始估計，其中，所述目標(biāo)函數(shù)中包括所述初值與所述另一消失方向的垂直程度的度量，以及所述初值與其它所述支持分組中的與所述初值最平行的線段的平行程度的度量。
15.根據(jù)權(quán)利要求14所述的基于視頻圖像確定消失方向的方法，其中，所述目標(biāo)函數(shù)為
16.一種攝像機自標(biāo)定方法，包括 使用根據(jù)權(quán)利要求8到15中任一個所述的基于視頻圖像確定消失方向的方法，基于所述攝像機拍攝的視頻圖像來確定消失方向； 將所確定的消失方向用來確定所述攝像機相對于地面的姿態(tài)。
17.一種用于基于視頻圖像來確定消失方向的裝置，包括 邊緣檢測單元，用于對所述視頻圖像中的物體進行邊緣檢測，以獲得所述物體上的直線線段； 初始估計單元，用于以預(yù)定規(guī)則對所述直線線段進行分組，以按照所述直線線段的分組進行消失方向的初始估計； 最接近直線線段選取單元，用于從全部所述分組的預(yù)定數(shù)目分組中選取至少一條與所述初始估計最接近的直線線段； 消失方向獲得單元，用于使用所選取的直線線段確定所述消失方向。
18.根據(jù)權(quán)利要求17所述的用于基于視頻圖像來確定消失方向的裝置，其中，所述預(yù)定規(guī)則為以所述視頻圖像中物體的外接矩形為單位，對所述直線線段進行分組。
19.根據(jù)權(quán)利要求17或18所述的用于基于視頻圖像來確定消失方向的裝置，其中，所述初始估計單元通過使用預(yù)先確定的與所述消失方向垂直的另一消失方向來進行消失方向的初始估計。
20.根據(jù)權(quán)利要求19所述的用于基于視頻圖像來確定消失方向的裝置，其中，所述初始估計單元包括 分組組合單元，用于對所述分組進行組合，每一所述組合中包括至少兩個分組。
21.根據(jù)權(quán)利要求20所述的用于基于視頻圖像來確定消失方向的裝置，其中，每一所述組合由兩個分組構(gòu)成，所述初始估計單元進一步包括 垂直約束計算單元，用于針對全部組合中預(yù)定數(shù)目的組合中的每一個，對分別屬于該組合中的不同分組的直線線段的邊平面法線向量，兩兩進行外積計算，并且求取所計算出的外積與所述另一消失方向的內(nèi)積； 初值確定單元，用于將由所述垂直約束計算單元針對所述預(yù)定數(shù)目的組合而計算出的全部內(nèi)積分別與第一閾值進行比較，并將小于所述第一閾值的內(nèi)積所對應(yīng)的邊平面法線向量的方向確定為所述消失方向的初始估計的初值。
22.根據(jù)權(quán)利要求21所述的用于基于視頻圖像來確定消失方向的裝置，其中，所述初始估計單元還包括 初始估計確定單元，用于選取由所述初值確定單元確定的所述初值中支持分組的數(shù)量最大的一個作為所述消失方向的最終的初始估計，其中，每一所述支持分組中的全部線段的邊平面法線向量分別與所述初值求取內(nèi)積，所獲得的內(nèi)積中的最小值小于第二閾值。
23.根據(jù)權(quán)利要求22所述的用于基于視頻圖像來確定消失方向的裝置，其中，當(dāng)存在支持分組的數(shù)量相同的所述初值時，所述初始估計確定單元選取使得目標(biāo)函數(shù)最小的初值作為最終的初始估計，其中，所述目標(biāo)函數(shù)中包括所述初值與所述另一消失方向的垂直程度的度量，以及所述初值與其它所述支持分組中的與所述初值最平行的線段的平行程度的度量。
24.根據(jù)權(quán)利要求23所述的用于基于視頻圖像來確定消失方向的裝置，其中，所述目標(biāo)函數(shù)為/
25.一種用于攝像機自標(biāo)定的設(shè)備，包括 根據(jù)權(quán)利要求17到24中任一個所述的用于基于視頻圖像來確定消失方向的裝置； 攝像機標(biāo)定單元，其將由所述確定消失方向的裝置計算出的消失方向用于確定所述攝像機相對于地面的姿態(tài)。
26.一種攝像機，其包括根據(jù)權(quán)利要求25所述的用于攝像機自標(biāo)定的裝置。
全文摘要
提供一種消失方向確定方法和裝置、攝像機自標(biāo)定方法和裝置及攝像機。基于視頻圖像確定消失方向的方法包括在由攝像機拍攝的視頻圖像中檢測運動物體所在的運動目標(biāo)區(qū)域；提取所檢測到的運動目標(biāo)區(qū)域中的運動物體上的特征點；在預(yù)定數(shù)目的幀中跟蹤特征點的移動，以獲得特征點的移動軌跡，并根據(jù)移動軌跡擬合直線線段；利用擬合出的直線線段確定運動物體的運動方向中最主要的運動方向所指向的消失方向。從而在運動圖像中的邊緣較少或噪聲邊緣較多時，也可以準(zhǔn)確地確定消失方向，進而準(zhǔn)確地獲得攝像機姿態(tài)參數(shù)。
文檔編號G06T7/00GK102789642SQ20111013720
公開日2012年11月21日 申請日期2011年5月16日 優(yōu)先權(quán)日2011年5月16日
發(fā)明者劉玉宇, 聶志 申請人:索尼公司