一種確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及三維視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種確定視頻圖像中被測(cè)對(duì)象間位置關(guān) 系的方法及裝置。
【背景技術(shù)】
[0002] 在安防監(jiān)控等領(lǐng)域，一般可以通過(guò)攝像頭實(shí)時(shí)拍攝場(chǎng)景畫(huà)面，從而檢測(cè)、確定場(chǎng)景 中是否有異常行為發(fā)生。
[0003] 目前，具體的實(shí)現(xiàn)方式通常是在視頻畫(huà)面中選擇關(guān)注的區(qū)域，例如，若要監(jiān)控自動(dòng) 取款機(jī)，則在視頻圖像中選擇自動(dòng)取款機(jī)的區(qū)域，然后實(shí)時(shí)檢測(cè)該區(qū)域內(nèi)的像素變化，以像 素的變化為依據(jù)，判斷該區(qū)域是否有人入侵或者發(fā)生其他特定行為，最終得到統(tǒng)計(jì)結(jié)果。
[0004] 采用上述方式，由于在視頻圖像中選擇被測(cè)對(duì)象的所在區(qū)域并不能真實(shí)的反映該 被測(cè)對(duì)象的位置，無(wú)法準(zhǔn)確判斷多個(gè)被測(cè)對(duì)象的位置關(guān)系。因此，經(jīng)常會(huì)產(chǎn)生很多的誤判情 況，也即，視頻圖像中被測(cè)對(duì)象間的位置關(guān)系與真實(shí)場(chǎng)景中的位置關(guān)系不符合，檢測(cè)結(jié)果非 常不準(zhǔn)確。
[0005] 現(xiàn)有技術(shù)不足在于：
[0006] 采用現(xiàn)有方法經(jīng)常導(dǎo)致誤判、檢測(cè)精度較低。

【發(fā)明內(nèi)容】

[0007] 本申請(qǐng)實(shí)施例提出了一種確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的方法及裝置，以 解決現(xiàn)有技術(shù)中經(jīng)常導(dǎo)致誤判、檢測(cè)精度較低的技術(shù)問(wèn)題。
[0008] 本申請(qǐng)實(shí)施例提供了一種確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的方法，包括如下 步驟：
[0009] 檢測(cè)視頻圖像中的第一被測(cè)對(duì)象和第二被測(cè)對(duì)象；
[0010] 確定所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象在視頻圖像中的坐標(biāo)；
[0011] 將所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象在所述視頻圖像中的二維坐標(biāo)轉(zhuǎn)換為 物理世界中的三維坐標(biāo)；
[0012] 根據(jù)所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象的三維坐標(biāo)，確定所述第一被測(cè)對(duì)象 和所述第二被測(cè)對(duì)象之間的位置關(guān)系。
[0013] 本申請(qǐng)實(shí)施例提供了一種確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的裝置，包括：
[0014] 檢測(cè)模塊，用于檢測(cè)視頻圖像中的第一被測(cè)對(duì)象和第二被測(cè)對(duì)象；
[0015] 第一確定模塊，用于確定所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象在視頻圖像中的 坐標(biāo)；
[0016] 轉(zhuǎn)換模塊，用于將所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象在所述視頻圖像中的二 維坐標(biāo)轉(zhuǎn)換為物理世界中的三維坐標(biāo)；
[0017] 第二確定模塊，用于根據(jù)所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象的三維坐標(biāo)，確 定所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象之間的位置關(guān)系。
[0018] 有益效果如下：
[0019] 本申請(qǐng)實(shí)施例所提供的確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的方法及裝置，在確 定視頻圖像中檢測(cè)到的第一被測(cè)對(duì)象和第二被測(cè)對(duì)象的坐標(biāo)后，將所述第一被測(cè)對(duì)象和所 述第二被測(cè)對(duì)象在視頻圖像中的二維坐標(biāo)轉(zhuǎn)換為物理世界中的三維坐標(biāo)，并根據(jù)所述三維 坐標(biāo)來(lái)確定所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象之間的位置關(guān)系，由于本申請(qǐng)實(shí)施例中 將被測(cè)對(duì)象的坐標(biāo)由視頻圖像轉(zhuǎn)換至真實(shí)的物理世界，相比現(xiàn)有技術(shù)新增加了一維方向， 也即，被測(cè)對(duì)象的深度信息（z軸），相當(dāng)于將視頻畫(huà)面中的第一被測(cè)對(duì)象和第二被測(cè)對(duì)象 還原到了真實(shí)的物理世界，這種情況下進(jìn)行監(jiān)測(cè)的準(zhǔn)確度和精度更高，避免了現(xiàn)有技術(shù)中 經(jīng)常出現(xiàn)誤判的問(wèn)題。
【附圖說(shuō)明】
[0020] 下面將參照附圖描述本申請(qǐng)的具體實(shí)施例，其中：
[0021] 圖1示出了本申請(qǐng)實(shí)施例中確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的方法實(shí)施的 流程示意圖；
[0022] 圖2示出了本申請(qǐng)實(shí)施例中image坐標(biāo)系的示意圖；
[0023] 圖3示出了本申請(qǐng)實(shí)施例中camera坐標(biāo)系的示意圖；
[0024] 圖4示出了本申請(qǐng)實(shí)施例中floor坐標(biāo)系的示意圖；
[0025] 圖5示出了本申請(qǐng)實(shí)施例中Step Counting Mat的場(chǎng)景示意圖；
[0026] 圖6示出了本申請(qǐng)實(shí)施例中Step Counting Mat的投影示意圖；
[0027] 圖7示出了本申請(qǐng)實(shí)施例中Step Counting Mat的效果示意圖；
[0028] 圖8示出了本申請(qǐng)實(shí)施例中Touch Counting Wall的場(chǎng)景示意圖；
[0029] 圖9示出了本申請(qǐng)實(shí)施例中Touch Counting Wall的投影示意圖；
[0030] 圖10示出了本申請(qǐng)實(shí)施例中Touch Counting Wall的效果示意圖；
[0031] 圖11示出了本申請(qǐng)實(shí)施例中Pass Counting Door的場(chǎng)景示意圖；
[0032] 圖12示出了本申請(qǐng)實(shí)施例中Pass Counting Door的投影示意圖；
[0033] 圖13示出了本申請(qǐng)實(shí)施例中People Counting Queue的場(chǎng)景示意圖；
[0034] 圖14示出了本申請(qǐng)實(shí)施例中確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的裝置的結(jié)構(gòu) 示意圖。
【具體實(shí)施方式】
[0035] 為了使本申請(qǐng)的技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對(duì)本申請(qǐng)的示例性 實(shí)施例進(jìn)行進(jìn)一步詳細(xì)的說(shuō)明，顯然，所描述的實(shí)施例僅是本申請(qǐng)的一部分實(shí)施例，而不是 所有實(shí)施例的窮舉。并且在不沖突的情況下，本說(shuō)明中的實(shí)施例及實(shí)施例中的特征可以互 相結(jié)合。
[0036] 針對(duì)現(xiàn)有技術(shù)的不足，本申請(qǐng)實(shí)施例提出了一種確定視頻圖像中被測(cè)對(duì)象間位置 關(guān)系的方法及裝置，下面進(jìn)行說(shuō)明。
[0037] 圖1示出了本申請(qǐng)實(shí)施例中確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的方法實(shí)施的 流程示意圖，如圖所示，所述確定視頻圖像中被測(cè)對(duì)象間位置關(guān)系的方法可以包括如下步 驟：
[0038] 步驟101、檢測(cè)視頻圖像中的第一被測(cè)對(duì)象和第二被測(cè)對(duì)象；
[0039] 步驟102、確定所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象在所述視頻圖像中的坐 標(biāo)；
[0040] 步驟103、將所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象在所述視頻圖像中的二維坐 標(biāo)轉(zhuǎn)換為物理世界中的三維坐標(biāo)；
[0041] 步驟104、根據(jù)所述第一被測(cè)對(duì)象和所述第二被測(cè)對(duì)象的三維坐標(biāo)，確定所述第一 被測(cè)對(duì)象和所述第二被測(cè)對(duì)象之間的位置關(guān)系。
[0042] 現(xiàn)有技術(shù)中通過(guò)攝像頭監(jiān)控到的視頻圖像均為二維圖片，并不能真實(shí)反映現(xiàn)實(shí)的 物理世界。
[0043] 當(dāng)視頻畫(huà)面中出現(xiàn)被測(cè)對(duì)象時(shí)，系統(tǒng)可以自動(dòng)檢測(cè)出視頻圖像中的被測(cè)對(duì)象，并 得到被測(cè)對(duì)象在視頻圖像中的坐標(biāo)位置。由于被測(cè)對(duì)象一般是有一定體積大小的事物，因 此，在具體實(shí)施時(shí)，可以將每個(gè)被測(cè)對(duì)象抽象為位于被測(cè)對(duì)象重心位置的一個(gè)質(zhì)點(diǎn)，以減少 計(jì)算量或簡(jiǎn)化操作。
[0044] 其中，被測(cè)對(duì)象可以是視頻圖像中出現(xiàn)的任一事物，可以是一個(gè)或者多個(gè)，本申請(qǐng) 對(duì)此不作限制。另外，檢測(cè)被測(cè)對(duì)象可以基于現(xiàn)有技術(shù)中的人員檢測(cè)和追蹤技術(shù)來(lái)實(shí)現(xiàn)，本 申請(qǐng)?jiān)诖瞬蛔鲑樖觥?br>[0045] 由于將視頻圖像中的各像素的坐標(biāo)位置轉(zhuǎn)換到物理世界中的三維坐標(biāo)后，增加了 深度信息，可以還原出真實(shí)世界中各物體之間的位置關(guān)系，進(jìn)而可以得到準(zhǔn)確的檢測(cè)結(jié)果。
[0046] 在本申請(qǐng)實(shí)施例中，基于深度信息結(jié)合數(shù)學(xué)方法可以建立像素和物理世界位置的 對(duì)應(yīng)關(guān)系。其中，深度信息可以來(lái)自于現(xiàn)有技術(shù)中通過(guò)結(jié)構(gòu)光（Structured light)、雙目、 飛行時(shí)間（time of flight)等技術(shù)實(shí)現(xiàn)的深度傳感器（depth sensor)。例如：通過(guò)結(jié)構(gòu) 光實(shí)現(xiàn)的深度傳感器，是采用一個(gè)投影儀來(lái)建立光模式，并有一個(gè)攝像頭用于探測(cè)結(jié)果；飛 行時(shí)間實(shí)現(xiàn)方式與結(jié)構(gòu)光類(lèi)似，飛行時(shí)間攝像頭包括一個(gè)圖像傳感器、一只鏡片和一個(gè)有 源發(fā)光源，攝像頭根據(jù)投射光從光源到投影儀再回到圖像傳感器的時(shí)間，得出距離（也即 深度信息或深度值）。
[0047] 現(xiàn)有技術(shù)中在視頻畫(huà)面中檢測(cè)到的被測(cè)對(duì)象，僅僅是二維平面的坐標(biāo)，并不能真 實(shí)反映現(xiàn)實(shí)世界中所述被測(cè)對(duì)象的位置。其次，現(xiàn)有技術(shù)在不準(zhǔn)確標(biāo)注的基礎(chǔ)上進(jìn)行統(tǒng)計(jì)， 統(tǒng)計(jì)的依據(jù)是像素變化，而像素變化不一定是被測(cè)對(duì)象引起的，也可能是由于光線(xiàn)或環(huán)境 變化導(dǎo)致的像素變化，因此統(tǒng)計(jì)結(jié)果并不準(zhǔn)確。本申請(qǐng)實(shí)施例增加了景深（或者稱(chēng)深度數(shù) 據(jù)），通過(guò)使用RGBD數(shù)據(jù)還原了真實(shí)世界各事物的幾何結(jié)構(gòu)，可以準(zhǔn)確的計(jì)算出被測(cè)對(duì)象 的真實(shí)所在位置，進(jìn)而準(zhǔn)確的確定出被測(cè)對(duì)象之間的位置關(guān)系，排除真實(shí)區(qū)域前面或后面 的物體導(dǎo)致誤判的情況，確保檢測(cè)得到的結(jié)果更加精準(zhǔn)。
[0048] 實(shí)施中，所述將所述視頻圖像中的二維坐標(biāo)轉(zhuǎn)換為物理世界中的三維坐標(biāo)，具體 可以為：
[0049] 根據(jù)所述視頻圖像image坐標(biāo)系與所述攝像頭camera坐標(biāo)系的轉(zhuǎn)換關(guān)系、以及所 述camera坐標(biāo)系與所述地面floor坐標(biāo)系的轉(zhuǎn)換關(guān)系，將所述image坐標(biāo)系的坐標(biāo)轉(zhuǎn)換為 所述floor坐標(biāo)系的坐標(biāo)；
[0050] 其中，所述image坐標(biāo)系為預(yù)先建立的以所述視頻圖像的頂點(diǎn)為原點(diǎn)、以與所述 頂點(diǎn)相鄰的兩邊為坐標(biāo)軸的坐標(biāo)系；所述camera坐標(biāo)系為預(yù)先建立的以camera所在位置 為原點(diǎn)、與所述視頻畫(huà)面水平方向平行的方向?yàn)閄軸、與所述視頻畫(huà)面堅(jiān)直方向平行的方 向?yàn)閥軸、光軸方向?yàn)閆軸的坐標(biāo)系；所述floor坐標(biāo)系為預(yù)先建立的以物理地面為XoY平 面、以所述camera坐標(biāo)系原點(diǎn)到地面所在平面XoY的投影為原點(diǎn)的坐標(biāo)系。
[0051] 本申請(qǐng)實(shí)施例預(yù)先建立了三種坐標(biāo)系，并預(yù)先得到所述image坐標(biāo)系與所述 camera坐標(biāo)系、所述camera坐標(biāo)系與所述floor坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，從而可以通過(guò)坐 標(biāo)系的轉(zhuǎn)換，將視頻圖像中像素的坐標(biāo)值轉(zhuǎn)換為真實(shí)世界中的實(shí)際坐標(biāo)值，由于視頻圖像 是二維平面的，而真實(shí)的物理世界是三維空間的，增加了深度信息（也即，物體距離攝像頭 的遠(yuǎn)近），因此，通過(guò)這種坐標(biāo)轉(zhuǎn)換后得到的坐標(biāo)更加符合真實(shí)場(chǎng)景。
[0052] 本申請(qǐng)實(shí)施例中，僅是提供了一種坐標(biāo)轉(zhuǎn)換的方式，在具體實(shí)施時(shí)還可以采用其 他的轉(zhuǎn)換方式，例如建立其他類(lèi)型的坐標(biāo)系進(jìn)行轉(zhuǎn)換等。從實(shí)踐角度來(lái)看，采用本申請(qǐng)實(shí)施 例所提供的坐標(biāo)轉(zhuǎn)換方式，得到的數(shù)據(jù)更加準(zhǔn)確、符合真實(shí)場(chǎng)景。
[0053] 另外，本申請(qǐng)實(shí)施例是通過(guò)camera坐標(biāo)系作為中轉(zhuǎn)，將image坐標(biāo)系轉(zhuǎn)換為 camera坐標(biāo)系后，再由camera坐標(biāo)系轉(zhuǎn)換為floor坐標(biāo)系，在具體實(shí)施時(shí)，也可以直接將 image坐標(biāo)系轉(zhuǎn)換為floor坐標(biāo)系，實(shí)現(xiàn)原理與本申請(qǐng)實(shí)施例相類(lèi)似，本領(lǐng)域技術(shù)人員只需 要進(jìn)行簡(jiǎn)單的數(shù)據(jù)計(jì)算就可以實(shí)現(xiàn)。很顯然，這種方式只是對(duì)本申請(qǐng)實(shí)施例所提供的公式 進(jìn)行簡(jiǎn)單計(jì)算、疊加，也應(yīng)該在本申請(qǐng)的保護(hù)范圍之內(nèi)。
[0054] 實(shí)施中，所述image坐標(biāo)系轉(zhuǎn)換為所述camera坐標(biāo)系，具體可以為：
[0055] 確定所述image坐標(biāo)系的像素位置，所述像素位置=(xinage，y inage);
[0056] 根據(jù)所述像素位置確定所述像素位置的深度值depth_value ;
[0057] 根據(jù)以下轉(zhuǎn)換公式確定所述image坐標(biāo)系與所述camera坐標(biāo)系的轉(zhuǎn)換關(guān)系：
[0058] xCamera= camera_param. xzFactor*(x iniage/camera_param. resolution_ X_0. 5)*depth_value ;
[0059] ycanera= camera_param. yzFactor*(0. 5-y iniage/camera_param. resolution_ Y)*depth_value ；
[0060] Zcanera= depth_value ；
[0061] 其中，Xcamel^ycamera Zcamer^lj為所述 camera 坐標(biāo)系中 x、y、z 軸的坐標(biāo)值,camera_ param. resolution_X、camera_param. resolution_Y分別為所述視頻畫(huà)面水平方向、垂直方 向的像素?cái)?shù)，camera_param. xzFactor、camera_param. yzFactor 分另Ij為修正因子。
[0062] 本申請(qǐng)實(shí)施例中，可以先確定image坐標(biāo)系中每個(gè)像素點(diǎn)的位置（也即，坐標(biāo)值）， 由于image坐標(biāo)系為二維坐標(biāo)，像素位置=(x inage，yinage)。在確定像素位置后，可以根據(jù)現(xiàn) 有的深度傳感器、深度攝像頭等自帶功能得到該像素位置的深度值cbpth_val Ue，也即，該 像素位置到攝像頭的距離。最終，可以根據(jù)轉(zhuǎn)換公式將所述image坐標(biāo)系的（X_ ge，y_ge) 轉(zhuǎn)換為所述camera坐標(biāo)系的（x_CTa, yramCTa, zramCTa),轉(zhuǎn)換公式可以為：
[0063] xCamera= camera_param. xzFactor*(x iniage/camera_param. resolution_ X_0. 5)*depth_value ;
[0064] ycamera= camera_param. yzFactor* (0· 5_y image/camera_param. resolution- Y)*depth_value ；
[0065] Zcanera= depth_value ；