監(jiān)視方法和攝像的制造方法
【專利摘要】本申請公開監(jiān)視方法和攝像機(jī)。一種通過攝像機(jī)(7)監(jiān)視場景的方法包括以具有預(yù)限定的譜成分和空間驗(yàn)證圖案的光標(biāo)記該場景的一部分(14)。通過對預(yù)限定的譜成分敏感的傳感器,拍攝該場景的分析圖像?;陬A(yù)限定的譜成分,對該分析圖像進(jìn)行劃分,以發(fā)現(xiàn)候選圖像區(qū)。在該候選圖像區(qū)中檢測空間圖案,并且將所檢測的空間圖案的特性與該空間驗(yàn)證圖案的相應(yīng)特性相比較。如果所檢測的空間圖像的特性與該空間驗(yàn)證圖案的特性匹配,則將該候選圖像區(qū)識別為與該場景的標(biāo)記部分(14)對應(yīng)的驗(yàn)證圖像區(qū)。獲得表示該場景的圖像數(shù)據(jù),以及以第一方式處理對應(yīng)于該經(jīng)驗(yàn)證的圖像區(qū)的圖像數(shù)據(jù),并且以第二方式處理剩余的圖像數(shù)據(jù)。
【專利說明】監(jiān)視方法和攝像機(jī)
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及攝像機(jī)和監(jiān)視場景的方法。
【背景技術(shù)】
[0002] 攝像機(jī)在室內(nèi)和室外的許多不同應(yīng)用中用來監(jiān)視多種環(huán)境。在特定情境中,可能 需要將所拍攝的圖像的一部分與另一部分不同地對待,如當(dāng)監(jiān)視具有窗的建筑物并且需要 避免透過窗監(jiān)視建筑物內(nèi)部時(shí)。在這種情況中,通過在圖形用戶界面中標(biāo)記圖像上待遮蓋 的窗,可以限定隱私遮罩(privacy mask)。對于能夠遙攝、傾斜和/或縮放的攝像機(jī)而言, 可以在PTZ坐標(biāo)系中限定隱私遮罩。
[0003] 需要標(biāo)記圖像的一部分的另一示例是在攝像機(jī)應(yīng)當(dāng)僅檢測圖像的被選擇區(qū)域中 的運(yùn)動(dòng)并忽略圖像剩余部分中的任何活動(dòng)的情境中。這通常是由操作者通過例如在用戶界 面中對圖像區(qū)域進(jìn)行標(biāo)記來選擇圖像的哪部分,例如較高的部分或較低的部分,應(yīng)當(dāng)從運(yùn) 動(dòng)檢測中去除來解決。
[0004] 然而,該區(qū)域中的改進(jìn)仍受關(guān)注。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明的目的是提供一種選擇圖像的一部分進(jìn)行特定類型處理的改進(jìn)方式。
[0006] 根據(jù)本發(fā)明的第一方面,一種由攝像機(jī)監(jiān)視場景的方法包括以下步驟:
[0007] 以具有預(yù)限定的譜成分和空間驗(yàn)證圖案的光,標(biāo)記所述場景的一部分;
[0008] 通過對所述預(yù)限定的譜成分敏感的傳感器,拍攝所述場景的分析圖像;
[0009] 基于所述預(yù)限定的譜成分,對所述分析圖像進(jìn)行劃分,以發(fā)現(xiàn)候選圖像區(qū);
[0010] 檢測所述候選圖像區(qū)中的空間圖案;
[0011] 將所檢測的空間圖案的特性與所述空間驗(yàn)證圖案的對應(yīng)特性相比較,并且如果二 者匹配,則
[0012] 將所述候選圖像區(qū)識別為與所述場景的被標(biāo)記部分對應(yīng)的經(jīng)驗(yàn)證的圖像區(qū),
[0013] 獲得表示所述場景的圖像數(shù)據(jù),以及
[0014] 以第一方式處理與經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù),以及以第二方式處理剩余圖 像數(shù)據(jù)。
[0015] 以此方式,有可能以靈活且簡單的、還可抵抗篡改的方式限定圖像的區(qū)域,在該區(qū) 域中應(yīng)當(dāng)與該圖像的剩余部分不同地處理圖像數(shù)據(jù)。該方法提供相對于如通過在用戶界面 中選擇圖像部分標(biāo)記圖像的一部分的現(xiàn)有技術(shù)方式至少一種顯著區(qū)別--根據(jù)本發(fā)明的 方法的標(biāo)記作為替代本質(zhì)上是物理地在該場景中限定的。因此,其提供更靈活的標(biāo)記區(qū)限 定,因?yàn)榭梢酝ㄟ^例如在該場景中的適當(dāng)位置安裝光源而考慮深度參數(shù)。
[0016] 該方法例如在如下情景中是有用的:想要隱藏位于距攝像機(jī)某一距離處的場景的 一部分(如商店內(nèi)部),同時(shí)允許攝像機(jī)看到發(fā)生在所標(biāo)記的部分和攝像機(jī)之間(即商店外 部區(qū)域)的事情。實(shí)際上,這可例如通過在商店入口門處安裝光源來實(shí)現(xiàn)。
[0017] 在使用標(biāo)記生成隱私遮罩的情境中,空間驗(yàn)證圖案降低所創(chuàng)建的場景的"錯(cuò)誤"標(biāo) 記的風(fēng)險(xiǎn),如在闖入者想要嘗試遮蓋該圖像的一部分來隱藏他的行動(dòng)的情況中。即便闖入 者想要使用具有正確譜成分的火炬光來嘗試創(chuàng)建非操作者限定的隱私,他復(fù)制空間驗(yàn)證圖 案也會是十分困難的。
[0018] 該圖像數(shù)據(jù)可以從分析圖像中獲得,或者作為替代,該方法可以進(jìn)一步包括通過 對所述預(yù)限定的譜成分不敏感的傳感器拍攝監(jiān)視圖像并且從該監(jiān)視圖像中獲得圖像數(shù)據(jù) 的步驟。后者的替代辦法在不希望在向用戶示出的圖像中包括該預(yù)限定的譜成分時(shí)是有用 的。
[0019] 所述方法可以進(jìn)一步包括:根據(jù)時(shí)間調(diào)制序列在至少第一空間驗(yàn)證圖案和第二空 間驗(yàn)證圖案之間調(diào)制空間驗(yàn)證圖案的步驟,以及利用所述第一空間驗(yàn)證圖案和所述第二空 間驗(yàn)證圖案中的相應(yīng)一個(gè)根據(jù)所述時(shí)間調(diào)制序列重復(fù)標(biāo)記步驟、拍攝步驟、劃分步驟、檢測 步驟和比較步驟的步驟。
[0020] 這還有助于提高安全性、降低篡改的風(fēng)險(xiǎn)以及降低攝像機(jī)將場景的非標(biāo)記區(qū)錯(cuò)當(dāng) 成標(biāo)記區(qū)或者將場景的標(biāo)記區(qū)錯(cuò)當(dāng)成非標(biāo)記區(qū)的風(fēng)險(xiǎn)。
[0021] 所檢測的空間圖案的特性可以是所檢測的圖案的空間頻率與前面檢測的圖案的 空間頻率之間的比率,并且所述空間驗(yàn)證圖案的特性可以是所述第一空間驗(yàn)證圖案的空間 頻率與所述第二空間驗(yàn)證圖案的空間頻率之間的比率。這提高所述方法的魯棒性和效率, 并且使得可能比較候選圖像區(qū)中的圖像的較小片。其還解決場景中的對象上的空間圖案依 據(jù)它們距監(jiān)視攝像機(jī)和光源的距離而似乎看上去不同的潛在問題。
[0022] 所述時(shí)間調(diào)制序列可以基于偽隨機(jī)序列生成,以更加進(jìn)一步以簡單有效的方式增 強(qiáng)該方法的安全性。
[0023] 所述空間驗(yàn)證圖案可以是與一個(gè)或多個(gè)攝像機(jī)關(guān)聯(lián)的簽章圖案。以此方式,用于 監(jiān)視用途的攝像機(jī)可以具有為該特定攝像機(jī)設(shè)定的光源,并且該攝像機(jī)被配置為僅以第一 方式處理場景中用該攝像機(jī)的特定簽章圖案標(biāo)記的那些區(qū)域。這進(jìn)一步增強(qiáng)安全性,尤其 當(dāng)標(biāo)記用于隱私遮罩用途時(shí)。
[0024] 擔(dān)當(dāng)用于多于一個(gè)攝像機(jī)的簽章圖案的空間驗(yàn)證圖案在設(shè)置一組攝像機(jī)來監(jiān)視 相同場景并且應(yīng)當(dāng)對所有攝像機(jī)標(biāo)記該場景的相同部分的情境中是有用的。在此情況中, 與操作者通過在每個(gè)攝像機(jī)的視場中限定坐標(biāo)來為每個(gè)單獨(dú)的攝像機(jī)限定場景的被標(biāo)記 部分的情況相比,向攝像機(jī)通知該場景的被標(biāo)記部分所需的時(shí)間也會縮短。
[0025] 第一處理方式可以包括例如通過模糊或替換來隱藏與經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖 像數(shù)據(jù)使其不被顯示,從而為該場景的被標(biāo)記部分提供隱私遮罩。如上面提到的,這在例如 當(dāng)想要隱藏商店內(nèi)部同時(shí)允許監(jiān)視外部時(shí)是有用的。作為替代,第二處理方式可以包括例 如通過灰化或替換來隱藏剩余圖像數(shù)據(jù)使其不被顯示,從而僅顯示場景的被標(biāo)記部分。這 在想要僅監(jiān)視位于攝像機(jī)附近的對象(如從ATM取款的人或者附近的任何人)同時(shí)忽略周圍 環(huán)境時(shí)是有用的。
[0026] 所存儲的背景圖像可以用于替換。這通過提供容易地識別關(guān)注對象的位置的圖 像,向操作者提供用戶友好的體驗(yàn)。
[0027] 所述第一處理方式可以包括在向運(yùn)動(dòng)檢測單元的輸入中包括對應(yīng)于經(jīng)驗(yàn)證的圖 像區(qū)的圖像數(shù)據(jù),并且所述第二處理方式可以包括從向所述運(yùn)動(dòng)檢測單元的輸入中排除剩 余圖像數(shù)據(jù)。
[0028] 作為替代,所述第二處理方式可以包括在向運(yùn)動(dòng)檢測單元的輸入中包括剩余圖像 數(shù)據(jù),并且所述第一處理方式可以包括從向所述運(yùn)動(dòng)檢測單元的輸入中排除與經(jīng)驗(yàn)證的圖 像區(qū)對應(yīng)的圖像數(shù)據(jù)。
[0029] 所述第一處理方式可以包括在向被布置為檢測或識別人、動(dòng)物、車輛、牌照、文本 信息或可視信息或其它對象類型的對象檢測單元的輸入中包括對應(yīng)于經(jīng)驗(yàn)證的圖像區(qū)的 圖像數(shù)據(jù),并且所述第二處理方式可以包括從對所述對象檢測單元的輸入中排除剩余圖像 數(shù)據(jù),或者所述第二處理方式可以包括在向被布置為檢測或識別人、動(dòng)物、車輛、號牌、文本 或可視信息或其它對象類型的對象檢測單元的輸入中包括剩余圖像數(shù)據(jù),并且所述第一處 理方式可以包括從向所述對象檢測單元的輸入中排除對應(yīng)于經(jīng)驗(yàn)證的圖像區(qū)的圖像數(shù)據(jù)。
[0030] 所有這些替代方案共同地或單獨(dú)地提供將監(jiān)視適應(yīng)于以簡單靈活的方式監(jiān)視的 場景的細(xì)節(jié)。
[0031 ] 所述第一處理方式可以包括以第一壓縮率壓縮表示經(jīng)驗(yàn)證的圖像區(qū)的圖像數(shù)據(jù), 并且所述第二處理方式可以包括以第二壓縮率壓縮剩余圖像數(shù)據(jù),其中所述第一壓縮率不 同于所述第二壓縮率。
[0032] 以此方式,通過以較高壓縮率傳輸或保存被認(rèn)為不太關(guān)注的圖像的那些部分是可 能的。
[0033] 根據(jù)本發(fā)明的第二方面,一種被布置為監(jiān)視場景的攝像機(jī)包括:
[0034] 傳感器,被布置為檢測預(yù)限定的譜成分并且拍攝場景的分析圖像;
[0035] 圖像處理單元,被布置為:
[0036] 基于所述預(yù)限定的譜成分,對所述分析圖像進(jìn)行劃分,以發(fā)現(xiàn)候選圖像區(qū),
[0037] 檢測所述候選圖像區(qū)中的空間圖案,
[0038] 將所檢測的空間圖案的特性與空間驗(yàn)證圖案的對應(yīng)特性相比較,并且如果二者匹 配,則
[0039] 將所述候選區(qū)識別為與所述場景的被標(biāo)記部分對應(yīng)的經(jīng)驗(yàn)證的圖像區(qū),
[0040] 獲得表示所述場景的圖像數(shù)據(jù),
[0041] 以第一方式處理與經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù),以及以第二方式處理剩余圖 像數(shù)據(jù)。
[0042] 所述傳感器可以包括對具有所述預(yù)限定的譜成分的光敏感的第一組傳感器元件 和對具有所述預(yù)限定的譜成分的光不敏感的第二組傳感器元件。
[0043] 根據(jù)本發(fā)明的第三方面,一種用于監(jiān)視場景的攝像機(jī)系統(tǒng)包括光源和如上面所述 的攝像機(jī),所述光源被配置為以具有預(yù)限定的譜成分和空間驗(yàn)證圖案來標(biāo)記所述場景的一 部分。
[0044] 所述攝像機(jī)系統(tǒng)可以進(jìn)一步包括時(shí)間調(diào)制器,該時(shí)間調(diào)制器被布置為生成時(shí)間調(diào) 制序列,并且以同步的方式向照明單元和所述攝像機(jī)傳輸所述時(shí)間調(diào)制序列。
[0045] 根據(jù)本發(fā)明的第四方面,提供一種計(jì)算機(jī)可讀記錄介質(zhì),在該計(jì)算機(jī)可讀記錄介 質(zhì)上記錄了程序,該程序用于在該程序在具有處理能力的設(shè)備上運(yùn)行時(shí)實(shí)現(xiàn)本文描述的方 法。
[0046] 本發(fā)明的這些后面的方面提供與本發(fā)明的第一方面對應(yīng)的優(yōu)勢。
[0047] 本發(fā)明的適用性的更廣范圍將從下面提供的【具體實(shí)施方式】中變得清楚。然而,應(yīng) 當(dāng)理解,盡管【具體實(shí)施方式】和特定示例表示本發(fā)明的優(yōu)選實(shí)施例,然而【具體實(shí)施方式】和特 定示例僅是作為說明提供的,因?yàn)樵诒景l(fā)明的范圍內(nèi)的各種變化和改變將從該具體實(shí)施方 式中變得對本領(lǐng)域技術(shù)人員清楚。
[0048] 因此,應(yīng)當(dāng)理解,本發(fā)明不局限于所描述的設(shè)備的特定組成部件或者所描述的方 法的步驟,因?yàn)樵撛O(shè)備和方法可以改變。還應(yīng)當(dāng)理解,本文使用的術(shù)語僅是用于描述具體實(shí) 施例,而不旨在作為限制。必須注意,當(dāng)冠詞"一"、"該"和"所述"在說明書和所附權(quán)利要求 書中使用時(shí),其旨在表示存在這些元素中的一個(gè)或多個(gè),除非上下文清楚地表示別的含義。 因此,例如,對"區(qū)域"或"該區(qū)域"的引用可以包括數(shù)個(gè)區(qū)域等。此外,詞語"包括"不排除 其它要素或步驟。
【專利附圖】
【附圖說明】
[0049] 現(xiàn)在將對照所附示意圖通過示例更詳細(xì)地描述本發(fā)明,其中:
[0050] 圖1圖示攝像機(jī)正在監(jiān)視場景的情境。
[0051] 圖2圖示攝像機(jī)正在監(jiān)視場景的另一情境。
[0052] 圖3圖示根據(jù)本發(fā)明的方法。
[0053] 圖4示意性示出攝像機(jī)。
【具體實(shí)施方式】
[0054] 圖1和圖2圖示可以使用所發(fā)明的方法和裝置的兩個(gè)例示性情境。圖1示出具有 大窗3和通向街道的玻璃門5的建筑物1。建筑物1可以例如提供通過玻璃門5進(jìn)入的商 店,并且路過的人可以透過玻璃門5和窗3看到該商店內(nèi)部。
[0055] 為了提高該房屋在關(guān)門時(shí)間的安全性,包括攝像機(jī)7的攝像機(jī)系統(tǒng)6正在監(jiān)視建 筑物1的外部,使得例如可以發(fā)現(xiàn)并停止闖入嘗試。然而,不需要通過攝像機(jī)7觀察商店的 內(nèi)部,這既出于隱私原因,也為了減少所需的圖像處理和視頻存儲的量。這可通過在所拍攝 的圖像上覆蓋隱私遮罩來解決,隱私遮罩覆蓋圖像的描繪門5和窗3的區(qū)域。
[0056] 隱私遮罩是圖像的被模糊或被灰化或者以某種方式不向用戶顯示的區(qū)域。然而, 正如本發(fā)明的發(fā)明人已經(jīng)認(rèn)識到的,當(dāng)在攝像機(jī)7和待覆蓋的實(shí)際區(qū)域(如窗)之間的區(qū)域 中存在關(guān)注對象9時(shí),這可能造成問題。一個(gè)示例是當(dāng)需要向背景中的區(qū)域添加隱私遮罩 而不覆蓋前景的任何部分時(shí)。當(dāng)通過在用戶界面中標(biāo)記從攝像機(jī)接收的圖像的特定區(qū)域來 在該圖像中限定隱私遮罩時(shí),這是困難的。
[0057] 當(dāng)商店主需要監(jiān)視商店內(nèi)的區(qū)域但沒有監(jiān)視商店外部區(qū)域的許可時(shí),類似情境發(fā) 生。因此,通過商店窗和門對外界環(huán)境的觀察需要通過攝像機(jī)的視頻中的隱私遮罩進(jìn)行遮 蓋。然而,仍可能存在商店中位于監(jiān)視攝像機(jī)和門或窗之間以及在攝像機(jī)的視頻中應(yīng)當(dāng)可 用于觀察的關(guān)注部分。
[0058] 為了解決這些問題,發(fā)明人已經(jīng)設(shè)計(jì)一種方式來物理地標(biāo)記場景的一部分,即本 質(zhì)上在場景內(nèi),并且使用標(biāo)記作為例如隱私遮罩的基礎(chǔ)。這通過用具有預(yù)限定特性的光,更 具體地用具有預(yù)限定的譜成分和空間驗(yàn)證圖案的光,照亮場景的相關(guān)部分來實(shí)現(xiàn)。
[0059] 在本文中,譜成分應(yīng)當(dāng)被解釋為光的波長的特定間隔,例如具有850nm附近的間 隔(如750nm-1000nm間隔)波長的近紅外光NIR。另一示例是紫外光UV,例如具有200nm附 近波長的紫外光。該光可以是人眼可見或不可見的。
[0060] 光根據(jù)空間驗(yàn)證圖案發(fā)射,該空間驗(yàn)證圖案可以包括類棋盤圖案、點(diǎn)、線等,線可 以具有規(guī)定的空間頻率,即每個(gè)長度單位線的數(shù)量??臻g驗(yàn)證圖案可以由不同特性表征,例 如由空間頻率、線寬度或者線寬度和線之間的距離的比率來表征。如果要比較兩個(gè)圖案,則 可以生成每個(gè)圖案的這種特性并用于比較。兩個(gè)圖案的特性之間的比較可以以多種不同的 方式發(fā)生,并且該特性可以是全部圖案本身或者圖案的多個(gè)部分。
[0061] 光由攝像機(jī)系統(tǒng)6中包括的一個(gè)或多個(gè)光源11提供。在圖1中,光源11被安裝 來照亮門5和窗3。依據(jù)場景和使用情況,光源11可以相對于場景和攝像機(jī)位于不同位置。 光源11可以例如位于攝像機(jī)7上或攝像機(jī)7附近,或者其可以位于靠近場景的應(yīng)當(dāng)被標(biāo)記 的那部分。
[0062] 如圖4更詳細(xì)地示出的,攝像機(jī)7包括圖像處理單元10。圖像處理單元10被配置 為識別由光源9提供的光的特性。圖像處理單元10還可以位于別處,如位于從攝像機(jī)接收 視頻的視頻編碼器或服務(wù)器中。
[0063] 攝像機(jī)通過傳感器12拍攝圖像。關(guān)于本文描述的方法,基本存在兩個(gè)用于圖像拍 攝的主要選項(xiàng)。同一個(gè)圖像即可出于發(fā)現(xiàn)與場景的被標(biāo)記部分對應(yīng)的圖像區(qū)的目的而用于 分析,也可用于顯示給用戶,或者可以使用兩個(gè)圖像,一個(gè)僅用于分析目的,一個(gè)是"正常" 圖像。在本文中,"正常"應(yīng)當(dāng)被理解為以通常由用戶觀看的方式描繪場景的圖像。
[0064] 在本申請的上下文中,用于分析目的的圖像被表示為分析圖像,用于向用戶顯示 的圖像被表示為監(jiān)視圖像。在第一種情況中,僅拍攝一種圖像,術(shù)語"分析圖像"和"監(jiān)視圖 像"就指同一個(gè)圖像。
[0065] 在拍攝兩種圖像的情況中,傳感器12可以依次包括第一組傳感器元件和第二組 傳感器元件,第一組傳感器元件對來自光源11的光的預(yù)限定的譜成分是敏感的并且從而 拍攝分析圖像,第二組傳感器元件對相同的譜成分是不敏感的,因此拍攝上面描述的監(jiān)視 圖像。這還可被視作該攝像機(jī)包括兩個(gè)傳感器,一個(gè)傳感器包括第一組傳感器元件,一個(gè)傳 感器包括第二組傳感器元件。
[0066] 第一組中的傳感器元件可以散置在第二組傳感器之間,或者這兩個(gè)組可以放置在 兩個(gè)分離的物理位置。這兩個(gè)傳感器元件組可以例如位于優(yōu)選地彼此靠近安裝的兩個(gè)分離 的攝像機(jī)中。
[0067] 實(shí)現(xiàn)第一組傳感器元件和第二組傳感器元件的一種方式是通過允許預(yù)限定譜成 分的光通過但可以移除頻譜的其它部分的一個(gè)或多個(gè)過濾器過濾到達(dá)第一組傳感器元件 的光,并且通過僅移除具有預(yù)限定譜成分的光的一個(gè)或多個(gè)過濾器過濾到達(dá)第二組傳感器 兀件的光。
[0068] 作為另一替代,可以提供可以被開啟和被關(guān)閉的過濾器,以濾除預(yù)限定的譜成分, 即來自光源11的光,從而允許攝像機(jī)7交替地拍攝包含該譜成分和不包含該譜成分的圖 像。
[0069] 所有這些選項(xiàng)會允許攝像機(jī)拍攝包含預(yù)限定譜成分的光的第一類圖像以及不包 含該譜成分的第二類圖像,即場景的標(biāo)記不可見的"正常"圖像。
[0070] 附加地,通過控制光源11開啟和關(guān)閉來使能夠拍攝參考圖像,可以進(jìn)一步提高分 析圖像的質(zhì)量,而不包含來自光源的標(biāo)記。然后,可以從第一類圖像中減去該參考圖像,以 給出所檢測空間圖案的更清晰圖片。為了使攝像機(jī)知道何時(shí)光開啟以及何時(shí)光關(guān)閉,光源 可以向攝像機(jī)通知場景的當(dāng)前標(biāo)記,或者作為替代,光源和攝像機(jī)都可以從另一實(shí)體接收 該信息,然后光源將根據(jù)該接收到的信息被控制。作為第三替代,攝像機(jī)可以生成該信息并 且將對應(yīng)的指令發(fā)送至光源。
[0071] 當(dāng)已經(jīng)拍攝分析圖像時(shí),由圖像處理單元10基于預(yù)限定的譜成分對圖像進(jìn)行劃 分,以查找包含預(yù)限定的空間成分的任何區(qū)域。所發(fā)現(xiàn)的區(qū)域被表示為候選圖像區(qū)。術(shù)語 "候選"用來強(qiáng)調(diào)在該點(diǎn)所發(fā)現(xiàn)的圖像區(qū)是否對應(yīng)于來自光源的光是不確定的,這因?yàn)槿缜?面描述的具有預(yù)限定的譜成分的光可能具有與光源11不同的其它起始點(diǎn)。
[0072] 然后,檢測候選圖像區(qū)的空間圖案,并且如前面描述的,將所發(fā)現(xiàn)的空間圖案的特 性與光源的空間驗(yàn)證圖案的對應(yīng)特性進(jìn)行比較。在匹配的情況下,將該候選圖像區(qū)識別為 與場景的標(biāo)記部分對應(yīng)的經(jīng)驗(yàn)證的圖像區(qū)。
[0073] 然后,該經(jīng)驗(yàn)證的圖像區(qū)的位置或坐標(biāo)用來將監(jiān)視圖像的圖像數(shù)據(jù)(該監(jiān)視圖像 或者與分析圖像相同或者是分離地拍攝的圖像)分成與該場景的標(biāo)記部分對應(yīng)的并且以第 一方式處理的圖像數(shù)據(jù),以及剩余圖像數(shù)據(jù),即不與該場景的標(biāo)記部分對應(yīng)的并且以第二 方式處理的圖像數(shù)據(jù)。
[0074] 然后,在第一圖像處理方式和第二圖像處理方式已經(jīng)發(fā)生以后,將監(jiān)視圖像呈現(xiàn) 給用戶。
[0075] 可以注意,對于拍攝分離的監(jiān)視圖像的情況,分析圖像和監(jiān)視圖像通常使用相同 的坐標(biāo)系統(tǒng),這使得容易地發(fā)現(xiàn)監(jiān)視圖像中的正確圖像是可能的。如果需要將這兩組傳感 器元件進(jìn)一步彼此分離,則圖像區(qū)的坐標(biāo)系會從分析圖像變換至監(jiān)視圖像。
[0076] 現(xiàn)在返回所圖示的示例,因此當(dāng)發(fā)現(xiàn)對應(yīng)于場景的標(biāo)記部分14的圖像的經(jīng)驗(yàn)證 的圖像區(qū)(即由光源11照亮的場景的部分)時(shí),圖像處理單元10將與剩余圖像不同地對待 該圖像區(qū)。在該特定示例中,該圖像區(qū)將被模糊或灰化,以向該圖像的描繪場景的被照亮部 分的那些部分提供隱私遮罩。注意,在此情況中,正好站在門5外(即位于攝像機(jī)7和玻璃 門5之間)的對象9將不被該隱私遮罩覆蓋,因?yàn)槠洳槐粊碜怨庠?1的光照亮。
[0077] 在圖2中,圖示另一情境,其中光源11用來為攝像機(jī)7標(biāo)記場景的一部分。在該示 例中,攝像機(jī)7安裝在ATM13處,并且目的是監(jiān)視緊靠 ATM的對象,典型地呈取款的人的形 式的對象15。緊靠 ATM13外側(cè)的對象,如呈汽車形式的對象17,不應(yīng)當(dāng)被監(jiān)視。為此目的, 光源11在ATM13的正前方的區(qū)域提供具有特定譜成分和特定空間驗(yàn)證圖案的光,這意味著 該區(qū)域中的任何對象將被來自光源11的光標(biāo)記。然后,該標(biāo)記被用來選擇由攝像機(jī)7拍攝 的圖像的對應(yīng)區(qū)域去進(jìn)行特定類型的處理,在此情況中應(yīng)向操作者顯示。圖像的剩余部分 應(yīng)當(dāng)被忽略并且可被灰化,被模糊或者被靜態(tài)圖像,如靜態(tài)的或預(yù)存儲的背景圖像代替。
[0078] 與圖2所示的情境相對的情境可在裝備有視頻監(jiān)視器商店或者在賓館前臺處以 及可能想要避免拍攝柜臺處的員工的位置發(fā)生。在此情況中,將光源設(shè)置為照亮員工通常 出現(xiàn)的區(qū)域,并且使該場景的標(biāo)記部分被灰化來提供覆蓋該區(qū)域的隱私遮罩。
[0079] 可以注意,當(dāng)在本發(fā)明的實(shí)施例的上下文中提及"圖像區(qū)"或"該圖像區(qū)"時(shí),這實(shí) 際上應(yīng)當(dāng)被解釋為包含該圖像的一個(gè)或多個(gè)區(qū)域,換句話說,當(dāng)提及"圖像的區(qū)域"時(shí),這或 者意指一個(gè)單獨(dú)的相鄰像素組或者意指數(shù)個(gè)不連接的相鄰像素組。當(dāng)后者可能發(fā)生時(shí)的示 例是,當(dāng)兩個(gè)對象(人)靠近圖2所示情境中的攝像機(jī)站立,并且這兩個(gè)對象都被來自光源的 光照亮?xí)r。然后,這兩個(gè)對象可以被視作由光標(biāo)記的兩個(gè)分離的像素組。這兩個(gè)組仍然被 稱作"圖像區(qū)"或"該圖像區(qū)"。另一示例是,當(dāng)使用多于一個(gè)光源來以具有相同特性的光標(biāo) 記該場景的不同部分時(shí)。這通常也將生成該圖像中兩個(gè)分離的像素組,這兩個(gè)分離的像素 組都被識別為對應(yīng)于該場景的標(biāo)記部分,但是在本申請的上下文中,它們?nèi)詫⒈环Q為一個(gè) 圖像區(qū)??梢宰⒁?,任何推理也適用于術(shù)語"場景的標(biāo)記部分",因?yàn)檫@可以包括多于一個(gè)這 樣的標(biāo)記部分。
[0080] 由于光具有都被圖像處理單元識別的預(yù)限定的譜成分和空間驗(yàn)證圖案的事實(shí),某 人有意地或無意地通過將光照射在被監(jiān)視場景的一部分上生成該場景的一部分的"錯(cuò)誤" 標(biāo)記,是困難得多的。即便特定譜成分有可能復(fù)制,例如通過找到具有相同波長范圍的光 源,但是空間圖案重現(xiàn)起來難得多。當(dāng)比較空間圖案時(shí),驗(yàn)證步驟也消除或者至少減少可能 發(fā)生的其它問題,例如在白天使用紅外光或近紅外光標(biāo)記的情況中,當(dāng)日光還包含具有該 特定譜成分的光時(shí),或者在夜間結(jié)合規(guī)則的基于IR照明單元使用該標(biāo)記時(shí)。
[0081] 該空間驗(yàn)證圖案可以是與特定攝像機(jī)關(guān)聯(lián)的簽章圖案,并且攝像機(jī)可以接著例如 在生產(chǎn)期間被預(yù)設(shè),來識別特定簽章圖案或者這種圖案的特性??臻g驗(yàn)證圖案還可以是與 監(jiān)視相同場景的一組攝像機(jī)關(guān)聯(lián)的聯(lián)合簽章圖案。當(dāng)設(shè)置數(shù)個(gè)攝像機(jī)來從不同角度監(jiān)視同 一個(gè)場景時(shí),這可能是有用的,此時(shí)該場景的部分應(yīng)當(dāng)由隱私遮罩覆蓋,如如果應(yīng)當(dāng)將第二 攝像機(jī)添加至圖1所示的設(shè)置,并且該商店的內(nèi)部應(yīng)當(dāng)對這兩個(gè)攝像機(jī)的視野隱藏。
[0082] 還可在有具有相同特性的數(shù)個(gè)光源的配置設(shè)備中提供攝像機(jī)或一組攝像機(jī)。作為 另一替代,可設(shè)置一個(gè)或多個(gè)攝像機(jī)來識別來自數(shù)個(gè)不同光源的光特性,使得一個(gè)光源用 來標(biāo)記該場景的攝像機(jī)應(yīng)當(dāng)忽視運(yùn)動(dòng)的部分,另一光源用來標(biāo)記該場景的一部分來為該場 景的那個(gè)部分創(chuàng)建隱私遮罩。
[0083] 為了更進(jìn)一步降低生成錯(cuò)誤標(biāo)記的風(fēng)險(xiǎn),可向光中添加時(shí)間圖案。這是通過根據(jù) 設(shè)置方案對光進(jìn)行時(shí)間上的調(diào)制或改變來實(shí)現(xiàn),其可由時(shí)間調(diào)制序列表示。這種時(shí)間調(diào)制 序列可以例如基于偽隨機(jī)序列生成。時(shí)間調(diào)制序列可以例如包括通過打開光源和關(guān)閉光源 根據(jù)預(yù)確定的方案改變光的強(qiáng)度,或者其可包括在至少第一空間驗(yàn)證圖案和第二空間驗(yàn)證 圖案之間改變的空間驗(yàn)證圖案。第一空間驗(yàn)證圖案和第二空間驗(yàn)證圖案之間的圖案改變或 變換可以通過在光源中包括空間光調(diào)制器實(shí)現(xiàn)。這種空間光調(diào)制器可以包括用于提供多于 一個(gè)空間驗(yàn)證圖案的某類過濾器。該過濾器可以例如以液晶布置的形式提供。另一替代方 案是在光源中使用多于一個(gè)的光源元件,并且向每個(gè)這樣的光源元件提供某類過濾器或其 它布置,如以特定布置的多個(gè)發(fā)光元件,以提供特定空間驗(yàn)證圖案。
[0084] 然后將重復(fù)地、但根據(jù)時(shí)間調(diào)制序列利用不同的圖案來執(zhí)行所描述的標(biāo)記場景的 一部分的步驟、拍攝和劃分分析圖像的步驟、檢測候選圖像區(qū)中的空間圖案的步驟以及將 所檢測的空間圖案與空間驗(yàn)證圖案相比較的步驟。
[0085] 時(shí)間調(diào)制序列可以由圖4中作為攝像機(jī)的一部分示出的時(shí)間調(diào)制器19生成。時(shí) 間調(diào)制器19還可以放置在攝像機(jī)系統(tǒng)中的另一位置,例如放置在光源處或另一位置。時(shí)間 調(diào)制器19向在標(biāo)記場景時(shí)應(yīng)當(dāng)使用的時(shí)間調(diào)制序列的光源11發(fā)送信息,并且圖像處理單 元10接收該信息以便正確地執(zhí)行圖案特性之間的比較。
[0086] 在此情況中,特性比較可以考慮第一空間驗(yàn)證圖案和第二空間驗(yàn)證圖案中的特性 之間的不同關(guān)系。作為一個(gè)示例,所檢測的圖案的空間頻率(例如這種圖案中的線的空間頻 率)以及前面檢測的圖案的對應(yīng)空間頻率之間的比率可以與第一空間驗(yàn)證圖案和第二空間 驗(yàn)證圖案各自的空間頻率的對應(yīng)比率相比較。在此過程中,可以利用小波分解。空間圖案 的特性之間的比較還可在圖像中的像素的較小片(patch)中執(zhí)行。此類比較還解決以下可 能的問題:在場景中對象上的投影圖案可能依據(jù)它們距監(jiān)視攝像機(jī)和光源的距離而表現(xiàn)不 同。在場景包括移動(dòng)對象的情況中,以足夠快的步速執(zhí)行圖案之間的移動(dòng)以能夠拍攝對象 處的兩個(gè)圖案會是優(yōu)選的,此時(shí)對象仍位于距攝像機(jī)大致相同的距離,以便獲得不受在距 攝像機(jī)或光源不同距離處看上去不同的被檢測空間圖案影響的比較結(jié)果。
[0087] 在圖3中,圖示根據(jù)本發(fā)明的實(shí)施例的方法300。在步驟301中,通過具有預(yù)限定 的譜成分和空間驗(yàn)證圖案的光,標(biāo)記場景的一部分。在步驟302中,拍攝分析圖像。在步驟 303中,基于該預(yù)限定的譜成分對分析圖像進(jìn)行劃分,以發(fā)現(xiàn)潛在地對應(yīng)于場景的標(biāo)記部分 的候選圖像區(qū)。
[0088] 在步驟304中,檢測該候選圖像區(qū)的空間圖案,在步驟305中,將所檢測的空間圖 案的特性與空間驗(yàn)證圖案的對應(yīng)特性進(jìn)行比較。在特性之間匹配的情況下,將候選圖像區(qū) 識別為經(jīng)驗(yàn)證的圖像區(qū),并且方法繼續(xù)至步驟306,在步驟306中,從分析圖像或從可能分 離地拍攝的監(jiān)視圖像中獲得圖像數(shù)據(jù)并對圖像數(shù)據(jù)進(jìn)行處理。以第一方式處理對應(yīng)于經(jīng)驗(yàn) 證的圖像區(qū)的圖像數(shù)據(jù),以第二方式處理剩余的圖像數(shù)據(jù)。處理的第二方式不同于第一方 式。
[0089] 將圖像數(shù)據(jù)分成對應(yīng)于經(jīng)驗(yàn)證的圖像區(qū)的圖像數(shù)據(jù)(其又對應(yīng)于場景的標(biāo)記部 分)和對應(yīng)于場景的未標(biāo)記部分的剩余圖像數(shù)據(jù)可以用于數(shù)個(gè)不同的用途。除了上面提到 的創(chuàng)建隱私遮罩的選擇以外,有多個(gè)該劃分可能有用的其它選項(xiàng)。所有這些不同的選項(xiàng)可 以按需要組合。
[0090] 一個(gè)示例是使用該圖像數(shù)據(jù)劃分來為場景的一部分至少部分地優(yōu)化成像參數(shù),同 時(shí)忽略剩余場景。換言之,第一處理方式或第二處理方式之一包括基于經(jīng)驗(yàn)證的圖像區(qū)或 剩余圖像中僅之一為全部圖像(即所發(fā)現(xiàn)的圖像區(qū)加上剩余圖像)設(shè)置成像參數(shù),如顏色方 案、亮度或白平衡。以此方式,實(shí)現(xiàn)以盡可能好的方式描繪場景的被選中部分的圖像,同時(shí) 允許不太關(guān)注的部分例如太亮或太暗。
[0091] 作為另一示例,可以設(shè)置運(yùn)動(dòng)檢測單元21來僅檢測所發(fā)現(xiàn)的圖像區(qū)或剩余圖像 區(qū)之一中的運(yùn)動(dòng)。這可以例如用來避免檢測在風(fēng)中搖擺的樹的運(yùn)動(dòng)或類似物。
[0092] 可以以同樣的方式設(shè)置對象檢測單元23來僅檢測經(jīng)驗(yàn)證的圖像區(qū)或剩余圖像區(qū) 之一中的對象。該對象檢測單元可例如被設(shè)置為檢測或識別人或動(dòng)物、面部、牌照、文本信 息或可視信息。當(dāng)想要僅檢測商店中顯示十分有價(jià)值的展品的區(qū)域中的運(yùn)動(dòng)或?qū)ο髸r(shí),該 選項(xiàng)可能是有用的,從而有可能警示員工他們應(yīng)當(dāng)注意該區(qū)域。該特定的商店區(qū)域被具有 預(yù)限定的特性的光照亮,對象檢測和/或運(yùn)動(dòng)檢測被設(shè)置為僅在那些區(qū)域發(fā)生。此外或可 替代地,可以設(shè)置對象跟蹤單元25來僅跟蹤經(jīng)驗(yàn)證的圖像區(qū)或剩余圖像區(qū)之一中的對象。
[0093] 運(yùn)動(dòng)檢測單元21、對象檢測單元23和對象跟蹤單元可以是圖4所示的圖像處理單 元10的多個(gè)部分,或者它們可以體現(xiàn)為分離的單元。它們可以布置在攝像機(jī)7中或在攝像 機(jī)系統(tǒng)6中或者在另一位置,如在視頻編碼器或服務(wù)器中。
[0094] 將理解,本領(lǐng)域技術(shù)人員能夠以多種方式修改上面描述的實(shí)施例,并且仍使用在 上面的實(shí)施例中示出的本發(fā)明的優(yōu)勢。作為示例,本文描述的各個(gè)單元可以包含在軟件或 硬件或者軟件和硬件的組合中。
[0095] 因此,本發(fā)明不應(yīng)當(dāng)局限于所示出的實(shí)施例,而是應(yīng)當(dāng)僅由所附權(quán)利要求限定。
[0096] 附圖標(biāo)記列表
[0097] 1:建筑物
[0098] 3:窗
[0099] 5:門
[0100] 7:攝像機(jī)
[0101] 9:對象
[0102] 10:圖像處理單元
[0103] 11:光源
[0104] 12:傳感器
[0105] 13: ATM
[0106] 14:場景的標(biāo)記部分
[0107] 15:對象
[0108] 17:對象
[0109] 19:時(shí)間調(diào)制器
[0110] 21:運(yùn)動(dòng)檢測單元
[0111] 23:對象檢測單元
[0112] 25:對象跟蹤單元
【權(quán)利要求】
1. 一種對監(jiān)視場景的攝像機(jī)拍攝的所述場景的圖像的一部分進(jìn)行遮蓋的方法,包括以 下步驟: 安裝光源,使得該光源以具有預(yù)限定的譜成分和空間驗(yàn)證圖案的光照亮所述場景的一 部分; 通過對所述預(yù)限定的譜成分敏感的傳感器,拍攝(302)所述場景的分析圖像; 基于所述預(yù)限定的譜成分,對所述分析圖像進(jìn)行劃分(303),以發(fā)現(xiàn)候選圖像區(qū); 檢測(304)所述候選圖像區(qū)中的空間圖案; 將所檢測的空間圖案的特性與所述空間驗(yàn)證圖案的對應(yīng)特性相比較(305),并且如果 二者匹配,則 將所述候選圖像區(qū)識別(306)為與所述場景的由所述光源照亮的所述一部分對應(yīng)的經(jīng) 驗(yàn)證的圖像區(qū), 獲得表示所述場景的圖像數(shù)據(jù),以及 例如通過模糊或替代來隱藏與所述經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù)使其不被顯示,并 且顯示剩余圖像數(shù)據(jù),從而向所述場景的由所述光源照亮的所述一部分提供隱私遮罩,或 者 顯示與所述經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù),并且例如通過模糊或替代來隱藏剩余圖 像數(shù)據(jù)使其不被顯示,從而為所述場景的未被照亮的部分提供隱私遮罩。
2. 根據(jù)權(quán)利要求1所述的方法,進(jìn)一步包括通過對所述預(yù)限定的譜成分不敏感的傳感 器拍攝監(jiān)視圖像的步驟,并且其中所述圖像數(shù)據(jù)從所述監(jiān)視圖像獲得。
3. 根據(jù)權(quán)利要求1所述的方法,其中所述空間驗(yàn)證圖案是與一個(gè)或多個(gè)攝像機(jī)關(guān)聯(lián)的 簽章圖案。
4. 根據(jù)權(quán)利要求1所述的方法,進(jìn)一步包括以下步驟: 根據(jù)時(shí)間調(diào)制序列,在至少第一空間驗(yàn)證圖案和第二空間驗(yàn)證圖案之間調(diào)制所述空間 驗(yàn)證圖案,以及 根據(jù)所述時(shí)間調(diào)制序列,利用所述第一空間驗(yàn)證圖案和所述第二空間驗(yàn)證圖案中相應(yīng) 一個(gè),重復(fù)標(biāo)記步驟、拍攝步驟、劃分步驟、檢測步驟和比較步驟。
5. 根據(jù)權(quán)利要求4所述的方法,其中所檢測的空間圖案的特性是所檢測的圖案的空間 頻率與前面檢測的圖案的空間頻率之間的比率,并且所述空間驗(yàn)證圖案的特性是所述第一 空間驗(yàn)證圖案的空間頻率與所述第二空間驗(yàn)證圖案的空間頻率之間的比率。
6. 根據(jù)權(quán)利要求4所述的方法,其中所述時(shí)間調(diào)制序列基于偽隨機(jī)序列生成。
7. 根據(jù)權(quán)利要求5所述的方法,其中所述時(shí)間調(diào)制序列基于偽隨機(jī)序列生成。
8. 根據(jù)權(quán)利要求1所述的方法,其中預(yù)存儲的背景圖像用于所述替代。
9. 根據(jù)權(quán)利要求1所述的方法, 其中與所述經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù)被包括在對運(yùn)動(dòng)檢測單元(21)的輸入中, 并且所述剩余圖像數(shù)據(jù)被從對所述運(yùn)動(dòng)檢測單元(21)的輸入中排除,或者 其中所述剩余圖像數(shù)據(jù)被包括在對運(yùn)動(dòng)檢測單元(21)的輸入中,并且與所述經(jīng)驗(yàn)證的 圖像區(qū)對應(yīng)的圖像數(shù)據(jù)被從對所述運(yùn)動(dòng)檢測單元(21)的輸入中排除。
10. 根據(jù)權(quán)利要求1所述的方法, 其中與所述經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù)被包括在對象檢測單元(23)的輸入中,該 對象檢測單元(23)被布置成檢測或識別人、動(dòng)物、車輛、牌照、文本或可視信息或其它對象 類型, 并且其中所述剩余圖像數(shù)據(jù)從對所述對象檢測單元(23)的輸入中排除;或者 其中所述剩余圖像數(shù)據(jù)被包括在對象檢測單元(23)的輸入中,該對象檢測單元(23) 被布置成檢測或識別人、動(dòng)物、車輛、牌照、文本或可視信息或其它對象類型, 并且其中與所述經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù)從對所述對象檢測單元(23)的輸入 中排除。
11. 根據(jù)權(quán)利要求1所述的方法,其中以第一壓縮率壓縮表示所述經(jīng)驗(yàn)證的圖像區(qū)的 圖像數(shù)據(jù),并且其中以第二壓縮率壓縮剩余圖像數(shù)據(jù),其中所述第一壓縮率不同于所述第 二壓縮率。
12. -種被布置為監(jiān)視場景的攝像機(jī),包括: 傳感器(12),被布置為檢測預(yù)限定的譜成分并且拍攝場景的分析圖像; 圖像處理單元(10),被布置為 基于所述預(yù)限定的譜成分,對所述分析圖像進(jìn)行劃分,以發(fā)現(xiàn)候選圖像區(qū), 檢測所述候選圖像區(qū)中的空間圖案, 將所檢測的空間圖案的特性與空間驗(yàn)證圖案的對應(yīng)特性相比較,并且如果二者匹配, 則 將該候選區(qū)識別為與所述場景的由光源以具有所述預(yù)限定的譜成分和所述空間驗(yàn)證 圖案的光照亮的部分(14)對應(yīng)的經(jīng)驗(yàn)證的圖像區(qū), 獲得表示所述場景的圖像數(shù)據(jù),以及 例如通過模糊或替代來隱藏與所述經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù)使其不被顯示,并 且顯示剩余圖像數(shù)據(jù),從而向所述場景的由所述光源照亮的所述部分提供隱私遮罩,或者 顯示與所述經(jīng)驗(yàn)證的圖像區(qū)對應(yīng)的圖像數(shù)據(jù),并且例如通過模糊或替代來隱藏剩余圖 像數(shù)據(jù)使其不被顯示,從而為所述場景的未被照亮的部分提供隱私遮罩。
13. 根據(jù)權(quán)利要求12所述的攝像機(jī),其中所述傳感器(12)包括對具有所述預(yù)限定的譜 成分的光敏感的第一組傳感器元件和對具有所述預(yù)限定的譜成分的光不敏感的第二組傳 感器元件。
14. 一種用于監(jiān)視場景的攝像機(jī)系統(tǒng),包括: 光源(11),該光源被安裝來以具有預(yù)限定的譜成分和空間驗(yàn)證圖案的光照亮所述場景 的一部分(14);以及 根據(jù)權(quán)利要求12所述的攝像機(jī)(7)。
15. 根據(jù)權(quán)利要求14所述的攝像機(jī)系統(tǒng),進(jìn)一步包括時(shí)間調(diào)制器(19),該時(shí)間調(diào)制器 (19)被布置為: 生成時(shí)間調(diào)制序列,以及 以同步的方式將所述時(shí)間調(diào)制序列發(fā)送至所述照明單元(11)和所述攝像機(jī)(7)。
【文檔編號】H04N7/18GK104144323SQ201410155398
【公開日】2014年11月12日 申請日期:2014年4月17日 優(yōu)先權(quán)日:2013年5月8日
【發(fā)明者】馬庫斯·斯堪斯, 陳建丹, 安德斯·約翰內(nèi)松, 約阿基姆·巴爾特森 申請人:安訊士有限公司