技術(shù)領(lǐng)域

與示例性實(shí)施例一致的方法和設(shè)備涉及用于圖像處理的設(shè)備和方法，更具體地講，涉及用于生成人群熱圖的設(shè)備和方法。

背景技術(shù)：

熱圖是各種圖像監(jiān)控系統(tǒng)使用的非常有效的瀏覽工具。熱圖以視覺圖形的形式(諸如圖像的熱分布)顯示各種類型的數(shù)據(jù)，數(shù)據(jù)可以被表示為顏色。熱圖可以以色階在相機(jī)圖像或地圖上表示客戶的興趣或復(fù)雜度。

技術(shù)實(shí)現(xiàn)要素：

一個(gè)或多個(gè)實(shí)施例包括圖像處理設(shè)備和方法，通過(guò)所述圖像處理設(shè)備和方法提供視覺表示針對(duì)寬的區(qū)域的人群密度的人群熱圖。

另外的方面將在下面描述中部分進(jìn)行闡述，部分從該描述將是清楚的，或者可以通過(guò)本實(shí)施例的實(shí)踐獲知。

根據(jù)示例性實(shí)施例的一方面，提供一種圖像處理設(shè)備，包括至少一個(gè)處理器以實(shí)現(xiàn)：信息獲得器，被配置為通過(guò)拍攝感興趣區(qū)域獲得圖像并且獲得指示圖像被拍攝的位置的位置信息；密度圖生成器，被配置為基于從圖像估計(jì)的人群密度信息生成圖像的人群密度圖；透視圖生成器，被配置為基于位置信息生成提供指示圖像中兩點(diǎn)之間的現(xiàn)實(shí)距離的距離信息的透視圖；熱圖生成器，被配置為基于距離信息生成在感興趣區(qū)域的地圖上顯示人群密度信息的熱圖。

密度圖生成器可以包括：分離器，被配置為將圖像分離為表示相同大小的不同區(qū)域的多個(gè)碎片圖像；分類器，被配置為基于從所述多個(gè)碎片圖像中的每個(gè)碎片圖像提取的特征信息估計(jì)所述多個(gè)碎片圖像中的每個(gè)碎片圖像的人群密度類別。

分離器被配置為調(diào)整所述多個(gè)碎片圖像大小為具有相同像素大小，分類器被配置為使用多個(gè)調(diào)整大小的碎片圖像估計(jì)所述多個(gè)碎片圖像的人群密度類別。

分類器被配置為使用所述多個(gè)碎片圖像的特征信息針對(duì)每個(gè)預(yù)先設(shè)置的人群密度類別計(jì)算概率，并且基于所述概率對(duì)所述多個(gè)碎片圖像中的每個(gè)碎片圖像進(jìn)行分類。

密度圖生成器被配置為基于人群密度類別向所述多個(gè)碎片圖像分配不同的視覺屬性。

透視圖示出多條水平線，其中，所述多條水平線中的任意兩條鄰近的水平線之間的現(xiàn)實(shí)距離一致。

熱圖生成器被配置為調(diào)整與感興趣區(qū)域的地圖重疊的人群密度圖的透明度。

熱圖生成器被配置為根據(jù)預(yù)設(shè)合并條件在重疊區(qū)域合并多個(gè)人群密度圖的人群密度信息，并且在感興趣區(qū)域的地圖上顯示合并的人群密度信息。

位置信息可以包括GPS(全球定位系統(tǒng))信息和高度信息。

位置信息指示安裝創(chuàng)建圖像的相機(jī)的飛行器的位置。

根據(jù)示例性實(shí)施例的另一方面，提供一種由圖像處理設(shè)備執(zhí)行的圖像處理方法，所述圖像處理方法包括：通過(guò)拍攝感興趣區(qū)域獲得圖像并且獲得指示圖像被拍攝的位置的位置信息；基于從圖像估計(jì)的人群密度信息生成圖像的人群密度圖；基于相機(jī)的位置信息生成提供指示圖像中兩點(diǎn)之間的現(xiàn)實(shí)距離的距離信息的透視圖；基于距離信息生成在感興趣區(qū)域的地圖上顯示人群密度信息的熱圖。

生成人群密度圖的步驟可以包括：將圖像分離為表示感興趣區(qū)域的不同部分的多個(gè)碎片圖像，所述不同部分的現(xiàn)實(shí)大小相同；基于從所述多個(gè)碎片圖像中的每個(gè)碎片圖像提取的特征信息估計(jì)所述多個(gè)碎片圖像中的每個(gè)碎片圖像的人群密度類別。

估計(jì)的步驟可以包括：調(diào)整所述多個(gè)碎片圖像大小為具有相同像素大??；使用多個(gè)調(diào)整大小的碎片圖像估計(jì)所述多個(gè)碎片圖像的人群密度類別。

估計(jì)人群密度類別的步驟可以包括：使用所述多個(gè)碎片圖像的特征信息針對(duì)每個(gè)預(yù)先設(shè)置的人群密度類別計(jì)算概率，并且基于所述概率對(duì)所述多個(gè)碎片圖像進(jìn)行分類。

生成人群密度圖的步驟可以包括：基于人群密度類別向所述多個(gè)碎片圖像分配不同的視覺屬性。

透視圖示出多條水平線，所述多條水平線中的任意兩條鄰近的水平線之間的現(xiàn)實(shí)距離一致。

生成熱圖的步驟可以包括：調(diào)整與感興趣區(qū)域的地圖重疊的人群密度圖的透明度。

生成熱圖的步驟可以包括：根據(jù)預(yù)設(shè)合并條件在重疊區(qū)域合并多個(gè)人群密度圖的人群密度信息，并且在感興趣區(qū)域的地圖上顯示合并的人群密度信息。

位置信息可以包括GPS信息和高度信息。

根據(jù)示例性實(shí)施例的另一方面，提供一種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，已經(jīng)記錄有用于執(zhí)行所述圖像處理方法的計(jì)算機(jī)程序。

附圖說(shuō)明

通過(guò)下面結(jié)合附圖對(duì)實(shí)施例進(jìn)行的描述，這些和其他方面將變得明顯并且更加容易理解，在附圖中：

圖1是根據(jù)示例性實(shí)施例的熱圖生成設(shè)備的示意性框圖；

圖2示出根據(jù)示例性實(shí)施例的飛行器的示例；

圖3是根據(jù)示例性實(shí)施例的圖像處理設(shè)備的示意性框圖；

圖4是圖3的密度圖生成器的示意性框圖；

圖5至圖7是用于描述根據(jù)示例性實(shí)施例的生成密度圖的示例的示圖；

圖8至圖10是用于描述根據(jù)示例性實(shí)施例的生成透視圖的示例的示圖；

圖11和圖12是用于描述根據(jù)示例性實(shí)施例的生成人群熱圖的示例的示圖；

圖13是顯示根據(jù)示例性實(shí)施例的根據(jù)用戶搜索條件的人群熱圖生成結(jié)果的示圖；

圖14和圖15是根據(jù)示例性實(shí)施例的用于生成人群熱圖的圖像處理方法的示意性流程圖；

圖16是根據(jù)另一實(shí)施例的用于生成人群熱圖的圖像處理方法的示意性流程圖。

具體實(shí)施方式

現(xiàn)在將詳細(xì)描述實(shí)施例，實(shí)施例的示例在附圖中示出。在這方面，實(shí)施例可以具有不同的形式并且不應(yīng)被解釋為限于在此闡述的描述。因此，下面僅通過(guò)參照附圖描述實(shí)施例，以解釋本描述的各個(gè)方面。如在此使用的，術(shù)語(yǔ)“和/或”包括關(guān)聯(lián)列出項(xiàng)中的一個(gè)或多個(gè)的任何和所有組合。此外，有關(guān)公知的功能或配置的詳細(xì)描述將被排除，以不會(huì)不必要地模糊實(shí)施例的主題。

應(yīng)當(dāng)理解，雖然術(shù)語(yǔ)“第一”和“第二”在這里用于描述各種元件，但是這些元件不應(yīng)被這些術(shù)語(yǔ)限制。術(shù)語(yǔ)僅用來(lái)將一個(gè)元件與其它元件區(qū)分開來(lái)。

在實(shí)施例的以下描述中，技術(shù)術(shù)語(yǔ)僅用于解釋具體示例性實(shí)施例，而不是限制本發(fā)明的構(gòu)思。“包括”或“包含”的含義指定屬性、定數(shù)、步驟、處理、元件、組件和它們的組合，但是并不排除其它屬性、定數(shù)、步驟、處理、元件、組件和它們的組合。

本公開的發(fā)明構(gòu)思可以體現(xiàn)為功能塊(例如，圖3和4)，以及各種處理操作。功能塊可使用執(zhí)行特定功能的各種硬件和/或軟件配置來(lái)實(shí)現(xiàn)。例如，本公開的示例性實(shí)施例可以采用集成電路配置，諸如能夠在微處理器或其他控制裝置的控制下執(zhí)行各種功能的存儲(chǔ)器、處理、邏輯、查找表等。以與可以使用軟件編程或軟件元件執(zhí)行示例性實(shí)施例的元件類似的方法，可以使用腳本語(yǔ)言或編程語(yǔ)言(諸如C、C++、Java和匯編程序等)來(lái)實(shí)現(xiàn)示例性實(shí)施例，腳本語(yǔ)言或編程語(yǔ)言包括通過(guò)數(shù)據(jù)結(jié)構(gòu)、處理、例程的組合或其它編程配置的組合實(shí)現(xiàn)的各種算法。功能方面可以通過(guò)在一個(gè)或多個(gè)處理器中執(zhí)行的算法來(lái)實(shí)現(xiàn)。此外，示例性實(shí)施例可以采用傳統(tǒng)技術(shù)建立電子環(huán)境、處理信號(hào)和/或處理數(shù)據(jù)。諸如“機(jī)制”、“元件”、“裝置”和“配置”的術(shù)語(yǔ)可以廣泛使用，并且不限于機(jī)械和物理配置。這樣的術(shù)語(yǔ)可具有與處理器等相關(guān)聯(lián)的一系列軟件例程的含義。

圖1是根據(jù)示例性實(shí)施例的熱圖生成設(shè)備的示意性框圖。圖2示出根據(jù)示例性實(shí)施例的飛行器10的示例。

參照?qǐng)D1，熱圖生成設(shè)備可以包括飛行器10和圖像處理設(shè)備30。飛行器10可以包括相機(jī)20。

飛行器10可以是載人飛行器或無(wú)人駕駛飛行器(UAV)。UAV是沒有人類飛行員在飛機(jī)上的飛機(jī)。UAV可以經(jīng)由預(yù)先安裝在其上的程序或經(jīng)由操作者操作的遠(yuǎn)程控制來(lái)控制?？蛇x地，UAV可以自主識(shí)別并確定UAV周圍的環(huán)境。飛行器10可以包括獲得UAV周圍的圖像信息的相機(jī)20。

相機(jī)20可以包括成像裝置，諸如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)。相機(jī)20可以獲得針對(duì)環(huán)境(例如，靜態(tài)對(duì)象(諸如墻壁、障礙物等)或動(dòng)態(tài)對(duì)象(諸如人、動(dòng)物等))的圖像。相機(jī)20可以實(shí)時(shí)或基于特定周期獲得圖像。

飛行器10可以在感興趣區(qū)域飛行，相機(jī)20可以拍攝感興趣區(qū)域。為了捕獲寬的感興趣區(qū)域作為單個(gè)圖像，飛行器10需要在高空飛行。然而，由于在高空拍攝的圖像中人類的大小變得過(guò)小，因此難以從圖像提取人群密度信息。如圖2所示，在飛行器10在感興趣區(qū)域中飛行時(shí)，相機(jī)20可以在預(yù)定位置或在預(yù)定的間獲得圖像。根據(jù)相機(jī)20安裝在飛行器10的位置，相機(jī)20拍攝的圖像可以是頂視圖圖像或側(cè)視圖圖像。

在示例性實(shí)施例中，飛行器10可以包括：包括GPS模塊的無(wú)線通信接口和有線通信接口。在飛行器10可以經(jīng)由有線或無(wú)線通信從相機(jī)20接收?qǐng)D像。飛行器10可以通過(guò)GPS模塊從多個(gè)GPS人造衛(wèi)星接收它的位置信息。飛行器10可以通過(guò)無(wú)線通信網(wǎng)絡(luò)連接到圖像處理設(shè)備30。無(wú)線通信網(wǎng)絡(luò)可以是使用各種頻帶的各種類型的網(wǎng)絡(luò)。無(wú)線通信網(wǎng)絡(luò)的示例可以包括但不限于碼分多址(CDMA)、Wi-F、WiBro、長(zhǎng)期演進(jìn)(LTE)等。飛行器10可以通過(guò)無(wú)線通信網(wǎng)絡(luò)向圖像處理設(shè)備30發(fā)送圖像和位置信息。

在另一示例性實(shí)施例中，相機(jī)20可以包括：包括GPS模塊的無(wú)線通信接口和有線通信接口。相機(jī)20可以通過(guò)GPS模塊從多個(gè)GPS人造衛(wèi)星接收它的位置信息。相機(jī)20可以通過(guò)無(wú)線通信網(wǎng)絡(luò)連接到圖像處理設(shè)備30。無(wú)線通信網(wǎng)絡(luò)可以是使用各種頻帶的各種類型的網(wǎng)絡(luò)。無(wú)線通信網(wǎng)絡(luò)的示例可以包括但不限于碼分多址(CDMA)、Wi-F、WiBro、長(zhǎng)期演進(jìn)(LTE)等。相機(jī)20可以通過(guò)無(wú)線通信網(wǎng)絡(luò)向圖像處理設(shè)備30發(fā)送圖像和位置信息。

在另一示例性實(shí)施例中，相機(jī)20可以包括：包括GPS模塊的無(wú)線通信接口和有線通信接口。相機(jī)20可以通過(guò)有線或無(wú)線通信向飛行器10發(fā)送圖像和它的位置信息。飛行器10可以通過(guò)無(wú)線通信向圖像處理設(shè)備30發(fā)送圖像和它的位置信息。

圖像處理設(shè)備30可以從飛行器10或相機(jī)20接收?qǐng)D像和位置信息。位置信息可以指示飛行器10或相機(jī)20的位置。圖像處理設(shè)備30可以從接收的圖像提取人群密度信息以生成人群密度圖。圖像處理設(shè)備30可以使用接收的位置信息提取由圖像提供的場(chǎng)景的實(shí)際距離信息并且生成透視圖。圖像處理設(shè)備30可以基于透視圖的實(shí)際距離信息將人群密度圖與感興趣區(qū)域地圖的相應(yīng)區(qū)域進(jìn)行匹配來(lái)生成人群熱圖。

人群熱圖可以通過(guò)不同顏色來(lái)顯示感興趣區(qū)域的人密度。例如，具有更多人的高密度地方可以被顯示為更接近紅色，具有更少人的低密度地方可以被表示為更接近藍(lán)色，從而有利于在整個(gè)感興趣區(qū)域中確定人密度。

圖像處理設(shè)備30可以與輸入設(shè)備40和顯示器50進(jìn)行交互。圖像處理設(shè)備30可以通過(guò)有線或無(wú)線接口連接到輸入設(shè)備40和顯示器50，并且可以與輸入設(shè)備40和顯示器50通信。

輸入設(shè)備40可以被實(shí)現(xiàn)為小鍵盤、圓頂開關(guān)、觸摸板(接觸電容型觸摸板、壓力電阻層型觸摸板、紅外線傳感式觸摸板、表面超聲波導(dǎo)電型觸摸板)、鼠標(biāo)、遙控器、微動(dòng)輪、慢動(dòng)開關(guān)等。

顯示器50可以向用戶提供由圖像處理設(shè)備30輸出的結(jié)果圖像，使得用戶可以監(jiān)控圖像。顯示器50可以向用戶提供視覺信息和/或聽覺信息。

圖3是根據(jù)示例性實(shí)施例的圖像處理設(shè)備30的示意性框圖。圖4是根據(jù)示例性實(shí)施例的圖3的密度圖生成器303的示意性框圖。圖5至圖7是示出根據(jù)示例性實(shí)施例的生成密度圖的方法的示圖。圖8至圖10是示出根據(jù)示例性實(shí)施例的生成透視圖的方法的示圖。圖11和圖12是示出根據(jù)示例性實(shí)施例的生成人群熱圖的方法的示圖。

參照?qǐng)D3，圖像處理設(shè)備30可以包括信息獲得器301、密度圖生成器303、透視圖生成器305和熱圖生成器307。

信息獲得器301可以從飛行器10或相機(jī)20接收?qǐng)D像Fin和位置信息Lin。圖像Fin可以是通過(guò)拍攝感興趣區(qū)域的一部分而獲得的圖像幀。順序地輸入的圖像Fin可以具有時(shí)間差。位置信息Lin可以指示在圖像拍攝時(shí)間飛行器10或相機(jī)20的位置。位置信息Lin可以包括飛行器10或相機(jī)20的GPS信息或高度信息。

相機(jī)20被安裝在飛行器10上，因此相機(jī)20的位置信息可以被用作安裝相機(jī)20的飛行器10的位置信息。因此，在下文中，下面所指示的位置信息可以指示相機(jī)20和/或飛行器10的位置。

信息獲得器301可以同步圖像Fin和位置信息Lin。信息獲得器301可以通過(guò)將圖像Fin和位置信息Lin進(jìn)行匹配來(lái)生成數(shù)據(jù)集。信息獲得器301還可以接收相機(jī)20的校準(zhǔn)信息。

密度圖生成器303可以從關(guān)于每個(gè)區(qū)域輸入的圖像Fin(以下，稱為輸入圖像Fin)提取人群密度信息，以生成人群密度圖D。如圖4所示，密度圖生成器303可以包括分離器313和分類器353。

分離器313可以將輸入圖像Fin分離為多個(gè)碎片(patch)圖像Pin。每個(gè)碎片圖像Pin對(duì)應(yīng)于寬度(m)×長(zhǎng)度(m)＝n(m)×n(m)的實(shí)際面積。碎片圖像Pin對(duì)應(yīng)于實(shí)際面積，因此，碎片圖像Pin可以具有不同的大小，并且可以是正方形或矩形。隨著相機(jī)20和區(qū)域(場(chǎng)景)之間的距離增加，相應(yīng)碎片圖像Pin的大小會(huì)減小。碎片圖像Pin中的每個(gè)碎片圖像大小可以被調(diào)整為具有m(像素)×m(像素)的相同像素大小。分離器313可以從透視圖生成器305接收指示輸入圖像Fin的寬度方向(水平方向)和長(zhǎng)度方向(垂直方向)的實(shí)際距離的距離信息d，并且可以基于距離信息從輸入圖像Fin提取表示一致大小的實(shí)際面積的多個(gè)碎片圖像Pin。圖5示出將對(duì)應(yīng)于實(shí)際面積3×3(m²)的多個(gè)碎片圖像Pin中的每個(gè)碎片圖像大小調(diào)整為72×72(像素²)。

分類器353可以從碎片圖像Pin提取特征信息，并且可以將碎片圖像Pin分類為多個(gè)人群密度類別。分類器353可以包括預(yù)先訓(xùn)練的分類器。

分類器可以通過(guò)使用多條訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練多個(gè)人群密度類別中的每個(gè)人群密度類別的特征信息。訓(xùn)練數(shù)據(jù)可以具有從低密度到高密度的多個(gè)分布。例如，訓(xùn)練數(shù)據(jù)可以被分類為六個(gè)人群密度“非常高/高/正常/低/非常低/無(wú)”。然而，人群密度的數(shù)量可以根據(jù)示例性實(shí)施例而不同地設(shè)置。

預(yù)先訓(xùn)練的分類器可以從碎片圖像Pin提取特征，并且可以基于提取的特征將碎片圖像Pin分類為六個(gè)人群密度類別中的一個(gè)類別。例如，分類器可以基于碎片圖像Pin的特性計(jì)算六個(gè)人群密度類別中的每個(gè)人群密度類別的概率，并且可以將具有最高概率的類別確定為碎片圖像Pin的類別Pout。

密度圖生成器303可以基于分類器353針對(duì)輸入圖像Fin的所有碎片圖像Pin的分類結(jié)果，生成指示輸入圖像Fin的人群密度信息的人群密度圖D。對(duì)應(yīng)于類別的索引或顏色可以被分配給分類的碎片圖像Pin。圖6示出人群密度圖的示例，其中，不同顏色(在圖6中被表示為不同圖案)根據(jù)類別被分配給碎片圖像。在另一示例性實(shí)施例中，其它視覺屬性，例如，圖案或亮度，可以代替顏色被分配給碎片圖像。

密度圖生成器303可以將平滑濾波器應(yīng)用于人群密度圖D，以重新配置人群密度圖D。平滑濾波器可以通過(guò)將高斯濾波器、中值濾波器、雙邊濾波器或裝置濾波器等應(yīng)用于原始人群密度圖來(lái)生成更平滑的密度圖。例如，密度圖生成器303可以通過(guò)將平滑濾波器應(yīng)用到圖6所示的人群密度圖來(lái)重新配置人群密度圖，如圖7所示。

透視圖生成器305可以基于位置信息生成提供輸入圖像Fin的實(shí)際距離信息的透視圖。飛行器10的物理位置的變化可導(dǎo)致由安裝在飛行器10中的相機(jī)20獲得的圖像所表示的場(chǎng)景的范圍(面積)的變化。透視圖生成器305可以基于與輸入圖像Fin匹配的位置信息Lin計(jì)算從輸入圖像Fin的最下端到的最上端的實(shí)際距離。

在圖8中，S表示從飛行器10開始的垂直線與地面相交的點(diǎn)。另一方面，L表示與輸入圖像Fin的最下端對(duì)應(yīng)的地面上的位置，H表示與輸入圖像Fin的最上端對(duì)應(yīng)的地面上的位置。如圖8所示，透視圖生成器305可以根據(jù)以下等式1計(jì)算指示S和L之間的距離的X1以及指示S和H之間的距離的X2。

[等式1]

x₁＝h·tanθ₁

x₂＝h·tanθ₂

y＝x₂-x₁

在等式1中，h表示飛行器10的高度。θ1表示由從飛行器10開始的垂直線和連接飛行器10與L的線所形成的角度。θ2表示由所述垂直線和連接飛行器10與H的線所形成的角度。

透視圖生成器305可以根據(jù)飛行器10的高度計(jì)算在現(xiàn)實(shí)世界中與輸入圖像Fin的最下端和最上端之間的差(即，圖像的垂直大小)對(duì)應(yīng)的實(shí)際距離Y。透視圖生成器305可以通過(guò)使用水平線分割輸入圖像Fin生成如圖9所示的立體地圖，并且每個(gè)線可以根據(jù)一致的實(shí)際距離間隔繪制，例如，每10米間隔。也就是說(shuō)，透視圖生成器305可以基于飛行器10或相機(jī)20的位置信息根據(jù)輸入圖像Fin的垂直方向生成具有實(shí)際距離信息的透視圖。地面上的點(diǎn)H可比地面上的點(diǎn)L距相機(jī)20遠(yuǎn)，因此在從輸入圖像Fin的最下端到最上端的方向上，輸入圖像Fin的兩條線之間的距離可減小。

如圖10所示，透視圖生成器305可以通過(guò)根據(jù)下面的等式2應(yīng)用插值方法基于與圖像的最下端的圖像的寬度W對(duì)應(yīng)的實(shí)際水平距離Z1和與最上端的寬度W對(duì)應(yīng)的實(shí)際水平距離Z2，計(jì)算與像素的寬度(即，水平大小)對(duì)應(yīng)的實(shí)際水平距離?？梢詮南鄼C(jī)校準(zhǔn)獲得實(shí)際水平距離Z1和實(shí)際水平距離Z2。像素的寬度可以是在水平方向上相鄰像素P1和P2之間的間隔。

[等式2]

k₂≥k₁

在上面的等式2中，Z表示在現(xiàn)實(shí)世界中與位置X處的圖像的寬度W對(duì)應(yīng)的實(shí)際(即，現(xiàn)實(shí))水平距離。W可以通過(guò)像素的數(shù)量來(lái)表示。V表示圖像的長(zhǎng)度，并且可以通過(guò)像素的數(shù)量來(lái)表示。Vx表示圖像的最下端和位置X之間的長(zhǎng)度，并且可以通過(guò)像素的數(shù)量來(lái)表示。K表示在位置X處圖像的每個(gè)像素的實(shí)際水平距離。在等式2中，k1表示在圖像的最下端每個(gè)像素的實(shí)際水平距離，k2表示在圖像的最上端每個(gè)像素的實(shí)際水平距離，kx表示在位置X處(即，在包括位置X的水平線)每個(gè)像素的實(shí)際水平距離。

在圖像的最上端每個(gè)像素的實(shí)際水平距離k2可以等于或大于在圖像的最下端每個(gè)單位像素的實(shí)際水平距離k1。在從圖像的下端到圖像的上端的方向上，每個(gè)像素的實(shí)際水平距離k可更大，并且可以線性增加。

透視圖生成器305可以向密度圖生成器303和熱圖生成器307提供輸入圖像Fin的實(shí)際距離信息。

熱圖生成器307可以基于透視圖通過(guò)將人群密度圖與感興趣區(qū)域地圖進(jìn)行匹配來(lái)生成人群熱圖。熱圖生成器307可以通過(guò)反映透視圖的距離信息并且將人群密度圖的人群密度信息與感興趣區(qū)域的地圖信息進(jìn)行合并來(lái)生成人群熱圖。如圖11所示，熱圖生成器307可以使用透視圖的距離信息將針對(duì)第一方向的輸入圖像生成的人群密度圖D1與感興趣區(qū)域地圖MAP進(jìn)行匹配?？梢砸詳?shù)字地圖或衛(wèi)星和航空地圖提供感興趣區(qū)域地圖MAP?？梢詫?shí)時(shí)從外部地圖數(shù)據(jù)庫(kù)接收感興趣區(qū)域地圖MAP。

熱圖生成器307可以基于飛行器10或相機(jī)20的位置信息和透視圖的距離信息識(shí)別對(duì)應(yīng)于人群密度圖D1的感興趣區(qū)域地圖MAP的部分。熱圖生成器307可以將人群密度圖D1的大小轉(zhuǎn)換成對(duì)應(yīng)于感興趣區(qū)域地圖MAP的所述部分的大小。熱圖生成器307可以將人群密度圖D1轉(zhuǎn)換成對(duì)應(yīng)于感興趣區(qū)域地圖MAP的視圖類型(頂視圖)。

熱圖生成器307可以在感興趣區(qū)域地圖MAP上匹配人群密度圖D1，并且通過(guò)調(diào)整人群密度圖D1的透明度來(lái)控制向用戶顯示感興趣區(qū)域地圖的程度?？梢酝ㄟ^(guò)用戶的設(shè)置改變?nèi)巳好芏葓DD1的透明度。

如圖12所示，熱圖生成器307可以將多個(gè)人群密度圖D1至D3與感興趣區(qū)域地圖MAP進(jìn)行匹配，其中，多個(gè)人群密度圖D1至D3使用通過(guò)沿多個(gè)方向在多個(gè)位置拍攝感興趣區(qū)域獲得的多個(gè)輸入圖像來(lái)生成。多個(gè)輸入圖像可以具有時(shí)間差。

熱圖生成器307可以合并人群密度圖D1至D3之間的重疊區(qū)域的人群密度信息。例如，熱圖生成器307可以將通過(guò)沿第一方向拍攝感興趣區(qū)域獲得的第一人群密度圖D1、通過(guò)沿第二方向拍攝感興趣區(qū)域獲得的第二人群密度圖D2和通過(guò)沿第三方向拍攝感興趣區(qū)域獲得的第三人群密度圖D3的重疊區(qū)域A的人群密度信息轉(zhuǎn)換成第一人群密度圖D1的密度信息、第二人群密度圖D2的密度信息和第三人群密度圖D3的密度信息的平均值、最大值、最小值和變化中的一個(gè)，以將轉(zhuǎn)換的人群密度信息與感興趣區(qū)域地圖MAP的信息進(jìn)行合并。

熱圖生成器307可以根據(jù)用戶的輸入信號(hào)生成人群熱圖，以在顯示器50上輸出人群熱圖。當(dāng)熱圖生成器307接收特定時(shí)間和/或特定區(qū)域的熱圖請(qǐng)求時(shí)，熱圖生成器307可以選擇具有包括在特定時(shí)間和/或特定區(qū)域中的至少一部分的至少一個(gè)人群密度圖，并且可以將選擇的人群密度圖與感興趣區(qū)域地圖MAP進(jìn)行匹配。

雖然未示出，但是圖像處理設(shè)備30可以包括存儲(chǔ)設(shè)備，存儲(chǔ)輸入圖像Fin、位置信息Lin、人群密度圖和輸入圖像Fin的透視圖。

圖13是示出根據(jù)示例性實(shí)施例的根據(jù)用戶搜索條件生成人群熱圖的方法的示圖。

參照?qǐng)D13，顯示器50的屏幕501可以被配置為顯示用于選擇搜索條件(諸如生成人群熱圖的時(shí)間段，即，開始時(shí)間和結(jié)束時(shí)間，以及搜索區(qū)域)的搜索條件區(qū)域121。屏幕501可以顯示用于示出在開始時(shí)間和結(jié)束時(shí)間之間接收的輸入圖像的列表和/或針對(duì)輸入圖像生成的人群密度圖的列表的列表區(qū)域122。屏幕501可以顯示指示時(shí)間的時(shí)間軸顯示區(qū)123、用于顯示感興趣區(qū)域地圖MAP和人群密度圖D的重疊的圖像顯示區(qū)域124以及用于調(diào)整人群密度圖D的透明度的區(qū)域125。

在示例性實(shí)施例中，用戶可以在搜索條件區(qū)域121中直接輸入或選擇時(shí)間段和/或搜索區(qū)域。在另一示例性實(shí)施例中，用戶可以在時(shí)間軸顯示區(qū)域123的時(shí)間線中指定時(shí)間段，并且可以在圖像顯示區(qū)域124中通過(guò)拖動(dòng)鼠標(biāo)或通過(guò)觸摸來(lái)從MAP指定搜索區(qū)域。

圖像處理設(shè)備30可以通過(guò)輸入設(shè)備40根據(jù)用戶的輸入信號(hào)生成人群熱圖，以將人群熱圖輸出到顯示器50。圖像處理設(shè)備30可以接收與在搜索條件區(qū)域121或者時(shí)間軸顯示區(qū)域123和圖像顯示區(qū)域124中選擇的搜索條件對(duì)應(yīng)的輸入信號(hào)。圖像處理設(shè)備30可以選擇滿足搜索條件的至少一部分的至少一個(gè)輸入圖像的人群密度圖。圖像處理設(shè)備30可以向顯示器50輸出將至少一個(gè)選擇的人群密度圖與感興趣區(qū)域地圖MAP進(jìn)行匹配的結(jié)果。

圖像處理設(shè)備30可以根據(jù)在區(qū)域125中設(shè)置的透明度選擇輸入信號(hào)來(lái)調(diào)整與感興趣區(qū)域地圖MAP匹配的人群密度圖D1的透明度，以調(diào)整向用戶顯示的感興趣區(qū)域地圖MAP的程度。

圖14和圖15是示出根據(jù)示例性實(shí)施例的用于生成人群熱圖的方法的示意流性程圖。

可以由圖3所示的圖像處理設(shè)備30執(zhí)行根據(jù)示例性實(shí)施例的用于生成人群熱圖的圖像處理方法。

參照?qǐng)D14，圖像處理設(shè)備30可以從在感興趣區(qū)域上空飛行的飛行器10或從安裝在飛行器10上的相機(jī)20接收?qǐng)D像和位置信息(操作S21)。位置信息可以指示當(dāng)獲得圖像時(shí)飛行器10的位置或相機(jī)20的位置。位置信息可以包括GPS信息和高度信息。相機(jī)20可以安裝在飛行器10以實(shí)時(shí)或周期性地拍攝感興趣區(qū)域，從而飛行器10的位置可以被估計(jì)為相機(jī)20的位置。

圖像處理設(shè)備30可以同步輸入圖像和位置信息，以生成將輸入圖像和位置信息進(jìn)行匹配的數(shù)據(jù)集合。

圖像處理設(shè)備30可以以區(qū)域單位提取人群密度信息來(lái)生成人群密度圖(操作S23)。

參照?qǐng)D15，圖像處理設(shè)備30可以將輸入圖像分離為多個(gè)碎片圖像(操作S231)。碎片圖像可以具有由寬度(m)×長(zhǎng)度(m)＝n(m)×n(m)給出的實(shí)際面積。隨著相機(jī)20和地面位置之間的距離增加，對(duì)應(yīng)碎片圖像的大小可以減小。碎片圖像的寬度和長(zhǎng)度可以不同。碎片圖像可以被調(diào)整大小為具有m(像素?cái)?shù))×m(像素?cái)?shù))的大小的圖像。調(diào)整大小的碎片圖像可以具有相同大小。

圖像處理設(shè)備30可以從調(diào)整大小的碎片圖像提取特征信息，并且可以將碎片圖像分類到一個(gè)人群密度類別(操作S233)。圖像處理設(shè)備30可以通過(guò)使用預(yù)先訓(xùn)練的分類器從碎片圖像提取特征，基于提取的特征計(jì)算多個(gè)預(yù)先設(shè)置人群密度類別中的每個(gè)人群密度類別的概率，并且將具有最高概率的類別分類為碎片圖像的類別。

圖像處理設(shè)備30可以基于針對(duì)所有碎片圖像的類別分類結(jié)果生成指示輸入圖像的人群密度信息的人群密度圖(操作S235)。對(duì)應(yīng)于類別的索引或顏色可以被分配給每個(gè)碎片圖像。圖像處理設(shè)備30可以將平滑濾波器應(yīng)用于人群密度圖，以重新配置人群密度圖。

圖像處理設(shè)備30可以基于與輸入圖像匹配的位置信息生成提供輸入圖像的實(shí)際距離信息的透視圖(操作S25)。圖像處理設(shè)備30可以計(jì)算與從輸入圖像的最下端到最上端的長(zhǎng)度對(duì)應(yīng)的實(shí)際距離，并且可以生成其中多個(gè)水平線可以被定義為指示一致間隔的實(shí)際距離的透視圖。與輸入圖像的最上端對(duì)應(yīng)的實(shí)際地面位置和相機(jī)之間的距離可以比與輸入圖像的最下端對(duì)應(yīng)的實(shí)際地面位置和相機(jī)之間的距離大。因此，從輸入圖像的最下端到最上端，圖像中水平線之間的間隔可減小。圖像處理設(shè)備30可以針對(duì)輸入圖像的每個(gè)位置計(jì)算實(shí)際水平距離，并且可以將實(shí)際水平距離與透視圖進(jìn)行匹配。從輸入圖像的最下端到最上端，每個(gè)像素的實(shí)際水平距離可以增加。

圖像處理設(shè)備30可以基于透視圖將沒有應(yīng)用平滑濾波器的人群密度圖或應(yīng)用平滑濾波器的人群密度圖與感興趣區(qū)域地圖進(jìn)行匹配，并且通過(guò)重疊人群密度圖與感興趣區(qū)域地圖來(lái)進(jìn)行顯示(操作S27)。圖像處理設(shè)備30可以通過(guò)反映透視圖的距離信息并且將人群密度圖的人群密度信息與感興趣區(qū)域地圖的地圖信息合進(jìn)行并生，來(lái)成人群熱圖。圖像處理設(shè)備30可以將人群密度圖的大小和視圖類型轉(zhuǎn)換為對(duì)應(yīng)于感興趣區(qū)域地圖的大小和視圖類型，然后將轉(zhuǎn)換的人群密度地圖與感興趣區(qū)域地圖進(jìn)行匹配。

圖16是示出根據(jù)另一實(shí)施例的用于生成人群熱圖的方法的示意性流程圖。

參照?qǐng)D16，圖像處理設(shè)備30可以通過(guò)輸入設(shè)備40從用戶接收用于生成人群熱圖的搜索條件(操作S51)。搜索條件可以是顯示人群熱圖的時(shí)間段和/或搜索區(qū)域。

圖像處理設(shè)備30可以選擇滿足搜索條件的至少一個(gè)輸入圖像和輸入圖像的人群密度圖(操作S53)。圖像處理設(shè)備30可以選擇滿足搜索條件的至少一部分的輸入圖像和人群密度圖。例如，圖像處理設(shè)備30可以選擇包括搜索區(qū)域的一部分的輸入圖像的人群密度地圖以生成人群熱圖。

圖像處理設(shè)備30可以基于透視圖生成將至少一個(gè)選擇的人群密度圖與感興趣區(qū)域地圖進(jìn)行匹配的人群熱圖(操作S55)。

在示例性實(shí)施例中，如果輸入搜索條件，則圖像處理設(shè)備30可以選擇與檢索條件的至少一部分一致的輸入圖像，可以生成選擇的輸入圖像的人群密度圖和透視圖，并且基于透視圖生成將生成的人群密度圖與感興趣區(qū)域地圖進(jìn)行匹配的人群熱圖。

在另一示例性實(shí)施例中，如果輸入圖像，則圖像處理設(shè)備30可以實(shí)時(shí)生成輸入圖像的人群密度圖和透視圖，并且如果輸入檢索條件，則圖像處理設(shè)備30可以基于透視圖生成將與搜索條件的至少一部分一致的輸入圖像的人群密度圖和感興趣區(qū)域地圖進(jìn)行匹配的人群熱圖。

根據(jù)示例性實(shí)施例，通過(guò)訓(xùn)練的分類器測(cè)量針對(duì)通過(guò)相機(jī)拍攝獲得的圖像的每個(gè)區(qū)域的人群密度并使用在拍攝時(shí)間飛行器或相機(jī)的位置信息，來(lái)生成人群熱圖。

在生成熱圖的傳統(tǒng)方法中的一個(gè)方法中，通過(guò)使用相機(jī)拍攝感興趣區(qū)域，在圖像內(nèi)測(cè)量運(yùn)動(dòng)發(fā)生頻率，并且將運(yùn)動(dòng)發(fā)生頻率表示為顏色。在這種傳統(tǒng)的方法中，當(dāng)人不移動(dòng)且靜止不動(dòng)時(shí)，很難提取信息。當(dāng)在小的空間人過(guò)度擁擠時(shí)，由于呈現(xiàn)停滯運(yùn)動(dòng)，并且與實(shí)際的高人類密度相比，更少的運(yùn)行信息被提取，因此難以使用這種傳統(tǒng)方法獲得準(zhǔn)確結(jié)果。傳統(tǒng)方法使用固定到高處的相機(jī)(諸如天花板)并且朝下，因此，難以在戶外使用相機(jī)，并且為了覆蓋寬的區(qū)域，需要多個(gè)相機(jī)。

根據(jù)示例性實(shí)施例，可以通過(guò)使用安裝在飛行器中的一個(gè)相機(jī)在多個(gè)位置獲得多個(gè)圖像，從而覆蓋寬的區(qū)域?？梢酝ㄟ^(guò)飛行器的飛行從高位置獲得圖像。因此，不需要在地面上的單獨(dú)支架來(lái)固定相機(jī)，并且示例性實(shí)施例可以容易地應(yīng)用到戶外環(huán)境。

在上述示例性實(shí)施例中描述了通過(guò)使用由安裝在一個(gè)飛行器中的相機(jī)沿多個(gè)方向獲得的圖像生成人群熱圖的方法，但是示例性實(shí)施例不限于此。例如，可以通過(guò)使用從被固定在相同高度的不同位置上多個(gè)CCTV相機(jī)接收的圖像，而不是從飛行器接收的圖像，來(lái)生成人群熱圖。在這種情況下，可僅生成一次透視圖，從而快速且容易地生成人群熱圖。可選地，可以通過(guò)使用由安裝在多個(gè)飛行器的相機(jī)獲得的圖像來(lái)生成人群熱圖。

根據(jù)示例性實(shí)施例的圖像處理設(shè)備和方法可以提供視覺表示針對(duì)寬的區(qū)域的人群密度的人群熱圖。

根據(jù)示例性實(shí)施例的用于生成人群熱圖的圖像處理方法也可以被實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)之后可由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲(chǔ)裝置等。計(jì)算機(jī)可讀記錄介質(zhì)還可以被分布在聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)上，從而計(jì)算機(jī)可讀代碼以分布方式被存儲(chǔ)和執(zhí)行。此外，可由一個(gè)或多個(gè)實(shí)施例所屬領(lǐng)域的程序員容易地解釋實(shí)現(xiàn)一個(gè)或多個(gè)實(shí)施例的功能程序、代碼和代碼段。

盡管已經(jīng)參照附圖描述了一個(gè)或多個(gè)實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離由所附權(quán)利要求限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可以對(duì)實(shí)施例進(jìn)行形式和細(xì)節(jié)的各種改變。