信息處理設(shè)備、信息處理方法、程序和信息處理系統(tǒng)的制作方法
【專利說明】信息處理設(shè)備、信息處理方法、程序和信息處理系統(tǒng)
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2013年2月6日提交的日本優(yōu)先權(quán)專利申請JP2013-021371的權(quán)益，其全部內(nèi)容通過引用并入本文中。
技術(shù)領(lǐng)域
[0003]本公開內(nèi)容涉及可以在例如監(jiān)管攝像機系統(tǒng)中使用的信息處理設(shè)備、信息處理方法、程序和信息處理系統(tǒng)。
【背景技術(shù)】
[0004]例如，專利文獻I公開了在對象跟蹤之前或期間容易且正確地指定跟蹤目標(biāo)的技術(shù)，該技術(shù)適用于監(jiān)管攝像機系統(tǒng)。在該技術(shù)中，以放大的方式顯示要作為跟蹤目標(biāo)的對象，而其它對象被提取作為跟蹤目標(biāo)候選。用戶僅需要進行從所提取的跟蹤目標(biāo)候選之中選擇要以放大的方式顯示的目標(biāo)(跟蹤目標(biāo))的容易的操作，來獲得期望的放大顯示圖像，即擴大的圖像(例如參見專利文獻I的說明書第
[0010]段、第
[0097]段等)。
[0005]引用列表
[0006]專利文獻
[0007]PTL 1:日本專利申請?zhí)亻_第2009-251940號

【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]期望提供專利文獻I中所公開的實現(xiàn)有用的監(jiān)管攝像機系統(tǒng)的技術(shù)。
[0010]鑒于如上所述的情況，期望提供能夠?qū)崿F(xiàn)有用的監(jiān)管攝像機系統(tǒng)的信息處理設(shè)備、信息處理方法、程序和信息處理系統(tǒng)。
[0011]問題的解決方案
[0012]根據(jù)本公開內(nèi)容的實施例，提供了一種圖像處理設(shè)備，該設(shè)備包括:獲得單元，被配置成獲得從至少一個媒介源匯編的多個分段，其中所述多個分段中的每個分段包含至少一個圖像幀，在至少一個圖像幀內(nèi)特定目標(biāo)對象被找到以被捕捉；以及提供單元，被配置成提供所獲得的多個分段的圖像幀以沿著時間線且結(jié)合跟蹤狀態(tài)指示器進行顯示，跟蹤狀態(tài)指示器與時間有關(guān)地指示在所述多個分段內(nèi)特定目標(biāo)對象的存在。
[0013]根據(jù)本公開內(nèi)容的另一實施例，提供了一種圖像處理方法，包括:獲得從至少一個媒介源匯編的多個分段，其中所述多個分段中的每個分段包含至少一個圖像幀，在至少一個圖像幀內(nèi)特定目標(biāo)對象被找到以被捕捉；以及提供所獲得的多個分段的圖像幀以沿著時間線且結(jié)合跟蹤狀態(tài)指示器進行顯示，跟蹤狀態(tài)指示器與時間有關(guān)地指示所述多個分段內(nèi)特定目標(biāo)對象的存在。
[0014]根據(jù)本公開內(nèi)容的另一實施例，提供了一種非暫態(tài)計算機可讀介質(zhì)，其上包含有程序，該程序在由計算機執(zhí)行時使得計算機執(zhí)行一種方法，該方法包括:獲得從至少一個媒介源匯編的多個分段，其中所述多個分段中的每個分段包含至少一個圖像幀，在至少一個圖像幀內(nèi)特定目標(biāo)對象被找到以被捕捉；以及提供所獲得的多個分段的圖像幀以沿著時間線且結(jié)合跟蹤狀態(tài)指示器進行顯示，跟蹤狀態(tài)指示器與時間有關(guān)地指示所述多個分段內(nèi)特定目標(biāo)對象的存在。
[0015]本發(fā)明的有利效果
[0016]如上所述，根據(jù)本公開內(nèi)容，可以實現(xiàn)有用的監(jiān)管攝像機系統(tǒng)。
【附圖說明】
[0017]圖1是示出根據(jù)本公開內(nèi)容的實施例的包括信息處理設(shè)備的監(jiān)管攝像機系統(tǒng)的配置示例的框圖。
[0018]圖2是示出在本公開內(nèi)容的實施例中生成的運動圖像數(shù)據(jù)的示例的示意圖。
[0019]圖3是示出根據(jù)本公開內(nèi)容的實施例的監(jiān)管攝像機系統(tǒng)的功能框圖。
[0020]圖4是示出通過人物檢測處理生成的人物跟蹤元數(shù)據(jù)的示例的圖。
[0021]圖5A和5B分別是用于描述人物跟蹤元數(shù)據(jù)的圖。
[0022]圖6是示出根據(jù)本公開內(nèi)容的實施例的監(jiān)管攝像機系統(tǒng)的概況的示意圖。
[0023]圖7是示出根據(jù)本公開內(nèi)容的實施例的服務(wù)器設(shè)備生成的UI (用戶接口)屏幕的示例的示意圖。
[0024]圖8是示出UI屏幕上的用戶操作以及對應(yīng)于該操作的處理的示例的圖。
[0025]圖9是示出UI屏幕上的用戶操作以及對應(yīng)于該操作的處理的示例的圖。
[0026]圖10是示出改變指向位置的操作的另一示例的圖。
[0027]圖11是示出改變指向位置的操作的示例的圖。
[0028]圖12是示出改變指向位置的操作的示例的圖。
[0029]圖13是示出改變指向位置的操作的另一示例的圖。
[0030]圖14是示出改變指向位置的操作的示例的圖。
[0031]圖15是示出改變指向位置的操作的示例的圖。
[0032]圖16是用于描述一個或更多個相同縮略圖圖像的校正的圖。
[0033]圖17是用于描述一個或更多個相同縮略圖圖像的校正的圖。
[0034]圖18是用于描述一個或更多個相同縮略圖圖像的校正的圖。
[0035]圖19是用于描述一個或更多個相同縮略圖圖像的校正的圖。
[0036]圖20是用于描述一個或更多個相同縮略圖圖像的校正的另一示例的圖。
[0037]圖21是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0038]圖22是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0039]圖23是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0040]圖24是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0041]圖25是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0042]圖26是用于描述一個或更多個相同縮略圖圖像的校正的另一示例的圖。
[0043]圖27是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0044]圖28是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0045]圖29是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0046]圖30是用于描述一個或更多個相同縮略圖圖像的校正的示例的圖。
[0047]圖31是用于描述如何通過使用候選瀏覽按鈕顯示候選的圖。
[0048]圖32是用于描述如何通過使用候選瀏覽按鈕顯示候選的圖。
[0049]圖33是用于描述如何通過使用候選瀏覽按鈕顯示候選的圖。
[0050]圖34是用于描述如何通過使用候選瀏覽按鈕顯示候選的圖。
[0051]圖35是用于描述如何通過使用候選瀏覽按鈕顯示候選的圖。
[0052]圖36是詳細示出校正一個或更多個相同縮略圖圖像的處理的示例的流程圖。
[0053]圖37是示出在圖36的步驟106中檢測到“是”時UI屏幕的示例的圖。
[0054]圖38是示出在圖36的步驟106中檢測到“否”時UI屏幕的示例的圖。
[0055]圖39是示出校正一個或更多個相同縮略圖圖像的處理的另一示例的流程圖。
[0056]圖40A和40B分別是用于描述圖39中示出的處理的圖。
[0057]圖41A和41B分別是用于描述圖39中示出的處理的圖。
[0058]圖42A和42B分別是用于描述卷膠片圖像(rolled film image)的配置和操作的另一不例的圖。
[0059]圖43A和43B分別是用于描述卷膠片圖像的配置和操作的示例的圖。
[0060]圖44A和44B分別是用于描述卷膠片圖像的配置和操作的示例的圖。
[0061]圖45是用于描述卷膠片圖像的配置和操作的示例的圖。
[0062]圖46是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0063]圖47是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0064]圖48是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0065]圖49是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0066]圖50是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0067]圖51是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0068]圖52是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0069]圖53是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0070]圖54是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0071]圖55是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0072]圖56是用于描述卷膠片部分的標(biāo)準(zhǔn)變化的圖。
[0073]圖57是用于描述時間軸上指示的分度(graduat1n)的標(biāo)準(zhǔn)變化的圖。
[0074]圖58是用于描述時間軸上指示的分度的標(biāo)準(zhǔn)變化的圖。
[0075]圖59是用于描述時間軸上指示的分度的標(biāo)準(zhǔn)變化的圖。
[0076]圖60是用于描述時間軸上指示的分度的標(biāo)準(zhǔn)變化的圖。
[0077]圖61是用于描述在使用多個攝像機的環(huán)境下人物跟蹤的算法的示例的圖。
[0078]圖62是用于描述在使用多個攝像機的環(huán)境下人物跟蹤的算法的示例的圖。
[0079]圖63是包括照片的圖，示出了一對一匹配處理的示例。
[0080]圖64是示出根據(jù)本公開內(nèi)容的實施例的人物跟蹤的算法的應(yīng)用示例的示意圖。
[0081]圖65是示出根據(jù)本公開內(nèi)容的實施例的人物跟蹤的算法的應(yīng)用示例的示意圖。
[0082]圖66是示出根據(jù)本公開內(nèi)容的實施例的人物跟蹤的算法的應(yīng)用示例的示意圖。
[0083]圖67是示出根據(jù)本公開內(nèi)容的實施例的人物跟蹤的算法的應(yīng)用示例的示意圖。
[0084]圖68是示出根據(jù)本公開內(nèi)容的實施例的人物跟蹤的算法的應(yīng)用示例的示意圖。
[0085]圖69是示出根據(jù)本公開內(nèi)容的實施例的人物跟蹤的算法的應(yīng)用示例的示意圖。
[0086]圖70是示出根據(jù)本公開內(nèi)容的實施例的人物跟蹤的算法的應(yīng)用示例的示意圖。
[0087]圖71是用于描述根據(jù)本公開內(nèi)容的實施例的使用監(jiān)管攝像機系統(tǒng)的監(jiān)管系統(tǒng)的概況的圖。
[0088]圖72是示出警報屏幕的示例的圖。
[0089]圖73是示出警報屏幕上的操作和對應(yīng)于該操作的處理的示例的圖。
[0090]圖74是示出警報屏幕上的操作和對應(yīng)于該操作的處理的示例的圖。
[0091]圖75是示出警報屏幕上的操作和對應(yīng)于該操作的處理的示例的圖。
[0092]圖76是示出警報屏幕上的操作和對應(yīng)于該操作的處理的示例的圖。
[0093]圖77是示出跟蹤屏幕的示例的圖。
[0094]圖78是示出校正跟蹤屏幕上的目標(biāo)的方法的示例的圖。
[0095]圖79是示出校正跟蹤屏幕上的目標(biāo)的方法的示例的圖。
[0096]圖80是示出校正跟蹤屏幕上的目標(biāo)的方法的示例的圖。
[0097]圖81是示出校正跟蹤屏幕上的目標(biāo)的方法的示例的圖。
[0098]圖82是示出校正跟蹤屏幕上的目標(biāo)的方法的示例的圖。
[0099]圖83是用于描述在跟蹤屏幕上執(zhí)行的另外的處理的圖。
[0100]圖84是用于描述在跟蹤屏幕上執(zhí)行的另外的處理的圖。
[0101]圖85是用于描述在跟蹤屏幕上執(zhí)行的另外的處理的圖。
[0102]圖86是用于描述在跟蹤屏幕上執(zhí)行的另外的處理的圖。
[0103]圖87是示出要用作客戶端設(shè)備和服務(wù)器設(shè)備的計算機的配置示例的示意性框圖。
[0104]圖88是示出根據(jù)另一實施例的卷膠片圖像的圖。
【具體實施方式】
[0105]下文中，將參照附圖描述本公開內(nèi)容的實施例。
[0106](監(jiān)管攝像機系統(tǒng))
[0107]圖1是示出根據(jù)本公開內(nèi)容的實施例的包括信息處理設(shè)備的監(jiān)管攝像機系統(tǒng)的配置示例的框圖。
[0108]監(jiān)管攝像機系統(tǒng)100包括一個或更多個攝像機10、服務(wù)器設(shè)備20和客戶端設(shè)備30。服務(wù)器設(shè)備20是根據(jù)一個實施例的信息處理設(shè)備。一個或更多個攝像機10和服務(wù)器設(shè)備20經(jīng)由網(wǎng)絡(luò)5相連。此外，服務(wù)器設(shè)備20和客戶端設(shè)備30也經(jīng)由網(wǎng)絡(luò)5相連。
[0109]網(wǎng)絡(luò)5例如是LAN(局域網(wǎng))或WAN(廣域網(wǎng))。網(wǎng)絡(luò)5的類型、用于網(wǎng)絡(luò)5的協(xié)議等不受限制。圖1中示出的兩個網(wǎng)絡(luò)5不必彼此完全相同。
[0110]攝像機10是能夠捕捉運動圖像的攝像機，諸如數(shù)碼視頻攝像機。攝像機10生成運動圖像數(shù)據(jù)并經(jīng)由網(wǎng)絡(luò)5將其傳輸至服務(wù)器設(shè)備20。
[0111]圖2是示出在一個實施例中生成的運動圖像數(shù)據(jù)的示例的示意圖。運動圖像數(shù)據(jù)11由多個時間上連續(xù)的幀圖像12構(gòu)成。例如以30fps (幀每秒)或60fps的幀速率生成幀圖像12。注意，可以通過隔行掃描針對每個場生成運動圖像數(shù)據(jù)11。根據(jù)一個實施例，攝像機10對應(yīng)于成像設(shè)備。
[0112]如圖2所示，沿時間軸生成多個幀圖像12。當(dāng)在圖2中觀看時從左側(cè)向右側(cè)生成幀圖像12。位于左側(cè)的幀圖像12對應(yīng)于運動圖像數(shù)據(jù)11的前半部，而位于右側(cè)的幀圖像12對應(yīng)于運動圖像數(shù)據(jù)11的后半部。
[0113]在一個實施例中，使用多個攝像機10。因此，利用多個攝像機10捕捉的多個幀圖像12被傳輸至服務(wù)器設(shè)備20。在一個實施例中，多個幀圖像12對應(yīng)于多個捕捉的圖像。
[0114]客戶端設(shè)備30包括通信單元31和⑶I (圖形用戶接口)單元32。通信單元31用于經(jīng)由網(wǎng)絡(luò)5與服務(wù)器設(shè)備20通信。⑶I單元32顯示運動圖像數(shù)據(jù)11、用于各種操作的GU1、以及其它信息。例如，通信單元31經(jīng)由網(wǎng)絡(luò)5接收從服務(wù)器設(shè)備20傳輸?shù)倪\動圖像數(shù)據(jù)11等。運動圖像等被輸出至⑶I單元32并通過預(yù)定⑶I被顯示在顯示單元(未示出)上。
[0115]此外，經(jīng)由顯示在顯示單元上的⑶I在⑶I單元32中輸入來自用戶的輸入。⑶I單元32基于輸入操作生成指示信息，并將指示信息輸出至通信單元31。通信單元31經(jīng)由網(wǎng)絡(luò)5將指示信息傳輸至服務(wù)器設(shè)備20。注意，可以與GUI單元32分開地設(shè)置基于輸入操作生成指示信息并輸出該信息的塊。
[0116]例如，客戶端設(shè)備30是PC (個人計算機)或平板式便攜終端，但是客戶端設(shè)備30不受限于它們。
[0117]服務(wù)器設(shè)備20包括攝像機管理單元21、攝像機控制單元22和圖像分析單元23。攝像機控制單元22和圖像分析單元23連接至攝像機管理單元21。另外，服務(wù)器設(shè)備20包括數(shù)據(jù)管理單元24、警報管理單元25和存儲各種類型數(shù)據(jù)的存儲單元208。此外，服務(wù)器設(shè)備20包括用于與客戶端設(shè)備30通信的通信單元27。通信單元27連接至攝像機控制單元22、圖像分析單元23、數(shù)據(jù)管理單元24和警報管理單元25。
[0118]通信單元27經(jīng)由網(wǎng)絡(luò)5將從連接至通信單元27的塊輸出的各種類型的信息和運動圖像數(shù)據(jù)11傳輸至客戶端設(shè)備30。此外，通信單元27接收從客戶端設(shè)備30傳輸?shù)闹甘拘畔ⅲ⒅甘拘畔⑤敵鲋练?wù)器設(shè)備20的塊。例如，指示信息可以經(jīng)由控制單元(未示出)輸出至塊，以控制服務(wù)器設(shè)備20的操作。在一個實施例中，通信單元27用作輸入來自用戶的指示的指示輸入單元。
[0119]攝像機管理單元21經(jīng)由網(wǎng)絡(luò)5將從攝像機控制單元22提供的控制信號傳輸至攝像機10。這允許控制攝像機10的各種操作。例如，控制攝像機的平搖和傾斜、縮放、對焦等操作。
[0120]此外，攝像機管理單元21經(jīng)由網(wǎng)絡(luò)5接收從攝像機10傳輸?shù)倪\動圖像數(shù)據(jù)11，然后將運動圖像數(shù)據(jù)11輸出至圖像分析單元23?？梢赃m當(dāng)?shù)貓?zhí)行諸如噪聲處理的處理。在一個實施例中，攝像機管理單元21用作圖像輸入單元。
[0121]圖像分析單元23針對每個幀圖像12分析從相應(yīng)攝像機10提供的運動圖像數(shù)據(jù)Ilo圖像分析單元23分析幀圖像12中出現(xiàn)的對象的類型和數(shù)目、對象的運動等。在一個實施例中，圖像分析單元23從多個時間上連續(xù)的幀圖像12中的每個中檢測預(yù)定對象。在本文中，人物被檢測作為預(yù)定對象。對于幀圖像12中出現(xiàn)的多個人物，針對每個人物執(zhí)行檢測。從幀圖像12檢測人物的方法不受限制，并且可以使用公知的技術(shù)。
[0122]此外，圖像分析單元23生成對象圖像。對象圖像是人物被檢測到的每個幀圖像12的部分圖像，并且包含檢測到的人物。通常，對象圖像是檢測到的人物的縮略圖圖像。根據(jù)幀圖像12生成對象圖像的方法不受限制。針對每個幀圖像12生成對象圖像，使得生成一個或更多個對象圖像。
[0123]此外，圖像分析單元23可以計算兩個圖像之間的差。在一個實施例中，圖像分析單元23檢測幀圖像12之間的差。此外，圖像分析單元23檢測預(yù)定參考圖像與每個幀圖像12之間的差。用于計算兩個圖像之間的差的技術(shù)不受限制。通常，把兩個圖像之間的亮度值的差計算為差。另外，可以使用亮度值的絕對差、與亮度值有關(guān)的歸一化校正系數(shù)、頻率分量等的和來計算差?？梢赃m當(dāng)?shù)厥褂迷谀Ｊ狡ヅ涞戎惺褂玫募夹g(shù)。
[0124]此外，圖像分析單元23確定檢測到的對象是否是要監(jiān)視的人物。例如，欺騙手段進入安全門等的人物、其數(shù)據(jù)沒有存儲在數(shù)據(jù)庫中的人物等被確定為要監(jiān)視的人物。使用監(jiān)管攝像機系統(tǒng)100的安保人員可以通過操作輸入來執(zhí)行關(guān)于要監(jiān)視的人物的確定。此夕卜，用于把檢測到的人物確定為可疑人物的條件、算法等不受限制。
[0125]此外，圖像分析單元23可以執(zhí)行對檢測到的對象的跟蹤。具體地，圖像分析單元23檢測對象的運動并生成其跟蹤數(shù)據(jù)。例如，針對每個連續(xù)幀圖像12計算作為跟蹤目標(biāo)的對象的位置信息。位置信息用作對象的跟蹤數(shù)據(jù)。用于跟蹤對象的技術(shù)不受限制，并且可以使用公知的技術(shù)。
[0126]根據(jù)一個實施例的圖像分析單元23用作檢測單元、第一生成單元、確定單元和第二生成單元的部分。這些功能不必通過一個塊來實現(xiàn)，可以分開地設(shè)置用于實現(xiàn)每個功能的塊。
[0127]數(shù)據(jù)管理單元24管理運動圖像數(shù)據(jù)11、圖像分析單元23的分析結(jié)果的數(shù)據(jù)、從客戶端設(shè)備30傳輸?shù)闹甘緮?shù)據(jù)等。此外，數(shù)據(jù)管理單元24管理存儲在存儲單元208上的過去的運動圖像的視頻數(shù)據(jù)和元信息數(shù)據(jù)、從警報管理單元25提供的關(guān)于警報指示的數(shù)據(jù)等。
[0128]在一個實施例中，存儲單元208存儲與生成的縮略圖圖像相關(guān)聯(lián)的信息，即關(guān)于作為生成縮略圖圖像的源的幀圖像12的圖像捕捉時間的信息、以及用于標(biāo)識縮略圖圖像中包含的對象的標(biāo)識信息。作為生成縮略圖圖像的源的幀圖像12對應(yīng)于包含對象圖像的捕捉圖像。如上所述，在一個實施例中，縮略圖圖像中包含的對象為人物。
[0129]基于與每個圖像相關(guān)聯(lián)地存儲的圖像捕捉時間信息，數(shù)據(jù)管理單元24布置(arrange)來自一個或更多個對象圖像之中的、具有存儲在存儲單元208中的相同標(biāo)識信息的一個或更多個圖像。具有相同標(biāo)識信息的一個或更多個圖像對應(yīng)于相同對象圖像(identical object image) ο例如，沿著時間軸、按圖像捕捉時間的順序布置一個或更多個相同對象圖像。這允許充分觀測預(yù)定對象的時間序列運動或運動歷史。換言之，使得能夠進行高度準(zhǔn)確的跟蹤。
[0130]如稍后將詳細描述的，數(shù)據(jù)管理單元24從一個或更多個對象圖像中選擇參考對象圖像，以使用它作為參考。另外，數(shù)據(jù)管理單元24輸出顯示在客戶端設(shè)備30的顯示單元上的時間軸的數(shù)據(jù)以及指示時間軸上的預(yù)定位置的指向符。另外，數(shù)據(jù)管理單元24選擇對應(yīng)于由指向符指示的時間軸上的預(yù)定位置的相同對象圖像，并從存儲單元208讀取作為與相同對象圖像相關(guān)聯(lián)的信息的對象信息并輸