圖像處理裝置、圖像處理方法以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對(duì)圖像中的顯著區(qū)域自動(dòng)進(jìn)行檢測(cè)的技術(shù)。
【背景技術(shù)】
[0002] 以往，在圖像處理的領(lǐng)域中，已知將在圖像中預(yù)想為人會(huì)關(guān)注的圖像區(qū)域、或應(yīng)該 關(guān)注的圖像區(qū)域（將它們稱(chēng)為顯著區(qū)域）從該圖像中檢測(cè)（提?。┑募夹g(shù)。此外，還進(jìn)行 以下處理：通過(guò)使用這樣的顯著區(qū)域檢測(cè)的技術(shù)，算出圖像中的各像素的顯著度（saliency measure)，從而生成表示該圖像的各像素的顯著度的顯著性圖（saliency map)。
[0003] 關(guān)于這樣的顯著區(qū)域檢測(cè)的技術(shù)，作為用于從圖像檢測(cè)主要被攝體或檢測(cè)圖像中 反映出的異常事件的要素技術(shù)，例如期待監(jiān)視攝像機(jī)、機(jī)器人視覺(jué)（Robot vision)、機(jī)器視 覺(jué)（Machine vision)等范圍廣的應(yīng)用。
[0004] 用于顯著區(qū)域檢測(cè)的算法大致區(qū)分為基于模型的方法和基于學(xué)習(xí)的方法?；谀?型的方法是將人的眼睛和大腦的模型或假設(shè)通過(guò)算式而模型化，使用該模型來(lái)檢測(cè)顯著區(qū) 域的方法?；谀Ｐ驮谕ㄓ眯陨蟽?yōu)良，但仍不能構(gòu)筑能夠?qū)⑷说难劬虼竽X的判斷完美地 再現(xiàn)的模型，為了應(yīng)對(duì)現(xiàn)實(shí)世界的各種問(wèn)題，期望進(jìn)一步提高精度。
[0005] 另一方面，基于學(xué)習(xí)的方法是使用多個(gè)事例（樣本）數(shù)據(jù)或教師信號(hào) (ground-truth)來(lái)學(xué)習(xí)顯著區(qū)域的圖像特征的方法（參照專(zhuān)利文獻(xiàn)1)，具有不需要模型或 假設(shè)，能夠更簡(jiǎn)單地構(gòu)筑高精度的檢測(cè)器的優(yōu)點(diǎn)。但是，難以準(zhǔn)備將應(yīng)該檢測(cè)為顯著區(qū)域的 模式全部包括的事例數(shù)據(jù)（學(xué)習(xí) DB)，或難以定義教師信號(hào)（ground-truth)的情況較多，這 成為在將基于學(xué)習(xí)的方法實(shí)用化方面的瓶頸。
[0006] 作為鑒于該點(diǎn)的以往方法，在專(zhuān)利文獻(xiàn)2中，提出了不需要預(yù)備知識(shí)，使用構(gòu)成視 頻的各幀間的信息來(lái)檢測(cè)顯著區(qū)域的技術(shù)。但是，專(zhuān)利文獻(xiàn)2的技術(shù)雖然不需要預(yù)備知識(shí)， 但僅將由多個(gè)幀構(gòu)成的運(yùn)動(dòng)圖像作為對(duì)象，不能應(yīng)用于對(duì)于靜止圖像的顯著度的評(píng)價(jià)。
[0007] 現(xiàn)有技術(shù)文獻(xiàn)
[0008] 專(zhuān)利文獻(xiàn)
[0009] 專(zhuān)利文獻(xiàn)1 :(日本）特開(kāi)2001 - 236508號(hào)公報(bào)
[0010] 專(zhuān)利文獻(xiàn)2 :(日本）特開(kāi)2010 - 258914號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0011] 本發(fā)明是為了解決上述課題而完成的，其目的在于，提供不需要學(xué)習(xí)用的事例數(shù) 據(jù)，即使從一張圖像也能夠高精度地檢測(cè)顯著區(qū)域的、基于學(xué)習(xí)的新的方法。
[0012] 為了達(dá)成上述目的，本發(fā)明所涉及的圖像處理裝置的特征在于，具有：圖像取得 部，取得成為處理對(duì)象的圖像；學(xué)習(xí)樣本提取部，從所述圖像提取多個(gè)學(xué)習(xí)樣本的數(shù)據(jù)；識(shí) 別器學(xué)習(xí)部，使用所述多個(gè)學(xué)習(xí)樣本進(jìn)行多個(gè)識(shí)別器的學(xué)習(xí)；強(qiáng)識(shí)別器生成部，組合所學(xué)習(xí) 的所述多個(gè)識(shí)別器而生成強(qiáng)識(shí)別器；以及顯著性圖生成部，使用所述強(qiáng)識(shí)別器，生成所述圖 像的顯著性圖。
[0013] 根據(jù)該結(jié)構(gòu)，由于使用成為處理對(duì)象的圖像自身的信息來(lái)進(jìn)行學(xué)習(xí)，所以不需要 學(xué)習(xí)用的事例數(shù)據(jù)（預(yù)備知識(shí)）。此外，自動(dòng)生成針對(duì)處理對(duì)象的圖像的強(qiáng)識(shí)別器，由此得 到最終的顯著性圖，所以能夠?qū)崿F(xiàn)比以往高精度的顯著區(qū)域檢測(cè)。
[0014] 優(yōu)選還具有：前景圖生成部，生成前景圖，所述前景圖將所述圖像分類(lèi)為前景的區(qū) 域和背景的區(qū)域，所述學(xué)習(xí)樣本提取部從所述前景的區(qū)域提取正的學(xué)習(xí)樣本，從所述背景 的區(qū)域提取負(fù)的學(xué)習(xí)樣本。例如，也可以是所述前景圖是具有按所述圖像的每個(gè)像素或每 個(gè)超像素表示前景可能性的值的圖，所述學(xué)習(xí)樣本提取部將表示所述前景可能性的值比第 一閾值大的像素或超像素提取為正的學(xué)習(xí)樣本，將表示所述前景可能性的值比第二閾值小 的像素或超像素提取為負(fù)的學(xué)習(xí)樣本。
[0015] 通過(guò)首先作出這樣的前景圖，從前景和背景分別提取正的學(xué)習(xí)樣本和負(fù)的學(xué)習(xí)樣 本，從而提尚學(xué)習(xí)樣本的安當(dāng)性，能夠?qū)崿F(xiàn)識(shí)別器的學(xué)習(xí)的可靠性和精度的提尚。
[0016] 優(yōu)選所述前景圖生成部通過(guò)基于模型的算法，生成比由所述顯著性圖生成部得到 的顯著性圖精度更低的粗略的顯著性圖，根據(jù)所述粗略的顯著性圖生成所述前景圖。
[0017] 通過(guò)使用基于模型的算法，能夠生成不需要預(yù)備知識(shí)的顯著性圖。另外，由前景圖 生成部生成的粗略的顯著性圖是為了提取學(xué)習(xí)樣本而使用的顯著性圖，所以也可以是粗略 的（精度低的）圖。
[0018] 優(yōu)選所述前景圖生成部對(duì)所述粗略的顯著性圖進(jìn)行分割（segmentation)處理， 通過(guò)將所述粗略的顯著性圖和所述分割處理的結(jié)果進(jìn)行合成，生成所述前景圖。
[0019] 粗略的顯著性圖是按每個(gè)像素或每個(gè)超像素表示個(gè)別的（即，局部的）顯著度的 顯著性圖，所以可能包含噪聲或偏差值等。對(duì)其組合分割處理，以區(qū)域?yàn)閱挝唬?，宏）?類(lèi)為前景和背景，從而能夠降低噪聲或偏差值，能夠取得更妥當(dāng)?shù)膶W(xué)習(xí)樣本。
[0020] 優(yōu)選所述前景圖生成部使用像素越暗則表示越高的顯著度的暗通道 (Dark-channel)指標(biāo)，作為用于評(píng)價(jià)所述粗略的顯著性圖中的各像素或各超像素的顯著度 的指標(biāo)之一。由此，能夠以簡(jiǎn)單的算法評(píng)價(jià)顯著度。
[0021] 另外，本發(fā)明能夠理解為具有上述結(jié)構(gòu)的至少一部分的圖像處理裝置。此外，本發(fā) 明還能夠理解為包含上述處理的至少一部分的圖像處理裝置的控制方法或顯著性圖生成 方法、或者用于使計(jì)算機(jī)執(zhí)行該方法的程序或非暫時(shí)性地存儲(chǔ)了該程序的計(jì)算機(jī)能夠讀取 的存儲(chǔ)介質(zhì)。只要不會(huì)產(chǎn)生技術(shù)的矛盾則能夠?qū)⑸鲜鼋Y(jié)構(gòu)以及處理的各個(gè)相互組合而構(gòu)成 本發(fā)明。
[0022] 根據(jù)本發(fā)明，不需要學(xué)習(xí)用的事例數(shù)據(jù)，即使從一張圖像也能夠高精度地檢測(cè)顯 著區(qū)域。
【附圖說(shuō)明】
[0023] 圖1是表示實(shí)施方式所涉及的圖像處理裝置的功能塊的圖。
[0024] 圖2是表示實(shí)施方式所涉及的圖像處理方法（顯著性圖生成方法）的流程的流程 圖。
[0025] 圖3(a)~（b)是表示超像素圖像的例子的圖。
[0026] 圖4是說(shuō)明LBP直方圖的圖。
[0027] 圖5是表示提升（boosting)處理的流程的流程圖。
[0028] 圖6(a)~（1)是表示通過(guò)本方法生成的顯著性圖與通過(guò)現(xiàn)有技術(shù)生成的顯著性 圖的比較的圖。
[0029] 標(biāo)號(hào)說(shuō)明
[0030] 1:圖像處理裝置
[0031] 11 :圖像取得部，12 :控制部，13 :輸出部，14 :存儲(chǔ)部
[0032] 121 :前處理部，122 :粗略前景圖生成部，123 :學(xué)習(xí)樣本提取部，124 :識(shí)別器學(xué)習(xí) 部，125 :強(qiáng)識(shí)別器生成部，126 :顯著性圖生成部
【具體實(shí)施方式】
[0033] 本發(fā)明的實(shí)施方式是提出新的基于學(xué)習(xí)的顯著區(qū)域檢測(cè)方法的實(shí)施方式。其最 大的特征在于，不需要事例數(shù)據(jù)（預(yù)備知識(shí)），即使從一張圖像也能夠檢測(cè)顯著區(qū)域（生成 顯著性圖也是同義）。作為用于將其實(shí)現(xiàn)的基本的想法，在本實(shí)施方式中采用以下的框架 (framework)〇
[0034] (1)首先，以基于模型的算法來(lái)計(jì)算粗略的前景圖。
[0035] (2)從粗略的前景圖中的前景區(qū)域和背景區(qū)域，分別提取正的學(xué)習(xí)樣本和負(fù)的學(xué) 習(xí)樣本。
[0036] (3)使用步驟⑵中定義的學(xué)習(xí)樣本，對(duì)多個(gè)識(shí)別器進(jìn)行學(xué)習(xí)。
[0037] (4)組合所學(xué)習(xí)的多個(gè)識(shí)別器而構(gòu)筑強(qiáng)識(shí)別器，使用該強(qiáng)識(shí)別器生成最終的顯著 性圖。
[0038] 根據(jù)這樣的算法，使用圖像自身的信息進(jìn)行學(xué)習(xí)，生成針對(duì)該圖像的識(shí)別器，所以 能夠?qū)崿F(xiàn)比以往高精度的檢測(cè)精度。而且與以往的基于學(xué)習(xí)的算法不同，還有完全不需要 事例數(shù)據(jù)（預(yù)備知識(shí)）和教師信號(hào)的優(yōu)點(diǎn)。
[0039] 以下，參照附圖詳細(xì)說(shuō)明本發(fā)明的具體的實(shí)施方式。
[0040] (結(jié)構(gòu)）
[0041] 說(shuō)明本發(fā)明的一個(gè)實(shí)施方式所涉及的圖像處理裝置1的結(jié)構(gòu)。圖1是表示圖像處 理裝置1的結(jié)構(gòu)的功能框圖。圖1所示的圖像處理裝置1取得輸入圖像，輸出表示所取得 的輸入圖像的各像素中的顯著度的顯著性圖。另外，在本實(shí)施方式中，作為輸入圖像是靜止 圖像而進(jìn)行說(shuō)明，但也可以將運(yùn)動(dòng)圖像作為輸入，對(duì)運(yùn)動(dòng)圖像的各幀輸出顯著性圖。
[0042] 如圖1所示，圖像處理裝置1具備圖像取得部11、控制部12、輸出部13以及存儲(chǔ) 部14。
[0043] 圖像取得部11是從外部取得成為處理對(duì)象的輸入圖像的部件。例示地說(shuō)，圖像取 得部11根據(jù)用戶(hù)的輸入操作，從連接到圖像處理裝置1的數(shù)字照相機(jī)或數(shù)字?jǐn)z像機(jī)等攝像 裝置，以實(shí)時(shí)（取得同步）或非同步的方式，取得輸入圖像。
[0044] 其中，輸入圖像的取得方法不限定于上述，例如，也可以是圖像取得部11取得存 儲(chǔ)部14中存儲(chǔ)的圖像數(shù)據(jù)作為輸入圖像，也可以從與圖像處理裝置1連接的周邊設(shè)備取得 輸入圖像，也可以經(jīng)由有線或無(wú)線的通信網(wǎng)絡(luò)取得輸入圖像。<