專利名稱：圖像分析裝置和圖像分析程序存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)圖像進(jìn)行分析的圖像分析裝置，以及其中存儲(chǔ)有圖像分析程序的圖像分析程序存儲(chǔ)介質(zhì)。
背景技術(shù)：
在互聯(lián)網(wǎng)上以及在信息搜索系統(tǒng)的領(lǐng)域中，在存儲(chǔ)在數(shù)據(jù)庫中的大量信息中搜索與用戶輸入的關(guān)鍵字相關(guān)的信息已成為常見的應(yīng)用。在所提供的這樣的信息搜索系統(tǒng)中，使用了一種方法，其中在存儲(chǔ)在數(shù)據(jù)庫中的每條信息的文本部分搜索與輸入的關(guān)鍵字匹配的字符串，以檢索包含了該匹配的字符串等的信息。通過使用這種基于輸入的關(guān)鍵字的搜索系統(tǒng)，用戶能夠從海量的信息中迅速地只檢索出其所需要的信息。
近年來，除了匹配輸入的關(guān)鍵字的字符串的搜索外，與輸入的關(guān)鍵字相關(guān)的圖像的搜索已開始使用。一種已知的用于搜索圖像的方法使用了廣泛采用的面部識(shí)別或場(chǎng)景分析(例如，參見日本專利公開No.2004-62605)，用來分析圖像的圖案以及檢索提供了能匹配與輸入的關(guān)鍵字關(guān)聯(lián)的圖像特征的分析結(jié)果的圖像。根據(jù)這種技術(shù)，用戶通過簡(jiǎn)單地指定輸入的關(guān)鍵字就可以從大量的圖像中容易地檢索出能夠與輸入的關(guān)鍵字關(guān)聯(lián)的圖像。這種技術(shù)的問題是，由于必須為大量圖像中的每個(gè)執(zhí)行面部識(shí)別或場(chǎng)景分析，因此耗費(fèi)了大量的時(shí)間。
在這點(diǎn)上，日本專利公開No.2004-157623公開了一種技術(shù)，其中圖像和與圖像相關(guān)的文字彼此關(guān)聯(lián)并預(yù)先寄存在數(shù)據(jù)庫中，并且從數(shù)據(jù)庫中的文字搜索與輸入的關(guān)鍵字匹配的文字以檢索與該匹配的文字關(guān)聯(lián)的圖像。根據(jù)在日本專利公開No.2004-157623中所公開的技術(shù)，能迅速地檢索到與輸入的關(guān)鍵字相關(guān)的圖像。但是，這種技術(shù)存在以下問題，由于操作人員必須要找出與大量圖像中的每個(gè)相關(guān)的文字，并人工地將這些文字與圖像關(guān)聯(lián)，因此耗費(fèi)了大量的勞動(dòng)。
日本專利公開No.2005-107931描述了一種技術(shù)，其中基于文本的內(nèi)容而自動(dòng)地將可能與圖像相關(guān)的文字從包括有圖像和文本的信息中抽取出來，并且在抽出的文字中尋找與輸入的關(guān)鍵字匹配的文字。
但是，在日本專利公開No.2005-107931中描述的技術(shù)存在以下問題，如果信息沒有包括文本則就不能抽取出與圖像相關(guān)的文字，從而也不能找到圖像。因此，需要開發(fā)一種技術(shù)，其能基于圖像本身而自動(dòng)地確定圖像的關(guān)鍵字。

發(fā)明內(nèi)容
鑒于以上的情況而作出了本發(fā)明，提供了一種圖像分析裝置和一種圖像分析程序，其對(duì)圖像進(jìn)行分析并自動(dòng)地確定與該圖像相關(guān)的關(guān)鍵字，并提供一種在其上存儲(chǔ)有該圖像分析程序的圖像分析程序存儲(chǔ)介質(zhì)。
根據(jù)本發(fā)明的圖像分析裝置包括獲取部分，其用來獲取圖像；元素抽取部分，其分析由獲取部分所獲取的圖像的內(nèi)容以抽取構(gòu)成該圖像的構(gòu)成元素；存儲(chǔ)部分，其將多個(gè)文字與多個(gè)構(gòu)成元素中的每個(gè)關(guān)聯(lián)并一起存儲(chǔ)；和搜索部分，其在存儲(chǔ)部分存儲(chǔ)的文字中搜索與由元素抽取部分所抽取的構(gòu)成元素關(guān)聯(lián)的文字。
根據(jù)本發(fā)明的圖像分析裝置，多個(gè)文字與構(gòu)成元素中的每個(gè)關(guān)聯(lián)并與其一起存儲(chǔ)，并且當(dāng)獲取圖像時(shí)，抽取構(gòu)成該圖像的構(gòu)成元素并在所存儲(chǔ)的多個(gè)文字中檢索與抽取的構(gòu)成元素關(guān)聯(lián)的文字。這樣，能夠消除人工檢查每個(gè)圖像以找出與該圖像相關(guān)的文字的勞動(dòng)，并能基于圖像本身而自動(dòng)地獲得與該圖像相關(guān)的適當(dāng)?shù)奈淖帧?br> 優(yōu)選地，在本發(fā)明的圖像分析裝置中的元素抽取部分抽取圖形元素作為構(gòu)成元素。
本發(fā)明的元素抽取部分可以分析圖像的顏色以抽取顏色元素，或可以分析圖像的場(chǎng)景以抽取構(gòu)成場(chǎng)景的元素。元素抽取部分期待能夠通過分析圖像的圖形元素而抽取在每個(gè)圖像中被攝物的形狀，以及為該圖像中的被攝物找到適當(dāng)?shù)奈淖帧?br> 在本發(fā)明的圖像分析裝置的優(yōu)選模式中，元素抽取部分抽取多個(gè)構(gòu)成元素，并且搜索部分為由元素抽取部分所抽取的多個(gè)構(gòu)成元素中的每個(gè)搜索文字；該圖像分析裝置包括選擇部分，其在由搜索部分所找到的文字中選擇能更好地表示由獲取部分所獲取的圖像的特征的文字。
根據(jù)在本發(fā)明的該優(yōu)選模式中的圖像分析裝置，可以選擇能更好地表示圖像的特征的文字。
在本發(fā)明的圖像分析裝置的另一個(gè)優(yōu)選模式中，元素抽取部分抽取多個(gè)構(gòu)成元素，并且搜索部分為由該元素抽取部分所抽取的多個(gè)構(gòu)成元素中的每個(gè)搜索文字；該圖像分析裝置包括場(chǎng)景分析部分，其分析由獲取部分所獲取的圖像以確定該圖像的場(chǎng)景；和選擇部分，其在由搜索部分所找到的文字中選擇與由場(chǎng)景分析部分通過分析所確定的場(chǎng)景相關(guān)的文字。
由于通過分析而確定圖像的場(chǎng)景并選擇與該場(chǎng)景相關(guān)的文字，因此能有效地獲得適于該圖像的內(nèi)容的文字。
在本發(fā)明的圖像分析裝置的另一個(gè)優(yōu)選模式中，獲取部分獲取附加有信息的圖像；元素抽取部分抽取多個(gè)構(gòu)成元素；搜索部分為由元素抽取部分所抽取的多個(gè)構(gòu)成元素中的每個(gè)搜索文字；并且該圖像分析裝置包括選擇部分，其在由搜索部分所找到的文字中選擇與附加到由獲取部分所獲得的圖像的信息相關(guān)的文字。
現(xiàn)在，諸如有關(guān)照片拍攝地點(diǎn)的信息或有關(guān)在角視場(chǎng)(angle fieldof view)中人物位置的信息等的各類信息有時(shí)會(huì)在拍攝被攝物照片期間附加到照片中。通過使用這些信息項(xiàng)來進(jìn)行文字選擇，能夠精確地為圖像選擇適合的文字。
本發(fā)明的圖像分析程序存儲(chǔ)介質(zhì)存儲(chǔ)了圖像分析程序，該圖像分析程序在計(jì)算機(jī)上執(zhí)行并在計(jì)算機(jī)上構(gòu)建獲取部分，其用來獲取圖像；元素抽取部分，其分析由獲取部分所獲得的圖像的內(nèi)容以抽取構(gòu)成該圖像的構(gòu)成元素；和搜索部分，其在存儲(chǔ)部分中所存儲(chǔ)的文字中搜索與由元素抽取部分所抽取出的構(gòu)成元素關(guān)聯(lián)的文字，其中所述存儲(chǔ)部分將多個(gè)文字與多個(gè)構(gòu)成元素中的每個(gè)關(guān)聯(lián)并一起存儲(chǔ)。
本發(fā)明的圖像分析程序存儲(chǔ)介質(zhì)可以是諸如CD-R、CD-RW或MO以及硬盤的大容量存儲(chǔ)介質(zhì)。
雖然為了避免重復(fù)，這里只給出圖像分析程序存儲(chǔ)介質(zhì)的一種基本模式，但參考本發(fā)明的圖像分析程序存儲(chǔ)介質(zhì)的實(shí)施，除了包括上述的基本模式外，還包括相應(yīng)于上述圖像分析裝置的模式的各種實(shí)施。
而且，諸如獲取部分等由本發(fā)明的圖像分析程序所配置在計(jì)算機(jī)系統(tǒng)上的部分既可以是由一個(gè)程序模塊所實(shí)現(xiàn)的一個(gè)部分，也可以是由一個(gè)程序模塊所實(shí)現(xiàn)的多個(gè)部分。這些部分既可以作為由本身執(zhí)行操作的元件來實(shí)現(xiàn)，也可以作為命令包括在計(jì)算機(jī)系統(tǒng)中的另一個(gè)程序或多個(gè)程序模塊來執(zhí)行操作的元件來實(shí)現(xiàn)。
根據(jù)本發(fā)明，提供了對(duì)圖像進(jìn)行分析以自動(dòng)地確定與該圖像相關(guān)的文字的圖像分析裝置和圖像分析程序存儲(chǔ)介質(zhì)。


圖1是構(gòu)成本發(fā)明的一個(gè)實(shí)施例的圖像分析裝置的個(gè)人計(jì)算機(jī)的透視圖；圖2顯示了在圖1所示的個(gè)人計(jì)算機(jī)中的硬件配置；圖3是根據(jù)本發(fā)明的圖像分析程序存儲(chǔ)介質(zhì)的一個(gè)實(shí)施例的CD-ROM 210的概念圖；圖4是圖像分析裝置400的功能框圖；圖5是顯示用來分析圖像以確定與該圖像相關(guān)的關(guān)鍵字的處理流程的流程圖；和圖6是顯示分析圖像的過程的示意圖。
具體實(shí)施例方式
下面將參考附圖描述本發(fā)明的示例性實(shí)施例。
根據(jù)一個(gè)實(shí)施例的圖像分析裝置對(duì)圖像進(jìn)行分析并自動(dòng)獲得與該圖像相關(guān)的文字。所獲得的文字與圖像關(guān)聯(lián)并一起存儲(chǔ)在諸如數(shù)據(jù)庫等位置中，并且用在搜索系統(tǒng)中，該搜索系統(tǒng)從存儲(chǔ)在數(shù)據(jù)庫中的大量圖像中搜索與輸入的關(guān)鍵字相關(guān)的圖像。
圖1是個(gè)人計(jì)算機(jī)的透視圖，其形成了本發(fā)明的實(shí)施例的圖像分析裝置，圖2顯示了該個(gè)人計(jì)算機(jī)的硬件配置。
從外部看，個(gè)人計(jì)算機(jī)10包括主機(jī)系統(tǒng)11、根據(jù)從主機(jī)系統(tǒng)11來的指令在顯示屏12a上顯示圖像的圖像顯示設(shè)備12、響應(yīng)鍵盤操作而將各種信息輸入到主機(jī)系統(tǒng)11中的鍵盤13、和輸入與例如在顯示屏12a上指出的位置中顯示的圖標(biāo)關(guān)聯(lián)的指令的鼠標(biāo)14。從外部看，主機(jī)系統(tǒng)11具有用來加載軟盤(以下稱之為FD)的軟盤插槽11a和用來加載CD-ROM的CD-ROM插槽11b。
如圖2所示，在主機(jī)系統(tǒng)11中包括了執(zhí)行各種程序的CPU 111、從硬盤設(shè)備113將程序讀入并加載到其中并且展開以由CPU 111執(zhí)行的主存儲(chǔ)器112、在其中存儲(chǔ)了各種程序和數(shù)據(jù)的硬盤設(shè)備113、訪問加載在其中的FD 200的FD驅(qū)動(dòng)器114、訪問CD-ROM 210的CD-ROM驅(qū)動(dòng)器115、從外部設(shè)備接收各種數(shù)據(jù)的輸入接口116和將各種數(shù)據(jù)發(fā)送給外部設(shè)備的輸出接口117。這些組件和在圖2中也顯示出的圖像顯示設(shè)備12、鍵盤13以及鼠標(biāo)14通過總線15互連。
在CD-ROM 210中存儲(chǔ)了作為本發(fā)明的圖像分析程序的實(shí)施例的圖像分析程序。CD-ROM 210加載在CD-ROM驅(qū)動(dòng)器115中，并且存儲(chǔ)在CD-ROMA 210中的圖像分析程序上傳到個(gè)人計(jì)算機(jī)10中并存儲(chǔ)在硬盤設(shè)備113中。隨后，在個(gè)人計(jì)算機(jī)10中啟動(dòng)并執(zhí)行該圖像分析程序，以構(gòu)建作為根據(jù)本發(fā)明的圖像分析裝置的實(shí)施例的圖像分析裝置400(參見圖4)。
以下將描述在個(gè)人計(jì)算機(jī)10中執(zhí)行的圖像分析程序。
圖3是顯示作為本發(fā)明的圖像分析程序存儲(chǔ)介質(zhì)的實(shí)施例的CD-ROM 210的概念圖。
圖像分析程序300包括圖像獲取部分310、元素分析部分320、場(chǎng)景分析部分330、面部檢測(cè)部分340和關(guān)鍵字選擇部分350。該圖像分析程序300的這些部分的詳細(xì)說明將結(jié)合圖像分析裝置400的各部分的操作來描述。
雖然在圖3中顯示的是將CD-ROM 210作為存儲(chǔ)圖像分析程序的存儲(chǔ)介質(zhì)，但本發(fā)明的圖像分析程序存儲(chǔ)介質(zhì)并不限于CD-ROM。存儲(chǔ)介質(zhì)還可以是諸如光盤、MO、FD和磁帶等任何其他的介質(zhì)。替換地，本發(fā)明的圖像分析程序可以通過通信網(wǎng)絡(luò)直接提供給計(jì)算機(jī)而無需使用存儲(chǔ)介質(zhì)。
圖4是當(dāng)圖像分析程序300安裝在個(gè)人計(jì)算機(jī)10中時(shí)，在如圖1所示的個(gè)人計(jì)算機(jī)10中構(gòu)建的圖像分析裝置400的功能框圖。
圖4中所示的圖像分析裝置400包括圖像獲取部分410、元素分析部分420、場(chǎng)景分析部分430、面部檢測(cè)部分440、關(guān)鍵字選擇部分430和數(shù)據(jù)庫(以下簡(jiǎn)稱為DB)460。當(dāng)在圖3中所示的圖像分析程序300安裝在圖1中所示的個(gè)人計(jì)算機(jī)10中時(shí)，圖像分析程序300的圖像獲取部分310實(shí)現(xiàn)圖4中所示的圖像獲取部分410。類似地，元素分析部分320實(shí)現(xiàn)元素分析部分420，場(chǎng)景分析部分330實(shí)現(xiàn)場(chǎng)景分析部分430，面部檢測(cè)部分340實(shí)現(xiàn)面部檢測(cè)部分440，而關(guān)鍵字選擇部分350實(shí)現(xiàn)關(guān)鍵字選擇部分450。
在圖2中所示的硬盤設(shè)備113用作DB 460。在DB中預(yù)先存儲(chǔ)關(guān)聯(lián)表，該關(guān)聯(lián)表將構(gòu)成圖像的元素特征與表示具有這些特征的候選物體的文字(候選關(guān)鍵字)關(guān)聯(lián)。DB 460表示了本發(fā)明中所提及的存儲(chǔ)部分的一個(gè)實(shí)例。
表1顯示了存儲(chǔ)在DB 460中的關(guān)聯(lián)表的一個(gè)實(shí)例。


在表1中所示的關(guān)聯(lián)表由用戶預(yù)先準(zhǔn)備好。在表1所示的關(guān)聯(lián)表中，構(gòu)成圖像的元素特征(例如三角形、圓形、水平直線和拐角曲線)與由特征所聯(lián)想到的候選關(guān)鍵字(例如山、金字塔和飯團(tuán))和由候選關(guān)鍵字所表示的物體的特征顏色(例如綠色和土黃色)關(guān)聯(lián)。而且，每個(gè)特征的候選關(guān)鍵字分成不同的類型(例如自然風(fēng)景-陸地、自然風(fēng)景-天空、自然風(fēng)景-海洋、人造建筑和食物)。在表1所示的實(shí)例中，特征“三角形”與諸如“山”、“金字塔”和“飯團(tuán)”這類用戶與三角形關(guān)聯(lián)的候選關(guān)鍵字關(guān)聯(lián)。由每個(gè)候選關(guān)鍵字所表示的物體的顏色和類型由用戶確定，并用來制作表1所示的關(guān)聯(lián)表。在表1中，特征“三角形”與分類為“自然風(fēng)景-陸地”類型并且特征顏色為“綠色”的候選關(guān)鍵字“山”關(guān)聯(lián)。特征“三角形”還與分類為“人造建筑”類型并且特征顏色為“土黃色”的候選關(guān)鍵字“金字塔”關(guān)聯(lián)，而且還還與分類為“食物”類型并且特征顏色為“白色”和“黑色”的候選關(guān)鍵字“飯團(tuán)”關(guān)聯(lián)。應(yīng)當(dāng)注意的是，在實(shí)際中，關(guān)聯(lián)表除了包含在表1中所示的項(xiàng)外，還包含諸如“矩形”、“垂直直線”和“圓形曲線”等的其他特征以及與這些特征關(guān)聯(lián)的候選關(guān)鍵字。
在圖4中所示的圖像獲取部分410通過圖2中所示的輸入接口116獲取圖像。圖像獲取部分410表示了在本發(fā)明中所提及的獲取部分的實(shí)例。所獲取的圖像被提供給場(chǎng)景分析部分430和面部檢測(cè)部分440。圖像獲取部分410從圖像中抽取出輪廓，將每個(gè)輪廓近似成幾何圖形，從而將原始圖像轉(zhuǎn)換為幾何圖像，并將得到的圖像提供給元素分析部分420。
元素分析部分420將構(gòu)成由圖像獲取部分410所提供的圖像的圖形視為構(gòu)成元素，并從包含在表1中的元素特征(例如三角形、圓形、水平直線、和拐角曲線)中找到與每個(gè)構(gòu)成元素匹配的特征，并檢索與匹配的特征關(guān)聯(lián)的候選關(guān)鍵字。元素分析部分420表示在本發(fā)明中所提及的元素抽取部分的一個(gè)實(shí)例，其相應(yīng)于根據(jù)本發(fā)明的搜索部分的實(shí)例。將檢索到的候選關(guān)鍵字提供給關(guān)鍵字選擇部分450。
場(chǎng)景分析部分430分析例如從圖像獲取部分410所提供的圖像的色調(diào)等的特征，以確定該圖像的場(chǎng)景。場(chǎng)景分析部分430表示了在本發(fā)明中所提及的場(chǎng)景分析部分的一個(gè)實(shí)例。將該分析的結(jié)果提供給關(guān)鍵字選擇部分450。
面部檢測(cè)部分440檢測(cè)從圖像獲取部分410所提供的圖像是否包括了人的面部。將該檢測(cè)的結(jié)果提供給關(guān)鍵字選擇部分450。
關(guān)鍵字選擇部分450從元素分析部分420所提供的候選關(guān)鍵字中，確定與從場(chǎng)景分析部分430所提供的分析結(jié)果和從面部檢測(cè)部分440所提供的檢測(cè)結(jié)果匹配的候選關(guān)鍵字是圖像關(guān)鍵字。關(guān)鍵字選擇部分540表示了在本發(fā)明中所提及的選擇部分的一個(gè)實(shí)例。
圖像分析裝置400如上所述而構(gòu)建。
以下將詳細(xì)描述如何在圖像分析裝置400中確定關(guān)鍵字。
圖5是顯示用于分析圖像以確定與該圖像相關(guān)的關(guān)鍵字的處理流程的流程圖。圖6是顯示分析圖像的過程的示圖。以下除了參考圖5和圖6外，還參考圖4和表1來進(jìn)行描述。
從外部設(shè)備輸入的圖像通過在圖4中所示的圖像獲取部分410來獲取(在圖5中的步驟S1)，并接著被提供給面部檢測(cè)部分440和場(chǎng)景分析部分430。從由圖像獲取部分410獲取的圖像中抽取出輪廓，將所抽取出的輪廓的每個(gè)都近似成幾何圖形，并且由這些輪廓所限定的區(qū)域中每個(gè)的顏色都均一地變?yōu)樵谠搮^(qū)域中所包含的顏色的中間顏色。結(jié)果，該圖像被處理成如圖6中的(T1)部分所示的幾何圖像。將處理過的圖像提供給元素分析部分420。
面部檢測(cè)部分440分析在從圖像獲取部分410提供的圖像中皮膚顏色的成分，以在該圖像中檢測(cè)包含人的面部的人物區(qū)域(在圖5中的步驟S2)。在本實(shí)例的描述中，假定該圖像并不包含人。用來檢測(cè)人的面部的技術(shù)廣泛地使用在傳統(tǒng)的技術(shù)中，因此在這里省略對(duì)其的進(jìn)一步描述。將該檢測(cè)的結(jié)果提供給關(guān)鍵字選擇部分450。
場(chǎng)景分析部分430分析例如從圖像獲取部分410提供的圖像的色調(diào)等的特征，以確定圖像的場(chǎng)景(在圖5中的步驟S3)。例如在日本專利公開No.2004-62605中公開的方法可以用于該場(chǎng)景分析。該技術(shù)是公知的，因此在此省略對(duì)其的進(jìn)一步描述。在本實(shí)例的描述中假定，在圖6的(T1)部分中所示的圖像的分析顯示出了，該圖像可能是在白天拍攝的場(chǎng)景，這具有80％的概率，且是在室外，這具有70％的概率。將該場(chǎng)景分析的結(jié)果提供給關(guān)鍵字選擇部分450。
另一方面，元素分析部分420獲得與從圖像獲取部分410提供的圖像相關(guān)的候選關(guān)鍵字。
首先，在圖5的步驟S1作為輪廓近似結(jié)果所獲得的幾何圖形被用來識(shí)別在圖像中的多個(gè)構(gòu)成元素(在圖5中的步驟S4)。在本實(shí)例中，在圖6的(T1)部分中所示的圖像中識(shí)別出了在圖6的(T2)、(T3)、(T4)、(T5)和(T6)部分中所示的五個(gè)構(gòu)成元素。
接著，獲得與每個(gè)構(gòu)成元素的特征關(guān)聯(lián)的候選關(guān)鍵字(在圖5中的步驟S5)。如下獲得候選關(guān)鍵字。
首先，分析每個(gè)構(gòu)成元素的大小并獲得構(gòu)成元素的幾何特征和顏色。此時(shí)，如果構(gòu)成元素的大小小于或等于預(yù)定值，則由構(gòu)成元素所表示的物體就可能是不重要的物體，因此就不再繼續(xù)獲取與該構(gòu)成元素相關(guān)的關(guān)鍵字。在本實(shí)例中假定，在圖6的(T2)部分中所示的構(gòu)成元素的分析顯示了，幾何特征為“三角形”，大小為“10％”，顏色為“綠色”；在(T3)部分中所示的構(gòu)成元素的分析顯示了，幾何特征為“三角形”，大小為“5％”，顏色為“綠色”；在(T4)部分中所示的構(gòu)成元素的分析顯示了，幾何特征為“圓形”，大小為“4％”，顏色為“白色”；在(T5)部分中所示的構(gòu)成元素的分析顯示了，幾何特征為“水平直線”，大小為“不適用”，顏色為“不適用”；在(T6)部分中所示的構(gòu)成元素的分析顯示了，幾何特征為“拐角曲線”，大小為“不適用”，而顏色為“不適用”。
接著，從存儲(chǔ)在DB 460的表1中的關(guān)聯(lián)表的“特征”列來搜索與每個(gè)構(gòu)成元素的幾何特征匹配的特征，并檢索與找到的特征關(guān)聯(lián)的候選關(guān)鍵字。
表2顯示的表格列出了從在表1中所示的關(guān)聯(lián)表抽取出來的項(xiàng)，這些項(xiàng)相應(yīng)于為每個(gè)構(gòu)成元素所獲取的候選關(guān)鍵字。


對(duì)于圖6的(T2)部分所示的構(gòu)成元素，由于元素的幾何特征是“三角形”，因此與元素特征“三角形”關(guān)聯(lián)的項(xiàng)如表2所示從表1中的關(guān)聯(lián)表抽取出來；對(duì)于(T3)部分所示的構(gòu)成元素，與元素特征“三角形”關(guān)聯(lián)的項(xiàng)也從表1中的關(guān)聯(lián)表抽取出來；對(duì)于(T4)部分所示的構(gòu)成元素，與元素特征“圓形”關(guān)聯(lián)的項(xiàng)也從表1中的關(guān)聯(lián)表抽取出來；對(duì)于(T5)部分所示的構(gòu)成元素，與元素特征“水平直線”關(guān)聯(lián)的項(xiàng)也從表1中的關(guān)聯(lián)表抽取出來；對(duì)于(T6)部分所示的構(gòu)成元素，與元素特征“拐角曲線”關(guān)聯(lián)的項(xiàng)也從表1中的關(guān)聯(lián)表抽取出來。
如上所述，對(duì)被分割成構(gòu)成元素的整個(gè)圖像執(zhí)行該處理(在圖5中的步驟S4)，得到用于構(gòu)成元素的候選關(guān)鍵字(在圖5中的步驟S5)，從表1中抽取出表2(圖5中的步驟S6)。在為該圖像的所有區(qū)域抽取出表2(圖5的步驟S6是)后，將表2中的抽取信息提供給在圖4中的關(guān)鍵字選擇部分450。
關(guān)鍵字選擇部分450將表2中所示的候選關(guān)鍵字中與由場(chǎng)景分析部分430提供的拍攝場(chǎng)景相適合的候選關(guān)鍵字確定為圖像關(guān)鍵字(在圖5中的步驟S7)。從候選關(guān)鍵字中如下選擇關(guān)鍵字。
為了選擇關(guān)鍵字，由用戶成像的多個(gè)拍攝場(chǎng)景和表示與該場(chǎng)景相關(guān)度的優(yōu)先級(jí)被預(yù)先指定給在表1中列出的類型。例如，對(duì)于場(chǎng)景“室外(自然風(fēng)景-陸地)”，如下給各類型指定優(yōu)先級(jí)(1)類型“自然風(fēng)景-陸地”、(2)類型“自然風(fēng)景-海洋”和(3)類型“動(dòng)物”。對(duì)于場(chǎng)景“室外(自然風(fēng)景+人造建筑)”，如下給各類型指定優(yōu)先級(jí)(1)類型“人造建筑”、(2)類型“自然風(fēng)景-陸地”和(3)類型“動(dòng)物”。對(duì)于場(chǎng)景“室內(nèi)”，如下給各類型指定優(yōu)先級(jí)(1)類型“人造物品-室內(nèi)”、(2)類型“食物”和(3)類型“人造物品-室外”。
首先，關(guān)鍵字選擇部分450為每個(gè)場(chǎng)景的每個(gè)構(gòu)成元素以優(yōu)先級(jí)遞減的順序一個(gè)個(gè)地檢索在表2中列出的候選關(guān)鍵字，并對(duì)所獲得的候選關(guān)鍵字分類以作為該場(chǎng)景的關(guān)鍵字。如果面部檢測(cè)部分440檢測(cè)到圖像中包含人，則關(guān)鍵字選擇部分450就使用從面部檢測(cè)部分440所提供的有關(guān)人物區(qū)域的信息來確定哪個(gè)構(gòu)成元素包含了人，并將所找到的包含人的構(gòu)成元素的圖像關(guān)鍵字改變?yōu)殛P(guān)鍵字“人物”。
表3是列出由場(chǎng)景分類的關(guān)鍵字的表。


在表3中，關(guān)鍵字“山”、“月亮”、“地平線”和“海岸線”作為場(chǎng)景“室外(自然風(fēng)景-陸地)”的關(guān)鍵字而列出；關(guān)鍵字“金字塔”、“月亮”、“地平線”和“動(dòng)物陰影”作為場(chǎng)景“室外(人造建筑+自然風(fēng)景)”的關(guān)鍵字而列出；關(guān)鍵字“飯團(tuán)”、“壁鐘”、“書桌”和“襯墊陰影”作為場(chǎng)景“室內(nèi)”的關(guān)鍵字而列出。除了這些場(chǎng)景，還可以提供諸如“室外(自然風(fēng)景-海洋)”等其他場(chǎng)景，該場(chǎng)景將諸如“海平線”和“海岸線”等與海洋相關(guān)的候選關(guān)鍵字列為優(yōu)先。
在按場(chǎng)景對(duì)關(guān)鍵字分類后，確定所拍攝的場(chǎng)景中哪一個(gè)與每個(gè)構(gòu)成元素的顏色或作為場(chǎng)景分析部分430的分析結(jié)果所確定的場(chǎng)景相匹配，并將所確定的場(chǎng)景的關(guān)鍵字選擇作為圖像的關(guān)鍵字。由于在本實(shí)例中圖5的步驟S3處的分析已經(jīng)確定了拍攝的場(chǎng)景以及其概率為“白天80％”和“室外70％”，因此確定場(chǎng)景“室內(nèi)”不匹配該拍攝的場(chǎng)景。此外，由于在圖6的(T2)和(T3)部分中所示的構(gòu)成元素的顏色為“綠色”，并且場(chǎng)景“室外(自然風(fēng)景-陸地)”的構(gòu)成元素的關(guān)鍵字“山”的特征顏色為“綠色”，而在場(chǎng)景“室外(人造建筑+自然風(fēng)景)”中的構(gòu)成元素的關(guān)鍵字“金字塔”的特征顏色為“土黃色”，因此確定，場(chǎng)景“室外(自然風(fēng)景-陸地)”最匹配該拍攝的場(chǎng)景。因此，選擇場(chǎng)景“室外(自然風(fēng)景-陸地)”的關(guān)鍵字“山”、“月亮”、“地平線”和“海岸線”作為該圖像的關(guān)鍵字。所選擇的關(guān)鍵字與該圖像關(guān)聯(lián)并與該圖像一起存儲(chǔ)在數(shù)據(jù)庫中。
如上所述，本實(shí)施例的圖像分析裝置400基于圖像而自動(dòng)選擇關(guān)鍵字，因此節(jié)省了人工給圖像指定關(guān)鍵字的勞動(dòng)。
到此，已經(jīng)描述了本發(fā)明的第一實(shí)施例。接下來將描述本發(fā)明的第二實(shí)施例。本發(fā)明的第二實(shí)施例具有大致與第一實(shí)施例相同的構(gòu)造。因此，相同的元件用相同的參考數(shù)字標(biāo)記，并省略對(duì)其的描述而僅描述與第一實(shí)施例的不同之處。
除了第二實(shí)施例的圖像分析裝置并不包括場(chǎng)景分析部分430和面部檢測(cè)部分440外，根據(jù)第二實(shí)施例的圖像分析裝置具有大致與圖4中所示的圖像分析裝置相同的構(gòu)造。
近年來，已經(jīng)投入使用了包含有能檢測(cè)其當(dāng)前位置的GPS(全球定位系統(tǒng))的照相機(jī)。在這種照相機(jī)中，指示對(duì)被攝物拍攝照片的地點(diǎn)的位置信息會(huì)附加到照片中。另一方面，已經(jīng)開發(fā)出了一種技術(shù)，其中為了確保人(相關(guān)的被攝物)能進(jìn)入焦點(diǎn)，在拍攝被攝物照片之前使用整個(gè)圖像(through-image)來檢測(cè)人物，并且在攝影時(shí)，在角視場(chǎng)中檢測(cè)到人的區(qū)域上執(zhí)行自動(dòng)對(duì)焦。指示包含該人的圖像的照片區(qū)域的人物信息會(huì)附加到用這樣的照相機(jī)所拍攝的照片中。在根據(jù)第二實(shí)施例的圖像分析裝置中，圖像獲取部分410獲取附加有諸如被攝物亮度和指示是否使用了閃光燈等拍攝信息的照片，以及附加有如上所述的位置信息的照片，和附加有人物信息的照片。關(guān)鍵字選擇部分450基于附加到照片的這些各種信息項(xiàng)而選擇照片的關(guān)鍵字。
在根據(jù)第二實(shí)施例的圖像分析裝置中，并不執(zhí)行在圖5的步驟S2處的面部檢測(cè)和在步驟S3處的場(chǎng)景分析。該處理余下的部分與第一實(shí)施例的圖像分析裝置400中的類似。在獲取圖像(在圖5中的步驟S1)后，由元素分析部分420識(shí)別在圖像中的多個(gè)構(gòu)成元素(在圖5中的步驟S4)，并且為構(gòu)成元素的每個(gè)獲得候選關(guān)鍵字(圖5中的步驟S5)。在為所有的構(gòu)成元素獲得候選關(guān)鍵字(圖5中的步驟S6是)后，通過場(chǎng)景對(duì)關(guān)鍵字分類。
而且，在第二實(shí)施例的圖像分析裝置中，包括了人物的構(gòu)成元素基于附加到照片的人物信息而在該照片中被檢測(cè)，并且在由場(chǎng)景分類的關(guān)鍵字中，所檢測(cè)的構(gòu)成元素的關(guān)鍵字變?yōu)殛P(guān)鍵字“人物”。結(jié)果，在表3中所示的場(chǎng)景如在第一實(shí)施例的圖像分析裝置400中一樣與關(guān)鍵字關(guān)聯(lián)。
在以下第二實(shí)施例的描述中，假定指示旅行者所在地的粗略位置的位置信息與諸如地標(biāo)建筑名或山名(例如，富士山)等表示旅行者所在地的候選關(guān)鍵字關(guān)聯(lián)，而不是與在表1的關(guān)聯(lián)表中的信息項(xiàng)關(guān)聯(lián)。在本實(shí)例的描述中，假定在表1中所示的候選關(guān)鍵字“金字塔”與表示金字塔的粗略位置的位置信息關(guān)聯(lián)。
關(guān)鍵字選擇部分450將附加到照片的指示該照片拍攝地點(diǎn)的位置信息和與候選關(guān)鍵字“金字塔”關(guān)聯(lián)的粗略位置信息作比較，以確定它們是否匹配。例如，如果確定了它們不匹配，則確定在表3中所示的場(chǎng)景“室外(人造建筑+自然風(fēng)景)”的候選關(guān)鍵字并不與該照片相關(guān)。
接著，關(guān)鍵字選擇部分450基于附加到照片的諸如被攝物的亮度和是否使用了閃光燈等拍攝條件信息而確定該照片場(chǎng)景是“室外”還是“室內(nèi)”。例如，如果亮度足夠高并且沒有使用閃光燈，則確定該場(chǎng)景是“室外”，并且因此確定在表3中所示的場(chǎng)景“室內(nèi)”的候選關(guān)鍵字并不與該照片相關(guān)。因此，余下的場(chǎng)景“室外(自然風(fēng)景-陸地)”的候選關(guān)鍵字就被選作該照片最終的關(guān)鍵字。
以這樣的方式，通過使用各種附加到照片的信息，能夠迅速準(zhǔn)確地確定與該照片相關(guān)的關(guān)鍵字。
雖然在以上描述的實(shí)例中使用個(gè)人計(jì)算機(jī)作為圖像分析裝置，但本發(fā)明的圖像分析裝置也可以是諸如移動(dòng)電話等其他類型的裝置。
雖然在上述實(shí)例中通過輸入接口而從外部設(shè)備獲取圖像，但本發(fā)明的圖像獲取部分也可以獲取在記錄介質(zhì)上記錄的圖像。
權(quán)利要求
1.一種圖像分析裝置，包括獲取部分，其用來獲取圖像；元素抽取部分，其分析由所述獲取部分所獲取的圖像的內(nèi)容以抽取構(gòu)成該圖像的構(gòu)成元素；存儲(chǔ)部分，其將多個(gè)文字與多個(gè)構(gòu)成元素的每個(gè)關(guān)聯(lián)并一起存儲(chǔ)；和搜索部分，其在所述存儲(chǔ)部分中存儲(chǔ)的文字中搜索與由所述元素抽取部分所抽取的構(gòu)成元素關(guān)聯(lián)的文字。
2.根據(jù)權(quán)利要求1的圖像分析裝置，其中，所述元素抽取部分抽取圖形元素作為構(gòu)成元素。
3.根據(jù)權(quán)利要求1的圖像分析裝置，其中，所述元素抽取部分抽取多個(gè)構(gòu)成元素，所述搜索部分為由所述元素抽取部分所抽取出的多個(gè)構(gòu)成元素中的每個(gè)搜索文字，和所述圖像分析裝置還包括選擇部分，其在由所述搜索部分所找到的文字中選擇更好地表示由所述獲取部分所獲取的圖像的特征的文字。
4.根據(jù)權(quán)利要求1的圖像分析裝置，其中，所述元素抽取部分抽取多個(gè)構(gòu)成元素，所述搜索部分為由所述元素抽取部分所抽取出的多個(gè)構(gòu)成元素的每個(gè)搜索文字，和所述圖像分析裝置還包括場(chǎng)景分析部分，其分析由所述獲取部分所獲取的圖像以確定該圖像的場(chǎng)景；和選擇部分，其在由所述搜索部分所找到的文字中選擇與由所述場(chǎng)景分析部分通過分析而確定的場(chǎng)景相關(guān)的文字。
5.根據(jù)權(quán)利要求1的圖像分析裝置，其中，所述獲取部分獲取附加有信息的圖像，所述元素抽取部分抽取多個(gè)構(gòu)成元素，所述搜索部分為由所述元素抽取部分所抽取出的多個(gè)構(gòu)成元素的每個(gè)搜索文字，和所述圖像分析裝置還包括選擇部分，其在由所述搜索部分所找到的文字中選擇與附加到由所述獲取部分所獲取的圖像上的信息相關(guān)的文字。
6.一種存儲(chǔ)有圖像分析程序的圖像分析程序存儲(chǔ)介質(zhì)，所述圖像分析程序在計(jì)算機(jī)上執(zhí)行以在該計(jì)算機(jī)上構(gòu)建獲取部分，其用來獲取圖像；元素抽取部分，其分析由所述獲取部分所獲取的圖像的內(nèi)容以抽取構(gòu)成該圖像的構(gòu)成元素；和搜索部分，其在存儲(chǔ)部分中所存儲(chǔ)的文字中搜索與由所述元素抽取部分所抽取出的構(gòu)成元素關(guān)聯(lián)的文字，其中所述存儲(chǔ)部分將多個(gè)文字與多個(gè)構(gòu)成元素中的每個(gè)關(guān)聯(lián)并一起存儲(chǔ)。
全文摘要
本發(fā)明的目的是提供一種圖像分析裝置和存儲(chǔ)有圖像分析程序的圖像分析程序存儲(chǔ)介質(zhì)，其對(duì)圖像進(jìn)行分析并自動(dòng)確定與該圖像相關(guān)的文字。提供有獲取部分，其用來獲取圖像；元素抽取部分，其分析由獲取部分所獲取的圖像的內(nèi)容以抽取構(gòu)成該圖像的構(gòu)成元素；存儲(chǔ)部分，其將多個(gè)文字與多個(gè)構(gòu)成元素的每個(gè)關(guān)聯(lián)并一起存儲(chǔ)；和搜索部分，其在存儲(chǔ)部分中存儲(chǔ)的文字中搜索與由元素抽取部分所抽取的構(gòu)成元素關(guān)聯(lián)的文字。
文檔編號(hào)G06K9/20GK1940941SQ20061015959
公開日2007年4月4日 申請(qǐng)日期2006年9月28日 優(yōu)先權(quán)日2005年9月28日
發(fā)明者海老原卓行 申請(qǐng)人:富士膠片株式會(huì)社