專利名稱：攝像裝置及圖像文件的數(shù)據(jù)結構的制作方法
技術領域：
本發(fā)明涉及數(shù)碼相機等的攝像裝置。另外，本發(fā)明涉及圖像文件的數(shù)據(jù)結構。
背景技術：
近年來，隨著記錄介質的大容量化而將大量的圖像記錄于記錄介質已經(jīng)成為可 能。因此，謀求一種用于從大量的圖像中高效地發(fā)現(xiàn)期望圖像的檢索方法或分類方法。鑒于此，在某一現(xiàn)有方法中，利用拍攝對象圖像時的信息將適用圖像分類的分類 信息附加在對象圖像上。通過在圖像再生時利用該分類信息，從而容易發(fā)現(xiàn)期望圖像。但是，在上述的現(xiàn)有方法中，由于在對象圖像的檢索或分類時僅僅利用了拍攝對 象圖像本身時的信息，故檢索或分類的高效率化受到限制。

發(fā)明內容
本發(fā)明相關的攝像裝置，具備通過拍攝生成圖像的圖像數(shù)據(jù)的攝像部、和將由所 述攝像部生成的主圖像的圖像數(shù)據(jù)與由所述主圖像得到的主附加信息一同記錄于記錄介 質中的記錄控制部，其特征在于，所述記錄控制部將由副圖像得到的副附加信息與所述主 圖像的圖像數(shù)據(jù)及所述主附加信息建立關聯(lián)后記錄于所述記錄介質，其中所述副圖像是在 與所述主圖像不同的時刻所拍攝到的。在本發(fā)明相關的圖像文件的數(shù)據(jù)結構中，將通過拍攝得到的主圖像的圖像數(shù)據(jù)、 由所述主圖像得到的主附加信息、和由在所述主圖像之前所拍攝到的副圖像得到的副附加 信息相互建立關聯(lián)后存儲。本發(fā)明的意義及效果通過以下所示的實施方式的說明變得更加清楚。其中，以下 的實施方式終究只是本發(fā)明的一個實施方式，本發(fā)明及各構成要件的術語的意義并不限定 于以下的實施方式所述的意義。


圖1是表示本發(fā)明的一個實施方式相關的攝像圖像的構成的框圖。圖2是圖1的攝像部的內部構成圖。圖3是表示應記錄于記錄介質上的圖像文件的結構的圖。圖4是表示在本發(fā)明的一個實施方式的具體例中所假設的主輸入圖像、主標志 (tag)信息及圖像文件的圖。圖5是表示在本發(fā)明的一個實施方式的具體例中所假設的副輸入圖像、主輸入圖 像、主標志信息、及副標志信息的圖。圖6是表示第一副輸入圖像及主輸入圖像的拍攝時刻關系的圖。
圖7是表示在預覽圖像內設定出AF評價區(qū)域的狀態(tài)的圖。圖8是表示第二副輸入圖像及主輸入圖像的拍攝時刻關系的圖。圖9是表示第三副輸入圖像及主輸入圖像的拍攝時刻關系的圖。
圖10是表示第四副輸入圖像及主輸入圖像的拍攝時刻關系的圖。圖11是與圖像文件的作成動作相關的圖1的攝像裝置的動作流程圖。
具體實施例方式以下，參照附圖對本發(fā)明的實施方式進行具體地說明。在所參照的各圖中，對同一 部分附同一符號，原則上省略同一部分相關的重復的說明。圖1是表示本發(fā)明的一個實施方式相關的攝像裝置1的構成的框圖。攝像裝置1 具備基于符號11 21所參照的各部位。攝像裝置1是可拍攝靜止圖像及運動圖像的數(shù)碼 攝像機。其中，攝像裝置1也可以是只可拍攝靜止圖像的數(shù)碼相機。攝像部11通過利用攝像元件進行被攝物體的拍攝從而取得被攝物體的圖像的 圖像數(shù)據(jù)。圖2是攝像部11的內部構成圖。攝像部11:具有光學系統(tǒng)35、光圈32、由 CCD (Charge Coupled Device) ^cCMOS (Complementary Metal Oxide Semiconductor)圖像 傳感器等構成的攝像元件(固體攝像元件)33、用于驅動控制光學系統(tǒng)35或光圈32的驅動 器34。光學系統(tǒng)35由數(shù)枚透鏡形成，其中所述透鏡包括用于調節(jié)攝像部11的視場角的變 焦透鏡30、及用于對焦的聚焦透鏡31。變焦透鏡30及聚焦透鏡31可在光軸上移動。攝像元件33對經(jīng)由光學系統(tǒng)35及光圈32入射來的表示被攝物體的光學像進行 光電變換，并輸出由該光電變換得到的模擬電信號。未圖示的AFE (Analog Front End)對 從攝像元件33輸出的模擬信號進行放大后變換為數(shù)字信號。得到的數(shù)字信號作為被攝物 體的圖像的圖像數(shù)據(jù)被記錄于由SDRAM (Synchronous Dynamic Random Access Memory)等 形成的圖像存儲器12。以下，將由記錄于圖像存儲器12上的1幀周期份的圖像數(shù)據(jù)所表示的1枚份的圖 像稱為“幀圖像”。且有，在本說明書中，有時將圖像數(shù)據(jù)只稱為“圖像”。幀圖像的圖像數(shù)據(jù)作為輸入圖像的圖像數(shù)據(jù)被送入到攝像裝置1內的必要部位 (例如，圖像分析部14)。此時，也可對幀圖像的圖像數(shù)據(jù)實施必要的圖像處理(噪聲降低 處理、邊緣強調處理等)，并將該圖像處理后的圖像數(shù)據(jù)作為輸入圖像的圖像數(shù)據(jù)送入到圖 像分析部14等。攝影控制部13將用于適當調節(jié)變焦透鏡30及聚焦透鏡31的各位置以及光圈32 的開度的控制信號輸出于驅動器34(參照圖2)。驅動器34基于該控制信號來驅動控制這 些位置及開度，從而調節(jié)攝像部11的視場角(焦點距離)及焦點位置以及向攝像元件33 的入射光量。圖像分析部14基于輸入圖像的圖像數(shù)據(jù)進行在輸入圖像中所包括的特定類型的 被攝物體的檢測。在特定類型的被攝物體中包括人物的面部及人物本身。圖像分析部14通過面部 檢測處理來檢測輸入圖像中的面部及人物。在面部檢測處理中，基于輸入圖像的圖像數(shù)據(jù) 從輸入圖像的圖像區(qū)域中檢測并提取包括人物的面部部分在內的區(qū)域、即面部區(qū)域。在從 某一輸入圖像中提取出P個面部區(qū)域時，圖像分析部14判斷為在該輸入圖像中存在P個面部或存在P個人物(P為自然數(shù))。圖像分析部14可通過包括公知方法在內的任意方法來 執(zhí)行面部檢測處理。且有，以下，將通過面部檢測處理提取出的面部區(qū)域內的圖像稱為“提 取面部圖像”。另外，也可以以可執(zhí)行面部識別處理的方式形成圖像分析部14。在面部識別處理 中，識別具有由面部檢測處理從輸入圖像中提取出的面部的人物，是預先設定的一個或多 個登記人物內的哪一個人物。作為面部識別處理的方法已知各種方法，圖像分析部14可通 過包括公知方法在內的任意方法來執(zhí)行面部識別處理。例如，能基于提取面部圖像的圖像數(shù)據(jù)和對照用的面部圖像數(shù)據(jù)庫進行面部識別 處理。在面部圖像數(shù)據(jù)庫中存儲有與互不相同的多個登記人物相關的面部圖像的圖像數(shù) 據(jù)。能將面部圖像數(shù)據(jù)庫預先設在圖像分析部14內。將存儲于面部圖像數(shù)據(jù)庫內的登記 人物的面部圖像稱為“登記面部圖像”。通過按照每個登記面部圖像進行基于提取面部圖像 的圖像數(shù)據(jù)及登記面部圖像的圖像數(shù)據(jù)的提取面部圖像及登記面部圖像間的相似度評價， 從而能實現(xiàn)面部識別處理。
且有，也可以基于提取面部圖像的圖像數(shù)據(jù)來推斷與該提取面部圖像對應的人 物的性別、人種及年齡層等。作為該推斷方法能夠利用包括公知方法(例如，日本特開 2004-246456號公報、日本特開2005-266981號公報及日本特開2003-242486號公報所述的 方法)在內的任意方法。進而，圖像分析部14也能基于輸入圖像的圖像數(shù)據(jù)來檢測存在于輸入圖像上的 面部或人物以外的特定類型的被攝物體。為了方便起見，將用于進行該檢測的處理稱為“物 體檢測處理”。若認為應檢測的物體是面部或人物，則物體檢測處理是面部檢測處理。由物體檢測處理應檢測的被攝物體的類型是任意的。例如，利用物體檢測處理能 檢測圖像上的車、樹、作為高層建筑的大廈等。對于圖像上的車、樹、大廈等的檢測而言，能 利用邊緣檢測、輪廓檢測、圖像匹配、圖案識別等各種圖像處理，可利用包括公知方法在內 的任意方法。例如，在特定類型的被攝物體為車的情況下，通過基于輸入圖像的圖像數(shù)據(jù)來 檢測輸入圖像上的輪胎從而能檢測輸入圖像上的車，或者通過利用了輸入圖像的圖像數(shù)據(jù) 和預先準備的車的圖像的圖像數(shù)據(jù)的圖像匹配從而能夠檢測輸入圖像上的車。進而，圖像分析部14也能夠基于輸入圖像的圖像數(shù)據(jù)來檢測輸入圖像的圖像特 征。將用于進行該檢測的處理稱為“圖像特征檢測處理”。在圖像特征檢測處理中，例如能 夠基于輸入圖像的亮度等級來檢測輸入圖像是在暗處所拍攝到的圖像、還是在明處所拍攝 到的圖像、或是在逆光下所拍攝到的圖像等。以下，將包括上述的面部檢測處理、面部識別處理、對人物的性別和人種及年齡層 進行推斷的處理、物體檢測處理、以及圖像特征檢測處理在內的處理統(tǒng)稱為“圖像分析”。記錄介質15是由磁盤或半導體存儲器等構成的非易失性存儲器。能夠將輸入圖 像的圖像數(shù)據(jù)存儲于圖像文件中的基礎上記錄于記錄介質15上。圖3示出一個圖像文件的結構。對一個靜止圖像或運動圖像作成一個圖像文件。 能使圖像文件的結構依據(jù)于任意標準。圖像文件由應存儲有靜止圖像或運動圖像的圖像數(shù) 據(jù)的主體區(qū)域和應存儲有附加信息的頭部區(qū)域構成。在本例子中，在主體區(qū)域中存儲有輸 入圖像的圖像數(shù)據(jù)本身或該圖像數(shù)據(jù)的壓縮數(shù)據(jù)。且有，在本說明書中，“數(shù)據(jù)”和“信息” 是同一意思。
由于一個圖像文件中的主體區(qū)域和頭部區(qū)域應當是相互建立關聯(lián)的記錄區(qū)域，故 存儲于同一圖像文件的主體區(qū)域及頭部區(qū)域上的數(shù)據(jù)彼此之間必然相互建立關聯(lián)。以后， 對應當存儲于頭部區(qū)域上的附加信息進行詳細說明。記錄控制部16進行用于使記錄介質15記錄數(shù)據(jù)所需的各種記錄控制。顯示部17 由液晶顯示器等構成，其顯示由攝像部11的拍攝得到的輸入圖像或記錄于記錄介質15上 的圖像等。操作部18是用于用戶對攝像裝置1進行各種操作的部位。在操作部18中包括 用于進行靜止圖像的拍攝指示的快門按鈕18a、用于指示運動圖像的拍攝開始及結束的錄 像按鈕(未圖示)。主控制部19按照對操作部18進行的操作內容來統(tǒng)一控制攝像裝置1 內的各部位的動作。發(fā)光部20是將氙管或發(fā)光二極管作為光源的發(fā)光裝置，其按照快門按 鈕18a的按下時刻，在由攝影控制部13所指示的時刻，根據(jù)需要將由該光源生成的閃光照 射到被攝物體上。圖像檢索部21從記錄于記錄介質15上的多個圖像文件中檢索滿足特定條件的圖 像文件。檢索結果被反映于顯示部17的顯示內容中。在圖像檢索部21的檢索模式中存在 包括通常檢索模式在內的多個檢索模式。按照與操作部18相對的操作內容來指定實際執(zhí) 行的檢索模式。參照圖4對通常檢索模式進行說明?，F(xiàn)在，根據(jù)快門按鈕18a的按下操作，通過攝 像部11的拍攝取得作為4枚靜止圖像的4枚輸入圖像IM[1] Im[4]。此時，記錄控制部 16在記錄介質15內作成4個圖像文件FL[1] FL[4]，在圖像文件FL[1] FL[4]的主體 區(qū)域分別記錄輸入圖像IM[1] Im[4]的圖像數(shù)據(jù)。且有，將在圖像文件的主體區(qū)域應記錄 圖像數(shù)據(jù)的輸入圖像特別地稱為“主輸入圖像”?？扉T按鈕18a的按下操作是對作為主輸入 圖像的靜止圖像的拍攝進行指示的操作。一方面，圖像分析部14對輸入圖像IM[1] Im[4]分別進行圖像分析。記錄控制 部16將由與輸入圖像IM[i]相對的圖像分析得到的信息作為主標志信息記錄于圖像文件 FL[i]的頭部區(qū)域。在此，i為自然數(shù)。因此，由輸入圖像IM[1]的圖像分析得到的主標志 信息被記錄于圖像文件FL[1]的頭部區(qū)域，由輸入圖像Im[2]的圖像分析得到的主標志信 息被記錄于圖像文件FL[2]的頭部區(qū)域(對于輸入圖像Im[3]及Im[4]也同樣)。且有，在 圖像文件FL[i]的頭部區(qū)域中除了與輸入圖像IM[i]相關的主標志信息以外，記錄有表示 輸入圖像IM[i]的拍攝時刻的信息、輸入圖像IM[i]的縮略圖像的圖像數(shù)據(jù)等與輸入圖像 I [i]關聯(lián)的各種信息。在以下的說明中，為了說明的簡單，在攝像裝置1的被攝物體中只包括人物、大 廈、樹及車(即、無視人物、大廈、樹及車以外的被攝物體的存在)。另外，假設記錄于記錄介 質15上的圖像文件只是圖像文件FL[1] FL[4]。在輸入圖像IM[1]的被攝物體中只包括人物，在輸入圖像IM[2]的被攝物體中只包 括人物和車，在輸入圖像IM[3]的被攝物體中只包括人物、大廈及車，在輸入圖像IM[4]的被 攝物體中只包括人物。 記錄控制部16將由對輸入圖像IM[i]的圖像分析所檢測出的被攝物體的類型寫 入到輸入圖像IM[i]的主標志信息中。因此，在輸入圖像IM[1]的主標志信息中只寫入“人 物”，在輸入圖像IM[2]的主標志信息中只寫入“人物”及“車”，在輸入圖像IM[3]的主標志 信息中只寫入“人物”、“大廈”及“車”，在輸入圖像IM[4]的主標志信息中寫入“人物”并寫入“肖像”。
在提取面部區(qū)域的大小占據(jù)關注輸入圖像的整個圖像區(qū)域中的比例在規(guī)定的基 準比例以上的情況下，圖像分析部14判斷出關注輸入圖像是肖像圖像。由于被判斷為輸入 圖像Im[4]是肖像圖像，故記錄控制部16根據(jù)該判斷結果將“肖像”寫入到輸入圖像Im[4] 的主標志信息中。而且，根據(jù)面部識別處理檢測出輸入圖像IM[4]中所包括的人物是登記人物Ha。此 時，記錄控制部16將“人物Ha”寫入到輸入圖像IM[4]的主標志信息中。對在存儲有各輸入圖像的圖像數(shù)據(jù)及主標志信息的圖像文件FL[1] FL[4]被記 錄于記錄介質15的狀態(tài)下的通常檢索模式的動作進行說明。通過用戶在攝像裝置1中設 定檢索條件，從而能按照檢索條件來進行圖像文件的檢索。檢索條件是通過指定檢索用語 而設定的。檢索用語的指定例如通過對操作部18的操作來實現(xiàn)的。在顯示部17具備所謂 的觸摸面板功能的情況下，也可以利用該功能進行檢索用語的指定。用戶也能夠通過一個 文字一個文字的文字輸入來進行檢索用語的指定，也能夠從準備的多個候補用語中選擇指 定檢索用語。在通常檢索模式下，圖像檢索部21分別關注圖像文件FL[1] FL[4]的每一個。 并且，在與由檢索條件指定出的檢索用語一致(或大致一致)的用語包括在所關注的圖像 文件的主標志信息中的情況下，作為檢索文件而選擇所關注的圖像文件。在選擇檢索文件 后，圖像檢索部21使與檢索文件相關的信息顯示于顯示部17。能顯示該信息的方法是任意 的。例如，能夠將作為檢索文件而選擇出的圖像文件的名稱、和/或基于作為檢索文件而選 擇出的圖像文件內的圖像數(shù)據(jù)的圖像(例如，縮略圖像)顯示于顯示部17。在通常檢索模式下在作為檢索用語而指定“人物”的情況下，作為檢索文件而選擇圖像文件FL[1] FL[4]；在作為檢索用語而指定“車”的情況下，作為檢索文件而只選擇出圖像文件FL[2] 及 FL[3]；在作為檢索用語而指定“大廈”的情況下，作為檢索文件而只選擇出圖像文件 FL [3]；在作為檢索用語而指定“肖像”的情況下，作為檢索文件而只選擇出圖像文件 FL[4]；在作為檢索用語而指定“人物Ha”的情況下，作為檢索文件而只指定出圖像文件 FL [4]。另外，也能在檢索條件中指定多個檢索用語。例如，在作為檢索條件而設定了第一 檢索用語“車”及第二檢索用語“大廈”一起包括在主標志信息中的這一條件的情況下，作為 檢索文件而只選擇出圖像文件FL[3]。另外，例如，在作為檢索條件而設定了第一檢索用語 “車”或第二檢索用語“大廈”包括在主標志信息中的這一條件的情況下，作為檢索文件而選 擇出圖像文件FL[2]及FL[3]。接著，參照圖5對在作為圖像檢索部21的檢索模式之一的擴大檢索模式中所利用 的副標志信息的生成方法進行說明。在擴大檢索模式下，除了利用從作為主輸入圖像的輸 入圖像IM[1] Im[4]中得到的主標志信息之外，還利用從在主輸入圖像之前所拍攝到的輸入圖像中得到的副標志信息。將用于得到副標志信息的、在主輸入圖像之前所拍攝到的輸 入圖像，稱為“副輸入圖像”。認為主輸入圖像和副輸入圖像是密切相關的圖像，通過并用由 主輸入圖像得到的主標志信息和由副輸入圖像得到的副標志信息，從而容易檢索期望的圖 像文件。擴大檢索模式下的檢索動作與通常檢索模式的檢索動作類似。擴大檢索模式下的 檢索動作在后面說明，首先對副輸入圖像的取得方法及副標志信息的生成方法進行說明。
通過記號Is[l] Is[4]分別表示與主輸入圖像IM[1] Im[4]相對的副輸入圖 像。圖像分析部14分別對副輸入圖像Is[l] Is[4]進行圖像分析。記錄控制部16將通 過對副輸入圖像Is[i]的圖像分析得到的信息作為副標志信息而記錄于圖像文件FL[i]的 頭部區(qū)域。在此，i為自然數(shù)。因此，由副輸入圖像Is[l]的圖像分析得到的副標志信息被 記錄于圖像文件FL[1]的頭部區(qū)域，由副輸入圖像Is[2]的圖像分析得到的副標志信息被 記錄于圖像文件FL[2]的頭部區(qū)域(對于副輸入圖像Is[3]及Is[4]也同樣)。通過進行 這種記錄，從而主輸入圖像IM[1]的圖像數(shù)據(jù)和由主輸入圖像IM[1]及副輸入圖像Is[l]得 到的主標志信息及副標志信息在記錄介質15內相互建立關聯(lián)。攝像部11在規(guī)定的幀周期(例如，1/30秒)周期地進行輸入圖像(幀圖像)的拍 攝，依次得到的輸入圖像被更新顯示于顯示部17(即、依次得到的輸入圖像的集合作為運 動圖像顯示于顯示部17)。用戶通過觀看該顯示內容來確認攝像部11的拍攝范圍，并在期 望的時刻進行基于快門按鈕18a的按下操作的靜止圖像的拍攝指示。在進行了該拍攝指示 之后，基于由攝像部11得到的圖像數(shù)據(jù)生成主輸入圖像。主輸入圖像以外的各輸入圖像作 為拍攝范圍確認用的圖像起作用，將主輸入圖像以外的輸入圖像稱為“預覽圖像”。副輸入 圖像是在主輸入圖像的拍攝之前所拍攝到的某一預覽圖像。且有，在主輸入圖像與預覽圖 像之間，圖像的分辨率可能不同。以下，作為第一 第四具體例，按照每個副輸入圖像對副輸入圖像Is[l] Is[4] 的拍攝時刻等進行說明。第一具體例首先，參照圖6對與Is[l]及IM[1]對應的第一具體例進行說明。在第一具體例中， 假設在副輸入圖像的拍攝時刻與主輸入圖像的拍攝時刻之間進行了攝像部11的視場角的 變更。按照對操作部18的規(guī)定的變焦倍率變更操作，攝影控制部13使變焦透鏡30在光學 系統(tǒng)35內移動，從而能變更攝像部11的視場角(參照圖2)。通過記號1[1]及TM[1]分別表示輸入圖像Is[l]及IM[1]的拍攝時刻。拍攝時刻 Ts[l]是比拍攝時刻TM[1]更前的時刻。所謂關注輸入圖像的拍攝時刻例如是指用于得到 關注輸入圖像的圖像數(shù)據(jù)的攝像元件33的曝光期間的開始點。在先于主輸入圖像IM[1]的拍攝之前進行了攝像部11的視場角的變更的情況下， 在該變更之前基于由攝像部11得到的圖像數(shù)據(jù)的輸入圖像(預覽圖像)被作為副輸入圖 像Is [1]對待。具體地說，能夠如下進行處理。在進行了對攝像部11的視場角的變更進行指示的 變焦倍率變更操作時，將實際變更視場角之前的時刻作為拍攝時刻TS[1]對待并且將在拍 攝時刻TS[1]所拍攝到的輸入圖像作為副輸入圖像Is[l]對待，預先將表示對副輸入圖像 Is[l]的圖像分析的結果的信息Qs[l]暫時記錄于在記錄控制部16等設置的存儲器(未圖 示)中。
其后，在視場角的變更結束后固定視場角之后，在規(guī)定期間Pth內進行了快門按鈕 18a的按下操作的情況下，將該按下操作之后的時刻作為拍攝時刻TM[1]對待以進行主輸入 圖像IM[1]的拍攝。該拍攝后，記錄控制部16將主輸入圖像IM[1]的圖像數(shù)據(jù)及主標志信 息和基于上述信息Qs[l]的副標志信息記錄于圖像文件FL[1]中。且有，在視場角固定之后，經(jīng)過了具有期間Pth以上長度的期間之后，在進行了快 門按鈕18a的按下操作的情況下，由于預測輸入圖像IM[1]及Is[l]間的相關性低，故也可 以在圖像文件FL[1]中不記錄由副輸入圖像Is[l]得到的副標志信息(其中，也能進行該 記錄)。副輸入圖像Is[l]是以較寬的視場角所拍攝到的圖像，主輸入圖像IM[1]是以較窄 的視場角所拍攝到的圖像。此時，副輸入圖像IS[1]中多包括在主輸入圖像IM[1]中不包括 的關注被攝物體(在本例中為人物)的周邊被攝物體。若作為副標志信息而包括與該周邊 被攝物體相關的信息，則能提高檢索的便利性。
圖5及圖6中，為了放大拍攝作為關注被攝物體的人物而假設用戶在時刻 TS[1]-TM[1]間進行減小視場角的操作。另外，假設在該人物的周圍存在樹。因此，雖然在 以較窄的視場角所拍攝到的主輸入圖像IM[1]的被攝物體中只包括人物，但是在以較寬的 視場角所拍攝到的副輸入圖像IS[1]的被攝物體中不只包括人物還包括樹。因此，記錄控 制部16基于信息喚[1]將“人物”和“樹”寫入到圖像文件FL[1]內的副標志信息中。第二具體例接著，參照圖7及圖8對與Is[2]及Im[2]對應的第二具體例進行說明。在第二具 體例中，假設在主輸入圖像的拍攝之前進行自動聚焦控制(以下，稱為AF控制)。且有，并 不限定于第二具體例，也能在主輸入圖像的拍攝之前進行AF控制。AF控制是按照對快門按鈕18a的操作內容執(zhí)行的。快門按鈕18a能進行2階段 的按下操作，若用戶輕輕按下快門按鈕18a則快門按鈕18a處于半按狀態(tài)，若從該狀態(tài)進一 步按下快門按鈕18a則快門按鈕18a處于全按狀態(tài)。以下，將使快門按鈕18a處于半按狀 態(tài)的按下操作稱為“半按操作”，將使快門按鈕18a處于全按狀態(tài)的按下操作稱為“全按操 作”。攝影控制部13接收進行了半按操作并開始AF控制，接收在AF控制結束后進行的全 按操作并使攝像部11取得主輸入圖像的圖像數(shù)據(jù)。且有，在本說明書中，在單稱為按下操 作的情況下，其指的是全按操作。在AF控制中，以對焦到攝像裝置1的整個拍攝范圍內的一部分的拍攝范圍中存在 的被攝物體的方式調整聚焦透鏡31的位置。該調整結束后，在固定了聚焦透鏡31的位置 的時刻AF控制結束。作為AF控制的方法，能夠利用包括公知的方法在內的任意方法。現(xiàn)在，為了說明的具體化，假設采用了 AF控制，其中所述AF控制利用了 TTL(Through The Lends)方式的對比度檢測法。如圖7所示，攝影控制部13或未圖示的 AF評價值計算部在預覽圖像內設定AF評價區(qū)域，利用高通濾波器計算AF評價值，其中AF 評價值具有與AF評價區(qū)域內的對比度相應的值。攝像裝置1的整個拍攝范圍的拍攝圖像 是預覽圖像本身(即、預覽圖像的整個圖像區(qū)域內的圖像)，上述一部分的拍攝范圍的拍攝 圖像是AF評價區(qū)域內的圖像。AF評價區(qū)域被視為預覽圖像的整個圖像區(qū)域的一部分。例 如，AF評價區(qū)域被視為位于預覽圖像中央附近的規(guī)定的一部分區(qū)域。也可以以包括位于預 覽圖像中央附近的面部區(qū)域的方式設定AF評價區(qū)域。
AF評價值隨著AF評價區(qū)域內的對比度的增大而增大。邊一規(guī)定量一規(guī)定量地偏移聚焦透鏡31的位置邊依次進行這種AF評價值的計算，并對得到的多個AF評價值內的最 大AF評價值進行特定。并且，通過將實際的聚焦透鏡31的位置固定于與最大AF評價值對 應的聚焦透鏡31的位置，從而AF控制結束。在AF控制結束時，攝像裝置1進行包括該意 思的通知(聲響的輸出等)。用戶大多考慮這種AF控制的特性來進行以下的相機操作。首先，在將想要對焦的 關注被攝物體配置在拍攝范圍的中央附近的狀態(tài)下，進行半按操作。由此，在對關注被攝物 體對焦的位置固定聚焦透鏡31的狀態(tài)下，AF控制結束。其后，以將關注被攝物體包括在拍 攝范圍內并得到真正想要拍攝的取景的方式移動攝像裝置1 (進行搖鏡頭、俯仰等)，在取 景確定之后進行全按操作。在進行了這種相機操作的情況下，在半按操作后且全按操作前得到的預覽圖像中 多包括在主輸入圖像中不包括的關注被攝物體的周邊被攝物體。若作為副標志信息而包括 與該周邊被攝物體相關的信息，則提高檢索的便利性?？紤]此，如下進行具體地處理。參照圖8。通過記號Ts[2]及Tm[2]分別表示輸入 圖像Is[2]及Im[2]的拍攝時刻。拍攝時刻1[2]是比拍攝時刻Tm[2]更前的時刻。在半按 操作后，將AF控制的執(zhí)行中的時刻或AF控制的結束之后的時刻作為拍攝時刻1[2]對待并 且在拍攝時刻Ts [2]所拍攝到的輸入圖像作為副輸入圖像Is [2]對待，預先將表示對副輸入 圖像Is[2]的圖像分析結果的信息延[2]暫時記錄于在記錄控制部6等設置的存儲器(未 圖示)。其后，在進行了全按操作的情況下，將該全按操作之后的時刻作為拍攝時刻TM[2] 對待以進行主輸入圖像Im[2]的拍攝。在該拍攝后，記錄控制部16將主輸入圖像Im[2]的 圖像數(shù)據(jù)及主標志信息和基于上述信息Qs [2]的副標志信息記錄于圖像文件FL [2]。在圖5及圖8中，為了拍攝對人物對焦、且包括人物及車作為被攝物體的圖像，來 作為主輸入圖像，而假設用戶在時刻1[2]-1 [2]間使取景變化。另外，在時刻Ts[2]，假設 人物和樹包括在拍攝范圍內。因此，在副輸入圖像Is[l]的被攝物體中不只包括人物還包 括樹(其中，不包括車)。因此，記錄控制部16基于信息延[2]將“人物”和“樹”寫入圖像 文件FL[2]內的副標志信息中。第三具體例接著，參照圖9對與Is [3]及Im[3]對應的第三具體例進行說明。在第三具體例 中，假設在拍攝主輸入圖像時進行了閃光的照射。在第三具體例中，在進行了快門按鈕18a的按下操作的情況下，該按下操作之后 的時刻作為主輸入圖像IM[3]的拍攝時刻對待以進行主輸入圖像IM[3]的拍攝。如上述，在 拍攝主輸入圖像Im[3]時(換言之，在用于得到主輸入圖像Im[3]的圖像數(shù)據(jù)的攝像元件33 的曝光期間中)，利用發(fā)光部20將閃光照射到被攝物體。此時，將主輸入圖像Im[3]的ρ幀周期前得到的預覽圖像作為副輸入圖像Is [3]對 待。在此，P為整數(shù)，例如1或2。在拍攝副輸入圖像Is[3]時，閃光未照射到被照射物體。表示對依次得到的各預覽圖像的圖像分析的結果的信息被暫時存儲到設置在記 錄控制部16等上的存儲器(未圖示)。記錄控制部16通過在主輸入圖像IM[3]的拍攝之 后讀取出基于副輸入圖像Is[3]的圖像數(shù)據(jù)而已經(jīng)導出的信息、即表示對副輸入圖像Is[3]的圖像分析的結果的信息Qs[3]從而生成副標志信息。圖像分析部14基于副輸入圖像Is[3]的圖像數(shù)據(jù)來判斷副輸入圖像是在暗處所拍攝到的圖像或是在逆光下所拍攝到的圖像，并將該檢測結果包括在信息Qs[3]中。在只有關注被攝物體所處的副輸入圖像的中央附近暗、周圍亮的情況下，能判斷 出該副輸入圖像是在逆光下所拍攝到的圖像。更具體地說，例如，在副輸入圖像Is[3]的中 央附近的規(guī)定圖像區(qū)域內的平均亮度在規(guī)定的基準亮度Ythi以下且從副輸入圖像Is[3]的 整個圖像區(qū)域中除去該規(guī)定圖像區(qū)域后得到的圖像區(qū)域內的平均亮度在規(guī)定的基準亮度 Yth2以上的情況下，判斷出副輸入圖像是在逆光下所拍攝到的圖像。此時，在由副輸入圖像 Is[3]得到的副標志信息中包括“逆光”這一用語信息。在此，基準亮度Yth2比Ythi大。且 有，也可以基于由面部檢測處理提取出的面部區(qū)域的位置及大小來設定上述的規(guī)定圖像區(qū) 域的位置及大小。在副輸入圖像整體暗的情況下，能判斷出該副輸入圖像是在暗處所拍攝到的圖 像。更具體地說，例如，在副輸入圖像Is[3]的整個圖像區(qū)域中的平均亮度在規(guī)定的基準亮 度Yth3以下的情況下，能判斷出副輸入圖像是在暗處所拍攝到的圖像。此時，在由副輸入圖 像Is[3]得到的副標志信息中包括“暗處”這一用語信息。記錄控制部16按照主輸入圖像IM[3]的圖像數(shù)據(jù)及主標志信息和對副輸入圖像 Is[3]的圖像分析結果將寫入有“逆光”或“暗處”的副標志信息記錄于圖像文件FL[3]。在 圖5的例子中，在圖像文件FL[3]的副標志信息中包括“逆光”這一用語信息。另外，對于副 輸入圖像Is[3]也進行分類“暗處”和“逆光”的圖像分析以外的圖像分析(上述的面部檢 測處理或物體檢測處理等)，該圖像分析的結果也包括在圖像文件FL[3]的副標志信息中。 在本例子中，假設人物、大廈及車包括在副輸入圖像Is[3]的拍攝范圍內。因此，“人物”、“大 廈”及“車”也被寫入圖像文件FL[3]的副標志信息中。第四具體例接著，參照圖10對與Is[4]及Im[4]對應的第四具體例進行說明。如圖10所示，第 四具體例將在主輸入圖像IM[4]的拍攝前的規(guī)定的一定期間內所拍攝到的一個或多個預覽 圖像分別作為副輸入圖像Is[4]對待?，F(xiàn)在，假設η枚預覽圖像分別作為副輸入圖像Is[4] 對待的情況，并通過記號Isi [4] Isn[4]表示作為副輸入圖像的η枚預覽圖像。η為2以 上的整數(shù)。按照副輸入圖像IS1[4]、IS2[4]、IS3[4]、……,Isn[4]的順序依次進行拍攝，在副 輸入圖像Isn[4]的拍攝結束后拍攝主輸入圖像Im[4]。圖像分析部14對依次得到的各預覽圖像進行面部檢測處理及面部識別處理，并 只暫時存儲η枚以上份的面部識別處理的結果。因此，在有用于拍攝主輸入圖像Ιμ[4]的快 門按鈕18a的按下操作的時刻，存儲與副輸入圖像IS1[4] Isn[4]對應的面部檢測處理及 面部識別處理的結果。記錄控制部16由該存儲內容生成與圖像文件FL[4]對應的副標志 信息。在主輸入圖像Im[4]的拍攝之后，記錄控制部16將主輸入圖像Im[4]的圖像數(shù)據(jù)及 主標志信息、和由副輸入圖像IS1[4] Isn[4]得到的副標志信息記錄于圖像文件FL[4]。在對副輸入圖像ISj[4]的面部檢測處理及面部識別處理的結果中，包括表示副 輸入圖像ISj[4]中是否包括人物的信息、和若包括人物的信息則表示該人物是否是某一個 登記人物的信息(j為自然數(shù))?，F(xiàn)在，假設在由面部識別處理應識別的登記人物中，包括作 為互不相同的人物的登記人物Ha、Hb、Hc及Hd。
在識別為副輸入圖像IS1[4] Isn[4]的其中一個中作為被攝物體而包括登記人物 隊的情況下，在圖像文件FL[4]的副標志信息中寫入“人物Ha”。同樣地，在識別為副輸入 圖像IS1[4] Isn[4]的其中一個中作為被攝物體而包括登記人物壓的情況下，在圖像文件 FL[4]的副標志信息中寫入“人物HB”。對于登記人物而言HC、HD也同樣?，F(xiàn)在，假設在識別為副輸入圖像IS1[4]、IS2[4]及IS3[4]中作為被攝物體而包括登 記人物HA、HB、氏且在識別為副輸入圖像IS1[4] Isn[4]的其中一個中作為被攝物體而不包 括登記人物HD的情況。于是，如圖5所示，在圖像文件FL[4]的副標志信息中寫入了“人物 HA”、“人物HB”、“人物Hc”，但是卻未寫入“人物Hd”。另外，單稱為“人物”的用語信息也寫入 到圖像文件FL[4]的副標志信息中。且有，圖5所示的副輸入圖像Is[4]表示副輸入圖像 IS1[4] Isn[4]的其中一個，并假設在圖5的副輸入圖像Is[4]與主輸入圖像Im[4]的拍攝 之間進行了視場角的減小。另外，在圖像文件FL[4]的副標志信息中寫入一定人數(shù)以上的人物的情況下或者 在通過面部檢測處理而判斷出副輸入圖像IS1 [4] Isn[4]的其中一個中作為被攝物體而包 括規(guī)定人數(shù)以上的人物的情況下，也可以將“集合寫真”寫入到圖像文件FL[4]的副標志信 息中。且有，在第一 第四具體例中所述的任意的圖像文件中，也可以從副標志信息中 除去與主標志信息中所包括的用語信息重復的用語信息。例如，在圖像文件FL[1]中，也可 以將寫入于主標志信息中的“人物”不寫入到副標志信息中。此時，在圖像文件FL[1]的副 標志信息中只寫入“樹”。圖像文件的作成流程接著，參照圖11對實現(xiàn)上述的圖像文件作成的攝像裝置1的動作流程進行說明。 圖11是表示該動作的流程的流程圖。首先，在步驟S11中利用攝像部11取得預覽圖像，在步驟S12中對該預覽圖像進 行圖像分析，在步驟S13中基于該圖像分析的結果生成標志信息。該標志信息被暫時存儲 于攝像裝置1內。若在某一時刻取得的預覽圖像成為副輸入圖像，則對該預覽圖像生成的 標志信息成為應記錄于圖像文件中的副標志信息。在步驟S13后的步驟S14中檢測有無快門按鈕18a的按下操作，在進行了快門按 鈕18a的按下操作的情況下，在步驟S 15中進行主輸入圖像的拍攝以取得主輸入圖像的圖 像數(shù)據(jù)。另一方面，在未進行快門按鈕18a的按下操作的情況下，返回到步驟S11并反復進 行步驟S11 S13的處理。在主輸入圖像的拍攝后，在步驟S16中基于主輸入圖像的圖像數(shù)據(jù)進行主標志信 息的生成，進而在步驟S17中根據(jù)在步驟S13中生成的標志信息生成副標志信息。關于在 某一時刻所拍攝到的預覽圖像是否作為副輸入圖像起作用、在某一時刻所拍攝到的預覽圖 像的標志信息是否作為副標志信息起作用，遵從上述的各具體例。在生成副標志信息后，以 可將主標志信息和副標志信息寫入到圖像文件中的方式進行合成，并將他們與主輸入圖像 的圖像數(shù)據(jù)一起記錄于記錄介質15內的圖像文件中(步驟S18)。擴大檢索模式下的檢索動作接著，對擴大檢索模式下的檢索動作進行說明。如上述，擴大檢索模式下的檢索動 作與通常檢索模式的檢索動作類似。在通常檢索模式下只從主標志信息中檢索檢索用語，而在擴大檢索模式下從主標志信息及副標志信息的雙方檢索檢索用語，或只從副標志信息 檢索檢索用語。對從主標志信息及副標志信息雙方檢索檢索用語的情況下的動作進行說明。此 時，在作為檢索用語而只指定“人物”、只指定“車”、只指定“大廈”、只指定“肖像”時作為檢 索文件而選擇出的圖像文件，與通常檢索模式相同。但是，在作為檢索用語而指定出“樹”的 情況下，在通常檢索模式下作為檢索文件而未選擇出其中一個圖像文件，但是在擴大檢索 模式下作為檢索文件而選擇出圖像文件FL[1]及FL[2]。
另外，在擴大檢索模式下，與通常檢索模式同樣地，也能指定多個檢索用語。若在 檢索用語中單單只包括“人物”的情況下，作為檢索文件而選擇出圖像文件FL[1] FL[4] 的全部，但是若作為檢索條件而設定在主標志信息及副標志信息中包括第一檢索用語“人 物”及第二檢索用語“樹”這一條件，則檢索文件限定于圖像文件FL[1]及FL[2]。這在要 檢索作為被攝物體的用戶進入森林時所拍攝到的圖像的情況下等是有益的。另外，例如若 用戶存儲在逆光下拍攝人物的圖像，則也可以在檢索用語中包括“人物”和“逆光”。由此， 檢索文件限定于圖像文件FL[3]。在只依賴主標志信息的通常檢索模式下，無法實現(xiàn)這種限定。在本例子中，為了說 明的簡單，雖然只關注4個圖像文件，但是由于實際上在記錄介質15中記錄有非常多的圖 像文件，故通過利用副標志信息從而易于發(fā)現(xiàn)期望的圖像文件。在主標志信息及副標志信息中應包括的用語類型并不限定于上述的類型，能夠基 于圖像分析的結果將各種類型的用語包括在主標志信息及副標志信息中。例如，在圖像分 析中，若進行了推斷人物的性別、人種及年齡層的處理，則既能將對主輸入圖像所推斷出的 性別、人種及年齡層包括在主標志信息中，也能將對副輸入圖像所推斷出的性別、人種及年 齡層包括在副標志信息中。通過與攝像裝置不同的電子設備(例如，圖像再生裝置；未圖示)能實現(xiàn)基于記錄 介質15的記錄數(shù)據(jù)的上述檢索處理(攝像裝置也是電子設備的一種)。此時，只要在上述 電子設備中設置顯示部17及圖像檢索部21，將記錄有多個圖像文件的記錄介質15的記錄 數(shù)據(jù)提供給電子設備內的圖像檢索部21即可。由此，在電子設備內能夠實現(xiàn)與上述的通常 檢索模式及擴大檢索模式同樣的動作。且有，在上述說明內容中所示的具體的數(shù)值只是一個例示，當然也可以將他們變 更為各種數(shù)值。在一般的數(shù)碼相機及數(shù)碼攝像機中，多數(shù)將電源啟動時的拍攝視場角設定在廣角 端視場角或較寬角度側。這也適用于攝像裝置1。也可以在攝像裝置1的電源啟動時將攝 像部11的視場角設定在廣角端視場角或較寬角度側。并且，也可以將攝像裝置1的電源啟 動之后得到的輸入圖像(例如，作為預覽圖像而得到的輸入圖像)作為副輸入圖像對待，并 根據(jù)該副輸入圖像生成與其后得到的主輸入圖像相對的副標志信息。所謂廣角端視場角是 指攝像部11的視場角的可變范圍內最寬的角度側的視場角(即、最大視場角)。另外，雖然以副輸入圖像是在主輸入圖像之前所拍攝到的輸入圖像為前提說明了 本發(fā)明的一個實施方式，但是副輸入圖像也可以是在主輸入圖像之后所拍攝到的輸入圖 像。能將在主輸入圖像的拍攝之后所拍攝到的其中一個預覽圖像(對于在該主輸入圖像之 后取得的主輸入圖像來說的預覽圖像)作為副輸入圖像對待，例如能單純地將從主輸入圖像的拍攝時刻經(jīng)過了規(guī)定時間后的時刻作為拍攝時刻的預覽圖像，作為副輸入圖像對待。
能夠通過硬件或硬件與軟件的組合構成圖1的攝像圖像1。特別是，圖像分析部 14、記錄控制部16及圖像檢索部21的功能能夠只通過硬件來實現(xiàn)、能只通過軟件來實現(xiàn)、 或能通過硬件與軟件的組合來實現(xiàn)。也可以將這些功能的全部或一部分作為程序記述，并 通過在程序執(zhí)行裝置(例如，計算機)上執(zhí)行該程序來實現(xiàn)該功能的全部或一部分。
權利要求
一種攝像裝置，具備攝像部，其通過拍攝生成圖像的圖像數(shù)據(jù)；和記錄控制部，其將由所述攝像部生成的主圖像的圖像數(shù)據(jù)與由所述主圖像得到的主附加信息一同記錄于記錄介質中，其特征在于，所述記錄控制部將副附加信息與所述主圖像的圖像數(shù)據(jù)及所述主附加信息建立關聯(lián)后記錄于所述記錄介質中，其中所述副附加信息是由在與所述主圖像不同的時刻所拍攝到的副圖像得到的。
2.根據(jù)權利要求1所述的攝像裝置，其特征在于，所述攝像裝置還具備圖像分析部，所述圖像分析部基于對象圖像的圖像數(shù)據(jù)來檢測所 述對象圖像中所包括的特定類型的被攝物體，或者基于對象圖像的圖像數(shù)據(jù)來檢測所述對 象圖像的圖像特征，所述記錄控制部，將以所述主圖像作為所述對象圖像時的所述圖像分析部的檢測結果 包括在所述主附加圖像中，并且將以所述副圖像作為所述對象圖像時的所述圖像分析部的 檢測結果包括在所述副附加圖像中。
3.根據(jù)權利要求1所述的攝像裝置，其特征在于，所述記錄控制部，在所述主圖像的拍攝之前進行了拍攝視場角的變更的情況下，將在 該變更前由所述攝像部所拍攝到的圖像作為所述副圖像加以利用。
4.根據(jù)權利要求1所述的攝像裝置，其特征在于，還具備攝影控制部，所述攝影控制部在對該攝像裝置進行了規(guī)定的第一操作時執(zhí)行自 動聚焦控制，在執(zhí)行所述自動聚焦控制后對該攝像裝置進行了規(guī)定的第二操作時使所述攝 像部進行所述主圖像的拍攝，所述記錄控制部將在所述第一操作與所述第二操作間由所述攝像部所拍攝到的圖像 作為所述副圖像加以利用。
5.根據(jù)權利要求2所述的攝像裝置，其特征在于，所述圖像分析部檢測或識別人物的面部作為所述特定類型的被攝物體。
6.根據(jù)權利要求1所述的攝像裝置，其特征在于，所述記錄控制部，在以閃光照射被攝物體的狀態(tài)進行了所述主圖像的拍攝的情況下， 將在照射該閃光之前由所述攝像部所拍攝到的圖像作為所述副圖像加以利用。
7.一種圖像文件的數(shù)據(jù)結構，將通過拍攝得到的主圖像的圖像數(shù)據(jù)、由所述主圖像得 到的主附加信息、和由在所述主圖像之前所拍攝到的副圖像得到的副附加信息相互建立關 聯(lián)后存儲。
全文摘要
本發(fā)明提供一種攝像裝置及圖像文件的數(shù)據(jù)結構。其中，攝像裝置具備通過拍攝生成圖像的圖像數(shù)據(jù)的攝像部、和將由所述攝像部生成的主圖像的圖像數(shù)據(jù)與由所述主圖像得到的主附加信息一同記錄于記錄介質中的記錄控制部，其中，所述記錄控制部將副附加信息與所述主圖像的圖像數(shù)據(jù)及所述主附加信息建立關聯(lián)后存儲于所述記錄介質中，其中所述副附加信息是由在與所述主圖像不同的時刻所拍攝到的副圖像得到的。
文檔編號H04N5/225GK101867706SQ20101014331
公開日2010年10月20日 申請日期2010年3月19日 優(yōu)先權日2009年4月20日
發(fā)明者山田晶彥 申請人:三洋電機株式會社