專(zhuān)利名稱：圖像處理設(shè)備和方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法以及程序，更具體地，涉及能夠更容易且更有效地呈現(xiàn)圖像的圖像處理設(shè)備和方法以及程序。
背景技術(shù)：
傳統(tǒng)上，已知按順序顯示多個(gè)圖像的所謂的幻燈片播放功能。例如，使用幻燈片播放功能使得用戶能夠通過(guò)按順序顯示圖像來(lái)欣賞用相機(jī)捕獲的圖像。
在這樣的幻燈片播放功能中，可以在圖像被顯示的同時(shí)對(duì)圖像執(zhí)行淡入、淡出、滑入和滑出。并且，已經(jīng)提出了這樣的顯示方法，其中，在圖像在以幻燈片播放中被顯示的情況中，從所要顯示的圖像中提取出特征區(qū)域，并且使圖像的一部分經(jīng)歷放大并基于所提取出的特征區(qū)域的數(shù)目進(jìn)行顯示(例如參見(jiàn)專(zhuān)利文獻(xiàn)1)。
引用文獻(xiàn)列表 專(zhuān)利文獻(xiàn) 專(zhuān)利文獻(xiàn)1 日本未實(shí)審專(zhuān)利申請(qǐng)公布No. 2005-182196

發(fā)明內(nèi)容
技術(shù)問(wèn)題 然而，淡入和放大等的圖像顯示效果是單調(diào)的。并且在幻燈片播放期間從用戶本身所捕獲的圖像獲得的影響很低，因?yàn)橛脩羰煜さ氖菆D像的場(chǎng)景(對(duì)象)，這可能使得用戶覺(jué)得欣賞圖像是無(wú)趣的。
而且，在幻燈片播放中所要顯示的圖像是通過(guò)指定存儲(chǔ)由用戶捕獲的圖像的文件夾等來(lái)選擇的，因此，所要顯示的圖像包括在許多情況中由于運(yùn)動(dòng)模糊等生成的模糊圖像。 如果模糊圖像在幻燈片播放期間被顯示，則用戶會(huì)感到不滿意。
如上所述，以上技術(shù)不能夠更有效地顯示圖像。另一方面，在已知技術(shù)中，用戶指定圖像的預(yù)定區(qū)域并且指定通過(guò)處理圖像可以獲得的效果，從而圖像的指定區(qū)域得到處理。通過(guò)使用這樣的技術(shù)，可以對(duì)在幻燈片播放中所要顯示的圖像執(zhí)行所謂的特殊效果 (特效)。然而，盡管在這樣的情況中，模糊圖像可以被特別有效地顯示，但是用戶必須每次指定要對(duì)其執(zhí)行特殊效果的圖像或區(qū)域并且選擇特殊效果，這很不方便。
本發(fā)明鑒于這些情況而做出，并且致力于使得能夠更容易和更有效地顯示圖像。
對(duì)問(wèn)題的解決方案 根據(jù)本發(fā)明第一方面的一種圖像處理設(shè)備包括檢測(cè)裝置，用于基于輸入圖像來(lái)檢測(cè)輸入圖像的模糊度；選擇裝置，用于基于模糊度的檢測(cè)結(jié)果來(lái)選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及圖像處理裝置，用于對(duì)輸入圖像執(zhí)行所選擇的圖像處理操作。
圖像處理操作可以是減少輸入圖像的分辨率、顏色、輸入圖像的像素的像素值的灰度級(jí)數(shù)、紋理、邊緣以及比特率中的至少一者的處理。
選擇裝置可以被使得在指示模糊度的值等于或大于預(yù)定閾值的情況中選擇若干預(yù)定圖像處理操作中的任一者，并且在指示模糊度的值小于閾值的情況中選擇與所述若干圖像處理操作不同組合的若干其它圖像處理操作中的任一者。
選擇裝置可以被使得基于指示模糊度的值和各個(gè)圖像處理操作過(guò)去的選擇頻率來(lái)選擇圖像處理操作。
根據(jù)本發(fā)明第一方面的一種圖像處理方法或程序包括以下步驟基于輸入圖像來(lái)檢測(cè)輸入圖像的模糊度；基于模糊度的檢測(cè)結(jié)果來(lái)選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及對(duì)輸入圖像執(zhí)行所選擇的圖像處理操作。
在本發(fā)明的第一方面中，基于輸入圖像檢測(cè)輸入圖像的模糊度，基于模糊度的檢測(cè)結(jié)果選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者，并且對(duì)輸入圖像執(zhí)行所選擇的圖像處理操作。
根據(jù)本發(fā)明的第二方面的一種圖像處理設(shè)備包括提取裝置，用于基于輸入圖像來(lái)從輸入圖像提取多個(gè)特征的特征量；選擇裝置，用于基于多個(gè)特征的特征量來(lái)選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及圖像處理裝置，用于對(duì)輸入圖像執(zhí)行所選擇的圖像處理操作。
輸入圖像的分辨率、顏色分布、色偏、輸入圖像的像素的像素值的灰度級(jí)數(shù)、模糊度、邊緣量、邊緣分布、紋理量以及紋理分布中的至少一者可以被從輸入圖像提取出來(lái)作為特征量。
根據(jù)本發(fā)明第二方面的一種圖像處理方法或程序包括以下步驟基于輸入圖像來(lái)從輸入圖像提取多個(gè)特征的特征量；基于多個(gè)特征的特征量來(lái)選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及對(duì)輸入圖像執(zhí)行所選擇的圖像處理操作。
在本發(fā)明的第二方面中，基于輸入圖像來(lái)從輸入圖像提取多個(gè)特征的特征量，基于多個(gè)特征的特征量選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者，以及對(duì)輸入圖像執(zhí)行所選擇的圖像處理操作。
根據(jù)本發(fā)明第三方面的一種圖像處理設(shè)備包括生成裝置，用于通過(guò)從輸入圖像中提取對(duì)象的區(qū)域中所持有的多個(gè)特征的第一特征量，來(lái)生成用于在輸入圖像中指定對(duì)象的區(qū)域的對(duì)象指定信息；檢測(cè)裝置，用于基于輸入圖像和對(duì)象指定信息來(lái)檢測(cè)對(duì)象區(qū)域的模糊度以及背景區(qū)域的模糊度，其中，對(duì)象區(qū)域是輸入圖像中對(duì)象的區(qū)域，背景區(qū)域是輸入圖像中除了對(duì)象區(qū)域以外的區(qū)域；提取裝置，用于基于輸入圖像來(lái)從對(duì)象區(qū)域和背景區(qū)域中提取與模糊度不同的多個(gè)特征的第二特征量；選擇裝置，用于基于模糊度和第二特征量來(lái)選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及圖像處理裝置，用于對(duì)輸入圖像的對(duì)象區(qū)域以及背景區(qū)域中的至少一者執(zhí)行所選擇的圖像處理操作。
選擇裝置可以被使得選擇分別用于對(duì)象區(qū)域和背景區(qū)域的圖像處理操作，并且其中，圖像處理裝置可以被使得分別對(duì)對(duì)象區(qū)域和背景區(qū)域執(zhí)行所選擇的圖像處理操作。
選擇裝置可以被使得選擇用于對(duì)象區(qū)域和背景區(qū)域中具有較高模糊度的區(qū)域的圖像處理操作，并且其中，圖像處理裝置可以被使得對(duì)具有較高模糊度的區(qū)域執(zhí)行所選擇的圖像處理操作。
根據(jù)本發(fā)明第三方面的一種圖像處理方法或程序包括以下步驟通過(guò)從輸入圖像中提取對(duì)象的區(qū)域中所持有的多個(gè)特征的第一特征量，來(lái)生成用于在輸入圖像中指定對(duì)象的區(qū)域的對(duì)象指定信息；基于輸入圖像和對(duì)象指定信息來(lái)檢測(cè)對(duì)象區(qū)域的模糊度以及背景區(qū)域的模糊度，其中，對(duì)象區(qū)域是輸入圖像中對(duì)象的區(qū)域，背景區(qū)域是輸入圖像中除了對(duì)象區(qū)域以外的區(qū)域；基于輸入圖像來(lái)從對(duì)象區(qū)域和背景區(qū)域中提取與模糊度不同的多個(gè)特征的第二特征量；基于模糊度和第二特征量，來(lái)選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及對(duì)輸入圖像的對(duì)象區(qū)域以及背景區(qū)域中的至少一者執(zhí)行所選擇的圖像處理操作。
在本發(fā)明的第三方面中，通過(guò)從輸入圖像中提取對(duì)象的區(qū)域中所持有的多個(gè)特征的第一特征量來(lái)生成用于在輸入圖像中指定對(duì)象的區(qū)域的對(duì)象指定信息；基于輸入圖像和對(duì)象指定信息來(lái)檢測(cè)對(duì)象區(qū)域的模糊度以及背景區(qū)域的模糊度，其中，對(duì)象區(qū)域是輸入圖像中對(duì)象的區(qū)域，背景區(qū)域是輸入圖像中除了對(duì)象區(qū)域以外的區(qū)域；基于輸入圖像來(lái)從對(duì)象區(qū)域和背景區(qū)域中提取與模糊度不同的多個(gè)特征的第二特征量；基于模糊度和第二特征量來(lái)選擇用于使得輸入圖像經(jīng)歷減少輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及對(duì)輸入圖像的對(duì)象區(qū)域以及背景區(qū)域中的至少一者執(zhí)行所選擇的圖像處理操作。
本發(fā)明的有益效果 根據(jù)本發(fā)明的第一方面，可以更容易和更有效地顯示圖像。
根據(jù)本發(fā)明的第二方面，同樣可以更容易和更有效地顯示圖像。
而且，根據(jù)本發(fā)明的第三方面，也可以更容易和更有效地顯示圖像。


圖1是圖示出應(yīng)用了本發(fā)明的圖像處理設(shè)備的一個(gè)實(shí)施例的配置示例的示圖。
圖2是圖示出漫畫(huà)風(fēng)格(comic-style)轉(zhuǎn)換處理的示圖。
圖3是圖示出轉(zhuǎn)換前的灰度級(jí)數(shù)與利用減色繪畫(huà)風(fēng)格(decrease-colorpainting style)轉(zhuǎn)換處理的轉(zhuǎn)換之后的一個(gè)灰度級(jí)的對(duì)應(yīng)關(guān)系的示圖。
圖4是圖示出減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理中轉(zhuǎn)換前與轉(zhuǎn)換后的像素值的示圖。
圖5是圖示出套印繪畫(huà)風(fēng)格(overpaint painting style)轉(zhuǎn)換處理的示圖。
圖6是圖示出圖像轉(zhuǎn)換處理的流程圖。
圖7是圖示出圖像處理設(shè)備的另一配置示例的示圖。
圖8是圖示出各個(gè)圖像處理操作的特征的示圖。
圖9是圖示出各個(gè)圖像處理操作與特征量之間的關(guān)系的示圖。
圖10是圖示出邊緣復(fù)雜度(edge complexity)檢測(cè)單元的配置示例的示圖。
圖11是圖示出大小(size)檢測(cè)單元的配置示例的示圖。
圖12是圖示出顏色分布復(fù)雜度(color distribution complexity)檢測(cè)單元的配置示例的示圖。
圖13是圖示出色偏(color bias)檢測(cè)單元的配置示例的示圖。
圖14是圖示出圖像轉(zhuǎn)換處理的流程圖。
圖15是圖示出邊緣復(fù)雜度檢測(cè)處理的流程圖。
圖16是圖示出大小檢測(cè)處理的流程圖。
圖17是圖示出顏色分布復(fù)雜度檢測(cè)處理的流程圖。
圖18是圖示出色偏檢測(cè)處理的流程圖。
圖19是圖示出濾波器選擇處理的流程圖。
圖20是圖示出圖像處理設(shè)備的另一配置示例的示圖。
圖21是圖示出關(guān)注區(qū)域(region-of-regard)檢測(cè)單元的配置示例的示圖。
圖22是圖示出圖像轉(zhuǎn)換處理的流程圖。
圖23是圖示出關(guān)注區(qū)域檢測(cè)處理的流程圖。
圖24是圖示出計(jì)算機(jī)的配置示例的示圖。
標(biāo)號(hào)列表 11圖像處理設(shè)備 21模糊度檢測(cè)單元 22選擇單元 23漫畫(huà)風(fēng)格轉(zhuǎn)換單元 24 動(dòng)畫(huà)風(fēng)格(animation-style)轉(zhuǎn)換單元 25西洋景風(fēng)格(diorama-style)轉(zhuǎn)換單元 26繪畫(huà)風(fēng)格轉(zhuǎn)換單元 27繪畫(huà)風(fēng)格轉(zhuǎn)換單元 28 銳度(sharpness)處理單元 51圖像處理設(shè)備 61邊緣復(fù)雜度檢測(cè)單元 62大小檢測(cè)單元 63顏色分布復(fù)雜度檢測(cè)單元 64色偏檢測(cè)單元 231圖像處理設(shè)備 241關(guān)注區(qū)域檢測(cè)單元
具體實(shí)施例方式以下，將參考附圖來(lái)描述應(yīng)用了本發(fā)明的實(shí)施例。
<第一實(shí)施例> [圖像處理設(shè)備的配置] 圖1是圖示出應(yīng)用了本發(fā)明的圖像處理設(shè)備的實(shí)施例的配置示例的示圖。
圖像處理設(shè)備11包括模糊度檢測(cè)單元21、選擇單元22、漫畫(huà)風(fēng)格轉(zhuǎn)換單元23、 動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換單元24、西洋景風(fēng)格轉(zhuǎn)換單元25、繪畫(huà)風(fēng)格轉(zhuǎn)換單元沈、繪畫(huà)風(fēng)格轉(zhuǎn)換單元 27、銳度處理單元28和輸出單元四。
在幻燈片播放中要顯示的多個(gè)輸入圖像被順次輸入到圖像處理設(shè)備11中。圖像處理設(shè)備11對(duì)輸入圖像執(zhí)行圖像處理操作，從而對(duì)輸入圖像進(jìn)行處理以將它們轉(zhuǎn)換成輸出圖像，并且輸出這些圖像。輸入圖像例如是用諸如相機(jī)之類(lèi)的成像設(shè)備捕獲的圖像。
模糊度檢測(cè)單元21基于所提供的輸入圖像來(lái)檢測(cè)每個(gè)輸入圖像的模糊度，并且將檢測(cè)結(jié)果提供給選擇單元22。輸入圖像的模糊除了包括由于偏離焦點(diǎn)引起的失焦以外， 還包括由圖像設(shè)備的運(yùn)動(dòng)引起的所謂的運(yùn)動(dòng)模糊。選擇單元22基于從模糊度檢測(cè)單元21 提供的檢測(cè)結(jié)果來(lái)選擇多個(gè)預(yù)定圖像處理操作中要對(duì)輸入圖像執(zhí)行的任一項(xiàng)。
對(duì)輸入圖像執(zhí)行的圖像處理操作基本上是減少輸入圖像中所保持的信息的信息量的處理，即，減少輸入圖像的分辨率、顏色數(shù)、輸入圖像的像素的像素值的灰度級(jí)數(shù)、紋理量、邊緣量和比特率中的至少任一者。圖像處理操作從漫畫(huà)風(fēng)格轉(zhuǎn)換處理、動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理、西洋景風(fēng)格轉(zhuǎn)換處理、繪畫(huà)風(fēng)格轉(zhuǎn)換處理和銳度處理中選出。
這里，漫畫(huà)風(fēng)格轉(zhuǎn)換處理是減少輸入圖像的顏色以將輸入圖像轉(zhuǎn)換成漫畫(huà)風(fēng)格圖像的處理。動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理是減少輸入圖像的紋理以將輸入圖像在具有相似顏色的一個(gè)區(qū)域轉(zhuǎn)換成具有一種顏色的區(qū)域的處理。
同樣，西洋景風(fēng)格轉(zhuǎn)換處理是對(duì)輸入圖像給出一致透視圖的處理。繪畫(huà)風(fēng)格轉(zhuǎn)換處理是將輸入圖像轉(zhuǎn)換成類(lèi)似于繪畫(huà)的圖像的處理。繪畫(huà)風(fēng)格轉(zhuǎn)換處理包括減少輸入圖像的像素的像素值的灰度級(jí)數(shù)的處理(以下，稱為減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理)和使用遮罩 (mask)對(duì)已被執(zhí)行減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的輸入圖像進(jìn)一步執(zhí)行著色的處理(以下，也稱為套印(overpaint)繪畫(huà)風(fēng)格轉(zhuǎn)換處理)。此外，銳度處理是增強(qiáng)輸入圖像中的邊緣的處理。
在選擇了圖像處理操作之后，選擇單元22將所提供的輸入圖像提供給漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到銳度處理單元觀中執(zhí)行所選擇的圖像處理操作的塊。
漫畫(huà)風(fēng)格轉(zhuǎn)換單元23具有用于執(zhí)行漫畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器，使用所具有的濾波器來(lái)對(duì)從選擇單元22提供的輸入圖像執(zhí)行濾波處理(即，漫畫(huà)風(fēng)格轉(zhuǎn)換處理)，并且將這樣獲得的輸出圖像提供給輸出單元四。漫畫(huà)風(fēng)格轉(zhuǎn)換單元23中可以獲得的輸出圖像是可以通過(guò)對(duì)輸入圖像執(zhí)行漫畫(huà)風(fēng)格轉(zhuǎn)換處理獲得的圖像。
動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換單元M具有用于執(zhí)行動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器，使用所具有的濾波器來(lái)對(duì)從選擇單元22提供的輸入圖像執(zhí)行濾波處理(即，動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理)，并且將這樣獲得的輸出圖像提供給輸出單元四。西洋景風(fēng)格轉(zhuǎn)換單元25具有用于執(zhí)行西洋景風(fēng)格轉(zhuǎn)換處理的濾波器，使用所具有的濾波器對(duì)從選擇單元22提供的輸入圖像執(zhí)行濾波處理(即，西洋景風(fēng)格轉(zhuǎn)換處理)，并且將這樣獲得的輸出圖像提供給輸出單元四。
繪畫(huà)風(fēng)格轉(zhuǎn)換單元沈具有用于執(zhí)行減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器，使用所具有的濾波器來(lái)對(duì)從選擇單元22提供的輸入圖像執(zhí)行濾波處理(即，減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理)，并且將這樣獲得的輸出圖像提供給輸出單元四。繪畫(huà)風(fēng)格轉(zhuǎn)換單元27具有用于執(zhí)行套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器，使用所具有的濾波器來(lái)對(duì)從選擇單元22提供的輸入圖像執(zhí)行濾波處理(即，套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理)，并且將這樣獲得的輸出圖像提供給輸出單元29。
銳度處理單元28具有用于執(zhí)行銳度處理的濾波器，使用所具有的濾波器來(lái)對(duì)從選擇單元22提供的輸入圖像執(zhí)行濾波處理，并且將這樣獲得的輸出圖像提供給輸出單元四。輸出單元四將從漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到銳度處理單元觀中任一者提供的輸出圖像輸出給顯示裝置(未示出)，使得輸出圖像被顯示，其中輸出圖像用作在幻燈片播放中要顯示的圖像。
接著，將就漫畫(huà)風(fēng)格轉(zhuǎn)換處理、動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理、西洋景風(fēng)格轉(zhuǎn)換處理、減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理和套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理進(jìn)行描述。
首先，在漫畫(huà)風(fēng)格轉(zhuǎn)換處理中，使用用于提取邊緣的濾波器(例如，拉普拉斯濾波器)來(lái)對(duì)輸入圖像執(zhí)行濾波處理，并且對(duì)這樣獲得的圖像執(zhí)行二值化處理。此外，對(duì)二值化后的圖像執(zhí)行放大/收縮處理，從而校正不一致的輪廓線。注意，以下，通過(guò)對(duì)二值化后的圖像執(zhí)行放大/收縮處理獲得的圖像也稱為輪廓圖像。
此外，如圖2中所示，僅由輸入圖像中具有預(yù)定亮度值的像素組成的點(diǎn)集被獲得作為紋理。在圖2中，在圖的左側(cè)圖示出輸入圖像，并且在圖的右側(cè)圖示出紋理。
該紋理是由與輸入圖像相同的二進(jìn)制數(shù)(例如，白色和黑色)構(gòu)成的圖像。在紋理中，與輸入圖像中具有預(yù)定亮度值的像素在相同位置的像素的像素值是與黑色相對(duì)應(yīng)的值，并且其它像素的像素值是與白色相對(duì)應(yīng)的值。
以這種方式獲得的紋理被與輪廓圖像合成，并且這樣獲得的圖像被視為通過(guò)漫畫(huà)風(fēng)格轉(zhuǎn)換處理獲得的輸出圖像(以下，也稱為漫畫(huà)風(fēng)格輸出圖像)。該漫畫(huà)風(fēng)格輸出圖像具有的特征在于整個(gè)圖像利用輪廓線表示(即，簡(jiǎn)單的線和圖案)形成，并且該圖像是單色圖像。換而言之，漫畫(huà)風(fēng)格輸出圖像是通過(guò)增強(qiáng)輸入圖像中的邊緣并且將輸入圖像變?yōu)閱紊珗D像來(lái)獲得的。
此外，在動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理中，對(duì)輸入圖像執(zhí)行使用拉普拉斯濾波器等的濾波處理，并且對(duì)這樣獲得的圖像執(zhí)行二值化處理，此外，還對(duì)二值化后的圖像執(zhí)行放大/收縮處理。因此，可以獲得輸入圖像的輪廓圖像。
而且，通過(guò)對(duì)輸入圖像的每個(gè)像素執(zhí)行利用閾值的同色判定處理，輸入圖像中相同顏色的區(qū)域，更具體而言，由相同顏色的像素組成的區(qū)域被分段。因此，在輸入圖像中，由彼此相鄰并且在同色判定處理中被判定為具有相同顏色的像素組成的區(qū)域被視為一個(gè)片段(segment)。例如，分段的顏色數(shù)約為10。然后，對(duì)輸入圖像中的每個(gè)片段執(zhí)行將片段中的像素的平均顏色設(shè)置為該片段的顏色的處理，并且將這樣獲得的圖像與輪廓圖像合成， 從而生成輸出圖像。
通過(guò)動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理獲得的輸出圖像(以下，也稱為動(dòng)畫(huà)風(fēng)格輸出圖像)等同于有顏色的漫畫(huà)風(fēng)格輸出圖像。即，動(dòng)畫(huà)風(fēng)格輸出圖像是通過(guò)增強(qiáng)輸入圖像中的邊緣并且用相同顏色對(duì)輸入圖像中的相同片段進(jìn)行著色來(lái)生成的。
接著，在西洋景風(fēng)格轉(zhuǎn)換處理中，對(duì)輸入圖像執(zhí)行線性轉(zhuǎn)換處理，并且對(duì)輸入圖像執(zhí)行對(duì)比度調(diào)節(jié)。此外，還對(duì)外圍部分執(zhí)行使用高斯濾波器的濾波處理，使得外圍部分被模糊，外圍部分是除了對(duì)比度調(diào)節(jié)后的輸入圖像的中心附近以外的部分。以這種方式獲得的圖像被示為通過(guò)西洋景風(fēng)格轉(zhuǎn)換處理獲得的輸出圖像(以下，也稱為西洋景風(fēng)格輸出圖像)。西洋景風(fēng)格輸出圖像具有的特征在于景深一致并且對(duì)比度高，即，存在許多曝光不足和過(guò)度曝光的區(qū)域。
另外，西洋景風(fēng)格轉(zhuǎn)換處理可以是任意處理，只要施加了用于給出圖像的一致視點(diǎn)的算法或用于縮窄圖像的視場(chǎng)的算法即可。例如，通過(guò)對(duì)輸入圖像執(zhí)行線性轉(zhuǎn)換處理并且進(jìn)一步執(zhí)行去卷積處理來(lái)調(diào)焦的處理可以被視為西洋景風(fēng)格轉(zhuǎn)換處理。
此外，在減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理中，輸入圖像的目標(biāo)像素被視為目標(biāo)像素，具有中心處的目標(biāo)像素的預(yù)定區(qū)域被視為目標(biāo)區(qū)域，并且目標(biāo)區(qū)域中的像素的R (紅)、G (綠)和B(藍(lán))的像素值的支配值被視為目標(biāo)像素的各個(gè)分量R、G和B的像素值。例如，針對(duì)各種顏色分量R、G和B生成柱狀圖，并且柱狀圖中最頻繁的柱的值，S卩，顏色分量的像素值，被視為目標(biāo)像素的像素值。
以這種方式，針對(duì)輸入圖像中的各個(gè)像素重新確定各個(gè)分量R、G和B的像素值，并且像素值被改變。然后，對(duì)這樣獲得的圖像進(jìn)一步執(zhí)行減少各個(gè)像素的顏色分量的像素值的灰度級(jí)數(shù)的灰度轉(zhuǎn)換處理。然后，通過(guò)灰度轉(zhuǎn)換處理獲得的圖像被視為通過(guò)減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理獲得的輸出圖像(以下，也稱為減色繪畫(huà)風(fēng)格輸出圖像)。
通常，像素的像素值用256個(gè)灰度級(jí)來(lái)表示，并且是從0到255的任意值。在灰度轉(zhuǎn)換處理中，輸入圖像中的像素的像素值被轉(zhuǎn)換成比256小的灰度級(jí)數(shù)的像素值，例如如圖3中所示。
在圖3中，在字段“灰度級(jí)數(shù)”中示出轉(zhuǎn)換后的灰度級(jí)數(shù)，并且在字段“每灰度級(jí)的寬度”中示出與轉(zhuǎn)換后的1個(gè)灰度級(jí)相對(duì)應(yīng)的轉(zhuǎn)換前灰度級(jí)數(shù)。例如，在轉(zhuǎn)換后灰度級(jí)數(shù)是 “8”的情況中，轉(zhuǎn)換后的1個(gè)灰度級(jí)與轉(zhuǎn)換前的32個(gè)灰度級(jí)相對(duì)應(yīng)。即，轉(zhuǎn)換前順次的32 個(gè)灰度級(jí)的像素值被視為轉(zhuǎn)換后具有相同灰度的像素值。
此外，在執(zhí)行輸入圖像中的像素的各種顏色分量的像素值被從256個(gè)灰度級(jí)減少為8個(gè)灰度級(jí)的灰度轉(zhuǎn)換處理的情況中，像素值使用圖4中所圖示出的轉(zhuǎn)換表來(lái)轉(zhuǎn)換。在圖4中，在字段“原來(lái)的像素值”中示出轉(zhuǎn)換前256個(gè)灰度級(jí)的像素值的范圍，并且在字段 “轉(zhuǎn)換后的像素值”中示出轉(zhuǎn)換后的8個(gè)灰度級(jí)的像素值。因此，例如，在轉(zhuǎn)換前的目標(biāo)像素的R分量的像素值是范圍從“0”到“31”中的值的情況中，轉(zhuǎn)換后的像素的R分量的像素值是 “0”。
以這種方式，在輸入圖像的各種顏色分量R、G和B的像素值被轉(zhuǎn)換之后，可以獲得減色繪畫(huà)風(fēng)格輸出圖像。注意，轉(zhuǎn)換后的灰度級(jí)數(shù)對(duì)減色繪畫(huà)風(fēng)格輸出圖像的完成狀態(tài)有影響，因此可以由用戶任意地設(shè)置。
另一方面，在套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理中，對(duì)輸入圖像執(zhí)行減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理， 并且使用這樣獲得的減色繪畫(huà)風(fēng)格輸出圖像和輸入圖像來(lái)生成輸出圖像。具體而言，如圖 5中所示，作為中心處具有輸入圖像Pll的任意像素的區(qū)域的塊Bll被選擇。
這里，如箭頭All所示，假定給塊Bll的區(qū)域著上位于塊Bll的中心處的中心像素的顏色(以下，稱為代表色)。例如，假定使用遮罩來(lái)給塊Bll的區(qū)域著上代表色，并且生成用于著上顏色的遮罩，如箭頭A12所示。
利用該遮罩，僅塊Bll中具有與代表色相似的顏色的像素被著上代表色，而具有與代表色不相相似的顏色的像素沒(méi)有被著色并且保持原來(lái)的顏色。例如，使用歐幾里德距離或曼哈頓距離來(lái)確定每個(gè)像素的顏色與代表色之間的相似度，并且將具有等于或大于閾值的相似度的像素著上代表色。當(dāng)使用該遮罩來(lái)對(duì)塊Bll著上代表色時(shí)，具有與塊Bll中的中心像素的顏色相似的顏色的那些像素的顏色被改變?yōu)榇砩?，如箭頭A13所示。
在套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理中，使用以這種方式生成的遮罩對(duì)作為從輸入圖像獲得的減色繪畫(huà)風(fēng)格圖像P12的區(qū)域并且與輸入圖像的塊Bll在相同位置的塊B12著上代表色。即，塊B12中在與由箭頭A13所指示的塊Bll中被著上代表色的像素相同位置處的那些像素的像素值被改變?yōu)楸硎敬砩闹怠?br> 以這種方式，通過(guò)從輸入圖像Pll中選擇任意塊來(lái)生成遮罩并且通過(guò)用遮罩來(lái)在減色繪畫(huà)風(fēng)格圖像P12中與這個(gè)塊在相同位置的塊上涂上(著上)代表色的處理被執(zhí)行預(yù)定次數(shù)，這樣獲得的圖像被視為輸出圖像P13。以下，通過(guò)套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理獲得的輸出圖像被稱為套印繪畫(huà)風(fēng)格輸出圖像。
另外，涂上代表色的處理被重復(fù)的預(yù)定次數(shù)例如可以根據(jù)輸入圖像的邊緣的復(fù)雜度以及用作處理單位的塊(例如，塊Bll)的大小來(lái)確定，或者可以預(yù)先被確定。
此外，套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理中所使用的遮罩被用來(lái)提供對(duì)減色繪畫(huà)風(fēng)格圖像 P12的更精細(xì)的表現(xiàn)。因此，在套印繪畫(huà)風(fēng)格輸出圖像將是粗略印象圖像的情況中，可以不使用遮罩。在這樣的情況中，塊B12中的每個(gè)像素的像素值是表示塊Bll的代表色的值。
[有關(guān)圖像處理設(shè)備的操作的描述] 此外，當(dāng)在幻燈片播放中要顯示的輸入圖像被順次提供給圖像處理設(shè)備11時(shí)，圖像處理設(shè)備11開(kāi)始圖像轉(zhuǎn)換處理，該處理是將所提供的輸入圖像轉(zhuǎn)換成輸出圖像并輸出這些圖像的處理。
以下，將參考圖6中的流程圖來(lái)描述由圖像處理設(shè)備11執(zhí)行的圖像轉(zhuǎn)換處理。
在步驟Sll中，模糊度檢測(cè)單元21基于輸入圖像來(lái)檢測(cè)所提供的輸入圖像的模糊度。
例如，模糊度檢測(cè)單元21將輸入圖像劃分成一些塊，并且檢測(cè)每個(gè)塊的邊緣強(qiáng)度。然后，模糊度檢測(cè)單元21計(jì)算輸入圖像中每個(gè)塊的邊緣強(qiáng)度中的最小值與最大值之間的差(該差用作動(dòng)態(tài)范圍)，并且基于動(dòng)態(tài)范圍來(lái)設(shè)置邊緣參考值和提取參考值。
這里，邊緣參考值是用來(lái)判斷像素是否是輸入圖像中構(gòu)成邊緣的像素(以下，稱為邊緣點(diǎn))的值。提取參考值是用來(lái)判斷提取出的邊緣點(diǎn)的量是否適當(dāng)?shù)闹怠?br> 模糊度檢測(cè)單元21提取出輸入圖像的各個(gè)塊中所檢測(cè)到的邊緣強(qiáng)度等于或高于邊緣參考值的塊(以下，稱為邊緣塊)中所包括的像素，作為邊緣點(diǎn)。然后，作為提取量的比較的結(jié)果，在邊緣點(diǎn)的提取量不適當(dāng)?shù)那闆r中，模糊度檢測(cè)單元21通過(guò)調(diào)節(jié)邊緣參考值來(lái)重復(fù)提取邊緣點(diǎn)的處理，直到獲得適當(dāng)?shù)奶崛×繛橹埂?br> 然后，在已提取了適當(dāng)量的邊緣點(diǎn)之后，模糊度檢測(cè)單元21分析提取出的邊緣點(diǎn)處是否存在模糊，并且基于分析結(jié)果來(lái)計(jì)算指示輸入圖像的模糊程度的模糊度。模糊度的值越大，輸入圖像中的對(duì)象的模糊度越高。所計(jì)算出的模糊度被從模糊度檢測(cè)單元21提供給選擇單元22。
在步驟S12中，選擇單元22基于從模糊度檢測(cè)單元21提供的模糊度來(lái)判斷輸入圖像是否是模糊圖像。例如，在模糊度等于或高于預(yù)定閾值的情況中，輸入圖像被判定為是模糊圖像。
在步驟S12中判定輸入圖像不是模糊圖像的情況中，處理繼續(xù)進(jìn)行到步驟S13。在步驟S13中，選擇單元22基于漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到銳度處理單元觀中具有的濾波器的使用頻率，從針對(duì)不模糊的圖像預(yù)先確定的濾波器中選擇一個(gè)濾波器。
例如，在圖像處理設(shè)備11中，用于模糊的輸入圖像的濾波器和用于不模糊的輸入圖像的濾波器被預(yù)先確定，并且根據(jù)該輸入圖像是否模糊從不同組合的濾波器組中選出一個(gè)濾波器。
具體地，針對(duì)不模糊的輸入圖像，輸出圖像通過(guò)使用用于漫畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器、用于動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器、用于西洋景風(fēng)格轉(zhuǎn)換處理的濾波器、用于減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器以及用于套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器中的任一者來(lái)生成。
S卩，對(duì)不模糊的輸入圖像執(zhí)行漫畫(huà)風(fēng)格轉(zhuǎn)換處理、動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理、西洋景風(fēng)格轉(zhuǎn)換處理、減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理以及套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理中的任一圖像處理操作來(lái)生成輸出圖像。在輸入圖像不模糊的情況中，可以從輸入圖像中可靠地提取出邊緣，并且因此，可以從諸如用于使用邊緣增強(qiáng)的處理的濾波器之類(lèi)的各種濾波器中選擇濾波器。
另外，以下，包括用于不模糊輸入圖像的用于漫畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器、用于動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器、用于西洋景風(fēng)格轉(zhuǎn)換處理的濾波器、用于減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器以及用于套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器的濾波器組被稱為無(wú)模糊濾波器組。
另外，選擇單元22保存漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到銳度處理單元觀中所具有的濾波器的使用頻率。選擇單元22基于其中保存的各個(gè)濾波器的使用頻率來(lái)從無(wú)模糊濾波器組中選擇具有最低使用頻率的濾波器。
在選擇了濾波器之后，選擇單元22將所提供的輸入圖像提供給具有所選擇的濾波器的塊，并且處理繼續(xù)進(jìn)行到步驟S15。例如，在用于減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器被選擇的情況中，選擇單元22將輸入圖像提供給繪畫(huà)風(fēng)格轉(zhuǎn)換單元沈，并且向用于減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器的使用頻率加“ 1 ”。
另一方面，在步驟S12中判定輸入圖像是模糊圖像的情況中，處理繼續(xù)進(jìn)行到步驟S14。在步驟S14中，選擇單元22基于漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到銳度處理單元28中所具有的濾波器的使用頻率來(lái)從針對(duì)模糊圖像預(yù)先確定的濾波器中選擇一個(gè)濾波器。
例如，對(duì)于模糊的輸入圖像，輸出圖像是通過(guò)使用用于銳度處理的濾波器、用于減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理以及用于西洋景風(fēng)格轉(zhuǎn)換處理的濾波器中的任一者來(lái)生成的。
S卩，對(duì)模糊的輸入圖像執(zhí)行銳度處理、減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理以及西洋景風(fēng)格轉(zhuǎn)換處理中的任意圖像處理操作來(lái)生成輸出圖像。在輸入圖像模糊的情況中，不能從輸入圖像中獲得清晰的邊緣，并且因此，不需要邊緣的圖像處理操作被選擇，并且輸入圖像被轉(zhuǎn)換成具有低模糊度的輸出圖像。
以這種方式，通過(guò)對(duì)模糊輸入圖像執(zhí)行銳度處理、減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理或西洋景風(fēng)格轉(zhuǎn)換處理，模糊的輸入圖像可以被轉(zhuǎn)換成用戶觀賞可接受的不模糊輸出圖像。即，輸出圖像是通過(guò)處理整個(gè)輸入圖像來(lái)生成的，因此，當(dāng)輸入圖像是由用戶捕獲的圖像時(shí)，輸出圖像是具有與用戶捕獲時(shí)的景致(view)不同的景致的圖像，例如，像粗略印象的繪畫(huà)那樣的圖像。因此，通過(guò)顯示所獲得的輸出圖像，可以對(duì)用戶產(chǎn)生比淡入、放大等的單調(diào)顯示效果更強(qiáng)烈的影響，而不會(huì)讓用戶感到不滿意。
另外，以下，包括用于模糊輸入圖像的用于銳度處理的濾波器、用于減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的濾波器以及用于西洋景風(fēng)格轉(zhuǎn)換處理的濾波器的濾波器組也被稱為模糊濾波器組。
選擇單元22基于其中所保存的各個(gè)濾波器的使用頻率來(lái)從模糊濾波器組中選擇具有最低使用頻率的濾波器。
然后，選擇單元22將所提供的輸入圖像提供給具有所選擇的濾波器的塊，并且處理繼續(xù)進(jìn)行到步驟S15。例如，在用于西洋景風(fēng)格轉(zhuǎn)換處理的濾波器被選擇的情況中，選擇單元22將輸入圖像提供給西洋景風(fēng)格轉(zhuǎn)換單元25，并且向用于西洋景風(fēng)格轉(zhuǎn)換處理的濾波器的使用頻率加“1”。
在步驟S13或步驟S14中選擇了濾波器之后，在步驟S15中，漫畫(huà)風(fēng)格轉(zhuǎn)換單元23 到銳度處理單元觀中被從選擇單元22提供輸入圖像的塊對(duì)所提供的輸入圖像執(zhí)行濾波處理。
例如，在用于西洋景風(fēng)格轉(zhuǎn)換處理的濾波器被選擇單元22選擇并且輸入圖像被從選擇單元22提供給西洋景風(fēng)格轉(zhuǎn)換單元25的情況中，西洋景風(fēng)格轉(zhuǎn)換單元25使用其中具有的濾波器對(duì)所提供的輸入圖像執(zhí)行濾波處理。即，西洋景風(fēng)格轉(zhuǎn)換單元25對(duì)輸入圖像執(zhí)行西洋景風(fēng)格轉(zhuǎn)換處理以將輸入圖像轉(zhuǎn)換成西洋景風(fēng)格輸出圖像。
然后，西洋景風(fēng)格轉(zhuǎn)換單元25將通過(guò)西洋景風(fēng)格轉(zhuǎn)換處理獲得的西洋景風(fēng)格輸出圖像提供給輸出單元四，并且該處理繼續(xù)進(jìn)行到步驟S16。
在步驟S 16中，輸出單元四將所提供的輸出圖像輸出給顯示裝置(未示出)，以在該顯示裝置上顯示輸出圖像。
在步驟S17中，圖像處理設(shè)備11判斷該處理是否結(jié)束。例如，在幻燈片播放中要顯示的所有輸入圖像已經(jīng)在轉(zhuǎn)換成輸出圖像之后被輸出的情況中，判定該處理將結(jié)束。
在步驟S17中判定該處理未結(jié)束的情況中，處理返回步驟S11，并且以上處理被重復(fù)。即，下一輸入圖像被轉(zhuǎn)換成輸出圖像。
另一方面，在步驟S17中判定處理將結(jié)束的情況中，圖像處理設(shè)備11的各個(gè)單元結(jié)束正被執(zhí)行的處理，并且圖像轉(zhuǎn)換處理結(jié)束。
以這種方式，圖像處理設(shè)備11檢測(cè)每個(gè)輸入圖像的模糊度并且基于檢測(cè)結(jié)果來(lái)對(duì)輸入圖像執(zhí)行圖像處理操作，從而將輸入圖像轉(zhuǎn)換成輸出圖像。
以這種方式，通過(guò)對(duì)輸入圖像執(zhí)行根據(jù)模糊度選擇的圖像處理操作，即使模糊的輸入圖像也可以被轉(zhuǎn)換成用戶欣賞可接受的輸出圖像，并且可以被顯示。因此，可以有效使用傳統(tǒng)上擯棄的模糊圖像，并且讓用戶感到新鮮。
此外，通過(guò)對(duì)不模糊的圖像執(zhí)行圖像處理操作并且顯示這樣獲得的輸出圖像，可以對(duì)欣賞輸出圖像的用戶產(chǎn)生強(qiáng)烈的影響，并且可以讓用戶更喜愛(ài)。此外，在圖像處理設(shè)備 11中，濾波器(圖像處理操作)根據(jù)各個(gè)濾波器的使用頻率來(lái)選擇，并且因此可以防止同一濾波器被連續(xù)選擇。因此，可以防止用戶感到欣賞輸出圖像無(wú)趣。
如上所述，根據(jù)圖像處理設(shè)備11，可以通過(guò)執(zhí)行基于輸入圖像的模糊度來(lái)選擇適當(dāng)?shù)臑V波器并使用所選擇的濾波器來(lái)處理輸入圖像的簡(jiǎn)單處理，來(lái)生成具有與輸入圖像的捕獲時(shí)的紋理不同的紋理的輸出圖像。因此，圖像可以被更有效地顯示給用戶。
另外，根據(jù)以上描述，以幻燈片播放方式顯示從輸入圖像中獲得的輸出圖像。可替換地，可以記錄輸出圖像，或者可以顯示僅一個(gè)輸出圖像。此外，在幻燈片播放期間，圖像的顯示可以通過(guò)執(zhí)行淡入或淡出來(lái)從輸出圖像和作為源的輸入圖像中的任一者切換成另一者。此外，可以在執(zhí)行淡入或淡出的同時(shí)顯示通過(guò)對(duì)同一輸入圖像執(zhí)行的使用不同濾波器的濾波處理獲得的多個(gè)輸出圖像。
〈第二實(shí)施例〉 [圖像處理設(shè)備的配置] 此外，根據(jù)以上描述，圖像處理操作(濾波器)是根據(jù)使用頻率來(lái)選擇的?？商鎿Q地，可以從輸入圖像中提取某些特征的特征量，并且可以根據(jù)那些特征量來(lái)選擇濾波器。例如，輸入圖像的分辨率、顏色分布、色偏、輸入圖像的像素值的灰度級(jí)數(shù)、模糊度、邊緣量、邊緣分布、紋理量以及紋理分布中的至少一者被從輸入圖像提取出來(lái)并且被視為用于選擇濾波器的特征量。
在這樣的情況中，圖像處理設(shè)備例如具有圖7中所示的配置。注意，在圖7中，與圖1中的部件相對(duì)應(yīng)的部件用相同的標(biāo)號(hào)表示，并且將省略對(duì)它們的描述。
圖7中圖示出的圖像處理設(shè)備51包括模糊度檢測(cè)單元21、邊緣復(fù)雜度檢測(cè)單元 61、大小檢測(cè)單元62、顏色分布復(fù)雜度檢測(cè)單元63、色偏檢測(cè)單元64、選擇單元22到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27、以及輸出單元四。并且，提供給圖像處理設(shè)備51的輸入圖像被提供給模糊度檢測(cè)單元21、邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64、以及選擇單元22。
模糊度檢測(cè)單元21和邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64中的每一個(gè)從所提供的輸入圖像中提取出輸入圖像的特征量，并且將指示特征量的得分提供給選擇單元 22。然后，選擇單元22基于那些得分來(lái)選擇要對(duì)輸入圖像執(zhí)行的圖像處理操作。
模糊度檢測(cè)單元21從輸入圖像中檢測(cè)模糊度作為特征量，并且將用作指示特征量的得分的檢測(cè)結(jié)果提供給選擇單元22。
邊緣復(fù)雜度檢測(cè)單元61基于輸入圖像來(lái)計(jì)算所提供的輸入圖像中所包括的邊緣量的邊緣復(fù)雜度，并且將其提供給選擇單元22。隨著輸入圖像中所包括的邊緣越多以及輸入圖像的圖案越復(fù)雜，邊緣復(fù)雜度的值(得分)越大。
大小檢測(cè)單元62基于輸入圖像來(lái)計(jì)算圍繞所提供的輸入圖像中的物體(對(duì)象) 的邊界的長(zhǎng)方形區(qū)域，即，指示所謂的邊界框的大小的框大小，并將其提供給選擇單元22。 邊界框的大小越大以及輸入圖像中邊緣收縮的部分的緊密度越低，該框大小的值(得分) 越大。
顏色分布復(fù)雜度檢測(cè)單元63基于輸入圖像來(lái)計(jì)算指示所提供的輸入圖像中的顏色分布的復(fù)雜度的顏色分布復(fù)雜度，并且將其提供給選擇單元22。顏色分布越復(fù)雜以及輸入圖像的圖案越復(fù)雜，顏色分布復(fù)雜度的值(得分)越大。
色偏檢測(cè)單元64基于輸入圖像來(lái)計(jì)算指示所提供的輸入圖像中的色偏程度的色偏度，并且將其提供給選擇單元22。輸入圖像中的色偏度越高，色偏度的值(得分)越大。
選擇單元22基于從模糊度檢測(cè)單元21和邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64提供的特征量，即，模糊度、邊緣復(fù)雜度、框大小、顏色分布復(fù)雜度以及色偏度，來(lái)選擇要對(duì)輸入圖像執(zhí)行的圖像處理操作(濾波器)。
具體而言，圖像處理操作是從漫畫(huà)風(fēng)格轉(zhuǎn)換處理、動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理、西洋景風(fēng)格轉(zhuǎn)換處理、減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理以及套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理中選擇的，選擇單元22將所提供的輸入圖像提供給漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27中執(zhí)行所選擇的圖像處理操作的塊。
通過(guò)使用從輸入圖像提取出的各個(gè)特征的特征量，選擇單元22可以知道哪種圖像處理操作對(duì)于所提供的輸入圖像更有效，例如如圖8中所示。圖8圖示出在模糊、邊緣分布復(fù)雜度、框大小、顏色分布復(fù)雜度以及色偏的各個(gè)狀態(tài)中，每種圖像處理操作的效力。
例如，減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于邊緣分散并且用許多顏色表示的圖像有效。艮口， 減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于具有復(fù)雜邊緣分布和復(fù)雜顏色分布并且沒(méi)有色偏的圖像有效。 具有這樣的特征的輸入圖像可以通過(guò)執(zhí)行減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理被轉(zhuǎn)換成預(yù)期對(duì)于欣賞更可容許的輸出圖像。另外，輸入圖像中的模糊/不模糊以及邊界框的大小對(duì)于減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)輸入圖像是否有效這一點(diǎn)沒(méi)有影響。
此外，套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于具有簡(jiǎn)單邊緣分布和簡(jiǎn)單顏色分布并且大部分具有特定顏色的圖像有效。即，套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于具有簡(jiǎn)單邊緣分布和簡(jiǎn)單顏色分布、邊界框大小較小并且具有色偏的圖像有效。另外，輸入圖像中的模糊/不模糊對(duì)于套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)輸入圖像是否有效這一點(diǎn)沒(méi)有影響。
此外，西洋景風(fēng)格轉(zhuǎn)換處理對(duì)于具有簡(jiǎn)單顏色分布并且邊界框大小較小的圖像有效。即，西洋景風(fēng)格轉(zhuǎn)換處理對(duì)于具有簡(jiǎn)單邊緣分布和簡(jiǎn)單顏色分布、邊界框大小較小并且沒(méi)有色偏的圖像有效。另外，輸入圖像中的模糊/不模糊對(duì)于西洋景風(fēng)格轉(zhuǎn)換處理對(duì)輸入圖像是否有效這一點(diǎn)沒(méi)有影響。
此外，動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于不模糊并且由少量顏色形成的圖像有效。S卩，動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于不模糊、具有簡(jiǎn)單邊緣分布和簡(jiǎn)單顏色分布并且具有色偏的圖像有效。另外，輸入圖像中的邊界框的大小對(duì)于動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)輸入圖像是否有效這一點(diǎn)沒(méi)有影響。
此外，漫畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于不模糊并且具有簡(jiǎn)單邊緣分布的圖像有效。S卩，漫畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)于不模糊、具有簡(jiǎn)單邊緣分布和復(fù)雜顏色分布并且沒(méi)有色偏的圖像有效。 另外，輸入圖像中邊界框的大小對(duì)于漫畫(huà)風(fēng)格轉(zhuǎn)換處理對(duì)輸入圖像是否有效這一點(diǎn)沒(méi)有影響。此外，顏色分布和色偏對(duì)于漫畫(huà)風(fēng)格轉(zhuǎn)換處理是否有效這一點(diǎn)幾乎沒(méi)有影響。
以這種方式，可以通過(guò)確定輸入圖像的特征來(lái)確定對(duì)輸入圖像有效的圖像處理操作。因此，選擇單元22基于輸入圖像的各個(gè)特征的特征量來(lái)選擇圖像處理操作，例如如圖 9中所示。
在圖9中，在指示各個(gè)特征的相應(yīng)字段“模糊度”、“邊緣復(fù)雜度”、“框大小”、“顏色分布復(fù)雜度”和“色偏度”中示出符號(hào)“O”(圓圈)或“X”(叉號(hào))。符號(hào)“O”(圓圈)表示特征量(得分)小于預(yù)定閾值的情況，而符號(hào)“ X ”(叉號(hào))表示特征量等于或大于閾值的情況。
具體而言，選擇單元22通過(guò)將各個(gè)特征的特征量與針對(duì)各個(gè)特征確定的閾值相比較來(lái)選擇圖像處理操作。
例如，在邊緣復(fù)雜度和顏色分布復(fù)雜度等于或高于閾值并且色偏度低于閾值的情況中，減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理被選擇。此外，在邊緣復(fù)雜度、框大小和顏色分布復(fù)雜度低于閾值并且色偏度等于或高于閾值的情況中，套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理被選擇。
此外，在邊緣復(fù)雜度、框大小、顏色分布復(fù)雜度和色偏度低于閾值的情況中，西洋景風(fēng)格轉(zhuǎn)換處理被選擇。在模糊度、邊緣復(fù)雜度和顏色分布復(fù)雜度低于閾值并且色偏度等于或高于閾值的情況中，動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理被選擇。此外，在模糊度、邊緣復(fù)雜度和色偏度在閾值以下并且顏色分布復(fù)雜度等于或高于閾值的情況中，漫畫(huà)風(fēng)格轉(zhuǎn)換處理被選擇。
接著，將參考圖10到圖13來(lái)描述圖7中邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元 64中每一個(gè)的配置。
圖10是圖示出邊緣復(fù)雜度檢測(cè)單元61的更具體的配置示例的示圖。
邊緣復(fù)雜度檢測(cè)單元61包括濾波處理單元91、平均值計(jì)算單元92、距離計(jì)算單元 93、距離計(jì)算單元94和得分計(jì)算單元95。
濾波處理單元91生成分別由被輸入圖像中的R、G和B分量組成的R圖像、G圖像和B圖像，執(zhí)行用于提取出這些R圖像、G圖像和B圖像上的邊緣的濾波處理，并且將它們提供給平均值計(jì)算單元92。平均值計(jì)算單元92計(jì)算從濾波處理單元91提供的R圖像、G 圖像和B圖像的各個(gè)像素中的平均值以生成一個(gè)圖像，并且將其提供給距離計(jì)算單元93和距離計(jì)算單元94。
距離計(jì)算單元93計(jì)算從平均值計(jì)算單元92提供的圖像與預(yù)備的簡(jiǎn)單圖像之間的距離，并且將其提供給得分計(jì)算單元95。這里，簡(jiǎn)單圖像是由專(zhuān)業(yè)人員很好地捕獲的具有低邊緣復(fù)雜度的圖像，即，通常被高度評(píng)價(jià)的圖像。
距離計(jì)算單元94計(jì)算從平均值計(jì)算單元92提供的圖像與預(yù)備的復(fù)雜圖像之間的距離，并且將其提供給得分計(jì)算單元95。這里，復(fù)雜圖像是由業(yè)余愛(ài)好者等較差地捕獲的具有高邊緣復(fù)雜度的圖像，即，通常評(píng)價(jià)較低的圖像。
得分計(jì)算單元95通過(guò)使用從距離計(jì)算單元93提供的距離和從距離計(jì)算單元94 提供的距離來(lái)計(jì)算邊緣復(fù)雜度，并且將其提供給選擇單元22。
圖11是圖示出圖7中的大小檢測(cè)單元62的更具體的配置示例的示圖。
大小檢測(cè)單元62包括濾波處理單元121、平均值計(jì)算單元122、寬度計(jì)算單元123、 寬度計(jì)算單元1 和得分計(jì)算單元125。注意，由于濾波處理單元121和平均值計(jì)算單元 122與圖10中的濾波處理單元91和平均值計(jì)算單元92類(lèi)似，所以省略對(duì)它們的描述。
寬度計(jì)算單元123通過(guò)使用從平均值計(jì)算單元122提供的圖像來(lái)計(jì)算輸入圖像中的邊界框的預(yù)定方向(以下，視為X方向)的寬度，并且將其提供給得分計(jì)算單元125。寬度計(jì)算單元IM通過(guò)使用從平均值計(jì)算單元122提供的圖像來(lái)計(jì)算輸入圖像中邊界框與χ 方向垂直的方向(以下，視為y方向)的寬度，并且將其提供給得分計(jì)算單元125。
得分計(jì)算單元125基于從寬度計(jì)算單元123和寬度計(jì)算單元IM提供的χ方向和 y方向的寬度來(lái)計(jì)算框大小，并且將其提供給選擇單元22。
圖12是圖示出圖7中的顏色分布復(fù)雜度檢測(cè)單元63的更具體的配置示例的示圖。
顏色分布復(fù)雜度檢測(cè)單元63包括各種顏色柱狀圖生成單元151、柱狀圖生成單元 152、距離計(jì)算單元153、距離計(jì)算單元巧4和得分計(jì)算單元155。
各種顏色柱狀圖生成單元151根據(jù)所提供的輸入圖像生成各種顏色的柱狀圖，并且將它們提供給柱狀圖生成單元152，其中輸入圖像的各個(gè)分量R、G和B的像素的范圍用作柱。柱狀圖生成單元152根據(jù)自各種顏色柱狀圖生成單元151提供的各種顏色分量R、G 和B的柱狀圖生成一個(gè)柱狀圖，并且將其提供給距離計(jì)算單元153和距離計(jì)算單元154。
距離計(jì)算單元153計(jì)算從柱狀圖生成單元152提供的柱狀圖與從預(yù)備的簡(jiǎn)單圖像獲得的柱狀圖之間的距離，并且將其提供給得分計(jì)算單元155。距離計(jì)算單元IM計(jì)算從柱狀圖生成單元152提供的柱狀圖與從預(yù)備的復(fù)雜圖像獲得的柱狀圖之間的距離，并且將其提供給得分計(jì)算單元155。
得分計(jì)算單元155基于從距離計(jì)算單元153和距離計(jì)算單元IM提供的距離來(lái)計(jì)算顏色分布復(fù)雜度，并且將其提供給選擇單元22。
圖13是圖示出圖7中色偏檢測(cè)單元64的更具體的配置示例的示圖。
色偏檢測(cè)單元64包括轉(zhuǎn)換單元181、柱狀圖生成單元182和得分計(jì)算單元183。
轉(zhuǎn)換單元181將所提供的輸入圖像從具有R、G和B各個(gè)分量的像素值的圖像轉(zhuǎn)換成具有H(色調(diào))、S (飽和度)和V(顏色值)各個(gè)分量的像素值的圖像，并且將其提供給柱狀圖生成單元182。柱狀圖生成單元182基于從轉(zhuǎn)換單元181提供的具有H、S和V分量的輸入圖像來(lái)生成輸入圖像中滿足預(yù)定條件的像素的柱狀圖，并且將其提供給得分計(jì)算單元 183。
得分計(jì)算單元183基于從柱狀圖生成單元182提供的柱狀圖來(lái)計(jì)算色偏度，并且將其提供給選擇單元22。
[有關(guān)圖像處理設(shè)備的操作的描述] 接著，將參考圖14來(lái)描述圖7中的圖像處理設(shè)備51所執(zhí)行的圖像轉(zhuǎn)換處理。
注意，步驟S41中的處理與圖6中步驟Sll的處理相同，因此，省略對(duì)它的描述。
在步驟S42中，邊緣復(fù)雜度檢測(cè)單元61執(zhí)行邊緣復(fù)雜度檢測(cè)處理來(lái)計(jì)算邊緣復(fù)雜度，并且將其提供給選擇單元22。并且，在步驟S43中，大小檢測(cè)單元62執(zhí)行大小檢測(cè)處理來(lái)計(jì)算框大小，并且將其提供給選擇單元22。
在步驟S44中，顏色分布復(fù)雜度檢測(cè)單元63執(zhí)行顏色分布復(fù)雜度檢測(cè)處理來(lái)計(jì)算顏色分布復(fù)雜度，并且將其提供給選擇單元22。此外，在步驟S45中，色偏檢測(cè)單元64執(zhí)行色偏檢測(cè)處理來(lái)計(jì)算色偏度，并且將其提供給選擇單元22。
此外，以下將分別描述步驟S42到S45中所執(zhí)行的邊緣復(fù)雜度檢測(cè)處理、大小檢測(cè)處理、顏色分布復(fù)雜度檢測(cè)處理和色偏檢測(cè)處理的細(xì)節(jié)。
以這種方式，在模糊度檢測(cè)單元21和邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64 已計(jì)算出特征量并提供給選擇單元22之后，處理繼續(xù)進(jìn)行到步驟S46。
在步驟S46中，選擇單元22執(zhí)行濾波器選擇處理來(lái)選擇用于要對(duì)輸入圖像執(zhí)行的圖像處理操作的濾波器。并且，以下將描述濾波器選擇處理的細(xì)節(jié)。在濾波器選擇處理中， 通過(guò)使用提供給選擇單元22的特征量來(lái)選擇濾波器。在已選擇了濾波器之后，輸入圖像被提供給具有所選擇的濾波器的塊，即漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27中的任 “"者 ο 然后，執(zhí)行步驟S47到S49中的處理并且圖像轉(zhuǎn)換處理結(jié)束。這些處理分別與圖 6中步驟S15到步驟S17的處理類(lèi)似，因此省略對(duì)它們的描述。
以這種方式，圖像處理設(shè)備51根據(jù)所提供的輸入圖像計(jì)算多個(gè)特征的特征量，并且通過(guò)執(zhí)行用特征量確定的適當(dāng)?shù)膱D像處理操作來(lái)將輸入圖像轉(zhuǎn)換成輸出圖像。因此，可以通過(guò)選擇對(duì)于輸入圖像更有效的圖像處理操作來(lái)生成輸出圖像。結(jié)果，可以更有效地顯示輸出圖像。
接著，將參考圖15中的流程圖來(lái)描述與圖14中的步驟S42相對(duì)應(yīng)的邊緣復(fù)雜度檢測(cè)處理。該邊緣復(fù)雜度檢測(cè)處理由圖10中的邊緣復(fù)雜度檢測(cè)單元61來(lái)執(zhí)行。
在步驟S71中，濾波處理單元91例如使用用于提取邊緣的濾波器(例如拉普拉斯濾波器)來(lái)對(duì)所提供的輸入圖像執(zhí)行濾波處理。即，濾波處理單元91根據(jù)輸入圖像生成R 圖像、G圖像和B圖像，對(duì)這些R圖像、G圖像和B圖像執(zhí)行濾波處理，并且將它們提供給平均值計(jì)算單元92。
在步驟S72中，平均值計(jì)算單元92計(jì)算從濾波處理單元91提供的R圖像、G圖像和B圖像的各個(gè)像素中的平均值，從而生成一個(gè)圖像。即，所生成的圖像的每個(gè)像素的像素值是與R圖像、G圖像和B圖像的像素在相同位置的像素的平均值。平均值計(jì)算單元92對(duì)通過(guò)計(jì)算平均值獲得的圖像進(jìn)行正規(guī)化，來(lái)獲得具有預(yù)定大小的圖像(例如，垂直方向100 個(gè)像素并且水平方向100個(gè)像素)，并將其提供給距離計(jì)算單元93和距離計(jì)算單元94。
在步驟S73中，距離計(jì)算單元93和距離計(jì)算單元94分別計(jì)算從平均值計(jì)算單元 92提供的圖像與預(yù)備的簡(jiǎn)單圖像之間的距離以及從平均值計(jì)算單元92提供的圖像與預(yù)備的復(fù)雜圖像之間的距離，并且將它們提供給得分計(jì)算單元95。
例如，從平均值計(jì)算單元92提供的圖像與簡(jiǎn)單圖像(或復(fù)雜圖像)之間的距離被視為是通過(guò)對(duì)簡(jiǎn)單圖像執(zhí)行由濾波處理單元91執(zhí)行的濾波處理和由平均值計(jì)算單元92執(zhí)行的計(jì)算平均值的處理所獲得的圖像與從平均值計(jì)算單元92提供的圖像之間的歐幾里德距離。因此，以這種方式獲得的距離指示輸入圖像與簡(jiǎn)單圖像(或復(fù)雜圖像)之間的邊緣復(fù)雜度的相似程度。
在步驟S74中，得分計(jì)算單元95計(jì)算從距離計(jì)算單元93提供的距離和從距離計(jì)算單元94提供的距離之間的差，從而計(jì)算邊緣復(fù)雜度的得分(值)，并將其提供給選擇單元 22。輸入圖像與復(fù)雜圖像之間的距離越短，以這種方式獲得的邊緣復(fù)雜度的值越大，其中， 輸入圖像中的邊緣越復(fù)雜。
在已經(jīng)計(jì)算出邊緣復(fù)雜度并提供給選擇單元22之后，邊緣復(fù)雜度檢測(cè)處理結(jié)束。 此后，處理繼續(xù)進(jìn)行到圖14中的步驟S43。
并且，此后，將參考圖16中的流程圖來(lái)描述與圖14中步驟S43相對(duì)應(yīng)的大小檢測(cè)處理。該大小檢測(cè)處理由圖11中的大小檢測(cè)單元62執(zhí)行。
注意，步驟SlOl和步驟S102中的處理與圖15中的步驟S71和步驟S72的處理相似，因此省略對(duì)它們的描述。即，由濾波處理單元121對(duì)輸入圖像執(zhí)行濾波處理，并且由平均值計(jì)算單元122計(jì)算從濾波處理單元121提供的R圖像、G圖像和B圖像的各個(gè)像素中的平均值，并且對(duì)獲得的圖像進(jìn)行正規(guī)化。
在步驟S103中，寬度計(jì)算單元123和寬度計(jì)算單元IM通過(guò)使用從平均值計(jì)算單元122提供的圖像來(lái)計(jì)算輸入圖像中的邊界框的χ方向和y方向的寬度，并且將它們提供給得分計(jì)算單元125。
例如，寬度計(jì)算單元123將由從平均值計(jì)算單元122提供的圖像中y方向上布置的像素組成的線視為y線，并且計(jì)算每個(gè)y線的y線值，y線值是構(gòu)成y線的像素的像素值的總值。
然后，寬度計(jì)算單元123通過(guò)使用針對(duì)各個(gè)y線計(jì)算出的y線值，來(lái)計(jì)算由順次布置的y線組成的區(qū)域的χ方向的寬度，其中，該區(qū)域包括圖像中所包括的邊緣的總量的 98%，x方向的寬度用作邊界框的χ方向的寬度f(wàn)fx。即，該區(qū)域中所包括的y線的y線值的所計(jì)算出的總值是構(gòu)成圖像的所有y線的y線值的總值的98%或者以上的值。
同樣，寬度計(jì)算單元IM將由從平均值計(jì)算單元122提供的圖像中χ方向上所布置的像素組成的線視為X線，并且計(jì)算每個(gè)X線的X線值，X線值是構(gòu)成該X線的像素的像素值的總值。然后，寬度計(jì)算單元1 通過(guò)使用針對(duì)各個(gè)X線計(jì)算出的X線值，來(lái)計(jì)算由順次布置的X線組成的區(qū)域的y方向的寬度，其中，該區(qū)域包括圖像中所包括的邊緣的總量的 98%, y方向的寬度用作邊界框的y方向的寬度Wy。
在步驟S104中，得分計(jì)算單元125基于從寬度計(jì)算單元123和寬度計(jì)算單元IM 提供的寬度f(wàn)e和寬度Wy來(lái)計(jì)算框大小的得分，并且將其提供給選擇單元22。例如，通過(guò)從1中減去正規(guī)化后的寬度f(wàn)e和寬度Wy的乘積獲得的值的倒數(shù)被視為框大小的值(得分)。
具體地，在通過(guò)平均值計(jì)算單元122的平均值計(jì)算獲得的圖像被正規(guī)化成具有χ 方向100個(gè)像素、y方向100個(gè)像素這樣的大小的情況中，寬度Wx和寬度Wy通過(guò)除以100 被正規(guī)化。即，“l(fā)-(Wx/100)X (Wy/100)”的倒數(shù)被視為框大小的值。
邊界框的大小越大，以這種方式計(jì)算出的框大小的值越大，這表示輸入圖像中邊緣收縮的區(qū)域的緊密度越低。在計(jì)算出的框大小已被提供給選擇單元22之后，大小檢測(cè)處理結(jié)束。之后，處理繼續(xù)進(jìn)行到圖14中的步驟S44。
接著，將參考圖17中的流程圖來(lái)描述與圖14中的步驟S44的處理相對(duì)應(yīng)的顏色分布復(fù)雜度檢測(cè)處理。注意，該顏色分布復(fù)雜度檢測(cè)處理由圖12中的顏色分布復(fù)雜度檢測(cè)單元63執(zhí)行。
在步驟S131中，各種顏色柱狀圖生成單元151通過(guò)使用所提供的輸入圖像來(lái)生成各種顏色R、G和B分量的柱狀圖，并且將它們提供給柱狀圖生成單元152。
在步驟S132中，柱狀圖生成單元152根據(jù)自各種顏色柱狀圖生成單元151提供的各種顏色的柱狀圖生成一個(gè)柱狀圖，并且將其提供給距離計(jì)算單元153和距離計(jì)算單元 154。例如，柱狀圖生成單元152對(duì)各種顏色的柱狀圖進(jìn)行正規(guī)化，并且根據(jù)各種顏色的正規(guī)化后的柱狀圖生成具有數(shù)量為16的立方的柱的一個(gè)柱狀圖，其中每個(gè)柱是輸入圖像的像素值的預(yù)定范圍。
在步驟S133中，距離計(jì)算單元153和距離計(jì)算單元IM通過(guò)使用K-MN方法等，分別計(jì)算從柱狀圖生成單元152提供的柱狀圖與從預(yù)備的簡(jiǎn)單圖像獲得的柱狀圖之間的距離和從柱狀圖生成單元152提供的柱狀圖與從預(yù)備的復(fù)雜圖像獲得的柱狀圖之間的距離。 這里，從簡(jiǎn)單圖像和復(fù)雜圖像獲得的柱狀圖中的每一個(gè)是在與柱狀圖生成單元152生成柱狀圖的處理相同的處理中生成的柱狀圖。
例如，距離計(jì)算單元153將從柱狀圖生成單元152提供的柱狀圖與簡(jiǎn)單圖像的柱狀圖之間的各個(gè)柱的頻率值的差的總值視為那些柱狀圖之間的距離。距離計(jì)算單元153針對(duì)多個(gè)簡(jiǎn)單圖像計(jì)算到從柱狀圖生成單元152提供的柱狀圖的距離，并且將它們提供給得分計(jì)算單元155。
同樣，距離計(jì)算單元IM將從柱狀圖生成單元152提供的柱狀圖與復(fù)雜圖像的柱狀圖之間的各個(gè)柱的頻率值的差的總值視為那些柱狀圖之間的距離。距離計(jì)算單元1 針對(duì)多個(gè)復(fù)雜圖像計(jì)算到從柱狀圖生成單元152提供的柱狀圖的距離，并且將它們提供給得分計(jì)算單元155。
在步驟S134中，得分計(jì)算單元155基于從距離計(jì)算單元153和距離計(jì)算單元IM 提供的距離來(lái)計(jì)算顏色分布復(fù)雜度的得分，并且將其提供給選擇單元22。
例如，得分計(jì)算單元155從自距離計(jì)算單元153和距離計(jì)算單元IM提供的距離中選擇按這些距離的值的降序排列中的K個(gè)距離。然后，得分計(jì)算單元155計(jì)算這K個(gè)選擇的距離中到簡(jiǎn)單圖像的柱狀圖的距離的數(shù)目與到復(fù)雜圖像的柱狀圖的距離的數(shù)目之間的差，并且將計(jì)算出的差視為顏色分布復(fù)雜度的值(得分)。即，這K個(gè)距離中從距離計(jì)算單元153提供的差的數(shù)目和從距離計(jì)算單元IM提供的差的數(shù)目之間的差被視為顏色分布復(fù)雜度。
輸入圖像中的顏色分布復(fù)雜度與復(fù)雜圖像中的顏色分布復(fù)雜度越接近，以這種方式計(jì)算出的顏色分布復(fù)雜度的值越大，這表示輸入圖像中的顏色分布越復(fù)雜。
在已計(jì)算出顏色分布復(fù)雜度并提供給選擇單元22之后，顏色分布復(fù)雜度檢測(cè)處理結(jié)束，并且處理繼續(xù)進(jìn)行到圖14中的步驟S45。
接著，將參考圖18中的流程圖來(lái)描述與圖14中的步驟S45的處理相對(duì)應(yīng)的色偏檢測(cè)處理。該色偏檢測(cè)處理由圖13中的色偏檢測(cè)單元64執(zhí)行。
在步驟S161中，轉(zhuǎn)換單元181將所提供的輸入圖像轉(zhuǎn)換成具有各個(gè)分量H、S和C 的像素值的圖像，并且將其提供給柱狀圖生成單元182。
在步驟S162中，柱狀圖生成單元182根據(jù)自轉(zhuǎn)換單元181提供的圖像生成滿足預(yù)定條件的像素的柱狀圖，并且將其提供給得分計(jì)算單元183。例如，預(yù)定條件為像素的V分量的值大于0. 15并且小于0. 95，并且像素的S分量的值大于0. 2。從自轉(zhuǎn)換單元181提供的圖像中提取滿足條件的像素。然后，根據(jù)所提取出的像素生成柱狀圖，其中像素的H分量的值的范圍是柱狀圖中的柱，并且柱狀圖被提供給得分計(jì)算單元183。
在步驟S163中，得分計(jì)算單元183基于從柱狀圖生成單元182提供的柱狀圖來(lái)計(jì)算色偏度的得分，并且將其提供給選擇單元22。例如，得分計(jì)算單元183計(jì)算具有最高頻率值的柱的中值N，其具有柱狀圖的各個(gè)柱的頻率值的總值的5%或者以上的值作為頻率值， 并且從預(yù)定值(例如，20)中減去中值N。這樣獲得的值被視為色偏度的值(得分)。
中值(即，H(色調(diào))分量)越低，以這種方式計(jì)算出的色偏度的值越大，這表示輸入圖像中的色偏度高。在計(jì)算出的色偏度已被提供給選擇單元22之后，色偏檢測(cè)處理結(jié)束，并且處理繼續(xù)進(jìn)行到圖14中的步驟S46。
此外，將參考圖19中的流程圖來(lái)描述與圖14中的步驟S46的處理相對(duì)應(yīng)的濾波器選擇處理。該濾波器選擇處理由圖7中的選擇單元22執(zhí)行。
在步驟S191中，選擇單元22基于從模糊度檢測(cè)單元21提供的模糊度來(lái)判斷所提供的輸入圖像是否是模糊圖像。例如，在模糊度等于或高于預(yù)定閾值的情況中，輸入圖像被判定為是模糊圖像。
如果在步驟S191中判定輸入圖像不是模糊圖像，則選擇單元22在步驟S192中基于從顏色分布復(fù)雜度檢測(cè)單元63的得分計(jì)算單元155提供的顏色分布復(fù)雜度來(lái)判斷輸入圖像的顏色分布是否復(fù)雜。例如，在顏色分布復(fù)雜度等于或高于預(yù)定閾值的情況中，判定顏色分布復(fù)雜。
在步驟S192中判定顏色分布不復(fù)雜的情況中，在步驟S193中，選擇單元22選擇用于將輸入圖像轉(zhuǎn)換成動(dòng)畫(huà)風(fēng)格圖像的濾波器來(lái)作為用于要對(duì)輸入圖像執(zhí)行的圖像處理操作的濾波器。
即，由于輸入圖像不是模糊圖像并且顏色分布簡(jiǎn)單，所以動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理被選作圖像處理操作，如圖9中所示。選擇單元22將所提供的輸入圖像提供給執(zhí)行動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理的動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換單元對(duì)，并且濾波器選擇處理結(jié)束。然后，在那之后，處理繼續(xù)進(jìn)行到圖14中的步驟S47。
另一方面，在步驟S192中判定顏色分布復(fù)雜的情況中，在步驟S194中，選擇單元 22選擇用于將輸入圖像轉(zhuǎn)換成漫畫(huà)風(fēng)格圖像的濾波器來(lái)作為用于要對(duì)輸入圖像執(zhí)行的圖像處理操作的濾波器。
S卩，由于輸入圖像不是模糊圖像并且其顏色分布復(fù)雜，所以漫畫(huà)風(fēng)格轉(zhuǎn)換處理被選作圖像處理操作，如圖9中所示。選擇單元22將所提供的輸入圖像提供給執(zhí)行漫畫(huà)風(fēng)格轉(zhuǎn)換處理的漫畫(huà)風(fēng)格轉(zhuǎn)換單元23，并且濾波器選擇處理結(jié)束。然后，在那之后，處理繼續(xù)進(jìn)行到圖14中的步驟S47。
并且，在步驟S191中判定輸入圖像是模糊圖像的情況中，選擇單元22在步驟S195 中基于從邊緣復(fù)雜度檢測(cè)單元61的得分計(jì)算單元95提供的邊緣復(fù)雜度來(lái)判斷輸入圖像的邊緣分布是否復(fù)雜。例如，在邊緣復(fù)雜度等于或高于預(yù)定閾值的情況中，邊緣分布被判定為是復(fù)雜的。
如果在步驟S195中判定邊緣分布不復(fù)雜，則選擇單元22在步驟S196中基于從色偏檢測(cè)單元64的得分計(jì)算單元183提供的色偏度來(lái)判斷輸入圖像是否具有色偏。例如，在色偏度等于或高于預(yù)定閾值的情況中，判定輸入圖像具有色偏。
在步驟S196中判定輸入圖像沒(méi)有色偏的情況中，選擇單元22在步驟S197中選擇用于將輸入圖像轉(zhuǎn)換成西洋景風(fēng)格圖像的濾波器作為用于要對(duì)輸入圖像執(zhí)行圖像處理操作的濾波器。
S卩，由于輸入圖像的邊緣分布簡(jiǎn)單并且沒(méi)有色偏，所以，西洋景風(fēng)格轉(zhuǎn)換處理被選作圖像處理操作，如圖9中所示。選擇單元22將所提供的輸入圖像提供給執(zhí)行西洋景風(fēng)格轉(zhuǎn)換處理的西洋景風(fēng)格轉(zhuǎn)換單元25，并且濾波器選擇處理結(jié)束。然后，在那之后，處理繼續(xù)進(jìn)行到圖14中的步驟S47。
另一方面，在步驟S196中判定存在色偏的情況中，選擇單元22在步驟S198中選擇用于將輸入圖像轉(zhuǎn)換成套印繪畫(huà)風(fēng)格圖像的濾波器作為用于要對(duì)輸入圖像執(zhí)行的圖像處理操作的濾波器。
S卩，由于輸入圖像的邊緣分布簡(jiǎn)單并且存在色偏，所以套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理被選作圖像處理操作，如圖9中所示。選擇單元22將所提供的輸入圖像提供給執(zhí)行套印繪畫(huà)風(fēng)格轉(zhuǎn)換處理的套印繪畫(huà)風(fēng)格轉(zhuǎn)換單元27，并且濾波器選擇處理結(jié)束。然后，在那之后，處理繼續(xù)進(jìn)行到圖14中的步驟S47。
并且，在步驟S195中判定邊緣分布復(fù)雜的情況中，選擇單元22在步驟S199中選擇用于將輸入圖像轉(zhuǎn)換成減色繪畫(huà)風(fēng)格圖像的濾波器作為用于要對(duì)輸入圖像執(zhí)行的圖像處理操作的濾波器。
即，由于輸入圖像的邊緣分布復(fù)雜，所以減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理被選作圖像處理操作，如圖9中所示。選擇單元22將所提供的輸入圖像提供給執(zhí)行減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的繪畫(huà)風(fēng)格轉(zhuǎn)換單元沈，并且濾波器選擇處理結(jié)束。然后，在那之后，處理繼續(xù)進(jìn)行到圖14 中的步驟S47。
以這種方式，選擇單元22基于從輸入圖像提取出的特征量來(lái)選擇更適合輸入圖像的圖像處理操作，并且將輸入圖像提供給執(zhí)行圖像處理操作的塊。以這種方式，通過(guò)使用特征量，可以更容易地選擇對(duì)于輸入圖像更有效的圖像處理操作。
<第三實(shí)施例> [圖像處理設(shè)備的配置] 根據(jù)以上描述，對(duì)整個(gè)輸入圖像執(zhí)行圖像處理操作?？商鎿Q地，可以僅對(duì)輸入圖像的一個(gè)區(qū)域執(zhí)行圖像處理操作，或者可以對(duì)一個(gè)區(qū)域和另一區(qū)域執(zhí)行不同的圖像處理操作。
在這樣的情況中，圖像處理設(shè)備例如具有圖20中所示出的配置。注意，在圖20中， 與圖7中的那些部件相對(duì)應(yīng)的部件用相同的標(biāo)號(hào)表示，并且將適當(dāng)?shù)厥÷詫?duì)它們的描述。
圖像處理設(shè)備231包括關(guān)注區(qū)域檢測(cè)單元Ml、模糊度檢測(cè)單元21、邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64、選擇單元22到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27以及輸出單元四。
關(guān)注區(qū)域檢測(cè)單元241提取出所提供的輸入圖像中對(duì)象的區(qū)域的特征的特征量， 從而從輸入圖像中檢測(cè)出對(duì)象，并且生成對(duì)象圖，對(duì)象圖是用于在輸入圖像中指定包括對(duì)象的關(guān)注區(qū)域的信息。關(guān)注區(qū)域檢測(cè)單元241將所生成的對(duì)象圖提供給模糊度檢測(cè)單元 21、邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64以及選擇單元22。
這里，對(duì)象的檢測(cè)是基于這樣的假設(shè)來(lái)執(zhí)行的對(duì)象即輸入圖像中當(dāng)用戶瞥過(guò)輸入圖像時(shí)估計(jì)會(huì)被用戶關(guān)注的物體，即，估計(jì)會(huì)被用戶注視的的物體。因此，對(duì)象不一定限于人。
模糊度檢測(cè)單元21和邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64通過(guò)使用從關(guān)注區(qū)域檢測(cè)單元241提供的對(duì)象圖，來(lái)從所提供的輸入圖像中的關(guān)注區(qū)域和作為除關(guān)注區(qū)域以外的區(qū)域的背景區(qū)域中提取特征量，并且將它們提供給選擇單元22。即，計(jì)算出關(guān)注區(qū)域和背景區(qū)域的每一個(gè)中的模糊度、邊緣復(fù)雜度、框大小、顏色分布復(fù)雜度和色偏度。
選擇單元22基于從模糊度檢測(cè)單元21和邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64提供的特征量，來(lái)選擇要對(duì)關(guān)注區(qū)域和背景區(qū)域中的至少一個(gè)執(zhí)行的圖像處理操作。 另外，在要對(duì)這兩個(gè)區(qū)域都執(zhí)行圖像處理操作的情況中，針對(duì)各個(gè)區(qū)域選擇圖像處理操作。
并且，選擇單元22將所提供的輸入圖像和從關(guān)注區(qū)域檢測(cè)單元241提供的對(duì)象圖提供給執(zhí)行所選擇的圖像處理操作的塊。輸出單元四必要時(shí)合成從漫畫(huà)風(fēng)格轉(zhuǎn)換單元23 到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27提供的輸出圖像，即，關(guān)注區(qū)域中的圖像和背景區(qū)域中的圖像，從而輸出最終獲得的輸出圖像。
此外，關(guān)注區(qū)域檢測(cè)單元241例如具有圖21中所圖示出的配置。
即，關(guān)注區(qū)域檢測(cè)單元241包括亮度信息提取單元271、顏色信息提取單元272、臉部信息提取單元273和對(duì)象圖生成單元274。
亮度信息提取單元271基于輸入圖像來(lái)生成指示有關(guān)所提供的輸入圖像的每個(gè)區(qū)域中的亮度的信息的亮度信息圖，并且將其提供給對(duì)象圖生成單元274。
亮度信息提取單元271包括亮度圖像生成單元四1、金字塔圖像(pyramid image) 生成單元四2、差分計(jì)算單元293和亮度信息圖生成單元四4。
亮度圖像生成單元通過(guò)使用所提供的輸入圖像來(lái)生成亮度圖(輸入圖像的像素的亮度值用作亮度圖中像素的像素值)，并且將其提供給金字塔圖像生成單元四2。這里，亮度圖的任意像素的像素值指示與輸入圖像的任意像素在相同位置的像素的亮度值。
金字塔圖像生成單元292通過(guò)使用從亮度圖像生成單元四1提供的亮度圖像來(lái)生成具有互不相同的分辨率的多個(gè)亮度圖像，并且將那些亮度圖像作為亮度的金字塔圖像提供給差分計(jì)算單元四3。
例如，生成從級(jí)別Ll到級(jí)別L8這8個(gè)分辨率層中的金字塔圖像。級(jí)別Ll的金字塔圖像具有最高分辨率，并且金字塔圖像的分辨率按照從級(jí)別Ll到級(jí)別L8的順序遞減。
在這樣的情況中，由亮度圖像生成單元291生成的亮度圖像被視為級(jí)別Ll的金字塔圖像。并且，級(jí)別Li (注意，Ki 的金字塔圖像中彼此相鄰的4個(gè)像素的像素值的平均值被視為與這些像素相對(duì)應(yīng)的級(jí)別L(i+Ι)的金字塔圖像中一個(gè)像素的像素值。因此， 級(jí)別L(i+1)的金字塔圖像相對(duì)于級(jí)別Li的金字塔圖像是水平和垂直地半分的圖像。
差分計(jì)算單元293從自金字塔圖像生成單元292提供的多個(gè)金字塔圖像中選擇在不同層中的兩個(gè)金字塔圖像，并且計(jì)算所選擇的金字塔圖像之間的差來(lái)生成亮度的差分圖像。另外，各個(gè)層中的金字塔圖像具有不同的大小(像素的數(shù)目)，因此在差分圖像的生成時(shí)，較小的金字塔圖像根據(jù)較大的金字塔圖像被向上轉(zhuǎn)換(up-converted)。
在生成預(yù)定數(shù)目的亮度差分圖像之后，差分計(jì)算單元293對(duì)那些生成的差分圖像進(jìn)行正規(guī)化并且將它們提供給亮度信息圖生成單元四4。亮度信息圖生成單元294基于從差分計(jì)算單元293提供的差分圖像來(lái)生成亮度信息圖，并且將其提供給對(duì)象圖生成單元 274。
另外，顏色信息提取單元272基于輸入圖像來(lái)生成指示有關(guān)所提供的輸入圖像的各個(gè)區(qū)域中的顏色的信息的顏色信息圖，并且將其提供給對(duì)象圖生成單元274。
顏色信息提取單元272包括RG差分圖像生成單元^5、BY差分圖像生成單元四6、 金字塔圖像生成單元四7、金字塔圖像生成單元四8、差分計(jì)算單元四9、差分計(jì)算單元300、 顏色信息圖生成單元301和顏色信息圖生成單元302。
RG差分圖像生成單元四5通過(guò)使用所提供的輸入圖像來(lái)生成RG差分圖像，并且將其提供給金字塔圖像生成單元四7，其中，輸入圖像的每個(gè)像素的R(紅)分量和G(綠)分量之間的差是RG差分圖像中的像素的像素值。RG差分圖像的任意像素的像素值指示輸入圖像中與任意像素在相同位置的像素的R分量與G分量之間的差的值。
BY差分圖像生成單元四6通過(guò)使用所提供的輸入圖像來(lái)生成BY差分圖像，并且將其提供給金字塔圖像生成單元四8，其中，輸入圖像的每個(gè)像素的B(藍(lán))分量與Y(黃)分量之間的差是BY差分圖像中的像素的像素值。BY差分圖像的任意像素的像素值指示輸入圖像中與任意像素在相同位置的像素的B(藍(lán))分量與Y(黃)分量之間的差的值。另外， 輸入圖像的Y(黃)分量的值是從輸入圖像的各種顏色R、G和B分量的值(像素值)計(jì)算出的。
金字塔圖像生成單元297和金字塔圖像生成單元298通過(guò)使用從RG差分圖像生成單元295和BY差分圖像生成單元296提供的RG差分圖像和BY差分圖像，來(lái)生成具有相互不同的分辨率的多個(gè)RG差分圖像和BY差分圖像。然后，金字塔圖像生成單元297和金字塔圖像生成單元298將那些生成的RG差分圖像和BY差分圖像提供給差分計(jì)算單元299 和差分計(jì)算單元300，其中那些生成的RG差分圖像和BY差分圖像用作RG差分的金字塔圖像和BY差分的金字塔圖像。
例如，如在亮度的金字塔圖像的情況中一樣，生成從級(jí)別Ll到級(jí)別L8這8層分辨率的金字塔圖像，作為RG差分的金字塔圖像和BY差分的金字塔圖像。
差分計(jì)算單元299和差分計(jì)算單元300從自金字塔圖像生成單元297和金字塔圖像生成單元298提供的多個(gè)金字塔圖像中，選擇在相互不同層中的兩個(gè)金字塔圖像，并且計(jì)算所選擇的金字塔圖像之間的差，從而生成RG差分的差分圖像和BY差分的差分圖像。另外，在各個(gè)層中的金字塔圖像具有不同大小，因此，在差分圖像的生成時(shí)，較小的金字塔圖像被向上轉(zhuǎn)換成與較大的金字塔圖像相同大小。
在生成了預(yù)定數(shù)目的RG差分的差分圖像和BY差分的差分圖像之后，差分計(jì)算單元299和差分計(jì)算單元300對(duì)那些生成的差分圖像進(jìn)行正規(guī)化并且將它們提供給顏色信息圖生成單元301和顏色信息圖生成單元302。顏色信息圖生成單元301和顏色信息圖生成單元302基于從差分計(jì)算單元299和差分計(jì)算單元300提供的差分圖像來(lái)生成顏色信息圖，并且將它們提供給對(duì)象圖生成單元274。顏色信息圖生成單元301生成RG差分的顏色信息圖，并且顏色信息圖生成單元302生成BY差分的顏色信息圖。
臉部信息提取單元273基于輸入圖像來(lái)生成臉部信息圖，并將其提供給對(duì)象圖生成單元274，其中該臉部信息圖表示有關(guān)作為所提供的輸入圖像的各個(gè)區(qū)域中的對(duì)象的人的臉部的信息。臉部信息提取單元273包括臉部檢測(cè)單元303和臉部信息圖生成單元304。
臉部檢測(cè)單元303從所提供的輸入圖像中檢測(cè)作為對(duì)象的人的臉部的區(qū)域，并且將檢測(cè)結(jié)果提供給臉部信息圖生成單元304。臉部信息圖生成單元304基于從臉部檢測(cè)單元303提供的檢測(cè)結(jié)果來(lái)生成臉部信息圖并且將其提供給對(duì)象圖生成單元274。
另外，以下，在不需要相互區(qū)分從亮度信息提取單元271到臉部信息提取單元273 輸出的亮度信息圖和臉部信息圖的情況中，這些圖被簡(jiǎn)稱為信息圖。這些信息圖中所包括的信息是指示在包括對(duì)象的區(qū)域中較大的特征的特征量的信息。根據(jù)輸入圖像的各個(gè)區(qū)域布置的信息構(gòu)成信息圖。即，信息圖是指示輸入圖像的各個(gè)區(qū)域中的特征量的信息。
因此，每個(gè)信息圖中具有較大信息量的區(qū)域，即輸入圖像中與具有大特征量的區(qū)域相對(duì)應(yīng)的區(qū)域，是很有可能包括對(duì)象的區(qū)域，所以，可以通過(guò)使用每個(gè)信息圖來(lái)指定包括輸入圖像的對(duì)象的區(qū)域。
對(duì)象圖生成單元274通過(guò)將從亮度信息圖生成單元四4、顏色信息圖生成單元 301、顏色信息圖生成單元302和臉部信息圖生成單元304提供的亮度信息圖、顏色信息圖和臉部信息圖進(jìn)行線性耦合，來(lái)生成對(duì)象圖。即，亮度信息圖到臉部信息圖的各個(gè)區(qū)域中的信息(特征量)被在相同位置以區(qū)域?yàn)閱挝贿M(jìn)行加權(quán)，從而生成對(duì)象圖。對(duì)象圖生成單元 274將生成的對(duì)象圖提供給模糊度檢測(cè)單元21、邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64 以及選擇單元22。
[有關(guān)圖像處理設(shè)備的操作的描述] 接著，將參考圖22中的流程圖來(lái)描述由圖20中的圖像處理單元231執(zhí)行的圖像轉(zhuǎn)換處理。
在步驟S231中，關(guān)注區(qū)域檢測(cè)單元241執(zhí)行關(guān)注區(qū)域檢測(cè)處理來(lái)從輸入圖像中檢測(cè)關(guān)注區(qū)域。即，關(guān)注區(qū)域檢測(cè)單元241根據(jù)輸入圖像生成對(duì)象圖，并且將其提供給模糊度檢測(cè)單元21、邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64以及選擇單元22。另外，以下將描述關(guān)注區(qū)域檢測(cè)處理的細(xì)節(jié)。
并且，在已執(zhí)行關(guān)注區(qū)域檢測(cè)處理之后，隨后執(zhí)行步驟S232到步驟S236中的處理。這些處理與圖14中步驟S41到步驟S45的處理相似，因此，省略對(duì)它們的描述。
S卩，在模糊度檢測(cè)單元21和邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64中計(jì)算出各個(gè)特征的特征量并提供給選擇單元22。另外，在步驟S232到步驟S236的處理中，基于由關(guān)注區(qū)域檢測(cè)單元241生成的對(duì)象圖計(jì)算出輸入圖像的關(guān)注區(qū)域和背景區(qū)域的每一個(gè)中的特征量。即，計(jì)算出關(guān)注區(qū)域中的模糊度、邊緣復(fù)雜度、框大小、顏色分布復(fù)雜度以及色偏度。并且，計(jì)算出背景區(qū)域中的模糊度、邊緣復(fù)雜度、框大小、顏色分布復(fù)雜度以及色偏度。
在步驟S237中，選擇單元22基于從模糊度檢測(cè)單元21提供的關(guān)注區(qū)域和背景區(qū)域中的模糊度來(lái)判斷這些模糊度之間的差的絕對(duì)值是否小于預(yù)定閾值。
在步驟S237中判定絕對(duì)值小于閾值的情況中，在步驟S238中，選擇單元22對(duì)關(guān)注區(qū)域執(zhí)行濾波器選擇處理，以選擇用于要對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行的圖像處理操作的濾波器。
另外，對(duì)關(guān)注區(qū)域執(zhí)行的濾波器選擇處理與參考圖19所描述的濾波器選擇處理相似，因此省略對(duì)其的描述。注意，在對(duì)關(guān)注區(qū)域執(zhí)行的濾波器選擇處理中，要對(duì)關(guān)注區(qū)域執(zhí)行的圖像處理操作通過(guò)使用關(guān)注區(qū)域中的模糊度、邊緣復(fù)雜度、框大小、顏色分布復(fù)雜度以及色偏度來(lái)選擇。
在選擇了用于關(guān)注區(qū)域的濾波器(即圖像處理操作)之后，選擇單元22將所提供的輸入圖像和從關(guān)注區(qū)域檢測(cè)單元241提供的對(duì)象圖提供給執(zhí)行所選擇的圖像處理操作的塊，并且指示該塊對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行圖像處理操作。
在步驟S239中，漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27中被提供來(lái)自選擇單元22的輸入圖像和對(duì)象圖的塊通過(guò)使用所提供的對(duì)象圖來(lái)對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行濾波處理。
例如，在選擇單元22選擇減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理的情況中，繪畫(huà)風(fēng)格轉(zhuǎn)換單元沈通過(guò)使用對(duì)象圖來(lái)對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行減色繪畫(huà)風(fēng)格轉(zhuǎn)換處理，從而生成輸入圖像中的關(guān)注區(qū)域部分的輸出圖像。繪畫(huà)風(fēng)格轉(zhuǎn)換單元沈?qū)⑸傻年P(guān)注區(qū)域部分的輸出圖像提供給輸出單元四。
在步驟S240中，選擇單元22對(duì)背景區(qū)域執(zhí)行濾波處理，以選擇用于要對(duì)輸入圖像的背景區(qū)域執(zhí)行的圖像處理操作的濾波器。
另外，對(duì)背景區(qū)域執(zhí)行的濾波器選擇處理與參考圖19描述的濾波器選擇處理相似，因此省略對(duì)其的描述。注意，在對(duì)背景區(qū)域執(zhí)行的濾波器選擇處理中，要對(duì)背景區(qū)域執(zhí)行的圖像處理操作通過(guò)使用背景區(qū)域中的模糊度、邊緣復(fù)雜度、框大小、顏色分布復(fù)雜度以及色偏度來(lái)選擇。
在選擇了用于背景區(qū)域的濾波器(即圖像處理操作)之后，選擇單元22將所提供的輸入圖像以及從關(guān)注區(qū)域檢測(cè)單元241提供的對(duì)象圖提供給執(zhí)行所選擇的圖像處理操作的塊，并且指示該塊對(duì)輸入圖像的背景區(qū)域執(zhí)行圖像處理操作。
在步驟S241中，漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27中被提供來(lái)自選擇單元22的輸入圖像和對(duì)象圖的塊通過(guò)使用所提供的對(duì)象圖來(lái)對(duì)輸入圖像的背景區(qū)域執(zhí)行濾波處理。
例如，在選擇單元22選擇動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理的情況中，動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換單元M通過(guò)使用對(duì)象圖來(lái)對(duì)輸入圖像的背景區(qū)域執(zhí)行動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換處理，從而生成輸入圖像中的背景區(qū)域部分的輸出圖像。動(dòng)畫(huà)風(fēng)格轉(zhuǎn)換單元M將生成的背景區(qū)域部分的輸出圖像提供給輸出單元四。
在背景區(qū)域部分的輸出圖像已經(jīng)被提供給輸出單元四之后，隨后處理繼續(xù)進(jìn)行到步驟S247。
并且，在步驟S237中判定模糊度之間的差的絕對(duì)值不小于閾值的情況中，在步驟 S242中，選擇單元22判斷關(guān)注區(qū)域中的模糊度是否高于背景區(qū)域中的模糊度。
在步驟S242中判定關(guān)注區(qū)域中的模糊度更高的情況中，在步驟S243中，選擇單元22對(duì)關(guān)注區(qū)域執(zhí)行濾波器選擇處理來(lái)選擇濾波器。另外，步驟S243中的處理與步驟S238 中的處理相似，因此省略對(duì)其的描述。
在選擇了濾波器(即圖像處理操作)之后，選擇單元22將所提供的輸入圖像以及從關(guān)注區(qū)域檢測(cè)單元241提供的對(duì)象圖提供給執(zhí)行所選擇的圖像處理操作的塊，并且指示該塊對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行圖像處理操作。
在步驟S244中，漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27中被提供來(lái)自選擇單元22的輸入圖像和對(duì)象圖的塊通過(guò)使用所提供的對(duì)象圖來(lái)對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行濾波處理。然后，通過(guò)濾波處理獲得的關(guān)注區(qū)域部分的圖像被視為關(guān)注區(qū)域部分的輸出圖像。
并且，執(zhí)行圖像處理操作的塊通過(guò)使用對(duì)象圖來(lái)提取出輸入圖像的背景區(qū)域，并且將背景區(qū)域本身視為背景區(qū)域部分的輸出圖像。執(zhí)行圖像處理操作的塊將通過(guò)濾波處理獲得的關(guān)注區(qū)域部分的輸出圖像以及背景區(qū)域部分的輸出圖像提供給輸出單元四。
在關(guān)注區(qū)域部分的輸出圖像和背景區(qū)域部分的輸出圖像已經(jīng)被提供給輸出單元 29之后，處理繼續(xù)進(jìn)行到步驟S247。在關(guān)注區(qū)域中的模糊度比背景區(qū)域中的模糊度高得多的情況中，對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行圖像處理操作，而對(duì)不模糊的背景區(qū)域不執(zhí)行圖像處理操作，而是保持原樣。
并且，在步驟S242中判定關(guān)注區(qū)域中的模糊度不是更高的情況中，即，在背景區(qū)域中的模糊度高于關(guān)注區(qū)域中的模糊度的情況中，在步驟S245中，選擇單元22對(duì)背景區(qū)域執(zhí)行濾波器選擇處理來(lái)選擇濾波器。另外，步驟S245中的處理與步驟S240中的處理相似， 因此省略對(duì)其的描述。
在選擇了用于背景區(qū)域的濾波器(即圖像處理操作)之后，選擇單元22將所提供的輸入圖像以及從關(guān)注區(qū)域檢測(cè)單元241提供的對(duì)象圖提供給執(zhí)行所選擇的圖像處理操作的塊，并且指示該塊對(duì)輸入圖像的背景區(qū)域執(zhí)行圖像處理操作。
在步驟S246中，漫畫(huà)風(fēng)格轉(zhuǎn)換單元23到繪畫(huà)風(fēng)格轉(zhuǎn)換單元27中被提供來(lái)自選擇單元22的輸入圖像和對(duì)象圖的塊通過(guò)使用所提供的對(duì)象圖來(lái)對(duì)輸入圖像的背景區(qū)域執(zhí)行濾波處理。然后，通過(guò)濾波處理獲得的背景區(qū)域部分的圖像被視為背景區(qū)域部分的輸出圖像。
并且，執(zhí)行圖像處理操作的塊通過(guò)使用對(duì)象圖來(lái)提取出輸入圖像的關(guān)注區(qū)域并且將關(guān)注區(qū)域本身視為關(guān)注區(qū)域部分的輸出圖像。執(zhí)行圖像處理操作的塊將通過(guò)濾波處理獲得的背景區(qū)域部分的輸出圖像以及關(guān)注區(qū)域部分的輸出圖像提供給輸出單元四。
在關(guān)注區(qū)域部分的輸出圖像和背景區(qū)域部分的輸出圖像已經(jīng)被提供給輸出單元 29之后，處理繼續(xù)進(jìn)行到步驟S247。在背景區(qū)域中的模糊度比關(guān)注區(qū)域中的模糊度高得多的情況中，對(duì)輸入圖像的背景區(qū)域執(zhí)行圖像處理操作，而對(duì)不模糊的關(guān)注區(qū)域不執(zhí)行圖像處理操作，而是保持原樣。
在步驟S241、步驟S244或步驟S246中的處理已經(jīng)被執(zhí)行并且關(guān)注區(qū)域部分的輸出圖像和背景區(qū)域部分的輸出圖像已被提供給輸出單元四之后，在步驟S247中，輸出單元 29合成所提供的關(guān)注區(qū)域部分的輸出圖像以及背景區(qū)域部分的輸出圖像，從而生成一個(gè)最終的輸出圖像。
以這種方式獲得的輸出圖像是已對(duì)關(guān)注區(qū)域和背景區(qū)域執(zhí)行了分別選擇的圖像處理操作的圖像，或是已對(duì)關(guān)注區(qū)域或背景區(qū)域中的任一者執(zhí)行了圖像處理操作的圖像。 以這種方式，在已經(jīng)獲得最終輸出圖像之后，執(zhí)行步驟S248和步驟S249中的處理并且圖像轉(zhuǎn)換處理結(jié)束。這些處理與圖6中的步驟S16和步驟S17的處理相似，因此省略對(duì)其的描述。
以這種方式，圖像處理設(shè)備231對(duì)輸入圖像的關(guān)注區(qū)域和背景區(qū)域中的至少一者執(zhí)行圖像處理操作，以將輸入圖像轉(zhuǎn)換成輸出圖像。因此，針對(duì)輸入圖像的每個(gè)區(qū)域可以容易地選擇更有效的圖像處理操作，以生成輸出圖像。結(jié)果，可以更有效地顯示輸出圖像。
例如，在輸入圖像的僅背景區(qū)域模糊的情況中，對(duì)關(guān)注區(qū)域保持原樣，并且對(duì)背景區(qū)域執(zhí)行圖像處理操作，從而關(guān)注區(qū)域中的對(duì)象可以被放在與捕獲該輸入圖像時(shí)的場(chǎng)景的位置不同的位置。因此，在輸出圖像的欣賞期間，可以對(duì)用戶產(chǎn)生更大的影響，從而使得用戶能夠更喜歡欣賞輸出圖像。
并且，在輸入圖像的關(guān)注區(qū)域和背景區(qū)域中的模糊度幾乎一樣的情況中，對(duì)這兩個(gè)區(qū)域都執(zhí)行分別選擇的圖像處理操作，從而可以顯示其中各個(gè)區(qū)域具有不同紋理的輸出圖像，并使得用戶更喜歡欣賞輸出圖像。
另外，在對(duì)關(guān)注區(qū)域和背景區(qū)域執(zhí)行圖像處理操作的情況中，例如可以優(yōu)先執(zhí)行輸入圖像中的臉部檢測(cè)。當(dāng)關(guān)注區(qū)域中包括人的臉部時(shí)，關(guān)注區(qū)域中人的臉部的區(qū)域被保持原樣，并且對(duì)沒(méi)有人的臉部的區(qū)域執(zhí)行圖像處理操作。例如，人的臉部的區(qū)域的檢測(cè)可以通過(guò)使用在關(guān)注區(qū)域檢測(cè)單元Ml中生成的臉部信息圖來(lái)指定。
并且，在選擇要對(duì)關(guān)注區(qū)域或背景區(qū)域執(zhí)行的圖像處理操作的情況中，可以相對(duì)于這些區(qū)域生成已被執(zhí)行不同圖像處理操作的某些輸出圖像，并且可以從所生成的輸出圖像中選擇要對(duì)每個(gè)區(qū)域執(zhí)行的圖像處理操作。在該情況中，例如像接縫雕刻Geam Carving) 一樣，對(duì)關(guān)注區(qū)域部分的輸出圖像與背景區(qū)域部分的輸出圖像之間的邊界線的耦合進(jìn)行評(píng)估。基于該評(píng)估，選擇使得這些區(qū)域的輸出圖像在合成時(shí)被更平滑地耦合的圖像處理操作。
此外，對(duì)象圖可以用作遮罩。例如，在僅對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行圖像處理操作的情況中，通過(guò)將對(duì)象圖用作遮罩而僅對(duì)輸入圖像的關(guān)注區(qū)域執(zhí)行圖像處理操作，并且這樣獲得的圖像被視為輸出圖像。因此，沒(méi)有必要在輸出單元四中合成關(guān)注區(qū)域部分的輸出圖像和背景區(qū)域部分的輸出圖像，從而使得可以更快地獲得輸出圖像。
接著，將參考圖23中的流程圖來(lái)描述與圖22中的步驟S231的處理相對(duì)應(yīng)的關(guān)注區(qū)域檢測(cè)處理。
在步驟S281中，亮度圖像生成單元291通過(guò)使用所提供的輸入圖像來(lái)生成亮度圖像，并且將其提供給金字塔圖像生成單元四2。例如，亮度圖像生成單元291將輸入圖像的每個(gè)像素的各個(gè)R、G和B分量的值乘以針對(duì)各個(gè)分量預(yù)先確定的系數(shù)，并且乘以這些系數(shù)的各個(gè)分量的值的和被視為亮度圖像中與輸入圖像的像素在相同位置的像素的像素值。 即，獲得由亮度分量(Y)和色差分量(Cb，Cr)組成的分量信號(hào)的亮度分量?？商鎿Q地，像素的R、G和B的各個(gè)分量的值的平均值可以被視為亮度圖像的像素的像素值。
在步驟S282中，金字塔圖像生成單元292基于從亮度圖像生成單元291提供的亮度圖像來(lái)生成在級(jí)別Ll到級(jí)別L8的各個(gè)層的金字塔圖像，并且將它們提供給差分計(jì)算單元四3。
在步驟S283中，差分計(jì)算單元293通過(guò)使用從金字塔圖像生成單元292提供的金字塔圖像來(lái)生成差分圖像，對(duì)它們進(jìn)行正規(guī)化，并且將它們提供給亮度信息圖生成單元 294.例如，執(zhí)行正規(guī)化以使得差分圖像的像素的像素值是范圍從0到255的值。
具體地，差分計(jì)算單元293計(jì)算各個(gè)層的亮度金字塔圖像中，在級(jí)別L6和級(jí)別L3、 級(jí)別L7和級(jí)別L3、級(jí)別L7和級(jí)別L4、級(jí)別L8和級(jí)別L4、以及級(jí)別L8和級(jí)別L5的層的組合中的金字塔圖像之間的差。相應(yīng)地，總共可以獲得5個(gè)亮度差分圖像。
例如，在生成級(jí)別L6和級(jí)別L3的組合的差分圖像的情況中，級(jí)別L6的金字塔圖像根據(jù)級(jí)別L3的金字塔圖像的大小被向上轉(zhuǎn)換。即，向上轉(zhuǎn)換之前級(jí)別L6的金字塔圖像的一個(gè)像素的像素值對(duì)應(yīng)于向上轉(zhuǎn)換后與級(jí)別L6的金字塔圖像的一個(gè)像素相對(duì)應(yīng)的彼此相鄰的某些像素的像素值。然后，計(jì)算出級(jí)別L6的金字塔圖像的像素的像素值與級(jí)別L3 的金字塔圖像的像素在相同位置的像素的像素值之間的差，并且這些差被視為差分圖像的像素的像素值。
生成這些差分圖像的處理等同于通過(guò)使用帶通濾波器對(duì)亮度圖像執(zhí)行濾波處理來(lái)從亮度圖像中提取預(yù)定的頻率分量的處理。以這種方式獲得的差分圖像的像素的像素值指示各個(gè)級(jí)別的金字塔圖像的亮度值的差，即，輸入圖像中預(yù)定像素的亮度與這個(gè)像素周?chē)南袼氐钠骄炼戎g的差。
一般而言，圖像中與周?chē)h(huán)境具有大的亮度差的區(qū)域是吸引注視圖像的人的注意力的區(qū)域，因此其很有可能是作為對(duì)象區(qū)域的區(qū)域。因此，在每個(gè)差分圖像中，具有較大的像素值的像素對(duì)應(yīng)于很有可能成為對(duì)象區(qū)域的區(qū)域。
在步驟S284中，亮度信息圖生成單元294基于從差分計(jì)算單元293提供的差分圖像來(lái)生成亮度信息圖并且將其提供給對(duì)象圖生成單元274。
例如，亮度信息圖生成單元294通過(guò)使用各個(gè)差分圖像的預(yù)先計(jì)算出的權(quán)重來(lái)對(duì)所提供的5個(gè)差分圖像執(zhí)行加權(quán)，從而獲得一個(gè)圖像。即，將各個(gè)差分圖像中在相同位置處的像素的像素值中的每一個(gè)乘以權(quán)重，并且計(jì)算出乘以權(quán)重的像素值的總和。
另外，在亮度信息圖的生成期間，執(zhí)行差分圖像的向上轉(zhuǎn)換以使得各個(gè)圖像具有相同大小。根據(jù)以這種方式獲得的亮度信息圖，可以容易地檢測(cè)到輸入圖像中具有大的亮度差的區(qū)域，即，很有可能吸引瞥過(guò)輸入圖像的觀看者的注意力的區(qū)域。
在步驟S285中，RG差分圖像生成單元295通過(guò)使用所提供的輸入圖像來(lái)生成RG 差分圖像，并且將其提供給金字塔圖像生成單元四7。
在步驟S286中，BY差分圖像生成單元296通過(guò)使用所提供的輸入圖像來(lái)生成BY 差分圖像，并且將其提供給金字塔圖像生成單元四8。
在步驟S287中，金字塔圖像生成單元297和金字塔圖像生成單元298通過(guò)使用從 RG差分圖像生成單元295提供的RG差分圖像和從BY差分圖像生成單元296提供的BY差分圖像來(lái)生成金字塔圖像。
例如，金字塔圖像生成單元四7生成具有不同分辨率的多個(gè)RG差分圖像，從而生成級(jí)別Ll到級(jí)別L8的各個(gè)層中的金字塔圖像，并且將它們提供給差分計(jì)算單元四9。同樣，金字塔圖像生成單元298生成具有不同分辨率的多個(gè)BY差分圖像，從而生成在級(jí)別Ll 到級(jí)別L8的各個(gè)層中的金字塔圖像，并且將它們提供給差分計(jì)算單元300。
在步驟S288中，差分計(jì)算單元299和差分計(jì)算單元300基于從金字塔圖像生成單元297和金字塔圖像生成單元298提供的金字塔圖像來(lái)生成差分圖像，對(duì)它們進(jìn)行正規(guī)化， 并且將它們提供給顏色信息圖生成單元301和顏色信息圖生成單元302。例如，執(zhí)行差分圖像的正規(guī)化以使得像素的像素值是從0到255的范圍中的值。
例如，差分計(jì)算單元299計(jì)算各個(gè)層的RG差分金字塔圖像中，在級(jí)別L6和級(jí)別 L3、級(jí)別L7和級(jí)別L3、級(jí)別L7和級(jí)別L4、級(jí)別L8和級(jí)別L4、以及級(jí)別L8和級(jí)別L5的層的組合中的金字塔圖像之間的差。相應(yīng)地，總共可以獲得5個(gè)RG差分的差分圖像。
同樣，差分計(jì)算單元300計(jì)算出各個(gè)層的BY差分金字塔圖像中，在級(jí)別L6和級(jí)別 L3、級(jí)別L7和級(jí)別L3、級(jí)別L7和級(jí)別L4、級(jí)別L8和級(jí)別L4、以及級(jí)別L8和級(jí)別L5的層的組合中的金字塔圖像之間的差。相應(yīng)地，總共可以獲得5個(gè)BY差分的差分圖像。
生成這些差分圖像的處理等同于通過(guò)使用帶通濾波器對(duì)RG差分圖像或BY差分圖像執(zhí)行濾波處理來(lái)從RG差分圖像或BY差分圖像中提取出預(yù)定的頻率分量的處理。以這種方式獲得的差分圖像的像素的像素值指示各個(gè)級(jí)別的金字塔圖像的特定顏色分量的差， 即，輸入圖像中的一個(gè)像素的特定顏色分量與這個(gè)像素周?chē)南袼氐钠骄囟伾至恐g的差。
一般而言，圖像中具有相比于周?chē)h(huán)境的突出顏色的區(qū)域，即，特定顏色分量與周?chē)h(huán)境具有大的差異的區(qū)域，是吸引注視圖像的人的注意力的區(qū)域，因此，其很有可能是作為對(duì)象區(qū)域的區(qū)域。因此，在每個(gè)差分圖像中，具有較大像素值的像素對(duì)應(yīng)于很有可能成為對(duì)象區(qū)域的區(qū)域。
在步驟S289中，顏色信息圖生成單元301和顏色信息圖生成單元302通過(guò)使用從差分計(jì)算單元299提供的差分圖像和從差分計(jì)算單元300提供的差分圖像來(lái)生成顏色信息圖，并且它們提供給對(duì)象圖生成單元274。
例如，顏色信息圖生成單元301使用各個(gè)差分圖像的預(yù)先計(jì)算的權(quán)重來(lái)對(duì)從差分計(jì)算單元299提供的RG差分的差分圖像執(zhí)行加權(quán)相加，從而獲得RG差分的一個(gè)顏色信息圖。
同樣，顏色信息圖生成單元302使用預(yù)先計(jì)算的權(quán)重來(lái)對(duì)從差分計(jì)算單元300提供的BY差分的差分圖像執(zhí)行加權(quán)相加，從而獲得一個(gè)BY差分的顏色信息圖。另外，在顏色信息圖的生成期間，執(zhí)行差分圖像的向上轉(zhuǎn)換以使得各個(gè)差分圖像具有相同大小。
根據(jù)以這種方式獲得的顏色信息圖，可以容易地檢測(cè)到輸入圖像中具有大的特定顏色分量差的區(qū)域，即，有可能吸引瞥過(guò)輸入圖像的觀看者的注意力的區(qū)域。
在步驟S290中，臉部檢測(cè)單元303從所提供的輸入圖像中檢測(cè)人的臉部的區(qū)域， 并且將檢測(cè)結(jié)果提供給臉部信息圖生成單元304。例如，臉部檢測(cè)單元303通過(guò)使用Gabor 濾波器來(lái)對(duì)輸入圖像執(zhí)行濾波處理，并且從輸入圖像中提取出眼睛、嘴巴、鼻子等的特征區(qū)域，從而在輸入圖像中檢測(cè)出臉部的區(qū)域。
在步驟S291中，臉部信息圖生成單元304通過(guò)使用從臉部檢測(cè)單元303提供的檢測(cè)結(jié)果來(lái)生成臉部信息圖，并且將其提供給對(duì)象圖生成單元274。
例如，假定從輸入圖像中檢測(cè)出輸入圖像中被估計(jì)包括臉部的多個(gè)長(zhǎng)方形區(qū)域 (以下稱為候選區(qū)域)作為臉部檢測(cè)結(jié)果。這里，假定在輸入圖像的預(yù)定位置附近檢測(cè)出多個(gè)候選區(qū)域，并且這些候選區(qū)域相互之間部分重疊。即，例如，在獲得包括一個(gè)臉部的多個(gè)區(qū)域作為相對(duì)于輸入圖像中的這一個(gè)臉部的候選區(qū)域的情況中，這些候選區(qū)域相互之間部分重疊。
臉部信息圖生成單元304針對(duì)通過(guò)臉部檢測(cè)獲得的每一個(gè)候選區(qū)域生成與輸入圖像相同大小的檢測(cè)圖像。在該檢測(cè)圖像中，檢測(cè)圖像中與要被處理的候選區(qū)域在相同區(qū)域的像素的像素值大于在與該候選區(qū)域不同的區(qū)域中的像素的像素值。
并且，當(dāng)檢測(cè)圖像中的像素與被估計(jì)很有可能包括人的臉部的候選區(qū)域中的像素在相同位置時(shí)，檢測(cè)圖像中的該像素的像素值更大。臉部信息圖生成單元304將以這種方式獲得的檢測(cè)圖像相加來(lái)生成一個(gè)圖像并對(duì)該圖像進(jìn)行正規(guī)化，該圖像被視為臉部信息圖。因此，在臉部信息圖上，與輸入圖像中多個(gè)候選區(qū)域部分重疊的區(qū)域在相同區(qū)域的像素的像素值大，并且其更有可能包括臉部。另外，例如，執(zhí)行正規(guī)化以使得臉部信息圖的像素的像素值是從0到255的范圍中的值。
根據(jù)以這種方式獲得的臉部信息圖，可以容易地在輸入圖像中檢測(cè)出作為對(duì)象的人的臉部的區(qū)域。
在步驟S292中，對(duì)象圖生成單元274通過(guò)使用從亮度信息圖生成單元四4、顏色信息圖生成單元301、顏色信息圖生成單元302和臉部信息圖生成單元304提供的亮度信息圖、顏色信息圖和臉部信息圖，來(lái)生成對(duì)象圖。
例如，對(duì)象圖生成單元274通過(guò)使用針對(duì)各個(gè)信息圖預(yù)先確定的權(quán)重來(lái)線性耦合各個(gè)信息圖，并且還將這樣獲得的圖的像素值乘以預(yù)定權(quán)重來(lái)將其正規(guī)化，以生成對(duì)象圖。
S卩，當(dāng)所要獲得的對(duì)象圖上的目標(biāo)位置(像素)被視為目標(biāo)位置時(shí)，與各個(gè)信息圖的目標(biāo)位置在相同位置(像素)的像素值被乘以各個(gè)信息圖的權(quán)重，并且乘以各個(gè)權(quán)重的像素值的和被視為目標(biāo)位置的像素值。此外，將以這種方式獲得的對(duì)象圖的各個(gè)位置處的像素值乘以針對(duì)對(duì)象圖預(yù)先確定的權(quán)重，使得執(zhí)行正規(guī)化，從而生成最終的對(duì)象圖。
另外，更具體地，通過(guò)將RG差分的顏色信息圖和BY差分的顏色信息圖用作顏色信息圖來(lái)生成對(duì)象圖。并且，執(zhí)行正規(guī)化以使得對(duì)象圖的各個(gè)像素的像素值是從0到1的范圍中的值。
在生成了對(duì)象圖之后，對(duì)象圖生成單元274將生成的對(duì)象圖提供給模糊度檢測(cè)單元21、邊緣復(fù)雜度檢測(cè)單元61到色偏檢測(cè)單元64以及選擇單元22，并且關(guān)注區(qū)域檢測(cè)處理結(jié)束。在關(guān)注區(qū)域檢測(cè)處理結(jié)束后，處理繼續(xù)進(jìn)行到圖22中的步驟S232。
以這種方式，關(guān)注區(qū)域檢測(cè)單元241生成用于指定輸入圖像的關(guān)注區(qū)域的對(duì)象圖并且輸出該對(duì)象圖。因此，在圖像處理設(shè)備231中，可以對(duì)輸入圖像中吸引用戶注意力的關(guān)注區(qū)域以及作為其它區(qū)域的背景區(qū)域中的每一個(gè)執(zhí)行更有效的圖像處理操作。結(jié)果，可以更有效地顯示輸出圖像。
另外，根據(jù)以上描述，通過(guò)從輸入圖像中提取出有關(guān)亮度的信息、有關(guān)顏色的信息以及有關(guān)人的臉部的信息來(lái)生成對(duì)象圖?？商鎿Q地，可以從輸入圖像中提取出有關(guān)邊緣的信息或有關(guān)運(yùn)動(dòng)的信息來(lái)生成對(duì)象圖。
上述處理序列可以用硬件或軟件來(lái)執(zhí)行。在處理序列用軟件執(zhí)行的情況中，構(gòu)成軟件的程序被從程序記錄介質(zhì)安裝到專(zhuān)用硬件中所結(jié)合的計(jì)算機(jī)中，或者安裝到能夠通過(guò)安裝各種程序來(lái)執(zhí)行各種功能的多用途個(gè)人計(jì)算機(jī)等中。
圖M是圖示出根據(jù)程序執(zhí)行上述處理序列的計(jì)算機(jī)的硬件配置示例的框圖。
在計(jì)算機(jī)中，CPU (中央處理單元)501、ROM (只讀存儲(chǔ)器)502和RAM(隨機(jī)存取存儲(chǔ)器)503經(jīng)由總線504相互連接。
此外，輸入/輸出接口 505連接到總線504。以下單元連接到輸入/輸出接口 505 包括鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等的輸入單元506，包括顯示器、揚(yáng)聲器等的輸出單元507，包括硬盤(pán)、非易失性存儲(chǔ)器等的記錄單元508，包括網(wǎng)絡(luò)接口等的通信單元509以及用于驅(qū)動(dòng)諸如磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器之類(lèi)的可移除介質(zhì)511的驅(qū)動(dòng)器510。
在具有上述配置的計(jì)算機(jī)中，例如，CPU 501經(jīng)由輸入/輸出接口 505和總線504 來(lái)將記錄在記錄單元508上的程序裝載到RAM 503，并且執(zhí)行該程序，從而執(zhí)行上述處理序列。
由計(jì)算機(jī)(CPU 501)執(zhí)行的程序通過(guò)被記錄到可移除介質(zhì)511上來(lái)提供，或者經(jīng)由有線或無(wú)線傳輸介質(zhì)來(lái)提供，可移除介質(zhì)511是封裝介質(zhì)，包括磁盤(pán)(包括軟盤(pán))、光盤(pán) (⑶-R0M(致密盤(pán)-只讀存儲(chǔ)器),DVD (數(shù)字通用盤(pán))等)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等等，有線或無(wú)線傳輸介質(zhì)例如是局域網(wǎng)、互聯(lián)網(wǎng)或數(shù)字衛(wèi)星廣播。
然后，程序可以通過(guò)將可移除介質(zhì)511裝載到驅(qū)動(dòng)器510中經(jīng)由輸入/輸出接口 505被安裝到記錄單元508中。并且，該程序可以由通信單元509經(jīng)由有線或無(wú)線傳輸介質(zhì)來(lái)接收并且被安裝到記錄單元508中?？商鎿Q地，程序可以預(yù)先被安裝到ROM 502或記錄單元508中。
另外，由計(jì)算機(jī)執(zhí)行的程序可以是根據(jù)說(shuō)明書(shū)中所描述的順序按照時(shí)間順序執(zhí)行處理的程序，或者可以是并行地或者在必要的定時(shí)(例如，當(dāng)程序被調(diào)用時(shí))執(zhí)行處理的程序。
注意，本發(fā)明的實(shí)施例不限于上述實(shí)施例，并且在不偏離本發(fā)明的范圍的情況下， 可接受各種更改。
權(quán)利要求
1.一種圖像處理設(shè)備，包括檢測(cè)裝置，用于基于輸入圖像來(lái)檢測(cè)所述輸入圖像的模糊度； 選擇裝置，用于基于所述模糊度的檢測(cè)結(jié)果來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及圖像處理裝置，用于對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像處理操作是減少所述輸入圖像的分辨率、顏色、所述輸入圖像的像素的像素值的灰度級(jí)數(shù)、紋理、邊緣以及比特率中的至少一者的處理。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述選擇裝置在指示所述模糊度的值等于或大于預(yù)定閾值的情況中選擇若干預(yù)定圖像處理操作中的任一者，并且在指示所述模糊度的值小于所述閾值的情況中選擇與所述若干圖像處理操作不同組合的若干其它圖像處理操作中的任一者。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述選擇裝置基于指示所述模糊度的值和各個(gè)圖像處理操作過(guò)去的選擇頻率來(lái)選擇圖像處理操作。
5.一種用于圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括 檢測(cè)裝置，用于基于輸入圖像來(lái)檢測(cè)所述輸入圖像的模糊度，選擇裝置，用于基于所述模糊度的檢測(cè)結(jié)果來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者，以及圖像處理裝置，用于對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作， 所述圖像處理方法包括以下步驟 利用所述檢測(cè)裝置來(lái)檢測(cè)所述輸入圖像的模糊度； 利用所述選擇裝置來(lái)選擇所述圖像處理操作；以及利用所述圖像處理裝置來(lái)對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作。
6.一種使得計(jì)算機(jī)執(zhí)行處理的計(jì)算程序，所述處理包括以下步驟 基于輸入圖像來(lái)檢測(cè)所述輸入圖像的模糊度；基于所述模糊度的檢測(cè)結(jié)果來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作。
7.一種圖像處理設(shè)備，包括提取裝置，用于基于輸入圖像來(lái)從所述輸入圖像提取多個(gè)特征的特征量； 選擇裝置，用于基于所述多個(gè)特征的特征量來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及圖像處理裝置，用于對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中，所述輸入圖像的分辨率、顏色分布、色偏、所述輸入圖像的像素的像素值的灰度級(jí)數(shù)、模糊度、邊緣量、邊緣分布、紋理量以及紋理分布中的至少一者被從所述輸入圖像提取出來(lái)作為所述特征量。
9.一種用于圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括 提取裝置，用于基于輸入圖像來(lái)從所述輸入圖像提取多個(gè)特征的特征量，選擇裝置，用于基于所述多個(gè)特征的特征量來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者，以及圖像處理裝置，用于對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作， 所述圖像處理方法包括以下步驟 利用所述提取裝置來(lái)從輸入圖像提取所述特征量； 利用所述選擇裝置來(lái)選擇所述圖像處理操作；以及利用所述圖像處理裝置來(lái)對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作。
10.一種使得計(jì)算機(jī)執(zhí)行處理的程序，所述處理包括以下步驟 基于輸入圖像來(lái)從所述輸入圖像提取多個(gè)特征的特征量，基于所述多個(gè)特征的特征量來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者，以及對(duì)所述輸入圖像執(zhí)行所選擇的圖像處理操作。
11.一種圖像處理設(shè)備，包括生成裝置，用于通過(guò)從輸入圖像中提取對(duì)象的區(qū)域中所持有的特征的第一特征量，來(lái)生成用于在所述輸入圖像中指定所述對(duì)象的區(qū)域的對(duì)象指定信息；檢測(cè)裝置，用于基于所述輸入圖像和所述對(duì)象指定信息來(lái)檢測(cè)對(duì)象區(qū)域的模糊度以及背景區(qū)域的模糊度，其中，所述對(duì)象區(qū)域是所述輸入圖像中所述對(duì)象的區(qū)域，所述背景區(qū)域是所述輸入圖像中除了所述對(duì)象區(qū)域以外的區(qū)域；提取裝置，用于基于所述輸入圖像來(lái)從所述對(duì)象區(qū)域和所述背景區(qū)域中提取與所述模糊度不同的多個(gè)特征的第二特征量；選擇裝置，用于基于所述模糊度和所述第二特征量來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及圖像處理裝置，用于對(duì)所述輸入圖像的對(duì)象區(qū)域以及背景區(qū)域中的至少一者執(zhí)行所選擇的圖像處理操作。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述選擇裝置選擇分別用于所述對(duì)象區(qū)域和所述背景區(qū)域的圖像處理操作，并且其中，所述圖像處理裝置分別對(duì)所述對(duì)象區(qū)域和所述背景區(qū)域執(zhí)行所選擇的圖像處理操作。
13.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述選擇裝置選擇用于所述對(duì)象區(qū)域和所述背景區(qū)域中具有較高模糊度的區(qū)域的圖像處理操作，并且其中，所述圖像處理裝置對(duì)所述具有較高模糊度的區(qū)域執(zhí)行所選擇的圖像處理操作。
14.一種用于圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括生成裝置，用于通過(guò)從輸入圖像中提取對(duì)象的區(qū)域中所持有的特征的第一特征量，來(lái)生成用于在所述輸入圖像中指定所述對(duì)象的區(qū)域的對(duì)象指定信息，檢測(cè)裝置，用于基于所述輸入圖像和所述對(duì)象指定信息，來(lái)檢測(cè)對(duì)象區(qū)域的模糊度以及背景區(qū)域的模糊度，其中，所述對(duì)象區(qū)域是所述輸入圖像中所述對(duì)象的區(qū)域，所述背景區(qū)域是所述輸入圖像中除了所述對(duì)象區(qū)域以外的區(qū)域，提取裝置，用于基于所述輸入圖像來(lái)從所述對(duì)象區(qū)域和所述背景區(qū)域中提取與所述模糊度不同的多個(gè)特征的第二特征量，選擇裝置，用于基于所述模糊度和所述第二特征量來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者，以及圖像處理裝置，用于對(duì)所述輸入圖像的對(duì)象區(qū)域以及背景區(qū)域中的至少一者執(zhí)行所選擇的圖像處理操作，所述圖像處理方法包括以下步驟 利用所述生成裝置來(lái)生成所述對(duì)象指定信息； 利用所述檢測(cè)裝置來(lái)檢測(cè)所述對(duì)象區(qū)域和所述背景區(qū)域的模糊度； 利用所述提取裝置來(lái)從所述對(duì)象區(qū)域和所述背景區(qū)域中提取所述第二特征量； 利用所述選擇裝置來(lái)選擇所述圖像處理操作；以及利用所述圖像處理裝置來(lái)對(duì)所述輸入圖像的對(duì)象區(qū)域和背景區(qū)域中的至少一者執(zhí)行所選擇的圖像處理操作。
15. 一種使得計(jì)算機(jī)執(zhí)行處理的程序，所述處理包括以下步驟 通過(guò)從輸入圖像中提取對(duì)象的區(qū)域中所持有的多個(gè)特征的第一特征量，來(lái)生成用于在所述輸入圖像中指定所述對(duì)象的區(qū)域的對(duì)象指定信息；基于所述輸入圖像和所述對(duì)象指定信息，來(lái)檢測(cè)對(duì)象區(qū)域的模糊度以及背景區(qū)域的模糊度，其中，所述對(duì)象區(qū)域是所述輸入圖像中所述對(duì)象的區(qū)域，所述背景區(qū)域是所述輸入圖像中除了所述對(duì)象區(qū)域以外的區(qū)域；基于所述輸入圖像來(lái)從所述對(duì)象區(qū)域和所述背景區(qū)域中提取與所述模糊度不同的多個(gè)特征的第二特征量；基于所述模糊度和所述第二特征量來(lái)選擇用于使得所述輸入圖像經(jīng)歷減少所述輸入圖像中所包括的信息的信息量的處理的多個(gè)圖像處理操作中的任一者；以及對(duì)所述輸入圖像的對(duì)象區(qū)域以及背景區(qū)域中的至少一者執(zhí)行所選擇的圖像處理操作。
全文摘要
本發(fā)明涉及能夠更容易更有效地顯示圖像的圖像處理設(shè)備和方法以及程序。模糊度檢測(cè)單元(21)檢測(cè)輸入圖像的模糊度。選擇單元(22)基于模糊度的檢測(cè)結(jié)果來(lái)選擇要對(duì)輸入圖像執(zhí)行的圖像處理操作，并且將輸入圖像提供給漫畫(huà)風(fēng)格轉(zhuǎn)換單元(23)到銳度處理單元(28)中執(zhí)行所選擇的圖像處理操作的塊。漫畫(huà)風(fēng)格轉(zhuǎn)換單元(23)到銳度處理單元(28)中被提供輸入圖像的塊對(duì)輸入圖像執(zhí)行圖像處理操作并且將其輸出給輸出單元(29)。本發(fā)明可以應(yīng)用于圖像處理設(shè)備。
文檔編號(hào)G06T11/80GK102187365SQ20098010487
公開(kāi)日2011年9月14日 申請(qǐng)日期2009年12月18日 優(yōu)先權(quán)日2008年12月18日
發(fā)明者橫川昌俊 申請(qǐng)人:索尼公司