專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
近年來(lái)，已知把各種對(duì)象與通過(guò)捕捉獲得的圖像(以下，也稱為“捕捉圖像”)進(jìn)行合成的技術(shù)。各種對(duì)象可與捕捉圖像合成，并且例如，在捕捉了被攝體(諸如，人或動(dòng)物)的圖像的情況下，被攝體穿著的物品(諸如，衣服或包)的圖像可作為對(duì)象與捕捉圖像合成。公開(kāi)了各種技術(shù)作為用于合成對(duì)象與捕捉圖像的技術(shù)。例如，公開(kāi)了一種用于合成衣服的圖像與人的圖像的技術(shù)(例如，參見(jiàn)JP2005-136841A)。通過(guò)觀看經(jīng)把衣服的圖像與人的圖像進(jìn)行合成而獲得的合成圖像，即使用戶未實(shí)際在商店中試穿衣服，用戶也能夠在知道當(dāng)用戶穿著衣服時(shí)用戶將會(huì)看起來(lái)如何的情況下選擇衣服。另一方面，除了用于合成對(duì)象與捕捉圖像的技術(shù)之外，還存在一種用于修改捕捉圖像自身的技術(shù)。作為用于修改捕捉圖像自身的技術(shù)的例子，給出了稱為減弱現(xiàn)實(shí)(Diminished Reality)的技術(shù)。根據(jù)該技術(shù)，當(dāng)由用戶指定捕捉圖像中顯示的對(duì)象時(shí),指定的對(duì)象被從捕捉圖像消除。

發(fā)明內(nèi)容
然而，例如，未公開(kāi)用于基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型執(zhí)行圖像處理的技術(shù)。因此，存在這樣的可能性:處理捕捉圖像，而沒(méi)有考慮對(duì)象的狀態(tài)或?qū)ο蟮念愋?。例如，在捕捉圖像中顯示的用戶把衣服放在他的/她的身上的情況下，如果用戶已經(jīng)穿著的衣服從該衣服露出，則難以自動(dòng)地從捕捉圖像消除該露出的部分。另外，還難以根據(jù)捕捉圖像中顯示的用戶如何穿著衣服調(diào)整與捕捉圖像合成的對(duì)象以及難以根據(jù)捕捉圖像中顯示的用戶穿戴哪種飾品改變與捕捉圖像合成的對(duì)象。因此，希望實(shí)現(xiàn)一種用于基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定與捕捉圖像合成的虛擬對(duì)象的技術(shù)。根據(jù)本發(fā)明的實(shí)施例，提供了一種包括把虛擬對(duì)象與捕捉圖像進(jìn)行合成的圖像處理單元的圖像處理設(shè)備。該圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理方法，包括:基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型，確定要與捕捉圖像進(jìn)行合成的虛擬對(duì)象。根據(jù)本發(fā)明的又一實(shí)施例，提供了一種用于使計(jì)算機(jī)用作圖像處理設(shè)備的程序，該圖像處理設(shè)備包括把虛擬對(duì)象與捕捉圖像進(jìn)行合成的圖像處理單元。該圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。根據(jù)上述本發(fā)明的實(shí)施例，基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型能夠確定要與捕捉圖像合成的虛擬對(duì)象。


圖1是表示根據(jù)本發(fā)明實(shí)施例的圖像處理系統(tǒng)的概述的示圖；圖2是顯示圖像處理設(shè)備的結(jié)構(gòu)例子的方框圖；圖3是表示骨架結(jié)構(gòu)信息和深度信息的示圖；圖4是表示圖像處理單元的功能的例子的示圖；圖5是表示圖像處理單元的功能的例子的示圖；圖6是表示圖像處理設(shè)備的操作的流程的例子的流程圖；圖7是表示圖像處理單元的功能的第一修改例子的示圖；圖8是表示圖像處理單元的功能的第一修改例子的示圖；圖9是顯示根據(jù)第一修改例子的圖像處理設(shè)備的操作的流程的流程圖；圖10是表示圖像處理單元的功能的第二修改例子的示圖；圖11是表示圖像處理單元的功能的第二修改例子的示圖；圖12是表示圖像處理單元的功能的第二修改例子的示圖；圖13是顯示根據(jù)第二修改例子的圖像處理設(shè)備的操作的流程的流程圖；圖14是表示圖像處理單元的功能的第三修改例子的示圖；圖15是表示圖像處理單元的功能的第三修改例子的示圖；圖16是表示圖像處理單元的功能的第三修改例子的示圖；和圖17是顯示根據(jù)第三修改例子的圖像處理設(shè)備的操作的流程的流程圖。
具體實(shí)施例方式以下，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。需要注意的是，在本說(shuō)明書(shū)和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元素由相同的標(biāo)號(hào)表示，并且省略這些結(jié)構(gòu)元
素的重復(fù)解釋。另外，在本說(shuō)明書(shū)和附圖中，存在具有基本上相同的功能和結(jié)構(gòu)的多個(gè)結(jié)構(gòu)元素通過(guò)利用相同標(biāo)號(hào)之后的不同字母表示而彼此區(qū)分的一些情況。需要注意的是，在不需要使具有基本上相同的功能和結(jié)構(gòu)的多個(gè)結(jié)構(gòu)元素彼此區(qū)分的情況下，所述多個(gè)結(jié)構(gòu)元素僅由相同的標(biāo)號(hào)表不。另外，將按照下面的次序描述“具體實(shí)施方式
”。1.圖像處理系統(tǒng)的概述2.圖像處理設(shè)備的功能3.圖像處理設(shè)備的操作4.第一修改例子中的功能5.第一修改例子中的操作6.第二修改例子中的功能7.第二修改例子中的操作8.第三修改例子中的功能9.第三修改例子中的操作10.結(jié)論
〈1.圖像處理系統(tǒng)的概述〉在下面，首先，將參照?qǐng)D1描述根據(jù)本發(fā)明實(shí)施例的圖像處理系統(tǒng)的概述。圖1是表示根據(jù)本發(fā)明實(shí)施例的圖像處理系統(tǒng)的概述的示圖。如圖1中所述，根據(jù)本發(fā)明實(shí)施例的圖像處理系統(tǒng)10包括圖像處理設(shè)備100、顯示單元130、圖像捕捉單元140和傳感器150。安裝圖像處理系統(tǒng)10的地點(diǎn)不受具體限制。例如，圖像處理系統(tǒng)10可安裝在被攝體20的家里。此外，在圖1中顯示的例子中，構(gòu)成圖像處理系統(tǒng)10的多個(gè)塊(例如，圖像處理設(shè)備100、顯示單元130、圖像捕捉單元140和傳感器150)被分開(kāi)地構(gòu)造，但構(gòu)成圖像處理系統(tǒng)10的所述多個(gè)塊中的一些塊的組合可集成為一個(gè)塊。例如，構(gòu)成圖像處理系統(tǒng)10的所述多個(gè)塊可嵌入在智能電話、PDA(個(gè)人數(shù)字助手)、移動(dòng)電話、便攜式音樂(lè)再現(xiàn)裝置、便攜式視頻處理裝置或便攜式游戲裝置中。圖像捕捉單元140捕捉存在于真實(shí)空間中的對(duì)象的圖像。存在于真實(shí)空間中的對(duì)象不受具體限制，而是可以是生物(諸如，人或動(dòng)物)或者除生物之外的物品(諸如例如，車庫(kù)或電視柜)。在圖1中顯示的例子中，被攝體20(例如，人)由圖像捕捉單元140捕捉作為存在于真實(shí)空間中的對(duì)象。由圖像捕捉單元140捕捉的圖像(以下，也稱為“捕捉圖像”)可由顯示單元130顯示。由顯示單元130顯示的捕捉圖像可以是RGB圖像。在圖1中顯示的例子中，顯示被攝體21的捕捉圖像131由顯示單元130顯示。傳感器150具有檢測(cè)真實(shí)空間中的參數(shù)的功能。例如，在傳感器150由紅外傳感器構(gòu)成的情況下，傳感器150能夠檢測(cè)真實(shí)空間中的紅外輻射，并把根據(jù)紅外輻射的量的電信號(hào)作為檢測(cè)數(shù)據(jù)提供給圖像處理設(shè)備100。例如，圖像處理設(shè)備100能夠基于檢測(cè)數(shù)據(jù)識(shí)別存在于真實(shí)空間中的對(duì)象。傳感器150的類型不限于紅外傳感器。另外，在圖1中顯示的例子中，檢測(cè)數(shù)據(jù)被從傳感器150提供給圖像處理設(shè)備100，但提供給圖像處理設(shè)備100的檢測(cè)數(shù)據(jù)也可以是由圖像捕捉單元140捕捉的圖像。捕捉圖像由圖像處理設(shè)備100處理。例如，圖像處理設(shè)備100能夠通過(guò)根據(jù)存在于真實(shí)空間中的對(duì)象的識(shí)別結(jié)果把虛擬對(duì)象與捕捉圖像進(jìn)行合成來(lái)處理捕捉圖像。顯示單元130還能夠顯示已由圖像處理設(shè)備100處理的捕捉圖像。例如，在被攝體21的位置由圖像處理設(shè)備100識(shí)別的情況下，在被攝體21的位置合成虛擬對(duì)象(諸如，衣服的圖像)的捕捉圖像可由顯示單元130顯示。通過(guò)把預(yù)先與捕捉圖像分開(kāi)地登記的圖像疊加在捕捉圖像上，或者通過(guò)修改捕捉圖像(例如，通過(guò)把從捕捉圖像捕捉的圖像疊加在捕捉圖像上)，可執(zhí)行虛擬對(duì)象的合成。通過(guò)觀看以這種方式處理的捕捉圖像，被攝體20能夠在知道當(dāng)他/她穿著該衣服時(shí)他/她將會(huì)看起來(lái)如何的情況下選擇衣服，而不必實(shí)際試穿該衣服。然而，例如用于執(zhí)行與捕捉圖像中顯示的被攝體20的狀態(tài)或類型對(duì)應(yīng)的圖像處理的技術(shù)未被公開(kāi)。因此，存在這樣的可能性:未考慮被攝體20正穿著的衣服的狀態(tài)或類型的虛擬對(duì)象與被攝體21合成。相應(yīng)地，希望實(shí)現(xiàn)一種用于基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定與捕捉圖像合成的虛擬對(duì)象的技術(shù)。相應(yīng)地，考慮到以上情況獲得本發(fā)明的實(shí)施例。根據(jù)本發(fā)明的實(shí)施例，基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型能夠確定與捕捉圖像合成的虛擬對(duì)象。在下面，將參照?qǐng)D2至圖5描述根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備100的功能。
<2.圖像處理設(shè)備的功能〉圖2是顯示圖像處理設(shè)備的結(jié)構(gòu)例子的方框圖。參照?qǐng)D2，圖像處理設(shè)備100包括控制單元110和存儲(chǔ)單元120?？刂茊卧?10包括檢測(cè)單元111、圖像處理單元112和顯示控制單元113。顯示單元130、圖像捕捉單元140和傳感器150連接到圖像處理設(shè)備100。(控制單元)控制單元110對(duì)應(yīng)于處理器，諸如CPU (中央處理單元)或DSP (數(shù)字信號(hào)處理器)?？刂茊卧?10通過(guò)執(zhí)行存儲(chǔ)在存儲(chǔ)單元120或其它存儲(chǔ)介質(zhì)中的程序引起運(yùn)行稍后描述的控制單元110的各種功能。另外，構(gòu)成控制單元110的塊并非全部必須嵌入在同一裝置中，并且它們中的一個(gè)或一些可嵌入在另一裝置(諸如，服務(wù)器)中。(存儲(chǔ)單元)存儲(chǔ)單元120使用存儲(chǔ)介質(zhì)(諸如，半導(dǎo)體存儲(chǔ)器或硬盤(pán))存儲(chǔ)用于圖像處理設(shè)備100的處理的程序和數(shù)據(jù)。例如，存儲(chǔ)單元120存儲(chǔ)用于使計(jì)算機(jī)用作控制單元110的程序。此外，例如，存儲(chǔ)單元120存儲(chǔ)由控制單元110使用的數(shù)據(jù)。例如，存儲(chǔ)單元120能夠存儲(chǔ)用于對(duì)象識(shí)別的特征量詞典和將要顯示的虛擬對(duì)象。(顯示單元)顯示單元130是由IXD(液晶顯示器)、OLED(有機(jī)發(fā)光二極管)、CRT(陰極射線管)等構(gòu)成的顯示模塊。在本發(fā)明的實(shí)施例中，顯示單元130被假設(shè)為與圖像處理設(shè)備100分開(kāi)地構(gòu)造，但顯示單元130可以是圖像處理設(shè)備100的一部分。(圖像捕捉單元)圖像捕捉單元140通過(guò)使用圖像傳感器(諸如，CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體))捕捉真實(shí)空間來(lái)產(chǎn)生捕捉圖像。在本發(fā)明的實(shí)施例中，圖像捕捉單元140被假設(shè)為與圖像處理設(shè)備100分開(kāi)地構(gòu)造，但圖像捕捉單元140可以是圖像處理設(shè)備100的一部分。(傳感器)傳感器150具有檢測(cè)真實(shí)空間中的參數(shù)的功能。例如，在傳感器150由紅外傳感器構(gòu)成的情況下，傳感器150能夠檢測(cè)真實(shí)空間中的紅外輻射，并把根據(jù)紅外輻射的量的電信號(hào)作為檢測(cè)數(shù)據(jù)提供給圖像處理設(shè)備100。傳感器150的類型不限于紅外傳感器。另夕卜，在由圖像捕捉單元140捕捉的圖像將要作為檢測(cè)數(shù)據(jù)被提供給圖像處理設(shè)備100的情況下，傳感器150不必存在。(檢測(cè)單元)檢測(cè)單元111基于檢測(cè)數(shù)據(jù)檢測(cè)捕捉圖像中顯示的對(duì)象的狀態(tài)或類型。由檢測(cè)單元111檢測(cè)的對(duì)象的狀態(tài)或類型的例子將在稍后描述，并且由檢測(cè)單元111檢測(cè)的對(duì)象的狀態(tài)或類型不受具體限制。另外，檢測(cè)捕捉圖像中顯示的對(duì)象的狀態(tài)或類型的方法不受具體限制。例如，檢測(cè)單元111把從捕捉圖像確定的特征量與對(duì)象的特征量進(jìn)行匹配，由此能夠識(shí)別捕捉圖像中所包括的該對(duì)象的狀態(tài)或類型。更具體地講，檢測(cè)單元111根據(jù)特征量確定方法(諸如，SIFT法或隨機(jī)蕨法)確定捕捉圖像中的特征量，并匹配確定的特征量與對(duì)象的特征量。然后，檢測(cè)單元111識(shí)別與和捕捉圖像中的特征量最匹配的特征量關(guān)聯(lián)的對(duì)象的類型(例如，用于識(shí)別該對(duì)象的信息)和捕捉圖像中的該對(duì)象的狀態(tài)(例如，該對(duì)象的位置和姿態(tài))。
這里，檢測(cè)單元111使用其中對(duì)象的特征量數(shù)據(jù)和用于識(shí)別對(duì)象的類型的信息關(guān)聯(lián)的特征量詞典。這個(gè)特征量詞典可存儲(chǔ)在存儲(chǔ)單元120中，或者可從服務(wù)器接收。例如，對(duì)象的特征量數(shù)據(jù)可以是根據(jù)SIFT法或隨機(jī)蕨法從用于對(duì)象的學(xué)習(xí)的圖像確定的一組特征量。另一方面，檢測(cè)單元111也能夠通過(guò)匹配從由傳感器150提供的檢測(cè)數(shù)據(jù)(而非捕捉圖像)確定的特征量與對(duì)象的特征量來(lái)檢測(cè)對(duì)象的狀態(tài)或類型。在這種情況下，例如，檢測(cè)單元111能夠使用與從捕捉圖像檢測(cè)對(duì)象的狀態(tài)或類型的方法類似的方法基于從傳感器150提供的檢測(cè)數(shù)據(jù)檢測(cè)對(duì)象的狀態(tài)或類型。通過(guò)如上所述的方法基于檢測(cè)數(shù)據(jù)能夠檢測(cè)捕捉圖像中顯示的對(duì)象的狀態(tài)或類型。檢測(cè)單元111也可以不集成在圖像處理設(shè)備100中，而是集成在傳感器150中。如同識(shí)別對(duì)象的情況一樣，檢測(cè)單元111能夠通過(guò)匹配從捕捉圖像確定的特征量與對(duì)象的每一部分的特征量識(shí)別捕捉圖像中所包括的該對(duì)象的一部分。另一方面，檢測(cè)單元111也能夠通過(guò)匹配從由傳感器150提供的檢測(cè)數(shù)據(jù)(而非捕捉圖像)確定的特征量與對(duì)象的每一部分的特征量識(shí)別該對(duì)象的一部分。已知技術(shù)(例如，由Microsoft Corporation (注冊(cè)商標(biāo))開(kāi)發(fā)的Kinect (注冊(cè)商標(biāo)))能夠用于檢測(cè)對(duì)象的狀態(tài)。通過(guò)使用這種已知技術(shù)，檢測(cè)單元111能夠獲取骨架結(jié)構(gòu)信息作為顯示形成被攝體20的一個(gè)或多個(gè)部分中的每個(gè)部分的位置的坐標(biāo)的例子。檢測(cè)單元111能夠基于骨架結(jié)構(gòu)信息檢測(cè)被攝體20的狀態(tài)。另一方面，檢測(cè)單元111能夠基于骨架結(jié)構(gòu)信息和深度信息檢測(cè)被攝體20的狀態(tài)。首先，將參照?qǐng)D3描述骨架結(jié)構(gòu)信息和深度 目息。圖3是表示骨架結(jié)構(gòu)信息和深度信息的示圖。檢測(cè)單元111能夠通過(guò)使用上述已知技術(shù)獲取如圖3中所示的骨架結(jié)構(gòu)信息。在圖3中顯示的例子中，骨架結(jié)構(gòu)信息顯示為坐標(biāo) BI 至 Β3、Β6、Β7、Β9、Β12、Β13、Β15、Β17、Β18、Β20 至 Β22 和 Β24,這些坐標(biāo)顯示形成被攝體20的15個(gè)部分，但骨 架結(jié)構(gòu)信息中所包括的部分的數(shù)量不受具體限制。另外，坐標(biāo)BI代表“頭”的坐標(biāo)，坐標(biāo)Β2代表“頸部”的坐標(biāo)，坐標(biāo)Β3代表“軀干”的坐標(biāo)，坐標(biāo)Β6代表“左肩”的坐標(biāo)，并且坐標(biāo)Β7代表“左肘”的坐標(biāo)。此外，坐標(biāo)Β9代表“左手”的坐標(biāo)，坐標(biāo)Β12代表“右肩”的坐標(biāo)，坐標(biāo)Β13代表“右肘”的坐標(biāo)，并且坐標(biāo)Β15代表“右手”的坐標(biāo)坐標(biāo)Β17代表“左臀”的坐標(biāo)，坐標(biāo)Β18代表“左膝”的坐標(biāo)，坐標(biāo)Β20代表“左腳”的坐標(biāo)，并且坐標(biāo)Β21代表“右臀”的坐標(biāo)，坐標(biāo)Β22代表“右膝”的坐標(biāo)，并且坐標(biāo)Β24代表“右腳”的坐標(biāo)。另外，檢測(cè)單元111能夠通過(guò)使用上述已知技術(shù)獲取如圖3中所示的深度信息。深度信息是指示相對(duì)于傳感器150的距離的信息，并且在圖3中，為了簡(jiǎn)單起見(jiàn)，顯示深度低于閾值的對(duì)象存在區(qū)域R(相對(duì)于傳感器150的距離小于所述閾值的區(qū)域)和其它區(qū)域R’作為深度信息的例子。(圖像處理單元)圖像處理單元112基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型處理捕捉圖像。捕捉圖像中顯示的對(duì)象的狀態(tài)或類型可如上所述由檢測(cè)單元111檢測(cè)。關(guān)于圖像處理單元112如何處理捕捉圖像不存在具體限制。例如，如上所述，圖像處理單元112能夠基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型通過(guò)把虛擬對(duì)象與捕捉圖像進(jìn)行合成來(lái)處理捕捉圖像。如上所述，通過(guò)把預(yù)先與捕捉圖像分開(kāi)地登記的圖像疊加在捕捉圖像上，或者通過(guò)修改捕捉圖像(例如，通過(guò)把從捕捉圖像捕捉的圖像疊加在捕捉圖像上)，可執(zhí)行虛擬對(duì)象的合成。隨后，將參照?qǐng)D4和圖5描述圖像處理單元112的功能的例子。圖4是表示圖像處理單元112的功能的例子的示圖。例如，在檢測(cè)到捕捉圖像中顯示的一個(gè)對(duì)象和捕捉圖像中顯示的預(yù)定對(duì)象相鄰的情況下，通過(guò)利用另一對(duì)象替換捕捉圖像中顯示的對(duì)象的處理，圖像處理單元112可合成虛擬對(duì)象與捕捉圖像。圖4顯示對(duì)象31A作為捕捉圖像131A中顯示的對(duì)象的例子并且顯示對(duì)象32A作為捕捉圖像131A中顯示的預(yù)定對(duì)象的例子。另外，圖4顯示對(duì)象33A作為所述另一對(duì)象的例子。另外，在圖4中顯示的例子中，對(duì)象31A是裙子，對(duì)象32A是一條褲子，并且對(duì)象33A是腿。然而，對(duì)象31A、對(duì)象32A和對(duì)象33A不受具體限制。在捕捉圖像131A中，被攝體21穿著褲子，并把裙子放在褲子上。通過(guò)觀看顯示的捕捉圖像131A，被攝體20能夠知道當(dāng)他/她穿著該裙子時(shí)他/她將會(huì)看起來(lái)如何。然而，在捕捉圖像131A中，褲子從裙子的底部露出，但另一方面，當(dāng)被攝體20實(shí)際穿著裙子時(shí)，他的/她的腿應(yīng)該從裙子的底部露出。因此，被攝體20從捕捉圖像131A 了解到與當(dāng)他/她實(shí)際穿著該裙子時(shí)他/她將會(huì)看起來(lái)的樣子不同的外表。因此，在檢測(cè)到裙子和褲子相鄰的情況下，圖像處理單元112可利用腿(例如，膚色部分)替換褲子。圖4顯示由圖像處理單元112消除從裙子露出的褲子的多余部分并且利用腿替換該部分的捕捉圖像131A’。由檢測(cè)單元111檢測(cè)裙子和褲子相鄰，并且檢測(cè)方法不受具體限制。例如，基于與捕捉圖像中顯示的對(duì)象相鄰的對(duì)象的顏色和形狀中的至少一種，可檢測(cè)捕捉圖像中顯示的對(duì)象和所述預(yù)定對(duì)象相鄰。例如，檢測(cè)單元111確定從裙子露出的多余部分的形狀是否是腿形狀，并且在確定該多余部分不是腿形狀的情況下，由于假定褲子從裙子露出，所以可檢測(cè)裙子和褲子相鄰。另外，例如，檢測(cè)單元111確定從裙子露出的多余部分的顏色是否是腿顏色(例如，膚色)，并且在確定該多余部分的顏色不是腿顏色的情況下，由于假定褲子從裙子露出，所以可檢測(cè)裙子和褲子相鄰。另外，即使檢測(cè)單元111確定從裙子露出的多余部分的顏色是腿顏色，但在具有腿顏色的多余部分不具有超過(guò)閾值的尺寸的情況下，由于并不假定該腿顏色的部分是腿，所以可檢測(cè)裙子和褲子相鄰。以這種方法，檢測(cè)單元111能夠基于從裙子露出的多余部分的形狀或顏色檢測(cè)裙子和褲子相鄰。腿形狀或腿顏色可預(yù)先登記，或者可通過(guò)學(xué)習(xí)積累。需要注意的是，在檢測(cè)到捕捉圖像中顯示的對(duì)象和疊加在捕捉圖像上的預(yù)定對(duì)象相鄰的情況下，通過(guò)利用另一對(duì)象替換捕捉圖像中顯示的對(duì)象的處理，圖像處理單元112可合成虛擬對(duì)象與捕捉圖像。在圖4中顯示的例子中，被攝體20把存在于真實(shí)空間中的裙子放在他的/她的身上，并且也在作為虛擬對(duì)象的裙子被放在被攝體21的身上的情況下，可執(zhí)行消除從裙子露出的褲子的多余部分的處理。圖5是表示圖像處理單元112的功能的例子的示圖。圖5顯示對(duì)象31B作為捕捉圖像131B中顯示的對(duì)象的例子并且顯示對(duì)象32B作為捕捉圖像131B中顯示的預(yù)定對(duì)象的例子。另外，圖5顯示對(duì)象33B作為另一對(duì)象的例子。另外，在圖5中顯示的例子中，對(duì)象31B是短袖襯衫，對(duì)象32B是長(zhǎng)袖襯衫，并且對(duì)象33B是手臂。然而，對(duì)象31B、對(duì)象32B和對(duì)象33B不受具體限制。在捕捉圖像13IB中，被攝體21穿著長(zhǎng)袖襯衫，并把短袖襯衫放在長(zhǎng)袖襯衫上。通過(guò)觀看顯示的捕捉圖像131B，被攝體20能夠知道當(dāng)他/她穿著該短袖襯衫時(shí)他/她將會(huì)看起來(lái)如何。然而，在捕捉圖像131B中，長(zhǎng)袖襯衫從短袖襯衫露出，但另一方面，當(dāng)被攝體20實(shí)際穿著短袖襯衫時(shí)，他的/她的手臂應(yīng)該從短袖襯衫露出。因此，被攝體20從捕捉圖像131B 了解到與當(dāng)他/她實(shí)際穿著該短袖襯衫時(shí)他/她將會(huì)看起來(lái)的樣子不同的外表。因此，在檢測(cè)到長(zhǎng)袖襯衫和短袖襯衫相鄰的情況下，圖像處理單元112可利用手臂(例如，膚色部分)替換長(zhǎng)袖襯衫。圖5顯示由圖像處理單元112消除從短袖襯衫露出的長(zhǎng)袖襯衫的多余部分并且利用手臂替換該多余部分的捕捉圖像131B’。由檢測(cè)單元111檢測(cè)長(zhǎng)袖襯衫和短袖襯衫相鄰，并且檢測(cè)方法不受具體限制。例如，檢測(cè)單元111確定從短袖襯衫露出的多余部分的形狀是否是手臂形狀，并且在確定該多余部分不是手臂形狀的情況下，由于假定長(zhǎng)袖襯衫從短袖襯衫露出，所以可檢測(cè)到長(zhǎng)袖襯衫和短袖襯衫相鄰。另外，例如，檢測(cè)單元111確定從短袖襯衫露出的多余部分的顏色是否是手臂顏色(例如，膚色)，并且在確定該多余部分的顏色不是手臂顏色的情況下，由于假定長(zhǎng)袖襯衫從短袖襯衫露出，所以可檢測(cè)到短袖襯衫和長(zhǎng)袖襯衫相鄰。另外，即使檢測(cè)單元111確定從短袖襯衫露出的多余部分的顏色是手臂顏色，但在具有手臂顏色的多余部分不具有超過(guò)閾值的尺寸的情況下，由于并不假定該手臂顏色的部分是手臂，所以可檢測(cè)到短袖襯衫和長(zhǎng)袖襯衫相鄰。以這種方法，檢測(cè)單元111能夠基于從短袖襯衫露出的多余部分的形狀或顏色檢測(cè)短袖襯衫和長(zhǎng)袖襯衫相鄰。手臂形狀或手臂顏色可預(yù)先登記，或者可通過(guò)學(xué)習(xí)積累。需要注意的是，在圖5中顯示的例子中，被攝體20把存在于真實(shí)空間中的短袖襯衫放在他的/她的身上，并且也在作為虛擬對(duì)象的短袖襯衫被放在被攝體21的身上的情況下，可執(zhí)行消除從短袖襯衫露出的長(zhǎng)袖襯衫的多余部分的處理。需要注意的是，即使存在從衣服露出的多余部分，也存在優(yōu)選地不消除該部分的情況。例如，它由下面的情況表示:當(dāng)被攝體20在他/她已經(jīng)穿著的襯衫上面穿著夾克時(shí)，被攝體20想要知道在不消除襯衫的狀態(tài)下他/她將會(huì)看起來(lái)如何。為了滿足這種要求，例如，在捕捉圖像中顯示的對(duì)象在預(yù)定位置與捕捉圖像中顯示的預(yù)定對(duì)象相鄰的情況下，可以不利用另一對(duì)象替換捕捉圖像中顯示的預(yù)定對(duì)象。例如，如果襯衫從夾克露出并且從夾克露出的多余部分是被攝體21的頸部，則圖像處理單元112可以不利用頸部(例如，膚色部分)替換捕捉圖像中顯示的預(yù)定對(duì)象。因此，在相鄰位置是預(yù)定位置(例如，手臂位置或腿位置)的情況下，圖像處理單元112可利用另一對(duì)象替換與捕捉圖像中顯示的對(duì)象相鄰的對(duì)象，并且在相鄰位置是另一位置(例如，頸部位置)的情況下，圖像處理單元112可以不利用另一對(duì)象替換與捕捉圖像中顯示的對(duì)象相鄰的對(duì)象?？苫诓蹲綀D像確定相鄰位置，或者可基于骨架結(jié)構(gòu)信息確定相鄰位置。(顯示控制單元)顯示單元130由顯示控制單元113控制，以使已由圖像處理單元112合成虛擬對(duì)象的捕捉圖像顯示在顯示單元130上。到目前為止，已參照?qǐng)D4和圖5描述了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備100的功能的例子。在下面，將參照?qǐng)D6描述根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備100的操作的流程的例子。<3.圖像處理設(shè)備的操作〉圖6是表示根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備100的操作的流程的例子的流程圖。需要注意的是，參照?qǐng)D6描述的圖像處理設(shè)備100的操作特別地是在檢測(cè)被攝體20穿著的衣服的狀態(tài)的情況下的圖像處理設(shè)備100的操作。被攝體20穿著的衣服是捕捉圖像中顯示的對(duì)象的例子。如圖6中所示，首先，在被攝體21未把衣服放在他的/她的身上(步驟Sll中的“否”)的情況下，檢測(cè)單元111返回到步驟S11。另一方面，在被攝體21把衣服放在他的/她的身上(步驟Sll中的“是”)的情況下，檢測(cè)單元111檢測(cè)衣服的狀態(tài)。在檢測(cè)到其它衣服在被攝體20的手臂從放在身上的衣服露出(步驟S12中的“是”)的情況下，圖像處理單元112消除從放在身上的衣服露出的其它衣服的、在手臂處的多余部分(步驟S13)。另一方面，在未檢測(cè)到其它衣服在被攝體20的手臂處從放在身上的衣服露出(步驟S12中的“否”)的情況下，圖像處理單元112前進(jìn)至步驟S14。在檢測(cè)到其它衣服在被攝體20的腿處從放在身上的衣服露出(步驟S14中的“是”)的情況下，圖像處理單元112消除從放在身上的衣服露出的其它衣服的、在腿處的多余部分(步驟S15)。另一方面，在未檢測(cè)到其它衣服在被攝體20的腿處從放在身上的衣服露出(步驟S14中的“否”)的情況下，圖像處理單元112可以不消除從放在身上的衣服露出的其它衣服的、在腿處的多余部分。顯示單元130可由顯示控制單元113控制，以使由圖像處理單元112處理過(guò)的捕捉圖像顯示在顯示單元130上。到目前為止，已參照?qǐng)D6描述了圖像處理設(shè)備100的操作的流程的例子。<4.第一修改例子中的功能〉隨后，將參照?qǐng)D7和圖8描述圖像處理單元112的功能的第一修改例子。圖7是表示圖像處理單元112的功能的第一修改例子的示圖。 例如，在檢測(cè)到捕捉圖像中顯示的對(duì)象和捕捉圖像中顯示的預(yù)定對(duì)象之間的交疊的情況下，圖像處理單元112可把根據(jù)交疊修改的虛擬對(duì)象與捕捉圖像進(jìn)行合成。圖7顯示對(duì)象31C作為捕捉圖像131C中顯示的對(duì)象的例子并且顯示對(duì)象32C作為捕捉圖像131C中顯示的預(yù)定對(duì)象的例子。另外，在圖7中顯示的例子中，對(duì)象31C是襯衫，對(duì)象32C是一條褲子，并且對(duì)象33C是一條褲子。然而，對(duì)象31C、對(duì)象32C和對(duì)象33C不受具體限制。在捕捉圖像131C中，被攝體21穿著褲子和襯衫。通過(guò)觀看褲子與捕捉圖像131C合成的捕捉圖像，被攝體20能夠知道當(dāng)他/她穿著該褲子時(shí)他/她將會(huì)看起來(lái)如何。然而，如果整條褲子一致地與捕捉圖像131C合成而不管襯衫是否懸在褲子外面，則難以獲得自然反映被攝體20穿著該褲子的方式的捕捉圖像。因此，被攝體20 了解到與被攝體20將會(huì)穿著該褲子的方法的方式不同的穿著該褲子的情況的外表。因此，在檢測(cè)到襯衫和褲子之間的交疊的情況下，圖像處理單元112可把根據(jù)交疊修改的褲子與捕捉圖像進(jìn)行合成。圖7顯示整條褲子與捕捉圖像131C合成的捕捉圖像131C’，因?yàn)槲从蓤D像處理單元112檢測(cè)到襯衫和褲子之間的交疊。襯衫和褲子之間的交疊由檢測(cè)單元111檢測(cè)，并且檢測(cè)方法不受具體限制。例如，基于捕捉圖像中顯示的對(duì)象和預(yù)定對(duì)象之間的邊界線的位置，可檢測(cè)捕捉圖像中顯示的對(duì)象和預(yù)定對(duì)象之間的交疊。例如,檢測(cè)單元111確定襯衫和褲子之間的邊界線的位置是否是被攝體21的腰的位置，并且在確定邊界線的位置是被攝體21的腰的位置的情況下，由于假定被攝體20把襯衫塞進(jìn)褲子中，所以可檢測(cè)到襯衫和褲子之間的交疊。在捕捉圖像中顯示的對(duì)象之中，檢測(cè)單元111可把白色區(qū)域視為襯衫區(qū)域，并且可把襯衫區(qū)域的底部邊緣視為襯衫和褲子之間的邊界線?？苫诓蹲綀D像確定腰的位置，或者可基于骨架結(jié)構(gòu)信息確定腰的位置。另外，腰的位置也可包括腰附近的位置。另外，例如，在邊界線的位置是被攝體21的腰的位置并且邊界線類似于直線的情況下，檢測(cè)單元111可檢測(cè)襯衫和褲子之間的交疊。例如，在襯衫區(qū)域的底部邊緣由多個(gè)點(diǎn)近似并且通過(guò)連接所述多個(gè)點(diǎn)獲得的線類似于直線的情況下，檢測(cè)單元111可檢測(cè)襯衫和褲子之間的交疊。相似性的范圍能夠提前設(shè)置。以這種方法，檢測(cè)單元111能夠基于襯衫和褲子之間的邊界線的位置檢測(cè)襯衫和褲子之間的交疊。圖8是表示圖像處理單元112的功能的修改例子的示圖。圖8顯示對(duì)象31D作為捕捉圖像131D中顯示的對(duì)象的例子并且顯示對(duì)象32D作為捕捉圖像131D中顯示的預(yù)定對(duì)象的例子。另外，在圖8中顯示的例子中，對(duì)象31D是襯衫，對(duì)象32D是一條褲子，并且對(duì)象33D是一條褲子。然而，對(duì)象31D、對(duì)象32D和對(duì)象33D不受具體限制。如上所述，在檢測(cè)到襯衫和褲子之間的交疊的情況下，圖像處理單元112可把根據(jù)交疊修改的褲子與捕捉圖像進(jìn)行合成。圖8顯示褲子的一部分與捕捉圖像131D合成的捕捉圖像131D’，因?yàn)橛蓤D像處理單元112檢測(cè)到襯衫和褲子之間的交疊。襯衫和褲子之間的交疊由檢測(cè)單元111檢測(cè)，并且檢測(cè)方法不受具體限制。檢測(cè)方法的例子如上所述。到目前為止，已參照?qǐng)D7和圖8描述了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備100的功能的第一修改例子。在下面，將參照?qǐng)D9描述根據(jù)第一修改例子的圖像處理設(shè)備100的操作的流程的例子。〈5.第一修改例子中的操作〉圖9是顯示根據(jù)第一修改例子的圖像處理設(shè)備100的操作的流程的流程圖。需要注意的是，參照?qǐng)D9描述的圖像處理設(shè)備100的操作特別地是在檢測(cè)被攝體20穿著的襯衫的狀態(tài)的情況下的圖像處理設(shè)備100的操作。被攝體20穿著的襯衫是捕捉圖像中顯示的對(duì)象的例子。如圖9中所示，首先，在未檢測(cè)到襯衫(步驟S21中的“否”)的情況下，檢測(cè)單元111返回到步驟S21。另一方面，在檢測(cè)到襯衫(步驟S21中的“是”)的情況下，檢測(cè)單元111檢測(cè)襯衫的狀態(tài)。在確定被攝體21把襯衫塞進(jìn)褲子中(步驟S22中的“是”)的情況下，圖像處理單元112把整條褲子疊加在捕捉圖像上(步驟S23)。另一方面，在檢測(cè)到被攝體21在襯衫懸在褲子外面的狀態(tài)下穿著襯衫(步驟S22中的“否”)的情況下，圖像處理單元112把褲子的不與襯衫交疊的部分疊加在捕捉圖像上(步驟S24)。顯示單元130可由顯示控制單元113控制，以使由圖像處理單元112處理過(guò)的捕捉圖像顯示在顯示單元130上。到目前為止，已參照?qǐng)D9描述了根據(jù)第一修改例子的圖像處理設(shè)備100的操作的流程。<6.第二修改例子中的功能〉隨后，將參照?qǐng)D10至圖12描述圖像處理單元112的功能的第二修改例子。圖10是表示圖像處理單元112的功能的第二修改例子的示圖。例如，在檢測(cè)捕捉圖像中顯示的對(duì)象的類型的情況下，通過(guò)把根據(jù)捕捉圖像中顯示的對(duì)象的類型選擇的虛擬對(duì)象與捕捉圖像進(jìn)行合成的處理，圖像處理單元112可把虛擬對(duì)象與捕捉圖像進(jìn)行合成。另外，在檢測(cè)捕捉圖像中顯示的對(duì)象的類型的情況下，通過(guò)把捕捉圖像中顯示的另一對(duì)象修改為與捕捉圖像中顯示的對(duì)象的類型對(duì)應(yīng)的形狀，圖像處理單元112可合成虛擬對(duì)象與捕捉圖像。圖10顯示對(duì)象31E作為捕捉圖像131E中顯示的對(duì)象的例子并且顯示對(duì)象32E作為捕捉圖像131E中顯示的另一對(duì)象的例子。另外，圖10顯示對(duì)象33E作為另一對(duì)象的例子。在圖10中顯示的例子中，對(duì)象31E是在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈(例如，在垂直方向上具有長(zhǎng)度X1的項(xiàng)鏈，該長(zhǎng)度短于閾值)，對(duì)象32E是被攝體21穿著的衣服，并且對(duì)象33E是圓領(lǐng)衣服。然而，對(duì)象31E、對(duì)象32E和對(duì)象33E不受具體限制。在捕捉圖像131E中，被攝體21戴著在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈。通過(guò)觀看顯示的捕捉圖像131E，被攝體21能夠知道當(dāng)他/她戴著在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈時(shí)他/她將會(huì)看起來(lái)如何。然而，在被攝體21在商店中試戴項(xiàng)鏈的情況下，例如，被攝體21可能未穿著適合項(xiàng)鏈的衣服。因此，被攝體21從捕捉圖像131E 了解到與當(dāng)他/她改穿適合項(xiàng)鏈的衣服時(shí)他/她將會(huì)看起來(lái)的樣子不同的外表。因此，圖像處理單元112可根據(jù)檢測(cè)到的飾品的類型修改衣服的形狀。圖10顯示由圖像處理單元112把衣服的形狀改為圓領(lǐng)的捕捉圖像131E’，因?yàn)闄z測(cè)到在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈。飾品的類型由檢測(cè)單元111檢測(cè)，并且檢測(cè)方法不受具體限制。例如，可通過(guò)如上所述識(shí)別對(duì)象的類型的方法檢測(cè)飾品的類型。改變衣服的形狀的方法也不受具體限制。例如，在檢測(cè)到在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈的情況下，通過(guò)把適合在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈的圓領(lǐng)衣服與捕捉圖像進(jìn)行合成的處理，圖像處理單元112可改變衣服的形狀。另外，例如，在檢測(cè)到在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈的情況下，通過(guò)把捕捉圖像131E中顯示的衣服修改為作為適合在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈的形狀的圓領(lǐng)形狀，圖像處理單元112可改變衣服的形狀。需要注意的是，雖然在圖10中顯示的例子中被攝體21戴著存在于真實(shí)空間中的飾品，但即使在用作虛擬對(duì)象的飾品疊加在被攝體21上的情況下，也可執(zhí)行改變衣服的形狀的處理。圖11是表示圖像處理單元112的功能的第二修改例子的示圖。圖11顯示對(duì)象31F作為捕捉圖像131F中顯示的對(duì)象的例子并且顯示對(duì)象32F作為捕捉圖像131F中顯示的另一對(duì)象的例子。另外，圖11顯示對(duì)象33F作為另一對(duì)象的例子。在圖11中顯示的例子中，對(duì)象31F是在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈(例如，在垂直方向上具有長(zhǎng)度X2的項(xiàng)鏈，該長(zhǎng)度大于閾值)，對(duì)象32F是被攝體21穿著的衣服，并且對(duì)象33F是V形領(lǐng)衣服。然而，對(duì)象31F、對(duì)象32F和對(duì)象33F不受具體限制。圖11顯示已由圖像處理單元112把衣服的形狀改為V形領(lǐng)的捕捉圖像131F’，因?yàn)闄z測(cè)到在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈。例如，在檢測(cè)到在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈的情況下，通過(guò)把適合在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈的V形領(lǐng)衣服與捕捉圖像進(jìn)行合成的處理，圖像處理單元112可改變衣服的形狀。另外，例如，在檢測(cè)到在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈的情況下，通過(guò)把捕捉圖像131F中顯示的衣服修改為作為適合在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈的形狀的V形領(lǐng)形狀，圖像處理單元112可改變衣服的形狀。圖12是表示圖像處理單元112的功能的第二修改例子的示圖。圖12顯示對(duì)象31G作為捕捉圖像131G中顯示的對(duì)象的例子并且顯示對(duì)象32G作為捕捉圖像131G中顯示的另一對(duì)象的例子。另外，圖12顯示對(duì)象33G作為另一對(duì)象的例子。在圖12中顯示的例子中，對(duì)象31G是耳環(huán)，對(duì)象32G是被攝體21穿著的衣服，并且對(duì)象33G是船形領(lǐng)衣服。然而，對(duì)象31G、對(duì)象32G和對(duì)象33G不受具體限制。圖12顯示已由圖像處理單元112把衣服的形狀改為船形領(lǐng)的捕捉圖像131G’，因?yàn)闄z測(cè)到耳環(huán)。例如，在檢測(cè)到耳環(huán)的情況下，通過(guò)把適合耳環(huán)的船形領(lǐng)衣服與捕捉圖像進(jìn)行合成的處理，圖像處理單元112可改變衣服的形狀。另外，例如，在檢測(cè)到耳環(huán)的情況下，通過(guò)把捕捉圖像131G中顯示的衣服修改為作為適合耳環(huán)的形狀的船形領(lǐng)形狀，圖像處理單元112可改變衣服的形狀。到目前為止，已參照?qǐng)D10至圖12描述了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備100的功能的第二修改例子。在下面，將參照?qǐng)D13描述根據(jù)第二修改例子的圖像處理設(shè)備100的操作的流程的例子?！?.第二修改例子中的操作〉圖13是顯示根據(jù)第二修改例子的圖像處理設(shè)備100的操作的流程的流程圖。需要注意的是，參照?qǐng)D13描述的圖像處理設(shè)備100的操作特別地是在檢測(cè)被攝體20戴著的飾品的類型的情況下的圖像處理設(shè)備100的操作。被攝體20戴著的飾品是捕捉圖像中顯示的對(duì)象的例子。如圖13中所示，首先，檢測(cè)單元111檢測(cè)捕捉圖像中顯示的飾品的類型。在從捕捉圖像檢測(cè)到項(xiàng)鏈(步驟S31中的“是”)的情況下，檢測(cè)單元111檢測(cè)項(xiàng)鏈在垂直方向上的長(zhǎng)度。在檢測(cè)單元111檢測(cè)到項(xiàng)鏈在垂直方向上的長(zhǎng)度較短(步驟S32中的“是”)的情況下，圖像處理單元112把捕捉圖像中顯示的衣服的形狀改變?yōu)閳A領(lǐng)(步驟S33)。另一方面，在檢測(cè)單元111檢測(cè)到項(xiàng)鏈在垂直方向上的長(zhǎng)度較長(zhǎng)(步驟S32中的“否”)的情況下，圖像處理單元112把捕捉圖像中顯示的衣服的形狀改變?yōu)閂形領(lǐng)(步驟S34)。在檢測(cè)單元111未在捕捉圖像上檢測(cè)到項(xiàng)鏈(步驟S31中的“否”)并且從捕捉圖像檢測(cè)到耳環(huán)(步驟S35中的“是”)的情況下，圖像處理單元112把捕捉圖像中顯示的衣服的形狀改變?yōu)榇晤I(lǐng)(步驟S36)。顯示單元130可由顯示控制單元113控制，以使由圖像處理單元112處理過(guò)的捕捉圖像顯示在顯示單元130上。到目前為止，已參照?qǐng)D13描述了根據(jù)第二修改例子的圖像處理設(shè)備100的操作的流程?！?.第三修改例子中的功能〉隨后，將參照?qǐng)D14至圖16描述圖像處理單元112的功能的第三修改例子。圖14是表示圖像處理單元112的功能的第三修改例子的示圖。圖14顯示對(duì)象31H作為捕捉圖像131H中顯示的對(duì)象的例子。另外，圖14顯示對(duì)象33H作為另一對(duì)象的例子。在圖14中顯示的例子中，對(duì)象31H是船形領(lǐng)衣服，并且對(duì)象33H是耳環(huán)。然而，對(duì)象3IH和對(duì)象33H不受具體限制。在捕捉圖像131H中，雖然被攝體21穿著衣服，但被攝體21未戴著任何飾品。例如，如果適合被攝體21穿著的衣服的飾品與捕捉圖像131H合成，則通過(guò)觀看與飾品合成的捕捉圖像，被攝體21能夠知道適合他/她穿著的衣服的飾品。另外，很可能地，被攝體21可能喜歡該飾品。因此，圖像處理單元112可根據(jù)檢測(cè)到的衣服的類型改變與捕捉圖像合成的飾品的類型。圖14顯示由圖像處理單元112合成有耳環(huán)的捕捉圖像131H’，因?yàn)闄z測(cè)到船形領(lǐng)衣服。更優(yōu)選地，這里合成的耳環(huán)是垂下的耳環(huán)。這是因?yàn)?，通過(guò)使用耳環(huán)使得在垂直方向上看起來(lái)較長(zhǎng)，整體上的平衡變得更好。衣服的類型由檢測(cè)單元111檢測(cè)，并且檢測(cè)方法不受具體限制。例如，可通過(guò)如上所述識(shí)別對(duì)象的類型的方法檢測(cè)衣服的類型。需要注意的是，雖然在圖14中顯示的例子中被攝體21穿著存在于真實(shí)空間中的衣服，但即使在用作虛擬對(duì)象的衣服疊加在被攝體21上的情況下，也可執(zhí)行改變飾品的類型的處理。圖15是表示圖像處理單元112的功能的第三修改例子的示圖。圖15顯示對(duì)象311作為捕捉圖像1311中顯示的對(duì)象的例子。另外，圖15顯示對(duì)象331作為另一對(duì)象的例子。在圖15中顯示的例子中，對(duì)象311是V形領(lǐng)衣服，并且對(duì)象331是在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈。然而，對(duì)象311和對(duì)象331不受具體限制。圖15顯示由圖像處理單元112合成在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈的捕捉圖像1311’，因?yàn)闄z測(cè)到V形領(lǐng)衣服。圖16是表示圖像處理單元112的功能的第三修改例子的示圖。圖16顯示對(duì)象31J作為捕捉圖像131J中顯示的對(duì)象的例子。另外，圖16顯示對(duì)象33J作為另一對(duì)象的例子。在圖16中顯示的例子中，對(duì)象31J是圓領(lǐng)衣服，并且對(duì)象33J是在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈。然而，對(duì)象31J和對(duì)象33J不受具體限制。圖16顯示由圖像處理單元112合成在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈的捕捉圖像131J’，因?yàn)闄z測(cè)到圓領(lǐng)衣服?！?.第三修改例子中的操作〉圖17是顯示根據(jù)第三修改例子的圖像處理設(shè)備100的操作的流程的流程圖。需要注意的是，參照?qǐng)D17描述的圖像處理設(shè)備100的操作特別地是在檢測(cè)被攝體20穿著的衣服的類型的情況下的圖像處理設(shè)備100的操作。被攝體20穿著的衣服是捕捉圖像中顯示的對(duì)象的例子。如圖17中所示，首先，檢測(cè)單元111檢測(cè)捕捉圖像中顯示的衣服的類型。在檢測(cè)單元111檢測(cè)到衣服的形狀是船形領(lǐng)(步驟S41中的“是”)的情況下，圖像處理單元112把耳環(huán)疊加在捕捉圖像上(步驟S33)。另一方面，在檢測(cè)單元111檢測(cè)到衣服的形狀不是船形領(lǐng)(步驟S41中的“否”)的情況下，圖像處理單元112前進(jìn)至步驟S43。在檢測(cè)單元111檢測(cè)到衣服的形狀是V形領(lǐng)(步驟S43中的“是”)的情況下，圖像處理單元112把在垂直方向上具有較大長(zhǎng)度的項(xiàng)鏈疊加在捕捉圖像上(步驟S44)。另一方面，在檢測(cè)單元111檢測(cè)到衣服的形狀不是V形領(lǐng)(步驟S43中的“否”)的情況下，圖像處理單元112前進(jìn)至步驟S45。在檢測(cè)單元111檢測(cè)到衣服的形狀是圓領(lǐng)(步驟S45中的“是”)的情況下，圖像處理單元112把在垂直方向上具有短長(zhǎng)度的項(xiàng)鏈疊加在捕捉圖像上(步驟S46)。顯示單元130可由顯示控制單元113控制，以使由圖像處理單元112處理過(guò)的捕捉圖像顯示在顯示單元130上。到目前為止，已參照?qǐng)D17描述了根據(jù)第三修改例子的圖像處理設(shè)備100的操作的流程。<10.結(jié)論〉如上所述，根據(jù)本發(fā)明的實(shí)施例，提供了一種包括用于把虛擬對(duì)象與捕捉圖像進(jìn)行合成的圖像處理單元的圖像處理設(shè)備，其中該圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。根據(jù)這種圖像處理設(shè)備，能夠考慮到捕捉圖像中顯示的對(duì)象的狀態(tài)或類型而確定虛擬對(duì)象。根據(jù)這種圖像處理設(shè)備，能夠消除從其它衣服露出的捕捉圖像中顯示的衣服的多余部分，并且例如能夠以反映用戶穿著衣服的方法的方式合成新衣月艮。另外，與用戶穿著的衣服匹配的飾品能夠與捕捉圖像合成，并且衣服能夠改變?yōu)榕c用戶戴著的飾品匹配的形狀。本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離所附權(quán)利要求或其等同物的范圍的情況下，可以根據(jù)設(shè)計(jì)的需要和其它因素做出各種變型、組合、子組合和替換。例如，包括圖像處理單元112的圖像處理設(shè)備100可布置在服務(wù)器中或者布置在能夠與服務(wù)器通信的終端中。此外，以上主要描述了在圖像處理設(shè)備100中提供檢測(cè)對(duì)象的狀態(tài)或類型的功能的例子，但可在除圖像處理設(shè)備100之外的裝置中提供這種功能。例如，可在傳感器150中提供這種功能。例如，在圖像處理設(shè)備100把捕捉圖像發(fā)送給另一裝置的情況下，替代于圖像處理設(shè)備100，所述另一裝置可基于捕捉圖像檢測(cè)對(duì)象的狀態(tài)或類型。另外，例如，以上主要描述了顯示控制單元113布置在圖像處理設(shè)備100中的例子，但顯示控制單元113可布置在除圖像處理設(shè)備100之外的裝置中。例如，圖像處理單元112可布置在服務(wù)器中，并且顯示控制單元113可布置在終端中。例如，在由服務(wù)器處理的捕捉圖像被發(fā)送給終端的情況下，終端可控制顯示單元130，以使捕捉圖像由顯示單元130顯示。以這種方式，本發(fā)明的技術(shù)也能夠應(yīng)用于云計(jì)算。另外，例如，在第三修改例子中，主要描述了圖像處理單元112根據(jù)飾品的類型改變衣服的形狀以及根據(jù)衣服的形狀改變飾品的類型的例子。也就是說(shuō)，考慮到飾品的類型與衣服的形狀的兼容性而確定虛擬對(duì)象。然而，除了飾品和衣服的形狀的合成之外，還存在影響兼容性的合成。例如，襯衫的長(zhǎng)度和靴子的長(zhǎng)度的合成影響兼容性。因此，圖像處理單元112也能夠通過(guò)考慮襯衫的長(zhǎng)度與靴子的長(zhǎng)度的兼容性確定虛擬對(duì)象。以相同方式，圖像處理單元112也能夠通過(guò)考慮鞋的高度(例如，鞋跟的高度和靴子的長(zhǎng)度)與褲子的長(zhǎng)度的兼容性確定虛擬對(duì)象。另外，在檢測(cè)單元111檢測(cè)到腰帶的情況下，圖像處理單元112可按照這種方式執(zhí)行圖像處理，即由被攝體利用腰帶穿著的連衣裙的腰部收緊。由被攝體穿著的連衣裙可疊加在捕捉圖像上，或者可顯示在捕捉圖像中。如果執(zhí)行這種圖像處理，則被攝體能夠知道當(dāng)他/她利用腰帶穿著該連衣裙時(shí)他/她將會(huì)看起來(lái)如何，而不必由被攝體實(shí)際執(zhí)行利用腰帶收緊連衣裙的操作。另外，圖像處理單元112也可考慮到衣服的兼容性而確定虛擬對(duì)象。例如，在檢測(cè)到穿著圍巾時(shí)，圖像處理單元112可按照把與圍巾一起穿著的衣服的袖子從短袖改為長(zhǎng)袖的方式確定虛擬對(duì)象。如果執(zhí)行這種圖像處理，則例如即使當(dāng)被攝體正在試穿衣服的季節(jié)不同于被攝體實(shí)際穿著該衣服的季節(jié)時(shí)，被攝體也能夠更準(zhǔn)確地知道當(dāng)他/她穿著該衣服時(shí)他/她將會(huì)看起來(lái)如何。另外，本說(shuō)明書(shū)的圖像處理設(shè)備100的操作中所包括的各步驟不必根據(jù)流程圖按照時(shí)間順序處理。例如，圖像處理設(shè)備100的操作中所包括的各步驟可按照與流程圖不同的次序處理，或者可按照并行方式處理。另外，也可以創(chuàng)建一種用于使內(nèi)置在圖像處理設(shè)備100中的硬件(諸如，CPU、ROM和RAM)表現(xiàn)出與上述圖像處理設(shè)備100的各結(jié)構(gòu)的功能等同的功能的計(jì)算機(jī)程序。另外，還提供了一種存儲(chǔ)該計(jì)算機(jī)程序的存儲(chǔ)介質(zhì)。另外，本技術(shù)也可如下構(gòu)造。(I) 一種圖像處理設(shè)備，包括:圖像處理單元，合成虛擬對(duì)象與捕捉圖像，其中圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。(2)如⑴所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象和捕捉圖像中顯示的預(yù)定對(duì)象相鄰的情況下，圖像處理單元通過(guò)利用另一對(duì)象替換捕捉圖像中顯示的對(duì)象的處理來(lái)合成虛擬對(duì)象與捕捉圖像。(3)如(I)所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象和疊加在捕捉圖像上的預(yù)定對(duì)象相鄰的情況下，圖像處理單元通過(guò)利用另一對(duì)象替換捕捉圖像中顯示的對(duì)象的處理來(lái)合成虛擬對(duì)象與捕捉圖像。(4)如⑵或(3)所述的圖像處理設(shè)備，其中基于與捕捉圖像中顯示的對(duì)象相鄰的對(duì)象的顏色和形狀中的至少一種，檢測(cè)捕捉圖像中顯示的對(duì)象和所述預(yù)定對(duì)象相鄰。(5)如(I)所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象和捕捉圖像中顯示的預(yù)定對(duì)象之間的交疊的情況下，圖像處理單元合成根據(jù)交疊修改的虛擬對(duì)象與捕捉圖像。(6)如(5)所述的圖像處理設(shè)備，其中基于捕捉圖像中顯示的對(duì)象和所述預(yù)定對(duì)象之間的邊界線的位置，檢測(cè)捕捉圖像中顯示的對(duì)象和所述預(yù)定對(duì)象的交疊。(7)如⑴所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象的類型的情況下，圖像處理單元合成根據(jù)捕捉圖像中顯示的對(duì)象的類型選擇的虛擬對(duì)象與捕捉圖像。(8)如(I)所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象的類型的情況下，圖像處理單元通過(guò)把捕捉圖像中顯示的另一對(duì)象修改為與捕捉圖像中顯示的所述對(duì)象的類型對(duì)應(yīng)的形狀來(lái)合成虛擬對(duì)象與捕捉圖像。(9)如(I)所述的圖像處理設(shè)備，還包括:檢測(cè)單元，檢測(cè)捕捉圖像中顯示的對(duì)象的狀態(tài)或類型。(10)如(I)所述的圖像處理設(shè)備，還包括:
顯示控制單元，按照以下方式控制顯示單元:在顯示單元上顯示經(jīng)過(guò)圖像處理單元處理的圖像。(11) 一種圖像處理方法，包括:基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型，確定將要與捕捉圖像合成的虛擬對(duì)象。(12) 一種用于使計(jì)算機(jī)用作圖像處理設(shè)備的程序，該圖像處理設(shè)備包括合成虛擬對(duì)象與捕捉圖像的圖像處理單元，其中圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。本發(fā)明包含與2011年11月8日提交給日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-244377公開(kāi)的主題相關(guān)的主題，該發(fā)明的全部?jī)?nèi)容包含于此以資參考。
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 圖像處理單元，合成虛擬對(duì)象與捕捉圖像， 其中圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象和捕捉圖像中顯示的預(yù)定對(duì)象相鄰的情況下，圖像處理單元通過(guò)利用另一對(duì)象替換捕捉圖像中顯示的對(duì)象的處理來(lái)合成虛擬對(duì)象與捕捉圖像。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象和疊加在捕捉圖像上的預(yù)定對(duì)象相鄰的情況下，圖像處理單元通過(guò)利用另一對(duì)象替換捕捉圖像中顯示的對(duì)象的處理來(lái)合成虛擬對(duì)象與捕捉圖像。
4.如權(quán)利要求2所述的圖像處理設(shè)備，其中基于與捕捉圖像中顯示的對(duì)象相鄰的對(duì)象的顏色和形狀中的至少一種，檢測(cè)捕捉圖像中顯示的對(duì)象和所述預(yù)定對(duì)象相鄰。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象和捕捉圖像中顯示的預(yù)定對(duì)象之間的交疊的情況下，圖像處理單元合成根據(jù)交疊修改的虛擬對(duì)象與捕捉圖像。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中基于捕捉圖像中顯示的對(duì)象和所述預(yù)定對(duì)象之間的邊界線的位置，檢測(cè)捕捉圖像中顯示的對(duì)象和所述預(yù)定對(duì)象的交疊。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象的類型的情況下，圖像處理單元合成根據(jù)捕捉圖像中顯示的對(duì)象的類型選擇的虛擬對(duì)象與捕捉圖像。
8.如權(quán)利要求1所述的圖像處理設(shè)備，其中在檢測(cè)到捕捉圖像中顯示的對(duì)象的類型的情況下，圖像處理單元通過(guò)把捕捉圖像中顯示的另一對(duì)象修改為與捕捉圖像中顯示的所述對(duì)象的類型對(duì)應(yīng)的形狀來(lái)合成虛擬對(duì)象與捕捉圖像。
9.如權(quán)利要求1所述的圖像處理設(shè)備，還包括: 檢測(cè)單元，檢測(cè)捕捉圖像中顯示的對(duì)象的狀態(tài)或類型。
10.如權(quán)利要求1所述的圖像處理設(shè)備，還包括: 顯示控制單元，按照以下方式控制顯示單元:在顯示單元上顯示經(jīng)過(guò)圖像處理單元處理的圖像。
11.一種圖像處理方法,包括: 基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型，確定將要與捕捉圖像合成的虛擬對(duì)象。
12.一種用于使計(jì)算機(jī)用作圖像處理設(shè)備的程序，該圖像處理設(shè)備包括合成虛擬對(duì)象與捕捉圖像的圖像處理單元， 其中圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。
全文摘要
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和程序。一種圖像處理設(shè)備，包括圖像處理單元，合成虛擬對(duì)象與捕捉圖像。圖像處理單元基于捕捉圖像中顯示的對(duì)象的狀態(tài)或類型確定虛擬對(duì)象。
文檔編號(hào)G06T5/50GK103198461SQ201210427690
公開(kāi)日2013年7月10日 申請(qǐng)日期2012年10月31日 優(yōu)先權(quán)日2011年11月8日
發(fā)明者宮崎麗子 申請(qǐng)人:索尼公司