移動(dòng)圖像捕獲設(shè)備、信息處理系統(tǒng)、信息處理設(shè)備、以及圖像數(shù)據(jù)處理方法
【專利摘要】一種配備了立體照相機(jī)的捕獲設(shè)備，其生成其中逐步縮小了左右?guī)瑘D像的多個(gè)不同大小的去馬賽克圖像。另外，通過(guò)根據(jù)一個(gè)預(yù)定的規(guī)則遍布圖像行的像素行循環(huán)產(chǎn)生一個(gè)所連接的流，生成一個(gè)包括所述多個(gè)去馬賽克圖像的虛擬合成圖像（222），其中，所述各行的像素行為經(jīng)歷了一輪連接的像素行。主機(jī)終端向捕獲設(shè)備發(fā)送一個(gè)指出合成圖像中沿長(zhǎng)度方向具有一個(gè)共享范圍的多個(gè)區(qū)域的數(shù)據(jù)請(qǐng)求信號(hào)。捕獲設(shè)備顯露出所指定的區(qū)域，并且向主機(jī)終端發(fā)送一個(gè)僅包含所顯露出的區(qū)域的新合成圖像（240）的流。主機(jī)終端將其分割成獨(dú)立的圖像，這些獨(dú)立的圖像被擴(kuò)展為主存（42）中的連續(xù)的地址。
【專利說(shuō)明】移動(dòng)圖像捕獲設(shè)備、信息處理系統(tǒng)、信息處理設(shè)備、以及圖像數(shù)據(jù)處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及根據(jù)對(duì)象的移動(dòng)進(jìn)行信息處理的技術(shù)。
【背景技術(shù)】
[0002]在相關(guān)技術(shù)中，這樣的游戲已為人們所熟悉:其中，通過(guò)攝像機(jī)捕獲用戶身體的一部分(例如，頭部)的圖像，從所述圖像抽取一個(gè)預(yù)定的區(qū)域(例如，一個(gè)包括眼睛、嘴、手等的圖像的區(qū)域)，使用另一個(gè)圖像取代所述區(qū)域，以將其顯示在顯示器上(例如，參見(jiàn)專利文獻(xiàn)I)。一種接收作為操作應(yīng)用的指令的攝像機(jī)所捕獲的嘴或者手的移動(dòng)的用戶接口也為人們所熟悉。
[0003][相關(guān)技術(shù)列表]
[0004][專利文獻(xiàn)]
[0005][專利文獻(xiàn)I]申請(qǐng)?zhí)枮?999518的歐洲專利申請(qǐng)。

【發(fā)明內(nèi)容】

[0006][本發(fā)明所解決的問(wèn)題]
[0007]在諸如以上所描述的技術(shù)中，為了抽取一個(gè)預(yù)定的區(qū)域(例如，一個(gè)包括用戶的嘴、手等的區(qū)域)，請(qǐng)求一個(gè)高分辨率圖像。然而，隨著攝像機(jī)的成像部件性能的提高，圖像數(shù)據(jù)的量也在增加。因此，存在著增加數(shù)據(jù)采掘處理(例如，過(guò)濾、規(guī)模放大與縮小、顯露等)的成本的問(wèn)題，其中，所述數(shù)據(jù)采掘處理按適當(dāng)?shù)囊?guī)模提供了用于傳送的壓縮/擴(kuò)展處理、識(shí)別處理、檢測(cè)處理、測(cè)量處理等所需的信息。另外，還存在著增加了從照相機(jī)輸入的時(shí)間到處理的每一次輸出的時(shí)間的等待時(shí)間的問(wèn)題。把照相機(jī)用作用戶接口引發(fā)了這樣一個(gè)問(wèn)題:等待時(shí)間的增加明顯地降低了可用性。如所描述的，即使當(dāng)提高了攝像機(jī)成像部件的性能時(shí)，也可能降低整個(gè)系統(tǒng)的性能。
[0008]本發(fā)明解決了以上所提到的問(wèn)題，其一個(gè)目的旨在提供能夠使用其數(shù)據(jù)，同時(shí)使用高性能成像部件抑制從圖像捕獲時(shí)間到圖像顯示時(shí)間的等待時(shí)間。
[0009][解決問(wèn)題的方法]
[0010]本發(fā)明的一個(gè)實(shí)施例涉及一種移動(dòng)圖像捕獲設(shè)備。所述移動(dòng)圖像捕獲設(shè)備包括:圖像數(shù)據(jù)生成單元，被配置為根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且配置為針對(duì)每個(gè)單一水平像素行順序地輸出作為流的圖像數(shù)據(jù)；圖像合成單元，被配置為針對(duì)每個(gè)單一水平像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接從圖像數(shù)據(jù)生成單元所輸出的所述多個(gè)圖像數(shù)據(jù)段，并且配置為輸出作為流的結(jié)果數(shù)據(jù)，以生成包括所述多個(gè)圖像的虛擬合成圖像，并且其中，在連接循環(huán)完成時(shí)所導(dǎo)致的像素行被定義為水平像素行；以及圖像傳輸單元，被配置為從所連接的主機(jī)終端接收請(qǐng)求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個(gè)矩形區(qū)域的數(shù)據(jù)，配置為針對(duì)圖像合成單元所輸出的虛擬合成圖像的每一個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍，配置為連接所述范圍，以及配置為作為流傳輸?shù)街鳈C(jī)終端。
[0011]本發(fā)明的另一個(gè)實(shí)施例涉及一種信息處理系統(tǒng)。所述信息處理系統(tǒng)包括:移動(dòng)圖像捕獲設(shè)備，被配置為捕獲目標(biāo)對(duì)象的圖像，并且生成移動(dòng)圖像數(shù)據(jù)；以及主機(jī)終端，被配置為從移動(dòng)圖像捕獲設(shè)備獲取一部分移動(dòng)圖像數(shù)據(jù)、配置為通過(guò)使用所述一部分移動(dòng)數(shù)據(jù)執(zhí)行預(yù)定的圖像處理、并且配置為顯示圖像。所述移動(dòng)圖像捕獲設(shè)備包括:圖像數(shù)據(jù)生成單元，被配置為根據(jù)移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且配置為針對(duì)每個(gè)單一水平像素行順序地輸出作為流的圖像數(shù)據(jù)；圖像合成單元，被配置為針對(duì)每個(gè)單一水平像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接從圖像數(shù)據(jù)生成單元輸出的所述多個(gè)圖像數(shù)據(jù)段，并且配置為輸出作為流的結(jié)果數(shù)據(jù)，以生成包括所述多個(gè)圖像的虛擬合成圖像，并且其中，在連接循環(huán)完成時(shí)所導(dǎo)致的像素行被定義為水平像素行；以及圖像傳輸單元，被配置為從所連接的主機(jī)終端接收請(qǐng)求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個(gè)矩形區(qū)域的數(shù)據(jù)，配置為針對(duì)圖像合成單元所輸出的虛擬合成圖像的每一個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍，配置為連接所述范圍，以及配置為作為流傳輸?shù)街鳈C(jī)終端。主機(jī)終端包括:數(shù)據(jù)請(qǐng)求單元，被配置為通過(guò)設(shè)置用于所述矩形區(qū)域的公共垂直范圍來(lái)指定虛擬合成圖像中的多個(gè)矩形區(qū)域以請(qǐng)求數(shù)據(jù)的傳輸，所述矩形區(qū)域?qū)?yīng)于包括在移動(dòng)圖像捕獲設(shè)備中所生成的多個(gè)圖像數(shù)據(jù)段中的至少兩段圖像數(shù)據(jù)；以及數(shù)據(jù)部署單元，被配置為基于每一個(gè)所指定的矩形區(qū)域的水平長(zhǎng)度把從移動(dòng)圖像捕獲設(shè)備所傳輸?shù)牧鞣指顬閱蝹€(gè)圖像數(shù)據(jù)段，并且配置為把數(shù)據(jù)作為二維圖像部署在存儲(chǔ)器中。
[0012]本發(fā)明的另一個(gè)實(shí)施例涉及一種信息處理設(shè)備。所述信息處理設(shè)備包括:數(shù)據(jù)請(qǐng)求單元，被配置為通過(guò)指定合成圖像中的多個(gè)矩形區(qū)域同時(shí)設(shè)置用于所述矩形區(qū)域的公共垂直范圍來(lái)請(qǐng)求從移動(dòng)圖像捕獲設(shè)備傳輸數(shù)據(jù)，所述移動(dòng)圖像捕獲設(shè)備生成其中在預(yù)定舉行區(qū)域布置有根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像所生成的多個(gè)圖像的合成圖像，所述矩形區(qū)域?qū)?yīng)于至少兩段圖像數(shù)據(jù)；以及數(shù)據(jù)部署單元，被配置為響應(yīng)所述請(qǐng)求，基于每一個(gè)所指定的矩形區(qū)域的水平長(zhǎng)度，把按流格式從移動(dòng)圖像捕獲設(shè)備傳輸來(lái)的圖像數(shù)據(jù)分離成一段或多段單個(gè)圖像數(shù)據(jù)，并且配置為把數(shù)據(jù)作為二維圖像部署在存儲(chǔ)器中，其中，針對(duì)每一個(gè)像素行循環(huán)地連接所指定的多個(gè)矩形區(qū)域的像素值；以及，數(shù)據(jù)處理單元，被配置為使用二維圖像執(zhí)行預(yù)定的圖像處理，并且配置為顯示圖像。
[0013]本發(fā)明的另一個(gè)實(shí)施例涉及一種圖像數(shù)據(jù)處理方法。由一個(gè)移動(dòng)圖像捕獲設(shè)備所執(zhí)行的這一圖像數(shù)據(jù)處理方法包括:根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且針對(duì)每個(gè)單一水平像素行，順序地輸出作為流的圖像數(shù)據(jù)；針對(duì)每個(gè)單一水平像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接所輸出的所述多個(gè)圖像數(shù)據(jù)段，并且輸出作為流的結(jié)果數(shù)據(jù)，以生成包括所述多個(gè)圖像并且其中在連接循環(huán)完成時(shí)導(dǎo)致的像素行被定義為水平像素行的虛擬合成圖像；以及從所連接的主機(jī)終端接收傳輸指定虛擬合成圖像中多個(gè)具有公共垂直范圍的矩形區(qū)域的數(shù)據(jù)的請(qǐng)求，針對(duì)虛擬合成圖像的每個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍，連接所述范圍，以及作為新的流傳輸?shù)街鳈C(jī)終端。
[0014]也可以把以上所提到的構(gòu)成部件的可選的組合以及本發(fā)明的實(shí)現(xiàn)按方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、以及存儲(chǔ)計(jì)算機(jī)程序的記錄媒體的形式作為本發(fā)明的其它模式加以實(shí)踐。[0015][本發(fā)明的優(yōu)點(diǎn)]
[0016]根據(jù)本發(fā)明，能夠使用其數(shù)據(jù)，抑制從圖像捕獲時(shí)間到圖像顯示時(shí)間的等待時(shí)間?！緦＠綀D】

【附圖說(shuō)明】
[0017]圖1描述了可以把本實(shí)施例施用于其的信息處理系統(tǒng)的一個(gè)示范性配置；
[0018]圖2描述了根據(jù)本實(shí)施例的主機(jī)終端和成像設(shè)備的一個(gè)配置；
[0019]圖3描述了根據(jù)本實(shí)施例的成像設(shè)備的第一照相機(jī)的一個(gè)詳細(xì)配置；
[0020]圖4描述了根據(jù)本實(shí)施例的圖像合成單元和圖像傳輸單元的詳細(xì)配置；
[0021]圖5示意性地描述了根據(jù)本實(shí)施例的成像設(shè)備和主機(jī)終端中數(shù)據(jù)形式的一個(gè)基本轉(zhuǎn)換；
[0022]圖6為說(shuō)明了來(lái)自根據(jù)本實(shí)施例的棱錐過(guò)濾單元的1/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像的各像素值的輸入定時(shí)的一個(gè)時(shí)間圖；
[0023]圖7示意性地描述了根據(jù)本實(shí)施例的一個(gè)其中圖像合成單元連接多個(gè)圖像的像素行的數(shù)據(jù)段的狀態(tài)；
[0024]圖8描述了在針對(duì)從第一照相機(jī)輸出的或者從第二照相機(jī)輸出的每一段圖像數(shù)據(jù)交替地重復(fù)參照?qǐng)D7時(shí)所解釋的一個(gè)過(guò)程的情況下所生成的一個(gè)合成圖像；
[0025]圖9示意性地描述了響應(yīng)來(lái)自根據(jù)本實(shí)施例的主機(jī)終端的一個(gè)請(qǐng)求的過(guò)程中圖像數(shù)據(jù)的流程；
[0026]圖10描述了根據(jù)本實(shí)施例的、在配有滾動(dòng)快門的第一照相機(jī)和第二照相機(jī)按不同幀率捕獲圖像的情況下圖像合成單元所生成的一個(gè)合成圖像的轉(zhuǎn)換；
[0027]圖11描述了在圖10中所說(shuō)明的圖像捕獲條件下顯露單元通過(guò)顯露出圖像所生成的新合成的圖像以及存儲(chǔ)在主機(jī)終端的主存中的圖像；
[0028]圖12描述了在滿足圖10中所示圖像捕獲條件的具體條件之一下、在把第二照相機(jī)的快門速度減小至1/4以致第二照相機(jī)能夠捕獲一個(gè)幀，而第一照相機(jī)能夠捕獲4個(gè)幀的情況下合成圖像的轉(zhuǎn)換；
[0029]圖13描述了在圖12中所說(shuō)明的圖像捕獲條件下顯露單元通過(guò)顯露出圖像所生成的新合成的圖像以及存儲(chǔ)在主機(jī)終端的主存中的圖像；
[0030]圖14描述了在第一照相機(jī)以比第二照相機(jī)的視角窄的視角捕獲，而且?guī)矢哂诘诙障鄼C(jī)的幀率的圖像的情況下合成圖像的轉(zhuǎn)換；
[0031]圖15描述了在圖14中所說(shuō)明的圖像捕獲條件下顯露單元通過(guò)顯露出圖像所生成的新合成的圖像以及存儲(chǔ)在主機(jī)終端的主存中的圖像；以及
[0032]圖16描述了說(shuō)明根據(jù)本實(shí)施例的、其中主機(jī)終端和成像設(shè)備互相協(xié)作顯示圖像的處理規(guī)程的一個(gè)實(shí)例的流程圖。
【具體實(shí)施方式】
[0033]圖1描述了可以把本實(shí)施例施用于其的信息處理系統(tǒng)的一個(gè)示范性配置。信息處理系統(tǒng)10包括一個(gè)在其上安裝了兩個(gè)照相機(jī)的捕獲諸如用戶I等的目標(biāo)對(duì)象的成像設(shè)備12、依據(jù)所捕獲的圖像根據(jù)用戶請(qǐng)求處理信息的主機(jī)終端20、以及一個(gè)輸出作為主機(jī)終端20的處理結(jié)果所獲得的圖像數(shù)據(jù)的顯示設(shè)備16。主機(jī)終端20的配置旨在能夠與諸如Internet等的網(wǎng)絡(luò)18相連接。
[0034]可以通過(guò)電纜把主機(jī)終端20連接于成像設(shè)備12、顯示設(shè)備16、以及網(wǎng)絡(luò)18，也可以經(jīng)由無(wú)線局域網(wǎng)(LAN)等無(wú)線把主機(jī)終端20連接于成像設(shè)備12、顯示設(shè)備16、以及網(wǎng)絡(luò)18。通過(guò)按集成方式加以組合，可以裝備成像設(shè)備12、主機(jī)終端20、以及網(wǎng)絡(luò)18中的任何兩個(gè)或者全部。不必把成像設(shè)備12安裝在顯示設(shè)備16上。用戶I可以不為人類，而且并未限制其數(shù)目。
[0035]把成像設(shè)備12配置為按其間已知的距離把兩個(gè)數(shù)字?jǐn)z像機(jī)(即，第一照相機(jī)22a和第二照相機(jī)22b)排列在右與左側(cè)。第一照相機(jī)22a和第二照相機(jī)22b分別包含一個(gè)諸如電荷耦合器件(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)等的成像部件。兩個(gè)數(shù)字?jǐn)z像機(jī)按相同的幀率或者不同的幀率分別從右與左位置捕獲存在于同一空間中的目標(biāo)對(duì)象。成像設(shè)備12使用作為捕獲的結(jié)果所獲得的圖像生成多種類型的圖像。
[0036]按以下將描述的流格式，把成像設(shè)備12所捕獲和所生成的圖像的數(shù)據(jù)傳輸于主機(jī)終端20。主機(jī)終端20使用所傳輸?shù)膱D像數(shù)據(jù)進(jìn)行必要的信息處理，并且生成一個(gè)輸出圖像。未對(duì)主機(jī)終端20所執(zhí)行的處理的類型特別加以限制，而是根據(jù)用戶所請(qǐng)求的功能或者應(yīng)用適當(dāng)?shù)丶右栽O(shè)置。
[0037]例如，在玩一個(gè)其中出現(xiàn)一個(gè)把作為目標(biāo)對(duì)象的用戶I的移動(dòng)反映于其的人物的游戲的情況下，或者在執(zhí)行把用戶I的移動(dòng)轉(zhuǎn)換為命令輸入的信息處理過(guò)程的情況下，主機(jī)終端20在與從成像設(shè)備12所獲取的時(shí)刻相同的時(shí)刻、根據(jù)有關(guān)右與左圖像的數(shù)據(jù)執(zhí)行立體匹配。通過(guò)針對(duì)照相機(jī)的視場(chǎng)，按預(yù)定的速率識(shí)別高度、寬度以及深度三維空間中目標(biāo)對(duì)象的位置的坐標(biāo)，主機(jī)終端20獲取位置坐標(biāo)的時(shí)間變化。根據(jù)其結(jié)果，主機(jī)終端20對(duì)所捕獲的圖像執(zhí)行一個(gè)預(yù)定的過(guò)程與/或把結(jié)果反映于一個(gè)預(yù)先準(zhǔn)備的圖像，以生成輸出圖像。
[0038]在視頻聊天應(yīng)用的情況下，經(jīng)由網(wǎng)絡(luò)18把用戶I的圖像實(shí)時(shí)地傳輸于聊天中的另一個(gè)用戶。在這一情況下，主機(jī)終端20可以執(zhí)行一個(gè)面部檢測(cè)過(guò)程，并且可以處理圖像，例如，通過(guò)僅以高分辨率描繪作為面部檢測(cè)過(guò)程的結(jié)果所獲得的用戶I的面部區(qū)域。除了這樣的圖像處理之外，主機(jī)終端20還可以對(duì)諸如用于執(zhí)行各種應(yīng)用的菜單或者光標(biāo)的對(duì)象圖像進(jìn)行合成。
[0039]當(dāng)需要時(shí)，作為圖像，顯示設(shè)備16顯示主機(jī)終端20所執(zhí)行的處理的結(jié)果。顯示設(shè)備16可以為配有用于輸出圖像的顯不器或者用于輸出聲音的揚(yáng)聲器的電視機(jī)，因而,例如，可以為液晶電視、等離子電視、PC顯示器等。
[0040]如上所述，使用成像設(shè)備12所捕獲的移動(dòng)圖像，可以把各種類型的處理用作信息處理系統(tǒng)10中所執(zhí)行的處理，并未對(duì)處理的類型加以限制。在執(zhí)行這些過(guò)程之一的任何一種情況下，根據(jù)本實(shí)施例，成像設(shè)備12不僅捕獲移動(dòng)圖像，而且還使用所捕獲的移動(dòng)圖像生成多種類型的圖像數(shù)據(jù)。僅高效地傳輸主機(jī)終端20所指定的圖像數(shù)據(jù)，可以實(shí)現(xiàn)這樣一個(gè)信息處理系統(tǒng):對(duì)于從捕獲圖像到顯示圖像的過(guò)程，具有低等待時(shí)間，并且能夠進(jìn)行復(fù)雜的處理。也可以根據(jù)應(yīng)用等適當(dāng)?shù)卮_定成像設(shè)備12所生成的圖像的類型。然而，以下將針對(duì)生成使用其按多個(gè)分辨率表示移動(dòng)圖像的每一個(gè)幀的圖像的數(shù)據(jù)的情況進(jìn)行解釋。
[0041]圖2描述了主機(jī)終端20和成像設(shè)備12的配置。在以下將加以描述的圖2、圖3以及4中，可以通過(guò)諸如中央處理器(CPU)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、繪制電路等的構(gòu)成部件，按硬件實(shí)現(xiàn)各功能模塊中所示的部件，也可以通過(guò)提供諸如數(shù)據(jù)輸入功能、數(shù)據(jù)存儲(chǔ)功能、圖像分析功能、繪制功能等的程序，按軟件實(shí)現(xiàn)各功能模塊中所示的部件。因此，本領(lǐng)域技術(shù)人員將會(huì)明顯意識(shí)到:可以僅按硬件、僅按軟件、或者通過(guò)它們的組合，按各種方式實(shí)現(xiàn)各功能塊。
[0042]主機(jī)終端20包括指令輸入單元36、信息處理單元38、圖像處理單元40、主存42、以及通信單元44。指令輸入單元36獲取從用戶那里輸入的指令。信息處理單元38按統(tǒng)一的方式控制主機(jī)終端20和成像設(shè)備12，并且根據(jù)某一目的進(jìn)行信息處理。主存42存儲(chǔ)從成像設(shè)備12提供的數(shù)據(jù)。通信單元44為一個(gè)向成像設(shè)備12請(qǐng)求圖像數(shù)據(jù)，并且從成像設(shè)備12獲取圖像數(shù)據(jù)的接口。
[0043]指令輸入單元36接收從用戶那里輸入的指令、根據(jù)所述指令生成一個(gè)請(qǐng)求某一過(guò)程的信號(hào)、并且把所述信號(hào)傳輸于信息處理單元38。通過(guò)通常使用的輸入設(shè)備(例如，按鈕、鍵盤、鼠標(biāo)器、跟蹤球、觸摸面板等)和解釋輸入于輸入設(shè)備并且生成一個(gè)請(qǐng)求某一過(guò)程的信號(hào)的處理器等之間的協(xié)作，實(shí)現(xiàn)指令輸入單元36。
[0044]根據(jù)從指令輸入單元36所獲取的請(qǐng)求某一過(guò)程的信號(hào)，信息處理單元38向成像設(shè)備12發(fā)布一個(gè)對(duì)圖像數(shù)據(jù)的請(qǐng)求、向圖像處理單元40等發(fā)布一個(gè)對(duì)圖像處理的請(qǐng)求。信息處理單元38把從成像設(shè)備12所傳輸?shù)膱D像數(shù)據(jù)部署在以下將加以描述的主存42中。另外，當(dāng)需要時(shí)，取決于信息處理系統(tǒng)10所執(zhí)行的過(guò)程，信息處理單元38使用從成像設(shè)備12所傳輸?shù)膱D像數(shù)據(jù)進(jìn)行圖像分析(例如，立體匹配、目標(biāo)對(duì)象的跟蹤、面部檢測(cè)、姿態(tài)檢測(cè)
-rf* ) O
[0045]圖像處理單元40使用部署在主存42中的圖像，根據(jù)從信息處理單元38所發(fā)送的請(qǐng)求進(jìn)行圖像處理，并且生成顯示圖像。把所生成的顯示圖像存儲(chǔ)在幀存儲(chǔ)器(未在圖中加以顯示)中，并且在信息處理單元38的控制下，順序地將其顯示在顯示設(shè)備16上。通信單元44從成像設(shè)備12獲取一個(gè)請(qǐng)求圖像數(shù)據(jù)的信號(hào)，即由信息處理單元38所生成的信號(hào)，并且將該信號(hào)傳輸于成像設(shè)備12。另外，通信單元44還響應(yīng)所述信號(hào)獲取從成像設(shè)備12所傳輸?shù)膱D像數(shù)據(jù)，并且把圖像數(shù)據(jù)傳輸于信息處理單元38。
[0046]成像設(shè)備12包括第一照相機(jī)22a和第二照相機(jī)22b、圖像合成單元30、圖像傳輸單元32、以及通信單元34。第一照相機(jī)22a和第二照相機(jī)22b捕獲移動(dòng)圖像，并且生成多種類型的圖像數(shù)據(jù)。圖像合成單元30把多種類型的圖像數(shù)據(jù)加以集成。圖像傳輸單元32抽取主機(jī)終端20所請(qǐng)求的圖像數(shù)據(jù)，并且對(duì)圖像數(shù)據(jù)進(jìn)行打包。通信單元34為一個(gè)從主機(jī)終端20接收請(qǐng)求圖像數(shù)據(jù)的信號(hào)，并且傳輸圖像數(shù)據(jù)的接口。
[0047]第一照相機(jī)22a和第二照相機(jī)22b從右與左觀察點(diǎn)捕獲同一目標(biāo)對(duì)象的移動(dòng)圖像。然后，第一照相機(jī)22a和第二照相機(jī)22b把所捕獲的幀圖像的大小縮小至多個(gè)大小，以生成不同分辨率的多個(gè)圖像數(shù)據(jù)段。圖像合成單元30把第一照相機(jī)22a和第二照相機(jī)22b所生成的圖像數(shù)據(jù)加以集成，并且生成一個(gè)以下將加以描述的虛擬合成圖像。
[0048]圖像傳輸單元32從第一照相機(jī)22a和第二照相機(jī)22b所捕獲的RAM圖像以及從圖像合成單元30所生成的虛擬合成圖像抽取圖像傳輸單元32所請(qǐng)求的圖像數(shù)據(jù)，并且對(duì)所抽取的圖像數(shù)據(jù)進(jìn)行打包。在這一過(guò)程中，在請(qǐng)求包括在虛擬合成圖像中的圖像數(shù)據(jù)的情況下，顯露處理剪輯圖像。
[0049]通信單元34接收從主機(jī)終端20所發(fā)送的請(qǐng)求圖像數(shù)據(jù)的信號(hào)。然后，通信單元34向圖像傳輸單元32通知所述信號(hào)，并且獲取圖像傳輸單元32所生成的圖像數(shù)據(jù)的數(shù)據(jù)包，然后把數(shù)據(jù)包傳輸于主機(jī)終端20。通信單元34根據(jù)預(yù)定的通信協(xié)議，例如，根據(jù)USB1.0/2.0/3.0等，把數(shù)據(jù)包傳輸于主機(jī)終端20。與主機(jī)終端20的相互通信并不局限于有線通信，也可以為無(wú)線通信，例如，無(wú)線LAN通信(例如，IEEE802.lla/b/g等)或者紅外通信(例如，IrDA等)。
[0050]主要針對(duì)圖像的每一水平像素行執(zhí)行成像設(shè)備12所執(zhí)行的過(guò)程，并且把所處理的數(shù)據(jù)提供于下一個(gè)針對(duì)每一水平像素行的功能塊。于是，僅一個(gè)最小行緩沖器作為提供在成像設(shè)備12的每一個(gè)功能塊中的存儲(chǔ)器足以，而且能夠以低等待時(shí)間執(zhí)行從圖像捕獲到圖像傳輸?shù)母鱾€(gè)過(guò)程。
[0051]圖3詳細(xì)地描述了成像設(shè)備12的第一照相機(jī)22a的配置。第二照相機(jī)22b也具有類似的配置。第一照相機(jī)22a包含圖像獲取單元102a、去馬賽克單元104a、以及棱錐過(guò)濾單元135a。圖像獲取單元102a按一個(gè)預(yù)定的幀率讀取暴露于諸如CXD或者CMOS的成像部件的圖像。在以下的解釋中，假設(shè)所述圖像沿水平方向具有“W”個(gè)像素的寬度，沿垂直方向具有“H”個(gè)像素的寬度。所述圖像為所謂的RAM圖像。每次針對(duì)RAW圖像的單一水平行完成曝光時(shí)，圖像獲取單元102a把所述RAM圖像傳輸于去馬賽克單元104a和圖像傳輸單元32。
[0052]去馬賽克單元104a具有容量為W個(gè)像素的先進(jìn)先出(FIFO)緩沖器105以及簡(jiǎn)單的去馬賽克處理單元106。把RAW圖像的單一水平像素行信息輸入和存儲(chǔ)在FIFO緩沖器105中，直至把針對(duì)下一個(gè)水平行的像素輸入于去馬賽克單元104a。當(dāng)針對(duì)2個(gè)水平行接收像素時(shí)，簡(jiǎn)單的去馬賽克處理單元106使用所接收的像素，針對(duì)每一個(gè)像素，根據(jù)其周圍的像素，執(zhí)行一個(gè)補(bǔ)色信息的去馬賽克過(guò)程，然后創(chuàng)建一個(gè)全色圖像。
[0053]如技術(shù)人員所知，就所述去馬賽克過(guò)程而言，存在著許多方法。然而，在這一情況下，一種僅使用針對(duì)2個(gè)水平行的像素的簡(jiǎn)單的去馬賽克過(guò)程足以。例如，當(dāng)將針對(duì)其計(jì)算相應(yīng)YCbCr值的像素僅具有G值時(shí)，通過(guò)取右與左相鄰像素的各R值的平均值，分別使用本像素的G值和上或者下相鄰像素的B值，獲得RGB值，然后將其代入一個(gè)預(yù)定的轉(zhuǎn)換方程，以計(jì)算YCbCr值。由于這樣的去馬賽克過(guò)程已為人們所熟悉，因此省略了對(duì)其的進(jìn)一步的詳細(xì)解釋。去馬賽克單元104a所生成的或者相繼過(guò)程中的圖像數(shù)據(jù)的顏色空間并不局限于 YCbCr。
[0054]之所以簡(jiǎn)單去馬賽克過(guò)程就足夠了的其原因是因?yàn)楫?dāng)需要高質(zhì)量圖像時(shí)，可以使用RAM圖像。在簡(jiǎn)單的去馬賽克過(guò)程的一個(gè)變體中，可以使用形成4個(gè)RGB像素中的一個(gè)單像素的YCbCr值的方法。在這一情況下，可以獲得RAM像素1/4大小的去馬賽克圖像。于是，以下所描述的第一過(guò)濾器IlOa是非必要的。
[0055]如圖中所示，例如，簡(jiǎn)單的去馬賽克處理單元106把為2個(gè)水平像素X2個(gè)垂直像素的4個(gè)像素的RGB轉(zhuǎn)換為YCbCr顏色信號(hào)。把由這4個(gè)像素構(gòu)成的一個(gè)塊作為一個(gè)1/1去馬賽克圖像傳送于圖像合成單元30，而且也將其傳輸于棱錐過(guò)濾單元135a。
[0056]棱錐過(guò)濾單元135a具有把某一給定圖像層次化為多個(gè)分辨率，并且生成層次化的圖像的功能。通常，為棱錐過(guò)濾器配備其數(shù)目符合所需分辨率水平的1/4縮小過(guò)濾器。在本實(shí)施例中，棱錐過(guò)濾器包括3級(jí)過(guò)濾器:第一過(guò)濾器IlOa?第三過(guò)濾器130a。每一個(gè)過(guò)濾器執(zhí)行互相相鄰的4個(gè)像素的一個(gè)雙線性插值的過(guò)程，然后計(jì)算4個(gè)像素的平均像素值。因此，所述過(guò)程之后所獲得的圖像大小變?yōu)樗鲞^(guò)程之前圖像的1/4大小。本領(lǐng)域技術(shù)人員將很容易地意識(shí)到，即使使用不同于3級(jí)過(guò)濾器的其它過(guò)濾器也可以達(dá)到同樣效果。
[0057]在第一過(guò)濾器IlOa之前，為Y、Cb、以及Cr信號(hào)分別相應(yīng)提供一個(gè)針對(duì)W個(gè)像素的單FIFO緩沖器112。在從簡(jiǎn)單的去馬賽克處理單元106輸出針對(duì)下一水平行的像素之前，這些FIFO緩沖器112均具有存儲(chǔ)針對(duì)單一水平行的YCbCr像素的作用。根據(jù)成像部件的行掃描速度確定像素的存儲(chǔ)時(shí)間。當(dāng)輸入了針對(duì)2個(gè)水平行的像素時(shí)，第一過(guò)濾器IlOa針對(duì)2個(gè)水平像素X 2個(gè)垂直像素的4個(gè)像素平均Y、Cb、以及Cr像素值。通過(guò)重復(fù)這一過(guò)程，1/1去馬賽克圖像的長(zhǎng)度沿垂直和水平方向均變?yōu)?/2，從而把整個(gè)圖像轉(zhuǎn)換為具有1/4的大小。把所轉(zhuǎn)換的1/4去馬賽克圖像傳輸于圖像合成單元30，并且也將其傳送于相繼第二過(guò)濾器120a。
[0058]在第二過(guò)濾器120a之前，為Y、Cb、以及Cr信號(hào)分別相應(yīng)提供了一個(gè)針對(duì)W/2個(gè)像素的單FIFO緩沖器122。在從第一過(guò)濾器IlOa輸出針對(duì)下一水平行的像素之前，這些FIFO緩沖器122也分別具有存儲(chǔ)針對(duì)單一水平行的YCbCr像素的作用。當(dāng)輸入了針對(duì)2個(gè)水平行的像素時(shí)，第二過(guò)濾器120a針對(duì)2個(gè)水平像素X 2個(gè)垂直像素的4個(gè)像素平均Y、Cb、以及Cr像素值。通過(guò)重復(fù)這一過(guò)程，1/4去馬賽克圖像的長(zhǎng)度沿垂直和水平方向均變?yōu)?/2，從而把整個(gè)圖像轉(zhuǎn)換為具有1/16的大小。把所轉(zhuǎn)換的1/16去馬賽克圖像傳輸于圖像合成單元30，并且也將其傳送于第三過(guò)濾器130a。
[0059]在第三過(guò)濾器130a的前方，提供了針對(duì)W/4個(gè)像素的FIFO緩沖器132。除此之夕卜，重復(fù)與以上所描述的過(guò)程相同的過(guò)程。然后把1/64大小的去馬賽克圖像傳輸于圖像合成單元30。由于諸如以上所描述的棱錐過(guò)濾器的棱錐過(guò)濾器已為人們所熟悉，如專利文獻(xiàn)I中所描述的，所以在本說(shuō)明書中省略了對(duì)其的進(jìn)一步的解釋。
[0060]如所描述的，把已經(jīng)逐一縮小至1/4的像素的輸出從棱錐過(guò)濾單元135a的各過(guò)濾器輸入于圖像合成單元30。由此可以明顯看出，由于棱錐過(guò)濾單元135a中通帶濾波器的數(shù)目變大，每一個(gè)過(guò)濾器之前所需的FIFO緩沖器的大小變小。過(guò)濾器的數(shù)目并不局限于3個(gè)，也可以依據(jù)所需分辨率范圍適當(dāng)?shù)丶右源_定。
[0061]由于按與第一照相機(jī)22a的方式類似的方式配置第二照相機(jī)22b，所以省略了對(duì)其的說(shuō)明。然而，在以下的解釋中，將通過(guò)參照數(shù)字稱謂第二照相機(jī)22b的圖像獲取單元、去馬賽克單元、棱錐過(guò)濾單元、第一過(guò)濾器、第二過(guò)濾器、以及第三過(guò)濾器，即，將它們稱為圖像獲取單元102b、去馬賽克單元104b、棱錐過(guò)濾單元135b、第一過(guò)濾器110b、第二過(guò)濾器120b、以及第三過(guò)濾器130b。
[0062]圖4描述了圖像合成單元30和圖像傳輸單元32的詳細(xì)配置。圖像合成單元30包括輸出定時(shí)調(diào)整單元140、FIF0緩沖器172a、174a、176a、170b、172b、174b、以及176b。輸出定時(shí)調(diào)整單元140調(diào)整從第一照相機(jī)22a或者第二照相機(jī)22b所傳輸?shù)?、并且輸出于圖像傳輸單元32的每一大小的圖像數(shù)據(jù)的輸出定時(shí)。FIFO緩沖器172a、174a、176a、170b、172b、174b、以及176b用于調(diào)整輸出定時(shí)。盡管分別表示了有關(guān)Y、Cb、Cr的每一段數(shù)據(jù)，以及針對(duì)圖3針對(duì)每一段數(shù)據(jù)表示了針對(duì)數(shù)據(jù)的輸入/輸出的箭頭，但為了防止圖變得復(fù)雜，以下將把這些元素表示為一個(gè)集合。
[0063]FIFO緩沖器172a、174a、176a分別存儲(chǔ)從第一照相機(jī)22a的第一過(guò)濾器110a、第二過(guò)濾器120a、以及第三過(guò)濾器130a發(fā)送的1/4、1/16、以及1/64去馬賽克圖像的單一水平行中的YCbCr像素值。因此，F(xiàn)IFO緩沖器172a、174a、以及176a為分別存儲(chǔ)W/2、W/4、以及W/8個(gè)像素的像素值的緩沖器。
[0064]FIFO緩沖器170b、172b、174b以及176b分別存儲(chǔ)從第二照相機(jī)22b的第一過(guò)濾器110b、第二過(guò)濾器120b、以及第三過(guò)濾器130b發(fā)送的1/1、1/4、1/16、以及1/64去馬賽克圖像的單一水平行中的YCbCr像素值。因此，F(xiàn)IFO緩沖器170b、172b、174b、以及176b為分別存儲(chǔ)W、W/2、W/4、以及W/8個(gè)像素的像素值的緩沖器。
[0065]在把從第一照相機(jī)22a的去馬賽克單兀104a所發(fā)送的針對(duì)1/1去馬賽克圖像的單一水平像素行值輸出于圖像傳輸單元32之后，輸出定時(shí)調(diào)整單元140輸出第二照相機(jī)22b的針對(duì)1/1去馬賽克圖像的單一水平像素行值，即已經(jīng)存儲(chǔ)在FIFO緩沖器170b中的像素值。接下來(lái)，通過(guò)根據(jù)以下將詳細(xì)描述的規(guī)則輸出一行針對(duì)單一水平像素行值或者一行針對(duì)小于單一水平行的一個(gè)區(qū)域的像素值，輸出定時(shí)調(diào)整單元140調(diào)整輸出定時(shí)，以能夠生成新的像素行，其中，針對(duì)Y、Cb、以及Cr的各像素值循環(huán)地連接1/1、1/4、1/16、以及1/64去馬賽克圖像。
[0066]如上所述，按其中開(kāi)始點(diǎn)位于圖像的左上方，并且向下從左到右重復(fù)一個(gè)過(guò)程的屏面次序，執(zhí)行根據(jù)本實(shí)施例的成像設(shè)備12所執(zhí)行的過(guò)程，其中，所述過(guò)程的基本單位為像素的一個(gè)單一水平行，并且基本上按其中從頂部順序連接針對(duì)每一單一水平像素行值的流格式執(zhí)行從每一照相機(jī)向圖像傳輸單元32的圖像數(shù)據(jù)的輸入/輸出以及圖像數(shù)據(jù)向主機(jī)終端20的傳輸。
[0067]從圖像合成單元30輸出的數(shù)據(jù)也為相繼的像素值的流，包含其中分別按4個(gè)分辨率表示右與左幀圖像的去馬賽克圖像的像素行的混合。因此，精確地講，不把連接8個(gè)去馬賽克圖像的結(jié)果生成為2個(gè)二維圖像。然而，如以下將加以描述的，對(duì)于從圖像合成單元30所輸出的流，如果把各去馬賽克圖像的連接向后循環(huán)至其開(kāi)始點(diǎn)時(shí)的像素的像素行的數(shù)目定義為針對(duì)一個(gè)圖像的單一水平像素行的數(shù)目，則相繼的過(guò)程將類似于RAM圖像的過(guò)程，而且不涉及圖像合成單元30。因此，圖像合成單元30實(shí)質(zhì)上生成為1/4、1/16、以及1/64去馬賽克圖像的一個(gè)合成的圖像。以下，把這一虛擬圖像稱為“合成圖像”。
[0068]圖像傳輸單元32包括控制單元142、數(shù)據(jù)選擇單元144、以及打包單元146。根據(jù)來(lái)自主機(jī)終端20的請(qǐng)求信號(hào)，控制單元142指示數(shù)據(jù)選擇單元144把各種類型的圖像數(shù)據(jù)中的哪種圖像數(shù)據(jù)作為數(shù)據(jù)包加以傳輸?？刂茊卧?42還從主機(jī)終端20接收請(qǐng)求圖像捕獲的開(kāi)始或者結(jié)束的信號(hào)、指出圖像捕獲條件的信號(hào)等，并且把其信息適當(dāng)?shù)靥峁┯诘谝徽障鄼C(jī)22a和第二照相機(jī)22b的圖像獲取單元102a、102b等。然而，將省略關(guān)于其的詳細(xì)解釋，因?yàn)榭梢园淹ǔＪ褂玫募夹g(shù)施用于其。
[0069]數(shù)據(jù)選擇單元144定義了以下輸入數(shù)據(jù):有關(guān)從第一照相機(jī)22a的圖像獲取單元102a以及第二照相機(jī)22b的圖像獲取單元102b輸入的右與左RAM圖像的像素行的數(shù)據(jù)；以及有關(guān)從圖像合成單元30的輸入的合成圖像的像素行的數(shù)據(jù)。然后，數(shù)據(jù)選擇單元144選擇和抽取控制單元142所指示的數(shù)據(jù)，并且把所述數(shù)據(jù)發(fā)送于打包單元146。
[0070]數(shù)據(jù)選擇單元144包括流選擇單元148和顯露單元150。流選擇單元148從右與左RAM圖像和合成圖像的流中選擇所請(qǐng)求的流。在主機(jī)終端20請(qǐng)求去馬賽克圖像之一的情況下，顯露單元150從流選擇單元148獲取合成圖像的流，并且從包括在所述流中的去馬賽克圖像的像素行顯露所請(qǐng)求的行。[0071]在請(qǐng)求多個(gè)去馬賽克圖像的情況下，顯露單元150并行顯露相應(yīng)于所述多個(gè)圖像的像素行。通過(guò)連接所顯露的像素行的各段數(shù)據(jù)，顯露單元150能夠重新構(gòu)造一個(gè)流，并且把所述流發(fā)送于打包單元146。在主機(jī)終端20請(qǐng)求RAM圖像的情況下，流選擇單元148把RAM圖像流直接發(fā)送于打包單元146。
[0072]針對(duì)符合通信單元34的協(xié)議的每一大小，打包單元146對(duì)已經(jīng)從數(shù)據(jù)選擇單元144輸入的流進(jìn)行打包，并且把所打包的流寫入一個(gè)內(nèi)部數(shù)據(jù)包緩沖器(未在圖中加以顯示)。例如，在USB的情況下,打包單元146針對(duì)結(jié)束點(diǎn)的每一個(gè)大小對(duì)流進(jìn)行打包。通信單元108根據(jù)一個(gè)預(yù)定的通信協(xié)議把數(shù)據(jù)包緩沖器中的數(shù)據(jù)包傳輸于主機(jī)終端20。
[0073]圖5示意性地說(shuō)明了成像設(shè)備12和主機(jī)終端20中數(shù)據(jù)形式的一個(gè)基本轉(zhuǎn)換。在這一情況下，例如，考慮了這樣一種情況:其中，把水平方向具有“W”個(gè)像素寬度以及垂直方向具有“H”個(gè)像素寬度的整個(gè)幀圖像200的數(shù)據(jù)從成像設(shè)備12傳輸于主機(jī)終端20。如上所述，在本實(shí)施例中，按像素的屏面次序執(zhí)行圖像數(shù)據(jù)的生成、選擇、以及傳輸，分別針對(duì)單一水平行順序地連接像素行，并且按流格式加以處理。
[0074]在這樣的情況下，數(shù)據(jù)選擇單元144所輸出的數(shù)據(jù)為一個(gè)流202。在此圖中，流202的水平軸表示時(shí)間的逝去，構(gòu)成流202的矩形L1、L2、…、以及LH表示幀圖像202的第一行的像素、第二行的像素、…、以及第H行的像素的相應(yīng)數(shù)據(jù)段。當(dāng)假設(shè)單像素的數(shù)據(jù)大小為d字節(jié)時(shí)，每一個(gè)矩形的數(shù)據(jù)大小為W*d個(gè)字節(jié)。
[0075]打包單元146針對(duì)每一預(yù)定的大小對(duì)流202進(jìn)行分組和打包，并且生成數(shù)據(jù)包Pl、P2、P3、P4、P5、…。接下來(lái)，按？1、？2、？3、？4、卩5、…的次序把數(shù)據(jù)包從成像設(shè)備12發(fā)送于主機(jī)終端20。當(dāng)經(jīng)由通信單元44接收到數(shù)據(jù)包P1、P2、P3、P4、P5、…時(shí)，在信息處理單元38的控制下，主機(jī)終端20把各數(shù)據(jù)包的數(shù)據(jù)存儲(chǔ)在主存42中。
[0076]在這一過(guò)程中，按屏面次序把各數(shù)據(jù)包的數(shù)據(jù)排列在主存42中，以把原始幀圖像200的水平方向的像素的數(shù)目W設(shè)置為寬度。通過(guò)在W*d*H個(gè)字節(jié)的連續(xù)的地址中部署數(shù)據(jù)，生成為幀圖像200的一個(gè)重構(gòu)的圖像204。圖中構(gòu)成圖像204的矩形表示各數(shù)據(jù)包的數(shù)據(jù)。圖像處理單元40通過(guò)對(duì)已經(jīng)部署在主存42中的圖像204進(jìn)行處理、通過(guò)把圖像204與另一個(gè)圖像加以合成等提交一個(gè)將被顯示在顯示設(shè)備16上的圖像。
[0077]以下，將解釋圖像合成單元30使用其對(duì)不同分辨率的去馬賽克圖像進(jìn)行合成的方法。盡管圖6和7中表示了 1/1、1/4、以及1/16的3種類型的去馬賽克圖像，然而同樣的原理也適用于其中添加了 1/64或者更小的去馬賽克圖像的情況。圖6為說(shuō)明了將從棱錐過(guò)濾單元135a的各過(guò)濾器輸入的1/1去馬賽克圖像、1/4去馬賽克圖像、以及1/16去馬賽克圖像的圖像的各像素值的輸入定時(shí)的一個(gè)時(shí)間圖。圖中的時(shí)間步長(zhǎng)S1、S2、S3、S4、…分別表不一個(gè)其中輸入1/1去馬賽克圖像的第一行、第二行、第三行、第四行、…的像素值的周期。
[0078]如在以上所說(shuō)明的1/1去馬賽克圖像的情況下，在棱錐過(guò)濾單元135a中，包括在合成圖像中的圖像中具有最高分辨率的圖像擁有最高數(shù)據(jù)生成率。因此，把其中輸入針對(duì)具有最高分辨率的圖像的單一水平像素行值的周期設(shè)置為參照時(shí)間步長(zhǎng)，把時(shí)間步長(zhǎng)與針對(duì)合成圖像的單一水平像素行行相關(guān)聯(lián)。換句話說(shuō)，作為參照周期，在其中輸入針對(duì)具有最高分辨率的圖像的單一水平像素行值的周期期間生成針對(duì)合成圖像的單一水平行的數(shù)據(jù)。
[0079]圖的上行、中行、以及下行分別描述了 1/1去馬賽克圖像的輸入定時(shí)、1/4去馬賽克圖像的輸入定時(shí)、以及1/16去馬賽克圖像的輸入定時(shí)，一個(gè)單矩形相應(yīng)于針對(duì)一個(gè)單像素的輸入。首先，在時(shí)間步長(zhǎng)SI中，從左像素開(kāi)始輸入1/1去馬賽克圖像的第一行的像素SL(1/1)1的像素值。在這一時(shí)間步長(zhǎng)中，不生成1/4去馬賽克圖像和1/16去馬賽克圖像，因此不輸入1/4去馬賽克圖像和1/16去馬賽克圖像。
[0080]接下來(lái)，在時(shí)間步長(zhǎng)S2中，從左像素開(kāi)始輸入1/1去馬賽克圖像的第二行的像素SL(1/1)2的像素值。此時(shí)，使用1/1去馬賽克圖像的第一行的像素行L(1/1)l的像素值和第二行的像素行L(1/1)2的像素值，在棱錐過(guò)濾單元135a中生成1/4去馬賽克圖像的第一行的像素行L(1/4)l。于是，在時(shí)間步長(zhǎng)S2中，也輸入所述像素行的像素值。
[0081]例如，使用1/1去馬賽克圖像的第一行的像素行L(1/1)l中的周期206中輸入的2個(gè)像素的像素值以及第二行的像素行L(1/1)2中的周期208中輸入的2個(gè)像素的像素值，在1/4去馬賽克圖像的第一行的像素行L(1/4)l的左端生成在周期210中輸入的像素值。因此，在時(shí)間步長(zhǎng)S2中，與像素行L(1/1)2的相應(yīng)像素的像素值的輸入定時(shí)相比，把像素行L(1/4)l的像素值的輸入定時(shí)延遲了至少2個(gè)像素。
[0082]在時(shí)間步長(zhǎng)S3中，輸入1/1去馬賽克圖像的第三行的像素行L(1/1)3的像素值。在這一時(shí)間步長(zhǎng)中，不生成1/4去馬賽克圖像的第二行的像素值，也不生成1/16去馬賽克圖像的第二行的像素值。于是，也不輸入它們。在時(shí)間步長(zhǎng)S4中，S卩，在其中輸入1/1去馬賽克圖像的第四行的像素行L(1/1)4的像素值的周期中，也輸入1/4去馬賽克圖像的第二行的像素行L(1/1)4的像素值，如在時(shí)間步長(zhǎng)S2的情況下。
[0083]另外，使用1/4去馬賽克圖像的第一行的像素行L(1/4)l的像素值和第二行的像素SL(1/4)2的像素值，在棱錐過(guò)濾單元135a中生成1/16去馬賽克圖像的第一行的像素行L(1/16)l。于是，在時(shí)間步長(zhǎng)S4中也輸入該像素行的像素值。例如，使用1/4去馬賽克圖像的第一行的像素行L(1/4)l中的周期210和212中輸入的2個(gè)像素的像素值以及第二行的像素行L(1/4)2的周期214和216中輸入的2個(gè)像素的像素值生成1/16去馬賽克圖像的第一行的像素行L(1/16)l中的第一周期218中輸入的像素值。
[0084]因此，在時(shí)間步長(zhǎng)S4中，與像素行L(1/4)2的相應(yīng)像素的像素值的輸入定時(shí)相比，像素行L(1/16)l的輸入定時(shí)變?yōu)檠舆t了至少2個(gè)像素。接下來(lái)，通過(guò)按同樣的方式重復(fù)各圖像的像素值的輸入，把1/1去馬賽克圖像、1/4去馬賽克圖像、以及1/16去馬賽克圖像的全部像素值輸入于圖像合成單元30。
[0085]如上所述，從第一照相機(jī)22a的棱錐過(guò)濾單元135a、第二照相機(jī)22b的棱錐過(guò)濾單元135b的相應(yīng)過(guò)濾器按單個(gè)流的屏面次序輸入各圖像的像素值。圖像合成單元30連接這些流，以形成一個(gè)單一的流，并且把該流輸出于圖像傳輸單元32。最簡(jiǎn)單的可行方式是，按輸入時(shí)間的次序連接像素值的相應(yīng)數(shù)據(jù)段，而不管原始圖像如何。在這一情況下，盡管合成過(guò)程本身容易，但必須針對(duì)相繼過(guò)程中的每一個(gè)圖像對(duì)每一單行的數(shù)據(jù)段進(jìn)行分類和抽取針，因此所述過(guò)程變得復(fù)雜。
[0086]也能夠針對(duì)每一時(shí)間步長(zhǎng)收集針對(duì)每一個(gè)圖像的像素值，以形成像素行，然后串行連接這些像素行。在這一情況下，盡管時(shí)間步長(zhǎng)SI和S3中所輸入的像素值僅為1/1去馬賽克圖像的數(shù)據(jù)，然而，例如，在步長(zhǎng)S4中，所輸入的為3種圖像的數(shù)據(jù):1/1去馬賽克圖像、1/4去馬賽克圖像、以及1/16去馬賽克圖像的數(shù)據(jù)。如所描述的，所輸出的數(shù)據(jù)的長(zhǎng)度很大程度地取決于時(shí)間步長(zhǎng)。因此，對(duì)于具有其間不輸入數(shù)據(jù)的時(shí)間步長(zhǎng)的圖像，使用所述時(shí)間步長(zhǎng)輸出最最近輸入的某些像素值，以使每一時(shí)間步長(zhǎng)中所輸出數(shù)據(jù)的長(zhǎng)度幾乎相
坐寸O
[0087]圖7示意性地描述了一個(gè)其中圖像合成單元30連接多個(gè)圖像的像素行的各數(shù)據(jù)段的狀態(tài)。盡管為了有助于理解該圖表示了一個(gè)其中連接圖6中所示的3種類型的去馬賽克圖像的狀態(tài)，然而實(shí)際上是交替地連接來(lái)自右與左照相機(jī)的圖像數(shù)據(jù)，如以下將加以描述的。在該圖中，步長(zhǎng)S0、S1、S2、S3、…為類似于圖6中所示時(shí)間步長(zhǎng)的時(shí)間步長(zhǎng)，并且在每一個(gè)周期中輸入1/1去馬賽克圖像的單行的像素值。
[0088]該圖按針對(duì)每一圖像的不同的加陰影的矩形描述了每一時(shí)間步長(zhǎng)中針對(duì)其輸出數(shù)據(jù)的像素行。如參照?qǐng)D6所解釋的，在時(shí)間步長(zhǎng)SI中，僅輸入1/1去馬賽克圖像的第一行的像素行L(1/1)l的像素值，因此圖像合成單元30直接輸出像素值。當(dāng)把水平方向的原始RAM圖像的像素值設(shè)置為W時(shí)，針對(duì)1/1去馬賽克圖像的單行的像素的數(shù)目也為W，如該圖中所示。
[0089]在隨后時(shí)間步長(zhǎng)S2中，在圖6中所示的定時(shí)、并行地輸入1/1去馬賽克圖像的第二行的像素行L(1/1)2的像素值與1/4去馬賽克圖像的第一行的像素行L(1/4) I的像素值。在這些像素值中，圖像合成單元30首先把1/4去馬賽克圖像的第一行的像素行L(1/4)l的像素值臨時(shí)存儲(chǔ)在FIFO緩沖器172a中，并且順序地輸出1/1去馬賽克圖像的第二行的像素行
L(1/1)2的像素值。
[0090]當(dāng)完成了 1/1去馬賽克圖像的第二行的像素行L(1/1)2的所有像素值的輸出時(shí)，圖像合成單元30接著從FIFO緩沖器172a讀取1/4去馬賽克圖像的第一行的像素行L(1/4)l，并且輸出像素SL(1/4) I。此時(shí)，考慮到將在相繼的時(shí)間步長(zhǎng)S3中輸出的像素值的量，圖像合成單元30僅輸出1/4去馬賽克圖像的第一行的像素行L(1/4)l的所有像素的前一半(圖像平面中的左半部)的像素值，并且繼續(xù)在FIFO緩沖器172a中存儲(chǔ)其余部分。
[0091]在隨后時(shí)間步長(zhǎng)S3中，僅輸入1/1去馬賽克圖像的第三行的像素行L(1/1)3的像素值。圖像合成單元30直接輸出像素行的像素值。接下來(lái)，圖像合成單元30從FIFO緩沖器172a讀取1/4去馬賽克圖像的第一行的像素行L(l/4) I的尚未輸出的后一半(圖像平面中的右半部)的像素值，并且輸出像素值。
[0092]在接下來(lái)的時(shí)間步長(zhǎng)S4中，在圖6中所示的定時(shí)、并行地輸入1/1去馬賽克圖像的第四行的像素行L(1/1)4的像素值與1/4去馬賽克圖像的第二行的像素行L(1/4)2的像素值。在這些像素值中，圖像合成單元30首先把1/4去馬賽克圖像的第二行的像素行L(1/4)2的像素值和1/16去馬賽克圖像的第一行的像素行L(1/16)l的像素值分別臨時(shí)存儲(chǔ)在FIFO緩沖器172a和174a中，并且順序地輸出1/1去馬賽克圖像的第四行的像素行L(1/1)4的像素值。
[0093]當(dāng)完成了 1/1去馬賽克圖像的第四行的像素行L(1/1)4的所有像素值的輸出時(shí)，圖像合成單元30接著從FIFO緩沖器172a讀取1/4去馬賽克圖像的第二行的像素行L(1/4)2的前一半，并且輸出像素行L(1/4)2的前一半。然后，圖像合成單元30輸出1/16去馬賽克圖像的第一行的像素行L(1/16)l。此時(shí)，考慮到將在接下來(lái)的時(shí)間步長(zhǎng)S5、S6、以及S7中輸出的像素值的量，圖像合成單元30把1/16去馬賽克圖像的第一行的像素行L(1/16)l劃分為4份，并且僅輸出第一份的像素值。圖像合成單元30把其余部分存儲(chǔ)在174a中。
[0094]在相繼的時(shí)間步長(zhǎng)S5中，僅輸入1/1去馬賽克圖像的第五行的像素行L(1/1)5的像素值。圖像合成單元30直接輸出像素行的像素值。接下來(lái)，圖像合成單元30從FIFO緩沖器172a讀取1/4去馬賽克圖像的第二行的像素行L(1/4)2的尚未輸出的后一半的像素值，并且輸出像素值。而且，圖像合成單元30還輸出1/16去馬賽克圖像的第一行的像素行L(1/16) I的尚未輸出并且已經(jīng)被劃分為4份的數(shù)據(jù)的第二份的像素值。
[0095]相類似，在接下來(lái)的時(shí)間步長(zhǎng)S6中，圖像合成單元30輸出1/1去馬賽克圖像的第六行的像素行L(1/1)6的像素值、1/4去馬賽克圖像的第三行的像素行L(1/4)3的像素值、以及1/16去馬賽克圖像的第一行的像素行L(1/16)l的尚未輸出并且已經(jīng)被劃分為4份的數(shù)據(jù)的第三份的數(shù)據(jù)的像素值。在相繼的時(shí)間步長(zhǎng)S7中，圖像合成單元30輸出1/1去馬賽克圖像的第七行的像素行L(1/1)7的像素值、1/4去馬賽克圖像的第三行的像素行L(1/4)3的后一半的像素值、以及1/16去馬賽克圖像的第一行的像素行L(1/16)l的已經(jīng)被劃分為4份的數(shù)據(jù)的最后一份的數(shù)據(jù)的像素值。
[0096]換句話說(shuō)，在2個(gè)時(shí)間步長(zhǎng)S2和S3中，分別輸出1/4去馬賽克圖像的第一行的像素行L(1/4)l的一半。在4個(gè)時(shí)間步長(zhǎng)S4、S5、S6、以及S7中，分別輸出1/16去馬賽克圖像的第一行的像素行L(1/16)l的四分之一。當(dāng)水平方向RAM圖像的像素的數(shù)目為W時(shí)，1/4去馬賽克圖像的單一水平像素行的數(shù)目和1/16去馬賽克圖像的單一水平像素行的數(shù)目分別為W/2和W/4。于是，如該圖中所示，每時(shí)間步長(zhǎng)均分別輸出針對(duì)(W/2)/2個(gè)像素的數(shù)據(jù)和針對(duì)(W/4)/4個(gè)像素的數(shù)據(jù)。
[0097]重復(fù)上述輸出過(guò)程，直至各像素的相應(yīng)的底行。在這一情況下，在輸出針對(duì)1/1去馬賽克圖像的底像素行的數(shù)據(jù)時(shí)，尚未輸出針對(duì)1/4去馬賽克圖像的底像素行的后一半的數(shù)據(jù)和針對(duì)1/16去馬賽克圖像的底行像素的其余四分之三的數(shù)據(jù)。于是，在緊接著的時(shí)間步長(zhǎng)S(H+1)中，圖像合成單元30輸出針對(duì)1/4去馬賽克圖像的底像素行的后一半的數(shù)據(jù)和針對(duì)1/16去馬賽克圖像的已經(jīng)被劃分為4份的底像素行的第二份的數(shù)據(jù)。
[0098]此時(shí)，圖像合成單元30首先輸出無(wú)效數(shù)據(jù)，即，作為針對(duì)至此已經(jīng)針對(duì)其輸出了1/1去馬賽克圖像的數(shù)據(jù)的W個(gè)像素的數(shù)據(jù)，然后輸出1/4去馬賽克圖像的數(shù)據(jù)和1/16去馬賽克圖像的數(shù)據(jù)。在接下來(lái)的2個(gè)時(shí)間步長(zhǎng)S(H+2)和S(H+3)中，圖像合成單元30首先輸出無(wú)效數(shù)據(jù)，即，作為針對(duì)至此已經(jīng)針對(duì)其輸出了 1/4去馬賽克圖像的數(shù)據(jù)的W+(W/2)/2個(gè)像素的數(shù)據(jù)，然后輸出1/16去馬賽克圖像的已經(jīng)被劃分為4份的底像素行的第三和第四份的相應(yīng)數(shù)據(jù)段。
[0099]如圖所示，如上所述，當(dāng)執(zhí)行輸出時(shí)，在除前3個(gè)時(shí)間步長(zhǎng)和后3個(gè)時(shí)間步長(zhǎng)之外的所有的時(shí)間步長(zhǎng)輸出用于[W+(W/2)/2+(W/4)/4=21W/16]個(gè)像素的數(shù)據(jù)。為了輸出針對(duì)單行的像素值，需要I個(gè)針對(duì)1/1去馬賽克圖像的時(shí)間步長(zhǎng)、2個(gè)針對(duì)1/4去馬賽克圖像的時(shí)間步長(zhǎng)、以及4個(gè)針對(duì)1/16去馬賽克圖像的時(shí)間步長(zhǎng)。于是，輸出針對(duì)單幀的圖像數(shù)據(jù)所需時(shí)間步長(zhǎng)的數(shù)目與針對(duì)所有幀所需時(shí)間步長(zhǎng)的數(shù)目相等，即，H=(H/2)*2=(H/4)*4。因此，輸出代表單幀的3種圖像的數(shù)據(jù)所需時(shí)間步長(zhǎng)的數(shù)目為H+3。
[0100]如上所述，圖像合成單元30所輸出的數(shù)據(jù)為一行像素值。通過(guò)預(yù)先把相應(yīng)于每一時(shí)間步長(zhǎng)的像素的數(shù)目(即，21W/16)提供為單一水平像素行的數(shù)目，圖像傳輸單元32把每一個(gè)時(shí)間步長(zhǎng)中所輸出的數(shù)據(jù)作為針對(duì)單行圖像的數(shù)據(jù)加以處理，如在RAM圖像的情況下。
[0101]因此，通過(guò)沿垂直方向把每一個(gè)時(shí)間步長(zhǎng)映像于圖像的像素，輸出過(guò)程變?yōu)榈韧趫D7中一個(gè)完整矩形區(qū)域所表示的合成圖像220的生成過(guò)程。通過(guò)固定每一個(gè)時(shí)間步長(zhǎng)中所輸出的像素行中針對(duì)每一個(gè)圖像的數(shù)據(jù)所占據(jù)的范圍，如上所述，1/1去馬賽克圖像的數(shù)據(jù)、1/4去馬賽克圖像的數(shù)據(jù)、以及1/16去馬賽克圖像的數(shù)據(jù)在合成圖像220中分別形成一個(gè)矩形塊區(qū)域。因此，能夠使用局部化，容易地執(zhí)行逐圖像對(duì)數(shù)據(jù)的分段。
[0102]圖8描述了在針對(duì)有關(guān)從第一照相機(jī)22a以及第二照相機(jī)22b輸出的每一圖像的數(shù)據(jù)交替地重復(fù)參照?qǐng)D7時(shí)所解釋的過(guò)程時(shí)所生成的一個(gè)合成圖像。合成圖像222包含第一照相機(jī)22a的1/1去馬賽克圖像224、第二照相機(jī)22b的1/1去馬賽克圖像226、第一照相機(jī)22a的1/4去馬賽克圖像228、第二照相機(jī)22b的1/4去馬賽克圖像230、第一照相機(jī)22a的1/16去馬賽克圖像232、第二照相機(jī)22b的1/16去馬賽克圖像234、第一照相機(jī)22a的1/64去馬賽克圖像236、以及第二照相機(jī)22b的1/64去馬賽克圖像238。
[0103]分別在該圖中的1/1去馬賽克圖像224和226中表示從右和從左所捕獲的用戶I的面部。其它去馬賽克圖像(即，1/4去馬賽克圖像228和230、1/16去馬賽克圖像232和234、以及1/64去馬賽克圖像236和238)為通過(guò)以下操作所生成的圖像:將它們的1/1去馬賽克圖像分別縮小至1/4、1/16、以及1/64 ;把單一水平行中的像素行分別劃分為2、4、以及8段；并且沿垂直方向排列所劃分的像素行。
[0104]因此，針對(duì)1/1去馬賽克圖像224和226的單一水平像素行的區(qū)域相應(yīng)于合成圖像222中針對(duì)1/4去馬賽克圖像228和230中的2個(gè)水平行的像素的區(qū)域、針對(duì)1/16去馬賽克圖像232和230中的4個(gè)水平行的像素的區(qū)域、針對(duì)1/64去馬賽克圖像236和238中的8個(gè)水平行的像素的區(qū)域，如各圖像頂部的加陰影的區(qū)域所示。在該圖中，為了有助于解釋，說(shuō)明了寬于實(shí)際圖像的單像素行寬度的單像素行的寬度。因此，能夠通過(guò)一個(gè)寬區(qū)域說(shuō)明針對(duì)無(wú)效數(shù)據(jù)的區(qū)域。然而，根據(jù)使用圖7所解釋的原理，實(shí)際上，就其最大值而言，針對(duì)無(wú)效數(shù)據(jù)的區(qū)域相應(yīng)于7行像素，并且相應(yīng)于合成圖像222的整個(gè)區(qū)域的1%或者不足1%。
[0105]圖像傳輸單元32的顯露單元150從合成圖像222中僅顯露主機(jī)終端20所請(qǐng)求的圖像數(shù)據(jù)。顯露單元150所執(zhí)行的過(guò)程類似于剪輯圖像中所指定的一個(gè)矩形區(qū)域，并且消除不需要的區(qū)域的通常所使用的顯露處理。根據(jù)本實(shí)施例，不針對(duì)每一個(gè)圖像平面，而針對(duì)像素的每一水平行執(zhí)行顯露處理。然而，如果預(yù)先給定針對(duì)合成圖像的單一水平像素行的數(shù)目的信息，則很容易把圖像平面的二維坐標(biāo)映像于流的一維坐標(biāo)。因此，能夠按類似的方式標(biāo)識(shí)加以剪輯的像素。
[0106]在本實(shí)施例中，把有關(guān)1/1去馬賽克圖像、I/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像的右與左圖像數(shù)據(jù)收集于諸如圖8中所示合成圖像的合成圖像上的矩形區(qū)域中。于是，所述顯露處理能夠容易地對(duì)圖像進(jìn)行分段。
[0107]圖9示意性地描述了響應(yīng)來(lái)自主機(jī)終端20的一個(gè)請(qǐng)求的過(guò)程中圖像數(shù)據(jù)的流程。首先，主機(jī)終端20向成像設(shè)備12傳輸一個(gè)指出合成圖像中的一個(gè)區(qū)域的請(qǐng)求數(shù)據(jù)的信號(hào)。例如，在這一情況下，指出合成圖像222中垂直方向的像素范圍和水平方向的像素范圍。
[0108]在圖9中所示的實(shí)例中，指出了 4個(gè)區(qū)域。由(最小值,最大值)=(Ys，Ye)表示4個(gè)區(qū)域的垂直(y-軸)范圍，由(最小值，最大值)=(Xsl, Xel)、(Xs2，Xe2)、(Xs3，Xe3)、以及(Xs4，Xe4)分別表示4個(gè)區(qū)域的水平(x-軸)范圍。范圍(Xsl，Xel)和(Xs2，Xe2)中的圖像為包括右與左照相機(jī)的1/1去馬賽克圖像的面部和周邊的區(qū)域。(Xs3，Xe3)中的圖像為照相機(jī)之一的整個(gè)1/4去馬賽克圖像。(Xs4，Xe4)中的圖像為照相機(jī)之一的整個(gè)1/16去馬賽克圖像。[0109]顯露單元150把圖像合成單元30已經(jīng)針對(duì)單一水平行中的每一個(gè)像素行輸入的合成圖像顯露于所指定的區(qū)域中。更具體地講，顯露單元150從位于位置Ys的像素行挖掉范圍(Xsl，Xel)、(Xs2，Xe2)、(Xs3，Xe3)、以及(Xs4，Xe4)中的像素行，并且將所挖的像素串行地傳輸于打包單元146。接下來(lái)，顯露單元150按類似的方式從位于位置Ys+1的像素行、從位于位置Ys+2的像素行、…挖掉相同范圍中的像素行，并且將所挖的像素串行地傳輸于打包單元146。打包單元146連接所顯露的像素行，以形成一個(gè)流，并且順序地對(duì)所述流進(jìn)行打包。
[0110]因此，主機(jī)終端20所接收的圖像數(shù)據(jù)為僅由所顯露的區(qū)域組成的新合成圖像240的一個(gè)流。主機(jī)終端20中的信息處理單元38把所述流分割為單個(gè)的圖像，并且將圖像部署在主存42中的連續(xù)的地址上。于是，存儲(chǔ)在主存42中的是:包括在右與左1/1去馬賽克圖像中的面部的圖像242和244以及周邊、1/4去馬賽克圖像的整個(gè)圖像246、以及1/16去馬賽克圖像的整個(gè)圖像248。作為選擇，信息處理單元38也可以直接把合成圖像240部署在主存42中，而且當(dāng)使用用于圖像處理等的圖像時(shí)，能夠區(qū)分圖像。
[0111]在這一方式下，主機(jī)終端20可以通過(guò)指出合成圖像中的區(qū)域并行地請(qǐng)求多種類型的圖像和圖像中的一個(gè)具體的區(qū)域。然后，顯露單元150并行地顯露多個(gè)圖像數(shù)據(jù)段，并且通過(guò)在針對(duì)每一個(gè)像素行所指定的范圍內(nèi)抽取像素值，生成一個(gè)僅由所請(qǐng)求的圖像數(shù)據(jù)組成的新的流。
[0112]在這一模式下，主機(jī)終端20為并行指出的多個(gè)區(qū)域設(shè)置一個(gè)公共垂直范圍。在圖9中所示的實(shí)例中，把針對(duì)所有所指定的4個(gè)區(qū)域的垂直范圍設(shè)置為(Ys，Ye)。通過(guò)按這一方式設(shè)置范圍，為所有像素行設(shè)置了一個(gè)將加以抽取的相同的范圍，甚至是在顯露單元150單個(gè)抽取合成圖像中針對(duì)每一水平像素行的像素值的情況下。
[0113]因此，即使為形成流連接所抽取的像素，所抽取的像素也不隨像素行而變化。于是，在新新合成圖像240中·完整地保留了一個(gè)顯露的矩形的圖像平面。于是，能夠根據(jù)主機(jī)終端20中每一個(gè)所請(qǐng)求的區(qū)域的水平方向的像素?cái)?shù)目很容易把所獲取的流部署為單個(gè)圖像。
[0114]以下，將給出按不同方式改變成像設(shè)備12中的成像捕獲條件時(shí)將本實(shí)施例施用于其的實(shí)例。圖10描述了在均配有滾動(dòng)快門的第一照相機(jī)22a和第二照相機(jī)22b分別按60fps和15fps幀率捕獲圖像的情況下圖像合成單元30所生成的一個(gè)合成圖像的轉(zhuǎn)換。圖10上方的粗線描述了針對(duì)各個(gè)具有時(shí)間消逝的照相機(jī)的掃描線的位置。每次第一照相機(jī)22a捕獲圖像的4個(gè)幀時(shí)，第二照相機(jī)22b捕獲圖像的I個(gè)幀。作為實(shí)例，僅描述了這些幀率，以及任何滿足每次第一照相機(jī)22a捕獲預(yù)定數(shù)目的I個(gè)以上的幀時(shí)，第二照相機(jī)22b捕獲圖像的I個(gè)幀的條件的幀率。
[0115]在這一情況下，在其中僅第一照相機(jī)22a捕獲一個(gè)圖像的第一拍攝周期(從時(shí)間t0至tl)、第二拍攝周期(從時(shí)間tl至t2)、以及第三拍攝周期(從時(shí)間t2至t3)中，僅把第一照相機(jī)22a所捕獲的圖像的1/1去馬賽克圖像250、1/4去馬賽克圖像252、1/16去馬賽克圖像254、以及1/64去馬賽克圖像256從圖像合成單元30串行地輸出，如該圖中所描述的。然后，在其中第二照相機(jī)22b也捕獲一個(gè)圖像的第四拍攝周期(從時(shí)間t3至t4)，輸出兩個(gè)照相機(jī)所捕獲的圖像的1/1去馬賽克圖像258和260、1/4去馬賽克圖像262和264、1/16去馬賽克圖像266和268、以及1/64去馬賽克圖像270和272。[0116]即使在其間不從第二照相機(jī)22b的每一個(gè)過(guò)濾器輸入圖像數(shù)據(jù)的周期中，當(dāng)從第二照相機(jī)22b輸出數(shù)據(jù)時(shí)，圖像合成單元30也按每一去馬賽克圖像的量把無(wú)效數(shù)據(jù)添加于所述流。接下來(lái)，如該圖中所示，不針對(duì)任何周期改變針對(duì)合成圖像的單一水平像素行的數(shù)目，并且在同一位置排列相同類型的圖像。因此，合成圖像的圖像數(shù)據(jù)的類型和區(qū)域一一對(duì)應(yīng)。于是，可以簡(jiǎn)化主機(jī)終端20對(duì)區(qū)域的指出。在相繼周期中，也重復(fù)圖像數(shù)據(jù)的這樣的傳輸。
[0117]圖11描述了在圖10中所說(shuō)明的圖像捕獲條件下顯露單元150通過(guò)顯露出圖像所生成的新合成的圖像以及存儲(chǔ)在主機(jī)終端20的主存42中的圖像。假設(shè)，在這一情況下，主機(jī)終端20指出圖9中所示的區(qū)域，并且請(qǐng)求圖像數(shù)據(jù)。垂直軸上所表示的各時(shí)刻描述了捕獲各原始幀時(shí)的時(shí)刻，同時(shí)把這些時(shí)刻與圖10中的時(shí)刻相關(guān)聯(lián)。省略了顯露處理的時(shí)間或者把數(shù)據(jù)存儲(chǔ)在主存42中的存儲(chǔ)過(guò)程以及存儲(chǔ)過(guò)程之前的過(guò)程所需的時(shí)間。
[0118]從時(shí)間t0至tl (即，第一拍攝周期)，由于僅把第一照相機(jī)22a所捕獲的幀圖像輸入于顯露單元150，所以針對(duì)每一行抽取包括在所述幀的1/1去馬賽克圖像中的面部及其周邊的一個(gè)區(qū)域、所述幀的1/4去馬賽克圖像的整個(gè)圖像284、以及所述幀的1/16去馬賽克圖像的整個(gè)圖像286。在這一過(guò)程中，其中將把第二照相機(jī)22b所捕獲的幀的1/1去馬賽克圖像的面部以及周邊的圖像插入在合成圖像上的區(qū)域，也由主機(jī)終端20加以指出，而不管圖像數(shù)據(jù)是否存在。因此，顯露單元150抽取一個(gè)為原始合成圖像中無(wú)效數(shù)據(jù)的部分282。
[0119]當(dāng)以流格式接收這樣的圖像數(shù)據(jù)時(shí)，主機(jī)終端20把圖像數(shù)據(jù)部署在主存42中。在這一過(guò)程中，如果遺棄為無(wú)效數(shù)據(jù)的部分，則可以在時(shí)間tl完成主存42中圖像的存儲(chǔ)，其中，所存儲(chǔ)的圖像為:包括在第一照相機(jī)22a所捕獲的幀的1/1去馬賽克圖像中的面部及其周邊的一個(gè)區(qū)域288、所述幀的1/4去馬賽克圖像的整個(gè)圖像290、以及所述幀的1/16去馬賽克圖像的整個(gè)圖像292。把同樣的過(guò)程施用于第二拍攝周期(從時(shí)間tl至?xí)r間t2)以及第三拍攝周期(從時(shí)間t2至?xí)r間t3)。
[0120]從時(shí)間t3至t4 (即，在第四拍攝周期中)順序地抽取如下數(shù)據(jù):包括兩個(gè)照相機(jī)所捕獲的幀的1/1去馬賽克圖像中的面部及其周邊的一個(gè)區(qū)域的圖像294和296、第一照相機(jī)22a所捕獲的一個(gè)幀的1/4去馬賽克圖像的整個(gè)圖像298、以及第一照相機(jī)22a所捕獲的所述幀的1/16去馬賽克圖像的整個(gè)圖像300，并且在時(shí)間t4完成主存42中圖像的部署。
[0121]例如，可以把本發(fā)明的這一方面用于這樣的情況:在顯示設(shè)備16上顯示其中通過(guò)使用1/1去馬賽克圖像，同時(shí)通過(guò)在主機(jī)終端20中每4個(gè)幀執(zhí)行一次立體匹配檢查目標(biāo)對(duì)象(即，用戶等)的位置增加包括面部的區(qū)域的分辨率的1/4去馬賽克圖像或者1/16去馬賽克圖像的整個(gè)圖像。把立體匹配的結(jié)果反饋至:從成像設(shè)備12請(qǐng)求圖像數(shù)據(jù)時(shí)指出一個(gè)區(qū)域的過(guò)程、成像設(shè)備12的變焦機(jī)制或者搖攝/俯仰控制機(jī)制等。于是，可以通過(guò)最小圖像數(shù)據(jù)傳輸，穩(wěn)定地顯示一個(gè)其中僅詳細(xì)顯示目標(biāo)對(duì)象及其周邊的整個(gè)圖像，甚至是當(dāng)目標(biāo)對(duì)象移動(dòng)時(shí)。
[0122]作為選擇，也可以為兩個(gè)照相機(jī)設(shè)置不同的曝光時(shí)間，兩個(gè)照相機(jī)可用于不同的目的，從而能夠把具有長(zhǎng)曝光時(shí)間和足夠亮度的圖像用于顯示，并且把具有低亮度和高幀率的圖像用于圖像分析。
[0123]圖12描述了取代圖10中所示圖像捕獲條件，在把第二照相機(jī)22b的快門速度減小至1/4以致第二照相機(jī)22b能夠捕獲一個(gè)幀，而第一照相機(jī)22a能夠捕獲4個(gè)幀的情況下合成圖像的轉(zhuǎn)換。在這一情況下，在從第一照相機(jī)22a輸出針對(duì)1/1去馬賽克圖像的4個(gè)水平行的數(shù)據(jù)之前，針對(duì)其從第二照相機(jī)22b輸出數(shù)據(jù)的1/1去馬賽克圖像的水平行不改變。按類似的方式，也針對(duì)其它分辨率的圖像，在一個(gè)為從第一照相機(jī)22a輸出的數(shù)據(jù)的周期的4倍的周期中從第二照相機(jī)22b輸出數(shù)據(jù)。僅作為實(shí)例描述了幀率和快門速度，事實(shí)上可以采用任何幀率和快門速度，只要幀率和快門速度滿足第二照相機(jī)22b的幀率和快門速度為第一照相機(jī)22a的幀率和快門速度的1/N (N為大于I的正整數(shù))即可。
[0124]因此，如該圖中所示，第二照相機(jī)22b所捕獲的一個(gè)幀的1/1去馬賽克圖像302處于被延伸至其中時(shí)間的逝去相應(yīng)于垂直方向中的像素的合成圖像中的4倍垂直長(zhǎng)度的狀態(tài)(更具體地講，為一個(gè)具有針對(duì)每4個(gè)像素行的一個(gè)相同像素值的圖像)。在該圖中，在第一拍攝周期(從時(shí)間to至tl)中，輸出包括用戶I的頭的一個(gè)部分，在第二拍攝周期(從時(shí)間tl至t2)輸出包括眼睛的一個(gè)部分，在第三拍攝周期(從時(shí)間t2至t3)輸出包括嘴的一個(gè)部分，在第四拍攝周期(從時(shí)間t3至t4)輸出包括肩的一個(gè)部分，另外，對(duì)于每一個(gè)拍攝周期，1/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像變?yōu)槠淇s小的圖像。
[0125]圖13描述了在圖12中所說(shuō)明的圖像捕獲條件下顯露單元150通過(guò)顯露出圖像所生成的新合成的圖像以及存儲(chǔ)在主機(jī)終端20的主存42中的圖像。以與圖11的方式相類似的方式描述了該圖。在這一情況下，從時(shí)間to至tl (即，第一拍攝周期)，針對(duì)每一單行抽取包括在第一照相機(jī)22a所捕獲的一個(gè)幀的1/1去馬賽克圖像中的面部及其周邊的一個(gè)區(qū)域304、包括在第二照相機(jī)22b所捕獲的一個(gè)幀的1/1去馬賽克圖像中的面部及其周邊的一個(gè)區(qū)域306、第一照相機(jī)22a所捕獲的一個(gè)幀的1/4去馬賽克圖像的整個(gè)圖像308、以及所述幀的1/16去馬賽克圖像的整個(gè)圖像310。
[0126]主機(jī)終端20按與圖11中所示方式相類似的方式把圖像數(shù)據(jù)部署在主存42中。然而，主機(jī)終端20從包括在從成像設(shè)備12所傳輸?shù)牧髦械牡诙障鄼C(jī)22b所捕獲的幀的1/1去馬賽克圖像部分中具有相同像素值的4行數(shù)據(jù)中丟棄3行的量的數(shù)據(jù)。因此，在時(shí)間t4，當(dāng)?shù)谒呐臄z周期結(jié)束時(shí)，完成了包括在第二照相機(jī)22b所捕獲的一個(gè)幀的1/1去馬賽克圖像中的面部及其周邊的一個(gè)圖像312的部署。作為主存42中的圖像，圖11、13、以及15僅描述了部署完成時(shí)已經(jīng)使用其完成部署的圖像。然而，實(shí)際上，恰在t0之后開(kāi)始圖13中所示的第二照相機(jī)22b所捕獲的幀的1/1去馬賽克圖像的存儲(chǔ)過(guò)程，然后逐漸進(jìn)行。主存42中的其它圖像類似于圖11中所示的其它圖像。
[0127]圖14描述了這樣一種情況下合成圖像的轉(zhuǎn)換:把第二照相機(jī)22b的幀率設(shè)置為60fps,第一照相機(jī)22a采用高于第二照相機(jī)22b幀率的240fps幀率以比第二照相機(jī)22b的視角窄的視角捕獲圖像。在該圖中所示的實(shí)例中，第一照相機(jī)22a捕獲包括用戶I的眼睛的部分4次，而第二照相機(jī)22b捕獲一個(gè)幀。這些值僅示為實(shí)例，事實(shí)上，當(dāng)?shù)谝徽障鄼C(jī)22a的視角的垂直長(zhǎng)度為第一照相機(jī)22a的視角的垂直長(zhǎng)度的1/N時(shí)，可以通過(guò)把第一照相機(jī)22a的幀率設(shè)置為第二照相機(jī)22b的幀率的N倍(N為大于I的正整數(shù))，同步化兩個(gè)照相機(jī)，如該圖中所示。
[0128]因此，在相應(yīng)于第二照相機(jī)22b的各拍攝周期的合成圖像中，第一照相機(jī)22a的一個(gè)幀的1/1去馬賽克圖像314為一個(gè)其中沿垂直方向串行地排列一個(gè)包括用戶I的眼睛的部分的4個(gè)圖像的圖像，如該圖中所示。第一照相機(jī)22a的1/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像也變?yōu)槠溽槍?duì)每一拍攝周期縮小了的圖像。[0129]圖15描述了在圖14中所說(shuō)明的圖像捕獲條件下顯露單元150通過(guò)顯露出圖像所生成的新合成的圖像以及存儲(chǔ)在主機(jī)終端20的主存42中的圖像。以與圖11方式相類似的方式描述了該圖。然而，在該圖的情況下，顯露出了一個(gè)包括第一照相機(jī)22a以高幀率所捕獲的眼睛的部分的1/1去馬賽克圖像316、以及第二照相機(jī)所捕獲的1/1去馬賽克圖像318和1/4去馬賽克圖像320。
[0130]因此，在相應(yīng)于各拍攝周期的結(jié)束時(shí)刻完成了王機(jī)終端20的王存42中圖像的部署。例如，可以把本發(fā)明的這一方面用于在顯示設(shè)備16上顯示其中通過(guò)使用1/1去馬賽克圖像增加包括面部的區(qū)域的分辨率的1/4去馬賽克圖像的整個(gè)圖像，而通過(guò)使用包括眼睛的部分1/1去馬賽克圖像、通過(guò)跟蹤具有高分辨率的眼睛或者眼瞼的移動(dòng)檢測(cè)面部表情或者姿態(tài)的情況。
[0131]在這一過(guò)程中，可以根據(jù)所檢測(cè)的面部表情或者姿態(tài)處理將加以顯示的圖像。經(jīng)由網(wǎng)絡(luò)把圖像顯示在另一個(gè)用戶的顯示設(shè)備上，能夠?qū)崿F(xiàn)其中根據(jù)面部表情把裝飾與/或動(dòng)畫添加于圖像的視頻聊天等。盡管在圖15中所示的實(shí)例中以高分辨率捕獲了一個(gè)包括眼睛的部分，然而也可以捕獲用戶的手或者用戶所持的標(biāo)記物，并且可以將其設(shè)置為跟蹤目標(biāo)。在這一情況下，可以把手或者標(biāo)記物用作信息處理的操作輸入機(jī)制。
[0132]圖16為描述了說(shuō)明其中主機(jī)終端20和成像設(shè)備12互相協(xié)作顯示圖像的處理規(guī)程的一個(gè)實(shí)例的流程圖。用戶通過(guò)主機(jī)終端20輸入的激活應(yīng)用的指令啟動(dòng)圖16的流程圖。盡管為了有助于理解，在其中捕獲移動(dòng)圖像的周期，由串行連接的矩形表示各步驟，然而也可以假設(shè)針對(duì)每個(gè)像素行和針對(duì)每一個(gè)幀并行地執(zhí)行這些步驟。
[0133]首先，主機(jī)終端20指示成像設(shè)備12開(kāi)始拍攝，并且通過(guò)指出針對(duì)應(yīng)用程序等所設(shè)置的初始條件和所需的圖像數(shù)據(jù)，請(qǐng)求從成像設(shè)備12的數(shù)據(jù)的傳輸(S10)。初始條件指的是成像設(shè)備12的兩個(gè)照相機(jī)所捕獲的移動(dòng)圖像的分辨率、幀率、快門速度、視角等。在相繼的過(guò)程，可以通過(guò)成像部件改變其自身曝光的條件設(shè)置，也可以通過(guò)調(diào)整(例如，從成像部件所發(fā)送的數(shù)據(jù)的稀釋)，改變照相機(jī)所捕獲的移動(dòng)圖像的分辨率與/或幀率。
[0134]如上所述，由合成圖像中的一個(gè)區(qū)域指出所需的圖像數(shù)據(jù)。然而，作為初始值，指出被視為包括用戶圖像的一個(gè)區(qū)域的1/1去馬賽克圖像，或者具有任何一個(gè)分辨率的整個(gè)圖像。接收對(duì)初始條件的指出和對(duì)圖像數(shù)據(jù)的請(qǐng)求的成像設(shè)備12的第一照相機(jī)22a和第二照相機(jī)22b，在初始條件下開(kāi)始移動(dòng)圖像的捕獲(S12)。
[0135]去馬賽克單元104a和104b以及棱錐過(guò)濾單元135a和135b針對(duì)每一個(gè)像素行處理每一個(gè)照相機(jī)所捕獲的RAM圖像。圖像合成單元30對(duì)針對(duì)各時(shí)間步長(zhǎng)中所輸出的相應(yīng)電平的去馬賽克圖像進(jìn)行合成(S14)。接下來(lái)，圖像傳輸單元32從合成圖像中僅顯露出在步驟SlO指出的圖像數(shù)據(jù)，以形成一個(gè)流、對(duì)所述流打包、并且把數(shù)據(jù)包傳輸于主機(jī)終端20(S16和S18)。在請(qǐng)求了 RAM圖像的數(shù)據(jù)的情況下，可以跳過(guò)步驟S16的過(guò)程。
[0136]已經(jīng)接收到數(shù)據(jù)的主機(jī)終端20的信息處理單元38把所傳輸?shù)牧髯鳛閳D像部署在主存42中(S20)。信息處理單元38使用所部署的圖像、根據(jù)正在執(zhí)行的應(yīng)用，執(zhí)行一個(gè)過(guò)程(S22)。此時(shí)，當(dāng)需要時(shí)，信息處理單元38從圖像處理單元40請(qǐng)求圖像處理，圖像處理單元40從主存42讀出圖像，并且處理或者合成圖像。部署在主存42中的圖像數(shù)據(jù)類似于通常所使用的圖像數(shù)據(jù)。因此，也可以把所部署的圖像數(shù)據(jù)作紋理(texture)讀出。
[0137]在步驟S22中，信息處理單元38可以執(zhí)行圖像分析處理，例如，立體匹配、跟蹤、面部檢測(cè)、姿態(tài)檢測(cè)等，并且可以把其結(jié)果反映于將加以顯示的圖像。在這一方式下，生成將加以顯示的圖像，然后將其顯示在顯示設(shè)備16上(S24和S26)。另外，在步驟S22中，信息處理單元38還可以通過(guò)以上所描述的圖像分析標(biāo)識(shí)一個(gè)包括目標(biāo)對(duì)象的區(qū)域，并且能夠改變所請(qǐng)求的圖像數(shù)據(jù)。在這一情況下，當(dāng)處理一個(gè)新圖像幀時(shí)，成像設(shè)備12中的顯露單元150根據(jù)說(shuō)明改變將加以顯露出的區(qū)域。通過(guò)重復(fù)步驟S14?步驟S26的過(guò)程，可以把使用成像設(shè)備12所捕獲的圖像的移動(dòng)圖像顯示在顯示設(shè)備16上。
[0138]根據(jù)以上所描述的本實(shí)施例，在包括用于捕獲用戶等的移動(dòng)的照相機(jī)以及用于顯示使用照相機(jī)的圖像的主機(jī)終端的系統(tǒng)中，把已經(jīng)捕獲的移動(dòng)圖像改變?yōu)檎障鄼C(jī)內(nèi)具有多個(gè)分辨率的數(shù)據(jù)。然后，把所述數(shù)據(jù)改變?yōu)橐粋€(gè)流，其中，針對(duì)圖像的每一類型和分辨率按像素的屏面次序連接像素值。接下來(lái)，根據(jù)來(lái)自主機(jī)終端的請(qǐng)求，傳輸其一部分，以在主機(jī)終端的存儲(chǔ)器中構(gòu)造一個(gè)圖像。如所描述的，通過(guò)在未在照相機(jī)內(nèi)部署作為幀圖像的數(shù)據(jù)的像素行的狀態(tài)下順序地執(zhí)行各過(guò)程，能夠把提供在照相機(jī)中的存儲(chǔ)器的大小保持為最小。另外，由于為引發(fā)了這樣的問(wèn)題:在圖像捕獲之后，在向主機(jī)終端傳輸之前，需要等待針對(duì)單幀的所有數(shù)據(jù)準(zhǔn)備好，所以作為一個(gè)整體的所述系統(tǒng)能夠在低等待時(shí)間的情況下進(jìn)行相應(yīng)于移動(dòng)的圖像顯示。
[0139]另外，針對(duì)單行的每一個(gè)像素值，通過(guò)連接各段數(shù)據(jù)，把多個(gè)分辨率的圖像數(shù)據(jù)包括在一個(gè)單流中。按其生成“針對(duì)單行的像素值”的速率隨分辨率的變化而變化。因此，在具有其中按低速率生成數(shù)據(jù)的低分辨率的圖像的情況下，進(jìn)行分配，以使數(shù)據(jù)均勻地包括在一個(gè)流中，甚至是在其中不生成數(shù)據(jù)的周期期間。于是，每單位時(shí)間將加以處理和傳輸?shù)臄?shù)據(jù)的大小變得相等。因此，對(duì)輸出之前所需的時(shí)間、將加以使用的傳輸帶寬、以及傳輸所需的時(shí)間的估計(jì)變得容易，并且降低了因數(shù)據(jù)大小不可預(yù)料的增加所導(dǎo)致的傳輸帶寬損耗的可能性。
[0140]在相繼的過(guò)程中，可以按與僅由單分辨率的圖像數(shù)據(jù)構(gòu)成的流相同的方式對(duì)待所描述的所生成的流。于是，實(shí)質(zhì)上，生成了一個(gè)由具有多個(gè)分辨率的圖像構(gòu)成的合成圖像。通過(guò)連接以上所描述的各數(shù)據(jù)段，將被組合的每一個(gè)圖像在合成圖像中形成一個(gè)矩形區(qū)域。于是，通過(guò)指出合成圖像中的一個(gè)區(qū)域，能夠通過(guò)稱為顯露的通常所使用的圖像過(guò)程容易地分隔共存于單流中的多個(gè)圖像的相應(yīng)數(shù)據(jù)段。
[0141]通過(guò)顯露處理并行地(concurrently)對(duì)包括在合成圖像中的多個(gè)區(qū)域進(jìn)行分段與剪輯，并且在其中共存多個(gè)圖像數(shù)據(jù)類型的狀態(tài)下將它們作為一個(gè)流加以傳輸。在這一過(guò)程中，通過(guò)設(shè)置與多個(gè)區(qū)域的垂直范圍相同的范圍，可以執(zhí)行顯露處理，同時(shí)維持合成圖像中的矩形區(qū)域，甚至是在針對(duì)每一個(gè)像素行執(zhí)行實(shí)際處理的情況下。因此，能夠在主機(jī)終端容易地區(qū)分圖像。
[0142]由于能夠混合以及并行地發(fā)送多個(gè)圖像數(shù)據(jù)段，所以能夠以低等待時(shí)間傳輸各種類型的圖像數(shù)據(jù)，并且能夠在無(wú)需提供可以并行傳輸數(shù)據(jù)段的多通道傳輸機(jī)制的情況下將圖像數(shù)據(jù)用于圖像處理。根據(jù)與合成圖像的原理相類似的原理，根據(jù)相應(yīng)大小的圖像數(shù)據(jù)的圖像生成率，也在將加以傳輸?shù)臄?shù)據(jù)的流中均化包括在流中的各數(shù)據(jù)段的大小。因此，抑制了因增加比特率所導(dǎo)致的傳輸延遲。
[0143]以上給出的是一個(gè)基于實(shí)施例的解釋。所述實(shí)施例僅為說(shuō)明性的，本領(lǐng)域技術(shù)人員將會(huì)明顯意識(shí)到，可以對(duì)構(gòu)成部件和過(guò)程的進(jìn)行多方面的修改，而且這樣的修改也屬于本發(fā)明的范圍。
[0144]例如，根據(jù)本實(shí)施例，可以在一個(gè)流中混合由為不同分辨率立體圖像表示的多個(gè)圖像數(shù)據(jù)段，以生成一個(gè)虛擬的合成圖像。在這一情況下，就可以通過(guò)適當(dāng)?shù)卦诤铣蓤D像中排列具有不同數(shù)據(jù)生成率的圖像均化比特率而言，本實(shí)施例特別有效。同時(shí)，包括在合成圖像中的圖像并不局限于以上所描述的圖像，而可以為任何圖像，只要所述圖像為在相應(yīng)時(shí)刻所生成的多種類型的圖像即可，并且能夠?qū)λ鼈兗右院铣?、顯露出、并且能夠按類似的方式將它們發(fā)送至主機(jī)終端。
[0145]例如，所述圖像可以僅由一個(gè)分辨率的一對(duì)兒立體圖像構(gòu)成。作為選擇，也可以在圖像中混合在圖像平面上表示深度方向目標(biāo)對(duì)象的位置的深度圖像、幀之間的差圖像等。在后面一種情況下，在成像設(shè)備中提供了用于立體匹配的機(jī)制與/或用于幀之間差別處理的機(jī)制。作為選擇，圖像也可以不為立體圖像，而為根據(jù)單幀圖像生成的多種類型的圖像。在任何情況下，在合成圖像中指出沿垂直方向具有一個(gè)公共范圍的多個(gè)區(qū)域，可以由顯露處理并行地顯露多種類型的圖像、將它們混合為一個(gè)流、并且將其發(fā)送于主機(jī)終端。因此，在主機(jī)終端中，能夠在無(wú)需提供傳輸路徑的多個(gè)通道的情況下，通過(guò)僅指出區(qū)域，以低等待時(shí)間獲取多種類型的圖像。
[0146][參照數(shù)字的描述]
[0147]10信息處理系統(tǒng)，12成像設(shè)備，16顯示設(shè)備，20主機(jī)終端，22a第一照相機(jī)，22b第二照相機(jī)，30圖像合成單元，32圖像傳輸單元，34通信單元，36指令輸入單元，38信息處理單元，40圖像處理單元，42主存，44通信單元，102a圖像獲取單元，104a去馬賽克單元，IlOa第一過(guò)濾器，120a第二過(guò)濾器，130a第三過(guò)濾器，135a棱錐過(guò)濾單元，140輸出定時(shí)調(diào)整單元，142控制單元，144數(shù)據(jù)選擇單元，146打包單元，148流選擇單元，以及150顯露單元。
[0148][產(chǎn)業(yè)上的可利用性]
[0149]如上所述，本發(fā)明適用于信息處理設(shè)備以及諸如計(jì)算機(jī)、游戲設(shè)備、照相機(jī)、圖像顯示設(shè)備等的信息處理系統(tǒng)。
【權(quán)利要求】
1.一種移動(dòng)圖像捕獲設(shè)備，包含: 圖像數(shù)據(jù)生成單元，被配置為根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且配置為針對(duì)每個(gè)單一水平像素行順序地輸出作為流的圖像數(shù)據(jù)； 圖像合成單元，被配置為針對(duì)每個(gè)單一水平像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接從圖像數(shù)據(jù)生成單元所輸出的所述多個(gè)圖像數(shù)據(jù)段，并且配置為輸出作為流的結(jié)果數(shù)據(jù)，以生成包括所述多個(gè)圖像的虛擬合成圖像，并且其中，在連接循環(huán)完成時(shí)所導(dǎo)致的像素行被定義為水平像素行；以及 圖像傳輸單元，被配置為從所連接的主機(jī)終端接收請(qǐng)求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個(gè)矩形區(qū)域的數(shù)據(jù)，配置為針對(duì)圖像合成單元所輸出的虛擬合成圖像的每一個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍，配置為連接所述范圍，以及配置為作為流傳輸?shù)街鳈C(jī)終端。
2.根據(jù)權(quán)利要求1所述的移動(dòng)圖像捕獲設(shè)備，還包含兩個(gè)照相機(jī)，配置為從排列在右與左側(cè)的其間距離已知的觀察點(diǎn)捕獲目標(biāo)對(duì)象的圖像， 其中，圖像數(shù)據(jù)生成單元通過(guò)把兩個(gè)照相機(jī)所捕獲的右與左幀圖像的大小分別縮小至多個(gè)大小,生成不同分辨率的多個(gè)圖像數(shù)據(jù)段。
3.根據(jù)權(quán)利要求2所述的移動(dòng)圖像捕獲設(shè)備， 其中，每次在第一照相機(jī)捕獲了大于I的預(yù)定數(shù)目的幀時(shí)，兩個(gè)照相機(jī)中的第二照相機(jī)以相同的快門速度捕獲一個(gè)幀， 其中，在其中僅有根據(jù)第一照相機(jī)所捕獲的幀圖像生成的圖像數(shù)據(jù)從圖像數(shù)據(jù)生成單元輸出的周期中，圖像合成單元通過(guò)連接無(wú)效數(shù)據(jù)而不是連接根據(jù)第二照相機(jī)所捕獲的幀圖像生成的圖像數(shù)據(jù)，把無(wú)效數(shù)據(jù)添加到所述流，以及 其中，圖像傳輸單元顯露出所指定的區(qū)域，而不管無(wú)效數(shù)據(jù)是否存在。
4.根據(jù)權(quán)利要求2所述的移動(dòng)圖像捕獲設(shè)備， 其中，兩個(gè)照相機(jī)中的第二照相機(jī)以第一照相機(jī)的幀率和快門速度的1/N(N為一個(gè)大于I的正整數(shù))的幀率和快門速度捕獲圖像，以及 其中，針對(duì)根據(jù)第一照相機(jī)所捕獲的幀圖像所生成的圖像數(shù)據(jù)的各個(gè)N個(gè)水平像素行，N次連接根據(jù)第二照相機(jī)所捕獲的幀圖像所生成的圖像數(shù)據(jù)的單一水平像素行。
5.根據(jù)權(quán)利要求2所述的移動(dòng)圖像捕獲設(shè)備， 其中，兩個(gè)照相機(jī)中的第一照相機(jī)以第二照相機(jī)的幀率的N倍的幀率捕獲其垂直長(zhǎng)度為第二照相機(jī)的垂直長(zhǎng)度的1/N (N為一個(gè)大于I的正整數(shù))的視野的圖像，以及 其中，圖像合成單元分別把用于第一照相機(jī)所捕獲的N個(gè)幀的圖像數(shù)據(jù)的像素行與第二照相機(jī)所捕獲的I個(gè)幀的圖像數(shù)據(jù)的像素行相連接。
6.根據(jù)權(quán)利要求1~5任何之一所述的移動(dòng)圖像捕獲設(shè)備， 其中，圖像數(shù)據(jù)生成單元通過(guò)把每幀圖像的垂直大小和水平大小均縮小至1/2來(lái)生成不同分辨率的多個(gè)圖像數(shù)據(jù)段，以及 其中，圖像合成單元通過(guò)循環(huán)連接通過(guò)把其縮小率為1/2η (η為整數(shù))的圖像的單一水平行除以2η所生成的各個(gè)像素行，連接其縮小率為1/2η的圖像的單一水平像素行。
7.根據(jù)權(quán)利要求1~5任何之一所述的移動(dòng)圖像捕獲設(shè)備，其中，圖像數(shù)據(jù)生成單元通過(guò)把單一水平行像素設(shè)置為處理單位并行地生成多個(gè)圖像數(shù)據(jù)段，并且把圖像數(shù)據(jù)順序地輸出到圖像合成單元，以及 圖像合成單元順序地連接從圖像數(shù)據(jù)生成單元輸出的圖像數(shù)據(jù)，并且作為流流輸出圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的移動(dòng)圖像捕獲設(shè)備，其中，圖像合成單元連接圖像數(shù)據(jù)，使得所述多個(gè)圖像分別被配置為合成圖像中的矩形區(qū)域。
9.一種信息處理系統(tǒng)，包含:移動(dòng)圖像捕獲設(shè)備，被配置為捕獲目標(biāo)對(duì)象的圖像，并且生成移動(dòng)圖像數(shù)據(jù)；以及主機(jī)終端，被配置為從移動(dòng)圖像捕獲設(shè)備獲取一部分移動(dòng)圖像數(shù)據(jù)、配置為通過(guò)使用所述一部分移動(dòng)數(shù)據(jù)執(zhí)行預(yù)定的圖像處理、并且配置為顯示圖像， 其中，所述移動(dòng)圖像捕獲設(shè)備包含: 圖像數(shù)據(jù)生成單元，被配置為根據(jù)移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且配置為針對(duì)每個(gè)單一水平像素行順序地輸出作為流的圖像數(shù)據(jù)； 圖像合成單元，被配置為針對(duì)每個(gè)單一水平像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接從圖像數(shù)據(jù)生成單元輸出的所述多個(gè)圖像數(shù)據(jù)段，并且配置為輸出作為流的結(jié)果數(shù)據(jù)，以生成包括所述多個(gè)圖像的虛擬合成圖像，并且其中，在連接循環(huán)完成時(shí)所導(dǎo)致的像素行被定義為水平像素行；以及 圖像傳輸單元，被配置為從所連接的主機(jī)終端接收請(qǐng)求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個(gè)矩形區(qū)域的數(shù)據(jù)，配置為針對(duì)圖像合成單元所輸出的虛擬合成圖像的每一個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍，配置為連接所述范圍，以及配置為作為流傳輸?shù)街鳈C(jī)終端，以及其中，主機(jī)終端,包含: 數(shù)據(jù)請(qǐng)求單元，被配置為通過(guò)設(shè)置用于所述矩形區(qū)域的公共垂直范圍來(lái)指定虛擬合成圖像中的多個(gè)矩形區(qū)域以請(qǐng)求數(shù)據(jù)的傳輸，所述矩形區(qū)域?qū)?yīng)于包括在移動(dòng)圖像捕獲設(shè)備中所生成的多個(gè)圖像數(shù)據(jù)段中的至少兩段圖像數(shù)據(jù)；以及 數(shù)據(jù)部署單元，被配置為基于每一個(gè)所指定的矩形區(qū)域的水平長(zhǎng)度把從移動(dòng)圖像捕獲設(shè)備所傳輸?shù)牧鞣指顬閱蝹€(gè)圖像數(shù)據(jù)段，并且配置為把數(shù)據(jù)作為二維圖像部署在存儲(chǔ)器中。
10.一種信息處理設(shè)備，包含: 數(shù)據(jù)請(qǐng)求單元，被配置為通過(guò)指定合成圖像中的多個(gè)矩形區(qū)域同時(shí)設(shè)置用于所述矩形區(qū)域的公共垂直范圍來(lái)請(qǐng)求從移動(dòng)圖像捕獲設(shè)備傳輸數(shù)據(jù)，所述移動(dòng)圖像捕獲設(shè)備生成其中在預(yù)定舉行區(qū)域布置有根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像所生成的多個(gè)圖像的合成圖像，所述矩形區(qū)域?qū)?yīng)于至少兩段圖像數(shù)據(jù)；以及 數(shù)據(jù)部署單元，被配置為響應(yīng)所述請(qǐng)求，基于每一個(gè)所指定的矩形區(qū)域的水平長(zhǎng)度，把按流格式從移動(dòng)圖像捕獲設(shè)備傳輸來(lái)的圖像數(shù)據(jù)分離成一段或多段單個(gè)圖像數(shù)據(jù)，并且配置為把數(shù)據(jù)作為二維圖像部署在存儲(chǔ)器中，其中，針對(duì)每一個(gè)像素行循環(huán)地連接所指定的多個(gè)矩形區(qū)域的像素值；以及， 數(shù)據(jù)處理單元，被 配置為使用二維圖像執(zhí)行預(yù)定的圖像處理，并且配置為顯示圖像。
11.一種由移動(dòng)圖像捕獲設(shè)備所執(zhí)行的圖像數(shù)據(jù)處理方法，包含: 根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且針對(duì)每個(gè)單一水平像素行，順序地輸出作為流的圖像數(shù)據(jù)； 針對(duì)每個(gè)單一水平像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接所輸出的所述多個(gè)圖像數(shù)據(jù)段，并且輸出作為流的結(jié)果數(shù)據(jù)，以生成包括所述多個(gè)圖像并且其中在連接循環(huán)完成時(shí)導(dǎo)致的像素行被定義為水平像素行的虛擬合成圖像；以及 從所連接的主機(jī)終端接收傳輸指定虛擬合成圖像中多個(gè)具有公共垂直范圍的矩形區(qū)域的數(shù)據(jù)的請(qǐng)求，針對(duì)虛擬合成圖像的每個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍，連接所述范圍，以及作為新的流傳輸?shù)街鳈C(jī)終端。
12.一種用于圖像捕獲設(shè)備的計(jì)算機(jī)的程序，所述圖像捕獲設(shè)備根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且針對(duì)每個(gè)單一水平像素行順序地輸出作為流的圖像數(shù)據(jù)，所述程序嵌入在非瞬時(shí)計(jì)算機(jī)可讀記錄媒體中，所述程序包含: 被配置為針對(duì)每個(gè)單一水平像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接從圖像數(shù)據(jù)生成單元輸出的所述多個(gè)圖像數(shù)據(jù)段并且配置為輸出作為流的結(jié)果數(shù)據(jù)以生成包括所述多個(gè)圖像以及其中在連接循環(huán)完成時(shí)所導(dǎo)致的像素行被定義為水平像素行的虛擬合成圖像的模塊；以及 配置為從所連接的主機(jī)終端接收請(qǐng)求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個(gè)矩形區(qū)域的數(shù)據(jù)、配置為針對(duì)圖像合成單元所輸出的虛擬合成圖像的每一個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍、配置為連接所述范圍以及配置為作為流傳輸?shù)街鳈C(jī)終端的模塊。
13.一種非瞬時(shí)計(jì)算機(jī)可讀記錄媒體，具有嵌入在其上用于圖像捕獲設(shè)備的計(jì)算機(jī)的程序，所述圖像捕獲設(shè)備根據(jù)通過(guò)捕獲目標(biāo)對(duì)象的圖像所獲得的移動(dòng)圖像的每幀圖像生成多個(gè)圖像數(shù)據(jù)段，并且針對(duì)每個(gè)單一水平像素行順序地輸出作為流的圖像數(shù)據(jù)，所述程序包含: 被配置為針對(duì)每個(gè)單一水平 像素行或者針對(duì)范圍小于單一水平行的每個(gè)像素行循環(huán)地連接從圖像數(shù)據(jù)生成單元輸出的所述多個(gè)圖像數(shù)據(jù)段并且配置為輸出作為流的結(jié)果數(shù)據(jù)以生成包括所述多個(gè)圖像以及其中在連接循環(huán)完成時(shí)所導(dǎo)致的像素行被定義為水平像素行的虛擬合成圖像的模塊；以及 配置為從所連接的主機(jī)終端接收請(qǐng)求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個(gè)矩形區(qū)域的數(shù)據(jù)、配置為針對(duì)圖像合成單元所輸出的虛擬合成圖像的每一個(gè)像素行顯露出相應(yīng)于矩形區(qū)域的范圍、配置為連接所述范圍以及配置為作為流傳輸?shù)街鳈C(jī)終端的模塊。
【文檔編號(hào)】H04N13/00GK103797790SQ201280045359
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2012年5月31日 優(yōu)先權(quán)日:2011年7月25日
【發(fā)明者】大場(chǎng)章男, 勢(shì)川博之, 齋藤英幸 申請(qǐng)人:索尼電腦娛樂(lè)公司