的像素位置的值。即，掩模圖像180的各像素位置的值表示參照?qǐng)D像間的誤差的大小，其值是“0”時(shí)(誤差相對(duì)小時(shí))，選擇重建后的圖像品質(zhì)更高的余數(shù)圖像188，其值是“0”以外的值時(shí)(誤差相對(duì)大時(shí))，選擇信息量更少的殘差圖像186。這樣一來，根據(jù)掩模圖像180所含的兩個(gè)區(qū)域，選擇性地使殘差圖像186與余數(shù)圖像188結(jié)合，從而生成合成圖像190。
[0217]這樣一來，就用于表現(xiàn)含有相互類似的信息的多個(gè)圖像的合成圖像190而言，對(duì)于根據(jù)參照?qǐng)D像172及182生成的合成圖像176相對(duì)于對(duì)象圖像170的潛在誤差相對(duì)大的區(qū)域，分配與對(duì)象圖像170與合成圖像176的差對(duì)應(yīng)的殘差圖像186的對(duì)應(yīng)的區(qū)域的信息。
[0218]如上述，通過適當(dāng)組合殘差圖像186及余數(shù)圖像188來生成合成圖像190，能夠減小數(shù)據(jù)量，并且，能夠更加恰當(dāng)?shù)卮_保重建后的圖像品質(zhì)。
[0219]圖17及圖18是表示本實(shí)施方式的合成圖像的生成處理的結(jié)果的圖。如圖17所示，基于掩模圖像180，通過適當(dāng)組合殘差圖像186及余數(shù)圖像188，來生成合成圖像190。由此，如圖18所示，根據(jù)參照?qǐng)D像172及182來生成針對(duì)對(duì)象圖像170的合成圖像190。
[0220]作為本實(shí)施方式的數(shù)據(jù)量減小方法的編碼處理的最終輸出(信息)，至少保存所輸入的參照?qǐng)D像172及182、作為處理結(jié)果的合成圖像190。可選地，也可以輸出參照?qǐng)D像172的距離圖像174及參照?qǐng)D像182的距離圖像184。另外，可選地，也可以同時(shí)輸出余數(shù)圖像188和縮小圖像178。作為這些選項(xiàng)而附加的信息(圖像)，可以根據(jù)解碼處理中的處理內(nèi)容而適當(dāng)選擇。
[0221]在上述的說明中，著眼于一個(gè)對(duì)象圖像170和兩個(gè)參照?qǐng)D像172、182這樣的單元(單位)進(jìn)行了說明，但對(duì)于所輸入的多個(gè)圖像(多視點(diǎn)圖像或影像幀列)設(shè)定的全部對(duì)象圖像及分別對(duì)應(yīng)的參照?qǐng)D像，也能夠進(jìn)行同樣的處理。
[0222]《e8:處理例》
[0223]以下，示出本實(shí)施方式的數(shù)據(jù)量減小方法的解碼處理的處理例。
[0224]圖19是本實(shí)施方式的數(shù)據(jù)量減小方法的解碼處理中輸入的對(duì)象圖像170的一例。圖20是圖19所示的根據(jù)對(duì)象圖像170生成的殘差圖像186的一例。圖21是圖19所示的根據(jù)對(duì)象圖像170生成的余數(shù)圖像188的一例。圖22是圖19所示的根據(jù)對(duì)象圖像170生成的掩模圖像180的一例。圖23是圖19所示的根據(jù)對(duì)象圖像170生成的合成圖像190的一例。
[0225]就圖19所示那樣的高精細(xì)對(duì)象圖像170而言，在圖20所示的殘差圖像186中，該圖像內(nèi)的變化量沒有那么大，能夠充分降低數(shù)據(jù)量。另外，對(duì)于圖21所示的余數(shù)圖像188，多的部分是黑色，能夠降低數(shù)據(jù)量。
[0226]進(jìn)而，對(duì)于圖22所示的掩模圖像的白色部分分配殘差圖像186的成分，對(duì)于黑色部分分配余數(shù)圖像188的成分，由此，生成圖23所示那樣的合成圖像190。
[0227][F.解碼處理]
[0228]接下來，詳細(xì)說明本實(shí)施方式的數(shù)據(jù)量減小方法的解碼處理(圖6的步驟S200?S214)?；旧希蔷幋a處理的逆處理，對(duì)于同樣的處理不重復(fù)詳細(xì)說明。
[0229]《fl:功能結(jié)構(gòu)》
[0230]圖24是表示本實(shí)施方式的數(shù)據(jù)量減小方法的解碼處理的功能結(jié)構(gòu)的框圖。圖25是用于說明本實(shí)施方式的數(shù)據(jù)量減小方法的解碼處理的概要的示意圖。圖24中的標(biāo)記以圖7中的標(biāo)記為基準(zhǔn)。
[0231]參照?qǐng)D24，信息處理裝置200，作為其功能結(jié)構(gòu)而包括:輸入數(shù)據(jù)緩存器250、距離信息推斷部252、距離信息緩存器254、圖像合成部258、掩模推斷部260、殘差圖像生成部262、余數(shù)圖像生成部264、增采樣部266、區(qū)域分離部268、要素結(jié)合部274。
[0232]信息處理裝置200，利用編碼處理后的信息(參照?qǐng)D像172及182以及合成圖像190)，來重建原始的對(duì)象圖像170。例如，如圖25所示，參照?qǐng)D像172、182與合成圖像190交替配置，信息處理裝置200分別針對(duì)各合成圖像190，利用所對(duì)應(yīng)的參照?qǐng)D像172、182進(jìn)行解碼處理，從而恢復(fù)出與原始的對(duì)象圖像170對(duì)應(yīng)的重建圖像270。如圖25所示，有時(shí)一個(gè)參照?qǐng)D像關(guān)聯(lián)多個(gè)對(duì)象圖像。
[0233]《f2:輸入數(shù)據(jù)及距離圖像的取得》
[0234]圖6的步驟S200所示的編碼處理的取得處理，是由圖24的輸入數(shù)據(jù)緩存器250、距離信息推斷部252、距離信息緩存器254來實(shí)現(xiàn)的。具體而言，信息處理裝置200至少接收通過上述解碼處理生成的參照?qǐng)D像172及182以及合成圖像190。如上述，在發(fā)送分別與參照?qǐng)D像172及182對(duì)應(yīng)的距離圖像174及184的情況下，這些距離圖像也用于解碼處理。
[0235]另一方面，在沒有輸入距離圖像174及184的情況下，距離信息推斷部252生成分別與參照?qǐng)D像172及182對(duì)應(yīng)的距離圖像174及184。距離信息推斷部252中的距離圖像的推斷方法，與上述的距離信息推斷部152 (圖7)中的距離圖像的推斷方法相同，因此不重復(fù)詳細(xì)說明。由距離信息推斷部252生成的距離圖像174及184被存儲(chǔ)至距離信息緩存器254。
[0236]《f3:合成圖像的生成》
[0237]圖6的步驟S202所示的合成圖像的生成處理，是由圖24的圖像合成部258來實(shí)現(xiàn)的。更具體而言，圖像合成部258利用參照?qǐng)D像172及所對(duì)應(yīng)的距離圖像174、參照?qǐng)D像182及所對(duì)應(yīng)的距離圖像184，來生成表示對(duì)象圖像170的位置上的假想視野的合成圖像276。圖像合成部258中的合成圖像的生成方法，與上述的圖像合成部158 (圖7)中的合成圖像的生成方法相同，因此不重復(fù)詳細(xì)說明。此外，在所接收的多個(gè)圖像是影像幀列(動(dòng)圖像)的情況下，根據(jù)與兩個(gè)參照?qǐng)D像172及182對(duì)應(yīng)的幀的信息來進(jìn)行內(nèi)插處理或外插處理，從而能夠生成與對(duì)象圖像170對(duì)應(yīng)的幀的信息。
[0238]《f4:掩模圖像生成及區(qū)域分離》
[0239]圖6的步驟S204所示的掩模圖像的生成處理，是由圖24的掩模推斷部260實(shí)現(xiàn)的；步驟S206所示的殘差圖像區(qū)域與余數(shù)圖像區(qū)域的分離處理，是由圖24的區(qū)域分離部268來實(shí)現(xiàn)的。
[0240]掩模推斷部260利用參照?qǐng)D像172及所對(duì)應(yīng)的距離圖像174、參照?qǐng)D像182及所對(duì)應(yīng)的距離圖像184，生成表示參照?qǐng)D像間的誤差大小的掩模圖像280。掩模推斷部260中的掩模圖像的生成方法，與上述的掩模推斷部160 (圖7)中的掩模圖像的生成方法相同，因此不重復(fù)詳細(xì)說明。
[0241]區(qū)域分離部268，將掩模圖像280和合成圖像190分離為殘差圖像區(qū)域286和余數(shù)圖像區(qū)域288。在圖24中，將殘差圖像區(qū)域286標(biāo)記為“VT(residual part) ”，將余數(shù)圖像區(qū)域288標(biāo)記為“VT (modulo part) ”。這樣一來，圖6的步驟S204所示的掩模圖像的生成處理包括如下處理:將掩模圖像280的各像素位置的值與預(yù)定的閾值進(jìn)行比較，從而區(qū)別潛在誤差相對(duì)大的區(qū)域和潛在誤差相對(duì)小的區(qū)域。
[0242]具體而言，如果掩模圖像280的值是“0”，則區(qū)域分離部268將合成圖像190的對(duì)應(yīng)的像素位置的值作為余數(shù)圖像區(qū)域288的值輸出；如果掩模圖像280的值是“0”以外的值，則區(qū)域分離部268將合成圖像190的對(duì)應(yīng)的像素位置的值作為殘差圖像區(qū)域286的值輸出。這樣一來，基于掩模圖像280，將合成圖像190分離為兩個(gè)獨(dú)立的圖像。針對(duì)合成圖像190所含的每種彩色成分來生成余數(shù)圖像區(qū)域288及殘差圖像區(qū)域286。
[0243]《f5:殘差圖像區(qū)域的重建》
[0244]圖6的步驟S208所示的殘差圖像區(qū)域的重建處理，是由圖24的殘差圖像生成部262來實(shí)現(xiàn)的。更具體而言，殘差圖像生成部262，在合成圖像276與殘差圖像區(qū)域286之間將對(duì)應(yīng)的各像素的亮度值相加，從而生成殘差圖像區(qū)域286的重建圖像287。S卩，在圖6的步驟S208所示的殘差圖像區(qū)域的重建處理包括如下處理:基于掩模圖像280來在合成圖像190中提取潛在誤差相對(duì)大的區(qū)域的信息，并且，基于該提取的信息和合成圖像276，決定對(duì)象圖像170的對(duì)應(yīng)的像素位置的亮度值。針對(duì)重建圖像287，將其標(biāo)記為“VT (inverseresidualpart) ”，意思是恢復(fù)成殘差圖像區(qū)域286。
[0245]圖26是用于說明本實(shí)施方式的數(shù)據(jù)量減小方法中的重建圖像287的生成處理的示意圖。參照?qǐng)D26，殘差圖像生成部262在合成圖像276與殘差圖像區(qū)域286之間使亮度值相加，計(jì)算出重建圖像287的對(duì)應(yīng)的亮度值。
[0246]參照?qǐng)D11進(jìn)行說明，合成圖像190所含的殘差圖像，將用(n+1)比特表現(xiàn)(方式)變換為n比特表現(xiàn)(方式)而得的圖像，每當(dāng)重建殘差圖像區(qū)域時(shí)，需要進(jìn)行該比特變換的逆變換。殘差圖像生成部262，將用n比特(例如，8比特)表現(xiàn)的殘差圖像區(qū)域286變換為用(n+1)比特表現(xiàn)(例如，9比特表現(xiàn))的差分圖像286A。S卩，殘差圖像生成部262在合成圖像190中針對(duì)潛在誤差相對(duì)大的區(qū)域的信息進(jìn)行比特平面變換。在此基礎(chǔ)上，殘差圖像生成部262將通過該比特平面變換而比特?cái)?shù)增大了的差分圖像286A與合成圖像276相加，由此決定亮度值。即，殘差圖像生成部262在差分圖像286A與合成圖像276之間使對(duì)應(yīng)的像素位置的各值相加，來生成重建圖像287。
[0247]《f6:余數(shù)圖像區(qū)域的重建》
[0248]圖6的步驟S210所示的余數(shù)圖像區(qū)域的重建處理，是由圖24的余數(shù)圖像生成部264及增采樣部266來實(shí)現(xiàn)的。按照?qǐng)D6的步驟S2101?S2103分別所示的處理，根據(jù)邊信息及梯度圖像計(jì)算各像素位置的余數(shù)，從而生成余數(shù)圖像區(qū)域288的重建圖像289。即，圖6的步驟S210所示的余數(shù)圖像區(qū)域的重建處理包括如下處理:基于掩模圖像280，在合成圖像190中，對(duì)潛在誤差相對(duì)小的區(qū)域的信息進(jìn)行逆取模計(jì)算，從而決定對(duì)象圖像170的對(duì)應(yīng)的像素位置的亮度值。對(duì)于重建圖像289，將其標(biāo)記為表示恢復(fù)了余數(shù)圖像區(qū)域288的“VT(inverseremainder part)，，。
[0249]圖27是表示圖24所示的余數(shù)圖像生成部264的更詳細(xì)的功能結(jié)構(gòu)的框圖。參照?qǐng)D27，余數(shù)圖像生成部264包括邊信息選擇部2641、梯度圖像生成部2642、系數(shù)選擇部2643、查詢表2644、逆取模計(jì)算部2645。
[0250]《f6_l:邊信息的生成》
[0251]圖6的步驟S2101所示的邊信息的生成處理，是由圖27的邊信息選擇部2641來實(shí)現(xiàn)的。更具體而言，邊信息選擇部2641基于通過對(duì)縮小圖像178進(jìn)行增采樣而得的放大圖像272 (縮小圖像178被包含在輸入數(shù)據(jù)中的情況)、合成圖像276以及這些圖像的組合，來生成邊信息292。
[0252]如上述，在輸入數(shù)據(jù)中不含縮小圖像178的情況下，在該情況下，基于由圖像合成部258生成的合成圖像276來生成邊信息292。
[0253]另一方面，在輸入數(shù)據(jù)中含有縮小圖像178的情況下，邊信息選擇部2641可以將通過對(duì)縮小圖像178進(jìn)行增采樣而得的放大圖像272用作邊信息292，也可以將放大圖像272與合成圖像276的組合來用作邊信息。
[0254]圖24所示的增采樣部266，對(duì)包含在輸入數(shù)據(jù)中的縮小圖像178進(jìn)行增采樣來生成放大圖像272。作為對(duì)縮小圖像178進(jìn)行增采樣的方法，能夠采用公知的方法。例如，能夠采用最近旁法、內(nèi)插法、雙三次法、雙邊濾波器等的任意的過濾處理。
[0255]作為這種利用放大圖像272與合成圖像276的組合來生成邊信息的生成處理，能夠利用上述那樣的誤差分布，采用二進(jìn)制加權(quán)組合法、離散加權(quán)組合法及連續(xù)加權(quán)組合法等。這些處理如上所述，因此不重復(fù)詳細(xì)說明。
[0256]《f6_2:梯度圖像的生成》
[0257]圖6的步驟S2102所示的梯度圖像的生成處理，是由圖27的梯度圖像生成部2642來實(shí)現(xiàn)的。更具體而言，梯度圖像生成部2642根據(jù)邊信息292來生成表示圖像空間中的變化的梯度圖像296。梯度圖像生成部2642中的梯度圖像的生成方法，與上述的梯度圖像生成部1642(圖13)中的梯度圖像的生成方法相同，因此不重復(fù)詳細(xì)說明。
[0258]《f6_3:亮度值的決定》
[0259]圖6的步驟S2103所示的對(duì)象圖像的各像素位置上的亮度值的決定處理，是由圖27的系數(shù)選擇部2643、查詢表2644及逆取模計(jì)算部2645來實(shí)現(xiàn)的。對(duì)象圖像的各像素位置的亮度值，是根據(jù)從合成圖像190分離出來的余數(shù)圖像區(qū)域288的對(duì)應(yīng)的像素位置的值(余數(shù)m)、生成用于構(gòu)成合成圖像190的余數(shù)圖像188時(shí)所用的系數(shù)D，通過逆取模計(jì)算推斷出來的。
[0260]每次在進(jìn)行該逆取模計(jì)算時(shí)，基于梯度圖像296，來推斷(選擇)在編碼處理中生成合成圖像190 (余數(shù)圖像188)時(shí)所用的系數(shù)D。即，系數(shù)選擇部2643，根據(jù)梯度圖像296的各像素位置的值，來選擇系數(shù)D。作為該系數(shù)D的選擇方法，能夠采用任意的方法，但在本實(shí)施方式中，參照查詢表2644來選擇各像素位置的系數(shù)D。查詢表2644與在編碼處理中所用的查詢表1644(圖15)相同。系數(shù)選擇部2643參照查詢表2644，針對(duì)梯度圖像296的各像素位置，按照彩色成分來分別選擇系數(shù)D。
[0261]逆取模計(jì)算部2645，利用針對(duì)各像素位置選擇出的系數(shù)D及余數(shù)m、邊信息292的對(duì)應(yīng)的值SI，進(jìn)行逆取模計(jì)算。更具體而言，逆取模計(jì)算部2645，按照C(q’)= q’ XD+m(其中，q’彡0，C(q’)< 256)，來計(jì)算針對(duì)重建圖像289的亮度值的候選值C (q’ )的列表，在該計(jì)算出的候選值C(q’ )中，將與邊信息292的對(duì)應(yīng)的值SI的差(絕對(duì)值)最小的值，決定為重建圖像289的對(duì)應(yīng)的亮度值。
[0262]例如，在考慮系數(shù)D = 8、余數(shù)m = 3、邊信息292的對(duì)應(yīng)的值SI = 8的情況下，候選值C(q’ )如下所示。
[0263]候選值C (O) = O X 8+3 = 3 (與 SI 的差=5)
[0264]候選值C(I) = 1X8+3 = 11 (與 SI 的差=3)
[0265]候選值C(2) = 2X8+3 = 19 (與 SI 的差=11)
[0266]......
[0267]在這些候選值C (q’)中，與邊信息292的對(duì)應(yīng)的值SI的差最小的是候選值C(I)，因此選擇C(l)，將重建圖像289的對(duì)應(yīng)的亮度值決定為“11”。這樣一來，按照彩色成分來分別決定重建圖像289的各像素位置的亮度值。
[0268]這樣，用于重建圖6的步驟S210所示的余數(shù)圖像區(qū)域的處理包括如下處理:針對(duì)梯度圖像296的各像素位置來決定與梯度對(duì)應(yīng)的系數(shù)D，并且，將所決定系數(shù)D作為除數(shù)，在將余數(shù)圖像區(qū)域288的對(duì)應(yīng)的像素位置的值作為余數(shù)m來進(jìn)行逆取模計(jì)算而計(jì)算出的候選值C(q’)中，將與邊信息29