專利名稱：動圖像處理程序、裝置及方法、安裝有動圖像處理裝置的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將照相機上的攝像元件所生成的圖像發(fā)送給主機終端的技術(shù)。
背景技術(shù)：
以往已知有用攝像機拍攝用戶的頭部等身體的一部分，抽取出眼、口、手等預(yù)定的區(qū)域，并用其它圖像替換該區(qū)域而顯示于顯示器的游戲(例如專利文獻(xiàn)1)。此外，還已知有接收攝像機所拍攝的口或手的移動來作為應(yīng)用的操作指示的用戶接口系統(tǒng)?！苍谙燃夹g(shù)文獻(xiàn)〕〔專利文獻(xiàn)〕〔專利文獻(xiàn)1〕歐州專利申請公開第0999518號說明書

發(fā)明內(nèi)容
〔發(fā)明所要解決的課題〕在上述那樣的技術(shù)中，為抽取用戶的口或手等預(yù)定的區(qū)域，需要高分辨率的圖像。然而，越使攝像機的攝像元件高性能化，想要在攝像機側(cè)將圖像壓縮后發(fā)送給游戲機或個人計算機等主機側(cè)時，壓縮處理就越花費時間。因此，存在照相機側(cè)攝像時與主機側(cè)影像輸出時之間的延時増大的問題。此外，在將照相機作為用戶接口而使用的情況下，還存在延時的増大會顯著降低使用便利性的問題。這樣，即使攝像機的攝像元件的性能提高，系統(tǒng)整體的性能也可能較差。本發(fā)明是鑒于這樣的課題而完成的，其目的在于提供一種在使用高性能的攝像元件的情況下，能抑制從照相機側(cè)向主機側(cè)發(fā)送圖像時所發(fā)生的延時的圖像處理技術(shù)。〔用于解決課題的手段〕本發(fā)明的一實施方式是一種動圖像處理程序。該程序在動圖像處理裝置上工作，使動圖像處理裝置實現(xiàn)如下功能圖像取得功能，取得用攝像元件所拍攝的未加工圖像；插值功能，對未加工圖像進(jìn)行插值處理；濾波器功能，將未加工圖像變換成分辨率階段性地不同的多個縮小圖像；選擇功能，選擇未加工圖像中的一部分作為特定部位，并選擇多個縮小圖像的任一者作為指定縮小圖像；發(fā)送功能，使所選擇的未加工圖像的特定部位和指定縮小圖像為接受進(jìn)一步的圖像處理而發(fā)送到主機終端。根據(jù)該方案，從動圖像處理裝置發(fā)送到主機終端的僅是作為未加工圖像的一部分的特定部位和指定縮小圖像。因此，針對特定部位能夠在主機終端側(cè)自由地進(jìn)行加工，而發(fā)送給主機終端側(cè)的發(fā)送數(shù)據(jù)量與發(fā)送未加工圖像整體時相比減少了。由此，能夠既保持主機終端中的圖像處理的自由度，又抑制伴隨于圖像發(fā)送的延時。本發(fā)明的另一實施方式也是一種動圖像處理程序。該程序一種在主機終端上工作，該主機終端是對攝像裝置所拍攝的動圖像施以加工后輸出到顯示器的主機終端，本動圖像處理程序使主機終端實現(xiàn)如下功能接收從攝像元件輸出的作為未加工圖像的一部分的特定部位、和未加工圖像被施以插值處理和縮小處理后的縮小圖像的功能；對未加工圖像的特定部位進(jìn)行插值處理的功能；將縮小圖像放大到與未加工圖像相等的尺寸而變換成等倍圖像的功能；將插值處理后的特定部位與等倍圖像合成，將分辨率局部性不同的合成圖像輸出到顯示器的功能。根據(jù)該方案，針對攝像元件所拍攝的未加工圖像中的特定部位，能夠在主機終端側(cè)施以插值處理。因此，能夠活用處理能力通常比攝像裝置高的主機終端的計算資源來執(zhí)行高畫質(zhì)的插值處理。此外，針對特定部位以外的部分，是將縮小圖像放大來使用的，故能抑制從攝像裝置接收的數(shù)據(jù)量，從而能抑制伴隨于圖像通信的延時。當(dāng)然，將本發(fā)明的構(gòu)成要素及表現(xiàn)形式在方法、系統(tǒng)、計算機程序、存儲有計算機程序的記錄介質(zhì)等間相互變換后的方案，作為本發(fā)明的方案也是有效的?！舶l(fā)明效果〕通過本發(fā)明，能夠既抑制從圖像處理裝置向主機終端的圖像通信時所發(fā)生的延時，又針對特定部位得到使用了未加工圖像的高分辨率的部分圖像。


圖1是表示本發(fā)明一實施方式的低延遲照相機系統(tǒng)的整體構(gòu)成的圖。圖2是表示一實施方式的照相機的構(gòu)成的圖。圖3是表示圖2的照相機的圖像送出部的構(gòu)成的圖。圖4是說明圖像送出部的作用的圖。圖5是表示主機終端中參與低延遲圖像輸出的部分的構(gòu)成的圖。圖6是說明低延遲照相機系統(tǒng)的工作的流程圖。圖7是說明低延遲照相機系統(tǒng)的工作的流程圖。圖8是說明將低延遲照相機系統(tǒng)適用于視頻聊天應(yīng)用時的圖像處理的概要的圖。
具體實施例方式圖1表示本發(fā)明一實施方式的低延遲照相機系統(tǒng)10的整體構(gòu)成。在該系統(tǒng)中，用照相機100拍攝用戶6的動圖像，在主機終端20施以圖像處理后，在顯示器4上映出用戶的圖像，或者介由因特網(wǎng)、LAN (Local Area Network)等網(wǎng)絡(luò)12發(fā)送到預(yù)定的通信目的地。照相機100 是具有 CCD (Charge Coupled Device)或 CMOS (Complementary MetalOxide Semiconductor)等攝像元件的數(shù)字?jǐn)z像機，如圖所示被設(shè)置在顯示器4的殼體的上部。顯示器4例如是液晶電視、等離子電視、PC顯示器等，通常，用戶6位于顯示器4的前方，由照相機100拍攝用戶的全身或一部分。映于顯示器4上的像根據(jù)系統(tǒng)10中所執(zhí)行的應(yīng)用而不同。例如在將系統(tǒng)10作為識別用戶6的動作或表情而解釋為某種操作指示的用戶接口(Ul)來使用的情況下，映于顯示器4上的像8是用戶6的臉部或手等身體的一部分或全身。在將系統(tǒng)10作為視頻聊天而使用的情況下，映于顯示器4的像8是聊天對手的臉部，用戶6自身的像介由網(wǎng)絡(luò)12而被映于聊天對手的顯示器上。由上述那樣的使用方式可知，照相機100設(shè)置于顯示器4的上部是最佳的。但若只是能夠拍攝用戶6的全身或一部分，則也可以設(shè)置在顯示器4的附近以外的位置，例如主機終端20附近或用戶周圍等。此外，照相機100也可以非單體構(gòu)成，可以被集成在顯示器4的殼體等中。在照相機100中也可以取代攝像元件的使用，而是將模擬圖像A/D變換后使用。主機終端20是具備圖像處理功能的個人計算機或游戲裝置等計算機終端。主機終端20時序地連續(xù)取入用照相機100拍攝用戶6而得到的動圖像，施以預(yù)定的圖像處理。在視頻聊天應(yīng)用的情況下，將圖像處理后的用戶6的圖像介由網(wǎng)絡(luò)12實時地發(fā)送給聊天對手。在用戶接口應(yīng)用的情況下，進(jìn)一步施以鏡面處理后實時地輸出到顯示器4上。所謂鏡面處理，是左右反轉(zhuǎn)地生成圖像的處理，由此，用戶能夠以照鏡子的感覺進(jìn)行操作。除上述的圖像處理外，主機終端20還能合成用于執(zhí)行各種應(yīng)用的菜單、光標(biāo)等對象圖像而使之顯示在顯示器4上。在使用以往的照相機的游戲或聊天等應(yīng)用中，多是照相機側(cè)承擔(dān)圖像的識別處理及壓縮處理的功能，用與主機終端相比一般較貧乏的照相機的計算資源的情況下，處理會很花費時間。因此，用戶動作的識別將花費時間，或者映于顯示器上的圖像出現(xiàn)時滯(time-lag)等，經(jīng)常會損害實時性。照相機中所裝配的攝像元件的像素數(shù)越増大，該傾向就越顯著。因此，在本實施方式中，在照相機側(cè)準(zhǔn)備有分辨率階段性地不同的多個圖像，根據(jù)系統(tǒng)所執(zhí)行的應(yīng)用的種類而僅將所需分辨率的圖像部分從照相機發(fā)送到主機終端，以使得在具有足夠的計算資源的主機終端中進(jìn)行高品質(zhì)化處理。圖2表示本實施方式的照相機100的構(gòu)成。它們在硬件上能夠用CPU(CentralProcessing Unit 中央處理單元)、RAM(Random Access Memory 隨機存取存儲器)、ROM (Read Only Memory 只讀存儲器)、描繪電路等結(jié)構(gòu)來實現(xiàn)，軟件上由發(fā)揮數(shù)據(jù)輸入功能、數(shù)據(jù)保持功能、圖像處理功能、描繪功能等諸功能的程序來實現(xiàn)，但在圖2中描述了由它們的合作而實現(xiàn)的功能塊。因此，這些功能塊能夠通過硬件、軟件的組合而以各種各樣的形式實現(xiàn)。在圖2中，為方便說明，還包含有各功能塊所處理的圖像部分的示意圖。照相機100具有圖像取得部102、插值(de-mosaic)部104、圖像送出部150、金字塔濾波器部170、以及通信部108。圖像取得部102按預(yù)定的定時(timing)(例如60次/秒)讀出由CXD或CMOS等攝像元件所曝光的圖像。在以下說明中，假定該圖像在橫方向具有h像素量的寬度。該圖像是所謂的RAW圖像。圖像取得部102在每次RAW圖像的橫向一行量的曝光結(jié)束時將之發(fā)送到插值部104和圖像送出部150。插值部104包括具有h像素量的容量的FIFO (First In First Out :先進(jìn)先出)緩沖器105和簡易插值處理部106。FIFO緩沖器105被輸入RAW圖像的橫向一行量的像素信息，并保持之直到下一橫向一行量的像素被輸入到插值部104。簡易插值處理部106收到橫向兩行量的像素時，使用它執(zhí)行插值(de-mosaic)處理，即，針對各像素，基于其周邊像素而對色信息進(jìn)行插值，生成全彩色圖像。如本領(lǐng)域技術(shù)人員所公知的那樣，該插值處理存在多種方法，但在此進(jìn)行僅使用橫向兩行量的像素的簡易的插值處理就夠了。作為一例，在應(yīng)計算對應(yīng)的YCbCr值的像素僅具有G值的情況下，R值采用左右相鄰的R值的平均，G值就原樣使用該G值，B值采用位于上或下方的B值，這樣作為RGB值，將之帶入預(yù)定的變換式而算出YCbCr值等。這樣的插值處理是公知的，故省略更詳細(xì)的說明。采用簡易的插值處理就足夠的理由如下如后述的那樣，在本實施方式中，針對需要高品質(zhì)圖像的部分(以下稱為“特定部位”)，主機終端20從照相機100接收RAW圖像并施以處理。因此，針對特定部位以外的部分，畫質(zhì)并不重要或者僅用于圖像檢測等，所以插值后的畫質(zhì)不太會成為問題。作為簡易的插值處理的變形例，可以采用基于RGB的四像素來構(gòu)成一像素的YCbCr值的方法。在該情況下，會得到RAW圖像的1/4尺寸的插值后圖像，故后述的第1濾波器110就不再需要了。簡易插值處理部106例如如圖示那樣將橫2 X縱2的RGB四像素變換成YCbCr彩色信號。然后，由該四像素構(gòu)成的塊被作為1/1插值圖像而傳送給圖像送出部150，并被送到金字塔濾波器部170。金字塔濾波器部170具有將一個圖像階層化為多個分辨率而輸出的功能。金字塔濾波器一般具有與所需分辨率的級別相應(yīng)的數(shù)量的1/4縮小濾波器，在本實施方式中，具有第1濾波器110 第4濾波器140的四階層的濾波器。各濾波器執(zhí)行對彼此相鄰的4個像素進(jìn)行雙線性(Bilinear)插值而計算四像素的平均像素值的處理。因此，處理后的圖像尺寸成為處理前的圖像的1/4。在第1濾波器110的前級，與Y、Cb、Cr信號分別相對應(yīng)地各配置一個h像素量的FIFO緩沖器112。這些FIFO緩沖器112具有保持橫向一行量的YCbCr像素直到下一橫向一行量的像素被從簡易插值處理部106輸出的功能。像素的保持時間是根據(jù)攝像元件的行掃描速度而決定的。當(dāng)被輸入橫向兩行量的像素時，第1濾波器110對橫2X縱2的四像素量的Y、Cb、Cr的像素值進(jìn)行平均。通過反復(fù)進(jìn)行該處理，1/1插值后圖像縱橫分別變?yōu)?/2長度，整體被變換成1/4尺寸。變換后的1/4插值后圖像被送到圖像送出部150，并被傳送到后級的第2濾波器120。在第2濾波器120的前級，與Y、Cb, Cr信號分別相對應(yīng)地各配置一個2/h像素量的FIFO緩沖器122。這些FIFO緩沖器114也具有保持橫向一行量的YCbCr像素直到下一橫向一行量的像素被從第1濾波器110輸出的功能。當(dāng)被輸入橫向兩行量的像素時，第2濾波器120對橫2X縱2的四像素量的Y、Cb、Cr的像素值進(jìn)行平均。通過反復(fù)進(jìn)行該處理，1/4插值后圖像縱橫分別成為1/2長度，整體被變換成1/16尺寸。變換后的1/16插值后圖像被送到圖像送出部150，并被送到后級的第3濾波器130。關(guān)于第3濾波器130和第4濾波器140，除其前級分別被配置h/4量的FIFO緩沖器132和h/8量的FIFO緩沖器142以外，反復(fù)進(jìn)行與上述同樣的處理。然后，向圖像送出部150輸出1/64及1/256尺寸的插值后圖像。上述那樣的金字塔濾波器如專利文獻(xiàn)1所記載那樣是公知的，故在本說明書中省略更加詳細(xì)的說明。這樣，圖像送出部150被從金字塔濾波器部170的各濾波器輸入每次被縮小為1/4的圖像。由此可知，越是通過金字塔濾波器部170內(nèi)的濾波器，各濾波器的前級所需要的FIFO緩沖器的大小就可以越小。圖像送出部150根據(jù)從主機終端20介由通信部108而收到的指示，在從圖像取得部102收到的RAW圖像、從插值部104收到的1/1插值后圖像、以及從金字塔濾波器部170收到的1/4 1/256插值后圖像中選出所需要的圖像。然后，用這些圖像構(gòu)成包而送往通信部108。通信部108按照例如USB1. 0/2. 0等預(yù)定的協(xié)議將包送出到主機終端20。與主機終端20的通信不限于有線，例如還可以是IEEE802. lla/b/g等無線LAN通信、IrDA等紅外線通信。圖3是表示照相機100的圖像送出部150的構(gòu)成的圖。圖像送出部150具有塊寫入部152、緩沖器154、塊讀取部156、編碼部158、打包部160、包緩沖器162、以及控制部164?？刂撇?64基于來自主機終端20的指示，向塊寫入部152和塊讀取部156指示將各種圖像數(shù)據(jù)中的某一者作為包而送出。如后所述在本實施方式中，僅被輸入到圖像送出部150的RAW圖像和插值后圖像中的一部分被送往主機終端側(cè)。塊寫入部152被從圖像取得部102輸入RAW圖像，并被經(jīng)由插值部104和金字塔濾波器部170輸入1/1 1/256尺寸的插值后圖像。塊寫入部152的尺寸選擇部152A基于來自控制部164的指示而將插值后圖像的一部分寫入緩沖器154。塊寫入部152如圖2中也有所示的那樣按每2X2像素地接收圖像，并依次寫入緩沖器154。此外，塊寫入部152的剪切塊選擇部152B針對RAW圖像，僅將包含控制部164所指示的特定部位的塊寫入到緩沖器154。該特定部位例如是用戶的臉部或手等需要高畫質(zhì)且高分辨率的圖像的部位。關(guān)于剪切塊選擇部152B，將在后面再敘述。塊讀取部156按照在緩沖器巧4上一塊量的像素所被準(zhǔn)備的順序讀出各圖像塊，送往編碼部158。塊寫入部152和塊讀取部156被控制部164調(diào)整為同步動作。S卩，塊寫入部152的讀寫是在每次從圖像取得部102、插值部104及金字塔濾波器部170輸出像素時而進(jìn)行的，與之相對，塊讀取部156的讀取是按每次一塊量的像素被存儲到緩沖器IM中而進(jìn)行的。該同步定時是根據(jù)攝像元件的曝光速度而決定的。一塊的大小優(yōu)選是符合后級的JPEG編碼的8X8像素塊。在以下說明中，將RAW圖像的塊記作Br，將1/1、1/4、1/16、1/64及1/256尺寸的插值后圖像的塊分別記作附、84、816、864、8256。在本實施方式中，并非RAW圖像整體或縮小圖像整體量的像素備齊后發(fā)送給主機終端，而是按塊單位送出的，故緩沖器1 最大只要具有能存儲RAW圖像及縮小圖像的全部圖像塊的大小就夠了。根據(jù)應(yīng)用的種類不同，只要能儲存2 3個圖像塊即可。這樣，減少被緩沖的數(shù)據(jù)，在每次成塊時依次打包傳送，所以能削減照相機內(nèi)的處理所帶來的延時。此外，從圖像取得部102的像素輸出以及從金字塔濾波器部170的像素輸出是在每次攝像元件的曝光結(jié)束時依次輸出像素到塊寫入部152的，所以在構(gòu)造上不會發(fā)生不同幀的塊被寫入緩沖器154、或塊被按不同的順序打包發(fā)送的情況。剪切塊選擇部152B接收從主機終端20發(fā)送來的特定部位的位置信息，從該區(qū)域選擇內(nèi)含預(yù)定像素數(shù)大的區(qū)域的塊作為特定塊。編碼部158針對RAW圖像以外的縮小圖像的圖像塊執(zhí)行JPEG等公知的壓縮編碼，并送到打包部160。打包部160將RAW圖像塊及編碼后的縮小圖像的圖像塊按到達(dá)打包部160的順序打包后寫入到包緩沖器162中。通信部108將包緩沖器162內(nèi)的包按照預(yù)定的通信協(xié)議傳送給主機終端20。當(dāng)然，也可以使用LLVC、AVC等其它公知的編碼，但優(yōu)選能夠按塊單位編碼的。此外，還能符合編碼地變更塊讀取部156所讀取的塊的大小，例如可以按256X256單位的塊
9進(jìn)行讀取和編碼。接下來，使用圖4說明圖像送出部150的作用。右列Sl表示塊寫入部接收的RAW圖像和插值后圖像。小正方形表示一像素。但要注意，在RAW圖像中是對應(yīng)于RGB的某一者的一像素值，而在插值后圖像中一像素包含YCbCr信號的全部。正方形的稠密度表示被金字塔濾波器間取像素的情況。在塊寫入部中，僅將所傳輸來的這些圖像中的與控制部164的指示相應(yīng)的幾個圖像寫入緩沖器。在該例子中，假定RAW圖像、1/16及1/64插值后圖像被選擇。此外，針對RAW圖像，僅選擇包含特定部位的塊。其結(jié)果，表示于圖中的中央列S2的塊讀取部從緩沖器讀出RAW圖像塊Br中的4塊量、1/16插值后圖像塊B16、以及1/64插值后圖像塊B64。在此，要注意實際中并非從塊寫入部直接將塊傳送給塊讀取部，而是在緩沖器儲存預(yù)定尺寸的塊后，塊讀取部按塊單位讀取的。所讀出的塊在插值后圖像塊B16、B64被編碼處理后如圖中的左列S3所示那樣與RAff圖像塊一起被打包。圖5表示主機終端20中的參與本實施方式的低延遲圖像輸出的部分的構(gòu)成。這些構(gòu)成也是在硬件上能由CPU、RAM、R0M、GPU、輸入輸出控制裝置等結(jié)構(gòu)來實現(xiàn)，軟件上由發(fā)揮數(shù)據(jù)輸入功能、數(shù)據(jù)保持功能、圖像處理功能、描繪功能等諸功能的程序來實現(xiàn)，但在圖6中描繪了由它們合作所實現(xiàn)的功能塊。因此，這些功能塊能夠通過硬件、軟件的組合而以各種各樣的形式實現(xiàn)。主機終端20包括通信部22、控制部52、圖像處理部50及顯示控制部M?？刂撇?2除使操作系統(tǒng)工作而控制圖像處理部50的整體動作外，還進(jìn)行主機終端20所需要的其它控制，例如控制游戲或聊天等各種應(yīng)用的執(zhí)行、驅(qū)動器的控制、從記錄介質(zhì)讀出程序等。通信部22從照相機100接收各種圖像數(shù)據(jù)，送往圖像處理部50。圖像處理部50具有分配部24、高畫質(zhì)插值部觀、高品質(zhì)處理部32、解碼部34、放大部36、圖像合成部38、圖像輸出部40、以及特定部位檢測部42。分配部M被從照相機100輸入RAW圖像的特定部位以及被編碼了的縮小圖像的塊。然后，按照來自控制部52的指示，將RAW圖像的圖像塊送到高畫質(zhì)插值部觀，將其它圖像塊送到解碼部34。高畫質(zhì)插值部28針對RAW圖像的特定部位執(zhí)行插值處理。此處的插值處理與照相機100的簡易插值處理部不同，是活用主機終端20的計算資源來執(zhí)行高畫質(zhì)的插值處理。例如可以為計算1像素的YCbCr圖像信號而使用3X3像素以上的RGB值，或使用考慮水平方向和/或垂直方向的像素間的相關(guān)程度地修正插值系數(shù)這樣的已有的或?qū)硭_發(fā)的任意算法。這樣的插值處理例如在日本特開平7-236147號公報中有所公開。插值后的圖像被送往高品質(zhì)處理部32。高品質(zhì)處理部32將插值后的圖像變換成適于視聽的更高精度的圖像。此處所進(jìn)行的處理根據(jù)應(yīng)用的種類而有各種各樣的方式，例如在視頻聊天中大畫面地顯示臉部的情況下，執(zhí)行臉部的亮度調(diào)整、臉部色修正、眼或嘴角的修正等任意的處理。高品質(zhì)圖像被送往圖像合成部38。另一方面，解碼部34接收RAW圖像以外的縮小圖像的圖像塊，按JPEG等對壓縮圖像進(jìn)行解碼。若在照相機100側(cè)沒有進(jìn)行圖像壓縮，則不需要該解碼部34。
特定部位檢測部42接收在解碼部34中被解碼了的縮小圖像。然后，按照公知的圖像檢測手法，確定用戶圖像中的在應(yīng)用中特別重要的部位。關(guān)于該部位，例如若在視頻聊天中，則是用戶的臉部，若在UI中，則是眼、嘴角、手足等。所確定的部位的位置信息被介由通信部22而反饋到照相機100。按照該位置信息，從照相機100發(fā)送出特定部位周邊的RAW圖像塊，因此，僅被限定的塊在高畫質(zhì)插值部中被進(jìn)行插值處理。特定部位的檢測例如按以下方法來執(zhí)行。在臉部檢測的情況下，僅使用亮度(Y)信號將圖像分割成20X20個塊，將亮度比較亮且跨越多個塊的部分識別為臉部?；蛘撸谖磮D示的基準(zhǔn)圖像存儲部中預(yù)先記錄有特定部位(臉部或手等)的基準(zhǔn)圖像，由未圖示的匹配部執(zhí)行基準(zhǔn)圖像與輸入圖像的匹配，來確定相當(dāng)于用戶的臉部或手的區(qū)域的圖像。在確定臉部區(qū)域后，再在其內(nèi)部通過與各部分的基準(zhǔn)圖像的匹配來確定相當(dāng)于眼、鼻、口等的區(qū)域。放大部36接收被解碼了的縮小圖像(例如1/64)，將之放大到1/1 (等倍)尺寸。放大后的圖像數(shù)據(jù)被送往圖像合成部38。圖像合成部38將1/1尺寸的低品質(zhì)圖像與特定部位的高品質(zhì)圖像塊合成。結(jié)果，生成如下圖像，即，應(yīng)用中被重視的特定部位成為非常高的畫質(zhì)、高分辨率，而這之外的部分為低品質(zhì)、低分辨率。圖像輸出部40將所生成的合成圖像寫入幀緩沖器(未圖示)中。顯示控制部M生成用于將圖像輸出部40描繪在幀緩沖器中的圖像數(shù)據(jù)顯示在顯示器4上的視頻信號。接下來說明主機終端20的作用。從照相機100收到各種圖像塊的分配部M將RAff圖像塊分配給高畫質(zhì)插值部觀，將這之外的塊分配給解碼部34。高畫質(zhì)插值部28在與特定部位對應(yīng)的RAW圖像塊匯集后，施以高畫質(zhì)的插值處理，變換成YCbCr的彩色圖像，進(jìn)而在高品質(zhì)處理部32中施以預(yù)定的處理而得到高品質(zhì)的特定部位圖像。另一方面，縮小圖像的塊在解碼部34中被進(jìn)行解碼處理后，在放大部36中被放大到1/1尺寸。然后，圖像合成部38輸出將放大后的縮小圖像中的特定部位置換為高品質(zhì)的特定部位圖像后的合成圖像。利用解碼后的縮小圖像中的Y信號，由特定部位檢測部42檢測出特定部位。該信息被送到照相機的控制部，用于塊寫入部152中的RAW圖像塊的選擇。以上一系列處理按每幀而反復(fù)進(jìn)行。結(jié)果，生成特定部位具有非常高的品質(zhì)的用戶動圖像。圖6和圖7是說明本實施方式的低延遲照相機系統(tǒng)10的整體的動作的流程圖。首先說明圖6的照相機側(cè)的動作。圖像取得部102從攝像元件收到圖像后，RAW圖像被送到圖像送出部150和插值部104 (SlO)。插值部104對RAW圖像的像素執(zhí)行比較低畫質(zhì)的插值處理，將插值后的像素送到圖像送出部150和金字塔濾波器部170(S12)。在金字塔濾波器部170的各階層的濾波器中分別實施雙線性插值，1/4 1/256尺寸的像素串被輸出到圖像送出部150 (S14).圖像送出部150的塊寫入部152按照來自控制部164的指示將縮小圖像中的一部分寫入緩沖器1M(S16)，并針對RAW圖像僅選擇包含特定部位的圖像塊寫入緩沖器154(S18)。塊讀取部156在每次緩沖器154內(nèi)被記錄例如8X8個塊量的像素時將這些圖像塊讀出，送到編碼部158 (S20)。在編碼部158中被實施預(yù)定的編碼后(S22)，被打包送往主機終端20 (S24)。接下來說明圖7的主機終端側(cè)的動作。分配部M從收自照相機的包中取出各種圖像塊，送到高畫質(zhì)插值部28或解碼部34(S30)。RAW圖像塊在高畫質(zhì)插值部28中被進(jìn)行插值處理后(S32)，在高品質(zhì)處理部32被施以預(yù)定的處理而輸出到圖像合成部38(S34)。另一方面，針對縮小圖像塊，在解碼部34中被解碼后(S36)，由特定部位檢測部42使用亮度信號檢測出特定部位(S38)。該信息被送到照相機100，用于RAW圖像的特定塊的選擇(S40)。此外，解碼后的縮小圖像被放大部36放大到1/1尺寸后被輸出到圖像合成部38(S42)。圖像合成部38將特定部位的高精度圖像與這之外的放大圖像合成(S44)，圖像輸出部40將合成圖像輸出到幀緩沖器(S46)。本實施方式是基于這樣的識別的，S卩，希望映于顯示器的用戶圖像中的臉部或手等特定部位盡可能高畫質(zhì)、高分辨率，而這以外的背景等即使畫質(zhì)比較低也沒關(guān)系。其實，在視頻聊天等應(yīng)用中，有時反而希望背景圖像為低畫質(zhì)。如上所述，臉部識別只要有亮度信號就夠了，所以不需要高畫質(zhì)的插值處理。盡管如此，在以往的照相機系統(tǒng)中，還是進(jìn)行在照相機側(cè)將進(jìn)行高畫質(zhì)的插值后的圖像再進(jìn)行數(shù)據(jù)壓縮，使用解壓后的圖像進(jìn)行臉部識別這樣的非常浪費的多余處理。在本實施方式中，是使用將簡易插值后的圖像再進(jìn)行縮小后的圖像來進(jìn)行臉部識別的，故多余的數(shù)據(jù)很少。另一方面，對于臉部區(qū)域，能夠從照相機接收RAW圖像，使用主機終端20的計算能力來執(zhí)行高畫質(zhì)的插值。因此，盡管從照相機送往主機終端的數(shù)據(jù)量較少、延時較小，但與以往的照相機系統(tǒng)相比仍能提高臉部區(qū)域的畫質(zhì)。此外，在以往的照相機系統(tǒng)中，僅有原樣發(fā)送RAW圖像、或者發(fā)送在插值后進(jìn)行了JPEG壓縮的圖像的選項。在前者的情況下，數(shù)據(jù)量會増大，故通信頻帶成為瓶頸，發(fā)生延時。在后者的情況下，由于施加非可逆壓縮，故后級的畫質(zhì)提高方面存在界限。一般來說，插值是左右圖像的畫質(zhì)的處理，非常占用計算能力，故在計算資源有余裕的主機終端側(cè)進(jìn)行較為有利。在本實施方式中，RAW圖像是僅將臉部或手等特定部位發(fā)送到主機終端，故發(fā)送數(shù)據(jù)量較少，能抑制延時，同時主機終端側(cè)的利用RAW圖像的畫質(zhì)提高的自由度顯著増大。圖8是說明將本實施方式的低延遲照相機系統(tǒng)10適用于視頻聊天應(yīng)用時的圖像處理的概要的圖。在該例子中，假定執(zhí)行這樣的應(yīng)用程序，即，照相機與主機終端USB連接，檢測進(jìn)行視頻聊天的用戶的臉部部分，并僅使臉部為高畫質(zhì)地作為高分辨率圖像發(fā)送到聊天對方的主機終端。在該應(yīng)用中，假定主機終端20向照相機100指示了僅發(fā)送RAW圖像和1/16縮小圖像。1/16縮小圖像塊B16被尺寸選擇部152A選擇(S50)，并被編碼部158編碼(S5》。針對RAW圖像，塊寫入部152從主機終端接收特定部位的位置信息(SM)，剪切塊選擇部152B將使臉部識別的位置信息所確定的區(qū)域D向上下左右擴展預(yù)定像素數(shù)后的范圍E作為特定部位塊而選中輸出(S56)。之所以這樣做，是因為在臉部識別中僅膚色部分被識別，但在聊天中卻需要頭部整體的圖像。優(yōu)選與塊的邊界相一致地設(shè)定該范圍。這樣所得到的RAW圖像的特定部位塊與縮小圖像塊被打包后發(fā)送到主機終端20(S58)。在主機終端20中，RAW圖像的特定部位塊接受插值處理和高品質(zhì)處理(S6》，被作為高品質(zhì)圖像而輸出(S64)。此外，縮小圖像被進(jìn)行解碼處理(S66)，進(jìn)而被放大到1/1尺寸(S68)。實施將該放大圖像中的相當(dāng)于用戶頭部的部分用高品質(zhì)圖像進(jìn)行置換的圖像合成(S70)，輸出合成圖像。同時，使用縮小圖像中的Y信號進(jìn)行臉部檢測(S72)，檢測出的臉部的位置信息被反饋到照相機100 (S74)，在特定部位塊的選擇中進(jìn)行使用。當(dāng)然，也可以在視頻聊天的實施中總是進(jìn)行臉部識別的處理，但實用中只要間隔預(yù)定時間(例如間隔1秒)地針對多個幀分別執(zhí)行就夠了。因為通常動圖像是按每秒60幀以上而輸出的，1幀期間用戶的頭部不會有較大的移動。如該例這樣，如果是視頻聊天的應(yīng)用，則臉部圖像最重要，這以外的身體部分、背景等重要度低。因此，從RAW圖像中僅剪切出與臉部部分對應(yīng)的塊，利用主機終端側(cè)的充足的計算資源來進(jìn)行使用了該塊的插值處理及高品位化處理，由此得到高畫質(zhì)高品位的臉部圖像。同時，針對臉部以外的部分使用壓縮圖像，從而能削減照相機與主機終端間的傳輸堵塞而抑制延時。如以上說明的那樣，根據(jù)本實施方式，對于需要高畫質(zhì)、高分辨率的部分，從照相機接收RAW圖像而在主機終端側(cè)執(zhí)行高畫質(zhì)的插值處理，而對于這以外的允許低畫質(zhì)、低分辨率的部分，從照相機接收縮小圖像并將之放大來使用。其結(jié)果，能局部地確保高畫質(zhì)的圖像，并抑制照相機內(nèi)部的處理及照相機與主機間的通信中的延時。因此，在用戶接口的應(yīng)用中，能實現(xiàn)比以往更迅速的響應(yīng)。因此，有能高響應(yīng)性地實現(xiàn)例如基于用戶手勢(gesture)的圖像識別的畫面上的光標(biāo)移動或撥號操作、或者游戲的玩家操作等的可能性。此外，在視頻聊天的應(yīng)用中，能提供移動平滑、延遲少的圖像。這樣，能夠僅選擇符合各應(yīng)用的需求的圖像數(shù)據(jù)來發(fā)送。近年來，即便是廉價的網(wǎng)絡(luò)攝像頭，其像素數(shù)也逐漸増大，并且隨著攝像元件的CMOS化，其掃描速度也變快。為傳送容量大的圖像，必須在照相機側(cè)進(jìn)行高壓縮，但若這樣，則照相機的處理時間會增加。因此，以往伴隨于照相機內(nèi)的處理及通信的延時正顯著化。即，雖然攝像元件的能力和主機終端側(cè)的能力都正在提高，但其之間卻成為瓶頸，并未充分發(fā)揮它們的能力。然而，在備有具備高計算能力的主機終端的情況下，得到未在照相機中加工的RAW圖像更有利于保證畫質(zhì)不降低，并能進(jìn)行白平衡及曝光的后處理等。在本實施方式中，簡化照相機側(cè)的插值來抑制延時，并針對要進(jìn)行識別處理等需要高畫質(zhì)、高分辨率的部分，直接從照相機獲取RAW圖像，在計算能力高的主機終端側(cè)執(zhí)行插值。因此，能夠既抑制延時又充分活用攝像元件的性能。此外，在照相機側(cè)常備有被金字塔濾波器階層化了的縮小圖像。因此，主機終端能夠隨時要求執(zhí)行中的應(yīng)用所需要的尺寸的縮小圖像。例如，若用戶是完全靜止著的，則自始就固定有RAW圖像的特定部位，總是使用它即可，但現(xiàn)實中這樣的狀況很少。在本實施方式中，接收RAW圖像的特定部位，并能夠總是使用縮小圖像來跟蹤用戶移動地檢測臉部或手的部分的移動，所以能夠配合此而適當(dāng)變更所要求的RAW圖像的塊。關(guān)于所要求的縮小圖像的尺寸，可以根據(jù)應(yīng)檢測的用戶的臉部或手的大小、用戶的人數(shù)、用戶的移動的大小等而選擇最佳的尺寸。此外，在塊寫入部和塊讀取部中，能夠減小圖像處理所需要的緩沖器。這是因為，塊寫入部在攝像元件每進(jìn)行一行的像素掃描時，將來自簡易插值部、金字塔濾波器部的像素寫入緩沖器，而在每存儲一塊量的像素時，塊讀取部從緩沖器讀出它并打包發(fā)送。此外，在本實施方式的圖像處理裝置中，無需像以往那樣在照相機側(cè)安置識別處理裝置等，故能減小硬件。僅對已有的數(shù)字?jǐn)z像機新追加金字塔濾波器部和圖像送出部，就能構(gòu)建低延時的照相機系統(tǒng)。以上基于實施方式說明了本發(fā)明。這些實施方式僅是例示，本領(lǐng)域技術(shù)人員當(dāng)理解可以對其各構(gòu)成要素或處理的組合進(jìn)行各種變形，并且這樣的變形例也包含在本發(fā)明的范圍內(nèi)。將實施方式中所述的構(gòu)成要素的任意組合、本發(fā)明的表現(xiàn)形式在方法、裝置、系統(tǒng)、計算機程序、記錄介質(zhì)等間變換后的形式，作為本發(fā)明的方案也是有效的。此外，在本說明書中作為流程圖而記載的方法除按該順序時序地執(zhí)行的處理外，還包括并行地或個別地執(zhí)行的處理。在實施方式中，是僅針對RAW圖像選擇特定的塊的，但也可以針對其它的插值后圖像選擇特定的塊。例如在檢測手的手勢的情況下，以用戶的臉部為基準(zhǔn)將手的部分決定為特定部位，將手的區(qū)域的插值圖像發(fā)送到主機終端。在用戶移動較大的情況下，即便是較粗略的圖像、即尺寸小的插值圖像，也能進(jìn)行追蹤，而在移動較小的情況下，要使用較細(xì)致的圖像、即尺寸大的插值圖像。這樣，通過金字塔濾波器而總是在照相機側(cè)準(zhǔn)備有被階層化了的圖像數(shù)據(jù)，能夠根據(jù)用戶的移動速度或大小而適當(dāng)改變要求的圖像尺寸。同樣，例如在用戶數(shù)增加到兩人時，因是監(jiān)視整體，故能迅速地重新選擇RAW圖像塊。進(jìn)而，只要用RAW圖像處理特定部位，即使是在以往照相機的識別中非常困難的指尖移動那樣的微小動作，也能進(jìn)行檢測。在實施方式中，敘述了照相機側(cè)的插值處理與主機側(cè)相比較簡易的情況，但若伴隨于插值處理的延時的影響較小，則也可以進(jìn)行與主機終端側(cè)同等的性能的插值處理。即，在本發(fā)明中，只是照相機和主機終端按照不同的算法進(jìn)行插值處理，并不限定插值處理的算法的種類。由此，在主機終端能夠處理兩種插值處理后的圖像，故輸出到顯示器的合成圖像的構(gòu)成自由度得到提高。在實施方式中，敘述了縮小圖像整體從照相機發(fā)送到主機終端的情況，但也可以僅發(fā)送縮小圖像的一部分。例如，基于JPEG的特性，可以僅發(fā)送1/16的縮小圖像的Y信號和1/64的縮小圖像的CbCr信號。在實施方式中，作為主機終端，表示了個人計算機為臺式的游戲機，但主機終端也可以是筆記本計算機或便攜式游戲機等。在該情況下，優(yōu)選照相機被安裝或集成在顯示器的上部等。在實施方式中，敘述了在主機終端進(jìn)行用戶的臉部或手等的檢測的情況，但也可以在照相機側(cè)進(jìn)行。例如若是臉部識別那樣使用亮度信號的識別處理，則認(rèn)為増加的延時比較少。在該情況下，可以不等待來自主機終端的指示，在照相機側(cè)選擇相當(dāng)于臉部的RAW圖像的塊而發(fā)送到主機終端。作為應(yīng)用，說明了在接口中使用用戶的手勢的情況以及視頻聊天的情況。但本發(fā)明也可以在施加必要的修正的基礎(chǔ)上適用于接收用戶身體的一部分或手勢作為識別的輸入的任意應(yīng)用、以及利用用戶圖像的任意應(yīng)用?！矘?biāo)號說明〕4顯示器、6用戶、10低延遲照相機系統(tǒng)、20主機終端、22通信部、對分配部、觀高畫質(zhì)插值部、32高品質(zhì)處理部、34解碼部、36放大部、38圖像合成部、40圖像輸出部、42特定部位檢測部、50圖像處理部、52控制部54顯示控制部、100照相機、102圖像取得部、104插值部、106簡易插值處理部、108通信部、110第1濾波器、120第2濾波器、130第3濾波器、140第4濾波器、150圖像送出部、152塊寫入部、巧4緩沖器、156塊讀取部、158編碼部、160打包部、162包緩沖器、164控制部、170金字塔濾波器部。〔工業(yè)可利用性〕通過本發(fā)明，能夠抑制伴隨于從圖像處理裝置向主機終端的圖像通信的延時，并針對特定部位得到利用了未加工圖像的高分辨率的部分圖像。
權(quán)利要求
1.一種在動圖像處理裝置上工作的動圖像處理程序，其特征在于，使動圖像處理裝置實現(xiàn)如下功能圖像取得功能，取得用攝像元件所拍攝的未加工圖像，插值功能，對上述未加工圖像進(jìn)行插值處理，濾波器功能，將上述未加工圖像變換成分辨率階段性地不同的多個縮小圖像，選擇功能，選擇上述未加工圖像中的一部分作為特定部位，并選擇上述多個縮小圖像的任一者作為指定縮小圖像，以及發(fā)送功能，使所選擇的未加工圖像的特定部位和指定縮小圖像為接受進(jìn)一步的圖像處理而發(fā)送到主機終端。
2.如權(quán)利要求1所述的動圖像處理程序，其特征在于，上述選擇功能按照上述主機終端所給與的指示而在選擇上述未加工圖像的特定部位作為圖像內(nèi)應(yīng)設(shè)定為高畫質(zhì)的區(qū)域。
3.如權(quán)利要求1或2所述的動圖像處理程序，其特征在于，上述選擇功能按照上述主機終端所給與的指示而選擇上述指定縮小圖像作為與上述特定部位進(jìn)行組合的背景圖像。
4.如權(quán)利要求1至3的任一項所述的動圖像處理程序，其特征在于，上述選擇功能包括寫入功能，在每次從上述攝像元件輸出上述未加工圖像的像素值時選擇與上述特定部位對應(yīng)的像素值而寫入到緩沖器中，并在每次收到被上述濾波器功能變換后的縮小圖像的像素值時選擇與上述指定縮小圖像對應(yīng)的像素值而寫入到緩沖器中，和讀取功能，在每次上述緩沖器內(nèi)所存儲的像素值成為預(yù)定大小的圖像塊時從上述緩沖器讀取該圖像塊。
5.一種在主機終端上工作的動圖像處理程序，該主機終端是對攝像裝置所拍攝的動圖像施以加工后輸出到顯示器的主機終端，本動圖像處理程序的特征在于使上述主機終端實現(xiàn)如下功能接收從攝像元件輸出的作為未加工圖像的一部分的特定部位、和上述未加工圖像被施以插值處理和縮小處理后的縮小圖像的功能，對上述未加工圖像的特定部位進(jìn)行插值處理的功能，將上述縮小圖像放大到與上述未加工圖像相等的尺寸而變換成等倍圖像的功能，以及將插值處理后的特定部位與上述等倍圖像合成，將分辨率局部性不同的合成圖像輸出到顯示器的功能。
6.如權(quán)利要求5所述的動圖像處理程序，其特征在于，還包括特定部位檢測功能，使用上述縮小圖像，檢測圖像內(nèi)應(yīng)設(shè)定為高分辨率的特定部位。
7.如權(quán)利要求5或6所述的動圖像處理程序，其特征在于，上述攝像裝置的拍攝對象是使用利用了該主機終端的應(yīng)用的用戶，上述特定部位是對上述應(yīng)用給與操作指示的用戶身體的一部分。
8.一種計算機可讀取的記錄介質(zhì)，其特征在于，記錄有權(quán)利要求1至7的任一項所述的動圖像處理程序。
9.一種動圖像處理裝置，其特征在于，包括圖像取得部，取得用攝像元件所拍攝的未加工圖像，插值處理部，對上述未加工圖像進(jìn)行插值處理，濾波器部，將上述未加工圖像變換成分辨率階段性地不同的多個縮小圖像，選擇部，選擇上述未加工圖像中的一部分作為特定部位，并選擇上述多個縮小圖像的任一者作為指定縮小圖像，以及發(fā)送部，將所選擇的未加工圖像的特定部位和指定縮小圖像為接受進(jìn)一步的圖像處理而發(fā)送到主機終端。
10.一種攝像裝置，其特征在于，安裝有權(quán)利要求9所述的動圖像處理裝置。
11.一種將攝像裝置所拍攝的動圖像顯示于顯示器的主機終端，其特征在于，包括接收部，從上述攝像裝置接收用攝像元件所拍攝的作為未加工圖像的一部分的特定部位、和上述未加工圖像被施以插值處理和縮小處理后的縮小圖像，插值部，對上述未加工圖像的特定部位施以插值處理，放大部，將上述縮小圖像放大到與上述未加工圖像相等的尺寸而作為等倍圖像進(jìn)行輸出，以及圖像合成部，將插值處理后的特定部位與上述等倍圖像合成，將分辨率局部性不同的合成圖像輸出到顯示器。
12.—種將攝像裝置所拍攝的動圖像在主機終端施以加工后輸出到顯示器的攝像系統(tǒng)，其特征在于，上述攝像裝置包括圖像取得部，取得用攝像元件拍攝的未加工圖像，第1插值處理部，對上述未加工圖像進(jìn)行插值處理，濾波器部，將上述未加工圖像變換成分辨率階段性地不同的多個縮小圖像，選擇部，選擇上述未加工圖像中的一部分作為特定部位，并選擇上述多個縮小圖像的任一者作為指定縮小圖像，以及發(fā)送部，將所選擇的未加工圖像的特定部位和指定縮小圖像為接受進(jìn)一步的圖像處理而發(fā)送到主機終端；上述主機終端包括接收部，從上述攝像裝置接收用攝像元件所拍攝的作為未加工圖像的一部分的特定部位、和上述未加工圖像被施以插值處理和縮小處理后的縮小圖像，第2插值處理部，對上述未加工圖像的特定部位進(jìn)行插值處理，放大部，將上述縮小圖像放大到與未加工圖像相等的尺寸而作為等倍圖像進(jìn)行輸出，以及圖像合成部，將插值處理后的特定部位與上述等倍圖像合成，將分辨率局部性不同的合成圖像輸出到顯示器。
13.如權(quán)利要求12所述的攝像系統(tǒng)，其特征在于，上述攝像裝置的第1插值處理部的性能比上述主機終端的第2插值處理部低。
14.一種動圖像處理方法，其特征在于，取得用攝像元件所拍攝的未加工圖像，存儲到緩沖器中，對上述未加工圖像進(jìn)行插值處理，使用金字塔濾波器將上述未加工圖像變換成分辨率階段性地不同的多個縮小圖像，選擇上述未加工圖像中的一部分作為特定部位，并選擇上述多個縮小圖像的任一者作為指定縮小圖像，將所選擇的未加工圖像的特定部位和指定縮小圖像為接受進(jìn)一步的圖像處理而發(fā)送到主機終端。
15. 一種將攝像裝置所拍攝的動圖像在主機終端施以加工后輸出到顯示器的方法，其特征在于，接收從攝像元件輸出的作為未加工圖像的一部分的特定部位、和未加工圖像被施以插值處理和縮小處理后的縮小圖像，對上述未加工圖像的特定部位施以插值處理，將上述縮小圖像放大到與未加工圖像相等的尺寸而變換成等倍圖像，將插值處理后的特定部位與上述等倍圖像合成，將分辨率局部性不同的合成圖像輸出到顯示器。
全文摘要
照相機(100)向主機終端(20)輸出用于顯示到顯示器上的動圖像。圖像取得部(102)取得用攝像元件所拍攝的未加工圖像。簡易插值處理部(106)對未加工圖像進(jìn)行插值處理。金字塔濾波器部(170)將未加工圖像變換成分辨率階段性地不同的多個縮小圖像。圖像送出部(150)具有選擇部，選擇未加工圖像中的一部分作為特定部位，并選擇多個縮小圖像的任一者作為指定縮小圖像。所選擇的未加工圖像的特定部位和指定縮小圖像為接受進(jìn)一步的圖像處理而被通信部(108)發(fā)送到主機終端。
文檔編號H04N5/225GK102598651SQ20108004936
公開日2012年7月18日 申請日期2010年7月13日 優(yōu)先權(quán)日2009年11月2日
發(fā)明者勢川博之, 大場章男, 稻田徹悟 申請人:索尼計算機娛樂公司