專利名稱：圖像通信終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像通信終端，特別涉及是使用者利用攝像機(jī)部分拍攝自己或在附近的其他人的形象，并一面將該拍攝的圖像向?qū)Ψ桨l(fā)送，一面進(jìn)行對(duì)話的圖像通信終端。
眾所周知，一面將圖像向?qū)Ψ桨l(fā)送，一面進(jìn)行對(duì)話的圖像通信終端有電視電話、電視會(huì)儀系統(tǒng)、影像郵件等各種狀態(tài)。無(wú)論是這些形狀的哪一種，使用者為了將自己或在附近的其他人(下面稱為“使用者”)的形象向?qū)Ψ桨l(fā)送，圖像通信終端內(nèi)裝的或外接的攝像機(jī)部分與被拍攝者、即使用者之間必須始終保持適當(dāng)?shù)奈恢藐P(guān)系。
為了維持該適當(dāng)?shù)奈恢藐P(guān)系，可以采用一種方法，即攝像機(jī)部分設(shè)置使光軸移動(dòng)的機(jī)構(gòu)或變焦距機(jī)構(gòu)等，使攝像機(jī)部分跟蹤使用者的運(yùn)動(dòng)。但是，采用這種方法，則跟蹤動(dòng)作所需要的攝像機(jī)部分及相關(guān)機(jī)構(gòu)就很龐大，不能實(shí)現(xiàn)圖像通信終端的小型化及低成本。特別是對(duì)于便攜式計(jì)算機(jī)終端或移動(dòng)(電視)電話等便攜性能很重要的圖像通信終端，設(shè)置這樣的機(jī)構(gòu)是不現(xiàn)實(shí)的。
另外，還可以考慮維持上述適當(dāng)位置的另一種方法，即從圖像通信終端向使用者提供使用者相對(duì)于攝像機(jī)部分的位置的有關(guān)信息，由使用者自己對(duì)準(zhǔn)攝像機(jī)部分。
具體來說，第一種方法以往是利用畫中畫(picture in picture)方式或畫面分割方式，將畫面的一部分用來顯示自己(使用者本身)的形象。但是，采用這種方法的問題是，為了顯示自己的形象而占去畫面的相當(dāng)部分，結(jié)果對(duì)方的形象就很小，看不清楚。
另外，第二種方法以往是將自己的圖像與對(duì)方的圖像交替顯示來進(jìn)行。但是，采用這種方法的問題是，由于畫面經(jīng)常切換，使用者就注意切換，而很難集中精神于會(huì)話。
再有，無(wú)論采用上述第一種或第二種的任一種方法，是與通常會(huì)話(自己與對(duì)方促膝交換)環(huán)境完全不相同的環(huán)境，使用者不禁感覺到不自然。
因此，為了解決這樣的問題，日本專利特開平8-251651號(hào)公報(bào)揭示了一種可以不顯示自己形象、而且可以省略攝像機(jī)部分跟蹤機(jī)構(gòu)的技術(shù)。根據(jù)該公報(bào)的技術(shù)，用攝像機(jī)拍攝使用者本身，檢測(cè)使用者的位置，判斷檢測(cè)的位置是否超出了拍攝范圍。然后，僅僅在超出的情況下，利用下述的某一種方法將該情況通知使用者。
(1)預(yù)先將對(duì)方的形象幾乎充滿整個(gè)畫面加以顯示，在前述超出范圍的情況下，使對(duì)方的圖像發(fā)生變化(例如使對(duì)方的形象產(chǎn)生變形等)。通過這樣將該情況通知使用者。
(2)在畫面內(nèi)不僅確保有顯示對(duì)方形象的區(qū)域，還確保有文字顯示區(qū)域。在超出的情況下，在文字顯示區(qū)域顯示已超出情況的消息，通過這樣將該情況通知使用者。
但是，無(wú)論采用上述(1)或(2)的任一種方法，若使用者的位置未超出拍攝范圍，則對(duì)使用者沒有任何通知。另外，使用者在正常使用時(shí)，不會(huì)那樣頻繁地超出拍攝范圍，因而，使用者在絕大部分情況下(即未超出范圍時(shí))，不能確認(rèn)自己相對(duì)于拍攝范圍的位置。
再有，根據(jù)上述(1)的方法，在超出范圍時(shí)，由于突然對(duì)方的形象發(fā)生變化，因此使用者會(huì)一驚，而可能有中途打斷會(huì)話等情況發(fā)生。另外，根據(jù)上述(2)的方法，為了不使顯示的文字(消息)模糊，必須要有一定大小的文字顯示區(qū)域。因此，由于被文字顯示區(qū)域侵占，就使圖像顯示區(qū)域變小，對(duì)方的形象變小，容易看不清楚。
另外，無(wú)論采用上述(1)或(2)的任一種方法，對(duì)于畫面中使用者的大小完全不能反應(yīng)，不清楚使用者相對(duì)于攝像機(jī)部分的遠(yuǎn)近方向是否適當(dāng)。
因此，本發(fā)明的目的在于提供一種不用大的跟蹤機(jī)構(gòu)，就能夠使攝像機(jī)單元一側(cè)跟蹤使用者位置并以較好的位置拍攝使用者的圖像通信終端。
另外，本發(fā)明的另一種目的在于能夠清楚顯示對(duì)方保證自然通話、且使用者能夠始終確認(rèn)自己的拍攝情況(拍攝位置)的圖像通信終端。
本發(fā)明為達(dá)到上述目的，具有下述的特征。
本發(fā)明的第一方面，是面向?qū)z像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送的圖像通信終端，包括接受來自使用者的輸入的輸入單元、拍攝使用者的攝像機(jī)單元、從攝像機(jī)單元拍攝的圖像抽取使用者面部位置及大小(面部區(qū)域)的面部抽取單元、
對(duì)使用者顯示圖像的顯示單元、與對(duì)方的信息處理裝置至少進(jìn)行圖像通信的通信單元、以及發(fā)送數(shù)據(jù)處理單元，所述發(fā)送數(shù)據(jù)處理單元將比攝像機(jī)單元拍攝的圖像區(qū)域要小、而且在該圖像區(qū)域內(nèi)設(shè)定的能夠移動(dòng)的矩形發(fā)送區(qū)域的圖像輸出到通信單元，在攝像機(jī)單元拍攝的圖像區(qū)域內(nèi)，設(shè)定與發(fā)送區(qū)域一起移動(dòng)的有效區(qū)域，當(dāng)抽取的面部區(qū)域超出有效區(qū)域時(shí)，發(fā)送數(shù)據(jù)處理單元就移動(dòng)發(fā)送區(qū)域的設(shè)定位置，使其與該面部區(qū)域的位置一致。
這樣，根據(jù)第一方面，判斷面部區(qū)域是否超出有效區(qū)域，在超出有效區(qū)域時(shí)，移動(dòng)發(fā)送區(qū)域的位置，使其與面部區(qū)域的位置一致。這樣，發(fā)送區(qū)域跟蹤面部區(qū)域的運(yùn)動(dòng)，使用者可不注意拍攝情況，只要處于大致的位置，就能將適當(dāng)畫面構(gòu)成的自己圖像向?qū)Ψ桨l(fā)送。而且，不需要攝像機(jī)單元光軸移動(dòng)機(jī)構(gòu)或變焦距機(jī)構(gòu)那樣龐大的跟蹤機(jī)構(gòu)，不損害圖像通信終端的便攜性能。另外，若面部區(qū)域位于有效區(qū)域內(nèi)，則發(fā)送區(qū)域不移動(dòng)，因此向?qū)Ψ桨l(fā)送的圖像，特別是使用者背景圖像不會(huì)頻繁晃動(dòng)，可以防止對(duì)方眼花。
這里，最好設(shè)定有效區(qū)域小于發(fā)送區(qū)域，而且設(shè)定在發(fā)送區(qū)域內(nèi)。
若這樣進(jìn)行，則根據(jù)第二發(fā)明，由于面部區(qū)域在超出發(fā)送區(qū)域前，必須超出有效區(qū)域，故可以避免面部區(qū)域超出發(fā)送區(qū)域外而缺掉一部分面部的情況。
另外，當(dāng)抽取的面部區(qū)域超出有效區(qū)域時(shí)，在發(fā)送數(shù)據(jù)處理單元最好移動(dòng)發(fā)送區(qū)域，使該面部區(qū)域位于發(fā)送區(qū)域的中心位置，或者最好移動(dòng)發(fā)送區(qū)域，使該面部區(qū)域位于比發(fā)送區(qū)域中心偏上方向的位置。另外，這些發(fā)送區(qū)域的移動(dòng)最好能夠由輸入單元輸入的發(fā)送模式信息進(jìn)行切換。
這樣，能夠根據(jù)使用者的愛好，選擇面部以上或胸部以上的理想的畫面構(gòu)成。
另外，根據(jù)由輸入單元輸入的信息，在顯示單元監(jiān)控顯示發(fā)送區(qū)域內(nèi)的圖像及面部區(qū)域，使用者可參照該監(jiān)控顯示，在縱向及橫向移動(dòng)發(fā)送區(qū)域進(jìn)行調(diào)節(jié)。
若這樣進(jìn)行，則使用者能夠?qū)Πl(fā)送區(qū)域內(nèi)的圖像與面部區(qū)域進(jìn)行監(jiān)控，通過適當(dāng)當(dāng)調(diào)節(jié)發(fā)送區(qū)域位置，以任意的畫面構(gòu)成將自己圖像向?qū)Ψ桨l(fā)送。
本發(fā)明的第二方面，是面向?qū)z像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送的圖像通信終端，包括接受來自使用者的輸入的輸入單元、拍攝使用者的攝像機(jī)單元、從攝像機(jī)單元拍攝的圖像抽取使用者面部位置及大小(面部區(qū)域)的面部抽取單元、對(duì)使用者顯示圖像的顯示單元、與對(duì)方的信息處理裝置至少進(jìn)行圖像通信的通信單元、以及發(fā)送數(shù)據(jù)處理單元；所述發(fā)送數(shù)據(jù)處理單元將比攝像機(jī)單元拍攝的圖像區(qū)域要小、而且在該圖像區(qū)域內(nèi)設(shè)定的能夠移動(dòng)的矩形發(fā)送區(qū)域的圖像輸出到通信單元，在攝像機(jī)單元拍攝的圖像區(qū)域內(nèi)，設(shè)定與發(fā)送區(qū)域一起移動(dòng)的有效區(qū)域，當(dāng)抽取的面部區(qū)域超出有效區(qū)域時(shí)，發(fā)送數(shù)據(jù)處理單元就移動(dòng)發(fā)送區(qū)域的設(shè)定位置，使其與該面部區(qū)域的位置一致，而且根據(jù)抽取的面部區(qū)域圖像亮表，對(duì)發(fā)送區(qū)域的圖像亮表進(jìn)行校正，以提高攝像機(jī)單元拍攝的圖像內(nèi)的面部可視性，然后輸出到通信單元。
本發(fā)明的第三方面，是面向?qū)z像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送的圖像通信終端，包括接受來自使用者的輸入的輸入單元、拍攝使用者的攝像機(jī)單元、從攝像機(jī)單元拍攝的圖像抽取使用者面部位置及大小(面部區(qū)域)的面部抽取單元、對(duì)使用者顯示圖像的顯示單元、與對(duì)方的信息處理裝置至少進(jìn)行圖像通信的通信單元、以及發(fā)送數(shù)據(jù)處理單元，所述發(fā)送數(shù)據(jù)處理單元將比攝像機(jī)單元拍攝的圖像區(qū)域要小、而且在該圖像區(qū)域內(nèi)設(shè)定的能夠移動(dòng)的矩形發(fā)送區(qū)域的圖像輸出到通信單元，在攝像機(jī)單元拍攝的圖像區(qū)域內(nèi)，設(shè)定與發(fā)送區(qū)域一起移動(dòng)的有效區(qū)域；當(dāng)抽取的面部區(qū)域超出有效區(qū)域時(shí)，發(fā)送數(shù)據(jù)處理單元就移動(dòng)發(fā)送區(qū)域的設(shè)定位置，使其與該面部區(qū)域的位置一致，而且根據(jù)抽取的面部區(qū)域圖像亮度，設(shè)定攝像機(jī)單元的曝光強(qiáng)弱的值，以提高攝像機(jī)單元拍攝的圖像內(nèi)的面部可視性。
這樣，根據(jù)第二及第三方面，判斷面部區(qū)域是否超出有效區(qū)域，在超出有效區(qū)域時(shí)，移動(dòng)發(fā)送區(qū)域的位置，使其與面部區(qū)域的位置一致。這樣，發(fā)送區(qū)域跟蹤面部區(qū)域的運(yùn)動(dòng)，使用者可不注意拍攝情況，只要處于大致的位置，就能將適當(dāng)畫面構(gòu)成的自己圖像向?qū)Ψ桨l(fā)送。而且，不需要攝像機(jī)單元光軸移動(dòng)機(jī)構(gòu)或變焦距機(jī)構(gòu)那樣龐大的跟蹤機(jī)構(gòu)，不損害圖像通信終端的便攜性能。另外，若面部區(qū)域位于有效區(qū)域內(nèi)，則發(fā)送區(qū)域不移動(dòng)，因此向?qū)Ψ桨l(fā)送的圖像，特別是使用者背景圖像不會(huì)頻繁晃動(dòng)，可以防止對(duì)方眼花。再有，即使是逆光那樣的情況下，能夠?qū)⑹冀K能看得清使用者面部那樣的圖像向?qū)Ψ揭粋?cè)發(fā)送。這樣，即使在室外，也可以不必注意周圍的照環(huán)境，用圖像通信終端與對(duì)方進(jìn)行對(duì)話。
本發(fā)明的第四方面，是面向?qū)z像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送的圖像通信終端，包括拍攝使用者的攝像機(jī)單元、從攝像機(jī)單元拍攝的圖像抽取使用者面部位置的面部抽取單元、對(duì)使用者顯示從對(duì)方接收的圖像的顯示單元、根據(jù)抽取的面部位置將攝像機(jī)單元拍攝的圖像中使用者面部位置通知使用者的通知控制單元、以及與對(duì)方的信息處理裝置至少進(jìn)行圖像通信的通信單元。
這樣，根據(jù)第四方面，由于將拍攝圖像中自己的位置通知使用者，因此即使自己的形象未超出畫面時(shí)，也能夠確認(rèn)自己的位置，并放心地與對(duì)方進(jìn)行會(huì)話。即使萬(wàn)一使用者超出畫面，由于對(duì)方的形象不會(huì)突然發(fā)生變化，因此使用者能不慌不忙地一面參照通知，恢復(fù)到正確位置，一面繼續(xù)會(huì)話。而且，由于不需要在攝像機(jī)單元設(shè)置對(duì)使用者的跟蹤機(jī)構(gòu)，因此能夠減輕圖像通信終端的重量，而且能夠?qū)崿F(xiàn)低功耗。所以，能夠非常適用于移動(dòng)(電視)電話及便攜式計(jì)算機(jī)終端等重視便攜性能的裝置。
這里，面部抽取單元最好在抽取使用者面部位置的同時(shí)，也抽取面部的大小，通知控制單元最好將攝像機(jī)單元拍攝的圖像中使用者的面部位置及大小通知使用者。
這樣，由于還抽取面部區(qū)域的大小并通知使用者，使用者能旬到面部區(qū)域的位置及大小兩方面的信息。因而，使用者能參照這些信息，適當(dāng)保護(hù)畫面上的位置及遠(yuǎn)近方向的位置。另外，使用者即使未獲得自己圖像，也能夠桷認(rèn)自己處于畫面上什么位置，拍攝的圖像是多大的大小。
另外，通知控制單元最好在顯示單元顯示僅表示抽取的面部位置或表示位置及大小的標(biāo)記。
這樣，使用者一面看著顯示單元顯示的對(duì)方的形象，一面與通常會(huì)話那樣，集中精神進(jìn)行會(huì)話。另外，使用者參照簡(jiǎn)明的標(biāo)記，能夠確認(rèn)自己的位置。
該標(biāo)記可以顯示在從對(duì)方接收的圖像上，也可以顯示在從對(duì)方接收的圖像外。
前者的情況下，由于在對(duì)方形象上出現(xiàn)標(biāo)記，不需要為了僅僅顯示標(biāo)記而分配較大畫面區(qū)域，能夠使顯示的對(duì)方形象更大?？吹酶宄?。而且，使用為了看標(biāo)記，不需要改變視線，即使長(zhǎng)時(shí)間會(huì)話也很少疲勞。而后者的情況下，由于使標(biāo)記避開對(duì)方的圖像，因此標(biāo)記不干擾對(duì)方的圖像，能夠更鮮明地看到對(duì)方的形象。
另外，通知控制單元也可以通過與顯示單元分開另外設(shè)置的位置通知單元，將抽取的面部位置通知使用者。
這樣，由于與顯示單元分開另外設(shè)置位置通知單元，因此能夠?qū)@示單元的全部畫面分配用作顯示對(duì)方的形象，所以能夠使顯示的對(duì)方形象更大，看得更清楚。
另外，利用上述的通知控制單元進(jìn)行的向使用者通知的方法，可根據(jù)使用者的指示進(jìn)行切換，這樣使用者可選擇喜歡的通知方法。
這里，上述第一～第四方面采用的理想的面部抽取單元包括從攝像機(jī)單元拍攝的圖像抽取邊緣部分(相當(dāng)于人物外形或面部輪廓等的象素)并生成僅有該邊緣部分的圖像(邊緣圖像)的邊緣抽取單元；存儲(chǔ)模板的模板存儲(chǔ)單元，前述模板是將預(yù)定的形狀根據(jù)相似而各種不同的大小設(shè)置多個(gè)以中心點(diǎn)為中心的同心狀的圖形；對(duì)構(gòu)成模板的每個(gè)不同大小的運(yùn)送對(duì)應(yīng)附加邊緣圖像上的坐標(biāo)位置及投票數(shù)、并分別加以存儲(chǔ)的投票結(jié)果存儲(chǔ)單元；依次模板的中心點(diǎn)移動(dòng)到邊緣部分的各象素位置、對(duì)于與形成各種大小形狀的全部象素位置所對(duì)應(yīng)的各坐標(biāo)位置分別增加或減少投標(biāo)結(jié)果存儲(chǔ)單元存儲(chǔ)的投票數(shù)的投票單元；以及根據(jù)投票結(jié)果存儲(chǔ)單元存儲(chǔ)的各投票數(shù)求出對(duì)象圖數(shù)包含的面部位置及大小的角析單元。
根據(jù)該構(gòu)成，因僅僅進(jìn)行處理負(fù)擔(dān)輕的投票處理(基于上僅是加法)及其評(píng)價(jià)，故能夠高歌檢測(cè)面部位置。而且，由于采用具有相似的多個(gè)同心狀的模板，因此實(shí)際上變成進(jìn)行處似處理，看包含面部的邊緣部分與這些形狀中哪一個(gè)大小接近，還能夠高速抽取面部大小。這樣，由于能大幅度減輕處理負(fù)擔(dān)，因此即使是目前的個(gè)人計(jì)算機(jī)等級(jí)的處理能力，也幾乎能夠?qū)崟r(shí)抽取面部。另外，在對(duì)象圖像中哪一部分是面部區(qū)域，或者面部區(qū)域的個(gè)數(shù)等，在抽取前即使不不禁也沒關(guān)系，對(duì)于大范圍的對(duì)象圖像，一樣能檢測(cè)面部，通用性極高。
另外，若設(shè)預(yù)定形狀為圓，則從模板中心點(diǎn)至形狀的全部象素的距離總是一定的，能夠保持簋高的投票結(jié)果精度。
另外，其它理想的面部抽取單元包括輸入規(guī)定的模板圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正交變換的模板圖像處理單元；輸入攝像機(jī)單元拍攝的圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正交變換的輸入圖像處理單元；對(duì)于模板圖像及拍攝的圖像分別生成的正交交換后的各評(píng)價(jià)向量、將對(duì)應(yīng)的譜數(shù)據(jù)進(jìn)行積和運(yùn)算的積和單元；將積和運(yùn)算的結(jié)果進(jìn)行逆正交交換后生成相似值映射的逆正交交換單元。
評(píng)價(jià)向量包含將該圖像邊緣法線方向向量進(jìn)行偶數(shù)傍角變換的分量，相似值的計(jì)算式、正交變換及逆正交變換都具有線性。
根據(jù)該構(gòu)成，即使由于背景部分的亮度之差，模板圖像的邊緣法線方向向量與攝像機(jī)部分拍攝的圖像(輸入圖像)的邊緣法線方向向量之夾角θ的內(nèi)積(cosθ)正負(fù)反轉(zhuǎn)時(shí)，也對(duì)相似值沒有影響，能夠正常評(píng)價(jià)還配情況。
另外，在評(píng)價(jià)向量的表現(xiàn)中，也可以用根據(jù)極坐標(biāo)表現(xiàn)邊緣法線方向向量時(shí)的角度計(jì)算的值。
這里，在上述各方面部抽取單元中，最好還包括(根據(jù)投票結(jié)果存儲(chǔ)單元存儲(chǔ)的內(nèi)容或逆正交變換單元生成的相似值)判斷從攝像機(jī)單元拍攝的圖像作為面部抽取的位置及大小是否真是面部的面部或非面部判斷單元，并僅在判斷為面部時(shí)，將抽取結(jié)果輸出。
利用該判斷，即使實(shí)際的面部處于面部區(qū)域的第1候補(bǔ)以外，也能夠穩(wěn)定抽取面部區(qū)域。另外，由于即使在圖像中沒有面部，也能夠判斷沒有面部，因此能夠自動(dòng)檢測(cè)出沒有必要移動(dòng)面部位置進(jìn)行顯示的情況。
在該面部或非面部判斷單元之也可以利用從攝像機(jī)單元拍攝的圖像作為面部抽取的區(qū)域所得到的圖像特征，根據(jù)支持向量函數(shù)的判斷結(jié)果，進(jìn)行面部或非面部的判斷。這種情況下，可以將從攝像機(jī)單元拍攝的圖像作為面部抽取的區(qū)域所得到的邊緣法線方向向量作為圖像特征，也可以將從該區(qū)域所得到的邊緣法線直方圖作為圖像特征。


圖1所示為本發(fā)明實(shí)施形狀1的圖像通信終端構(gòu)成方框圖。
圖2所示為發(fā)送數(shù)據(jù)處理單元8進(jìn)行的跟蹤處理順序流程圖。
圖3～圖6為說明拍攝區(qū)域30與發(fā)送區(qū)域31的關(guān)系的說明圖。
圖7所示為本發(fā)明實(shí)施形狀2的圖像通信終端構(gòu)成方框圖。
圖8及圖9所示為顯示單元3畫面上顯示的標(biāo)記之一例。
圖10所示為利用輸入單元雙的數(shù)字鍵進(jìn)行通知的標(biāo)記之一例。
圖11所示為對(duì)方一側(cè)信息處理裝置的畫面上顯示的使用者1一側(cè)的圖像之一例。
圖12所示為實(shí)施例的面部抽取單元7的構(gòu)成方框圖。
圖13所示為樣板存儲(chǔ)單元52存儲(chǔ)的樣板之一例。
圖14所示為投票單元54進(jìn)行的投票處理順序流程圖。
圖15為邊緣抽取單元51抽取的邊緣圖像之一例。
圖16為說明利用投票處理在投票結(jié)果存儲(chǔ)單元53的投票存儲(chǔ)區(qū)域存儲(chǔ)的投票數(shù)的概念的說明圖。
圖17所示為解析單元55進(jìn)行的解析處理順序流程圖。
圖18所示為實(shí)施例2的面部抽取單元7的構(gòu)成方框圖。
圖19所示為輸入至邊緣抽取單元81及91的樣板圖像及對(duì)象圖像之一例。
圖20為內(nèi)積正負(fù)反轉(zhuǎn)的說明圖。
圖21為評(píng)價(jià)向量壓縮處理的說明圖。
圖22所示為實(shí)施例3的面部抽取部分7構(gòu)成一部分的方框圖。
圖23所示為面部或非面部判斷單元113進(jìn)行的面部或非面部判斷結(jié)果之一例。
下面參照附圖，說明本發(fā)明的各實(shí)施形狀。
實(shí)施形狀1圖1所示為本發(fā)明實(shí)施形狀1的圖像通信終端構(gòu)成方框圖。在圖1中，實(shí)施形狀1的圖像通信終端具有輸入單元2、顯示單元3、攝像機(jī)單元4、顯示控制單元5、自己圖像存儲(chǔ)器6、面部抽取單元7、發(fā)送數(shù)據(jù)處理單元8、通信單元9、接收數(shù)據(jù)處理單元10及對(duì)方圖像存儲(chǔ)器11。
首先，說明實(shí)施形狀1的圖像通信終端各構(gòu)成的簡(jiǎn)要情況。
如圖1所示，在本實(shí)施形狀的圖像通信終端中，輸入單元2、顯示單元3及攝像機(jī)單元4對(duì)著使用者1。
輸入單元2由鍵盤(包括數(shù)字鍵等)及鼠標(biāo)器等構(gòu)成，使用者1用來輸入發(fā)送模式及其它必要的信息。
顯示單元3由LCD等構(gòu)成，畫面上對(duì)著使用者1顯示對(duì)方圖像及根據(jù)顯示控制單元5的指示顯示的標(biāo)記等。關(guān)于標(biāo)記將在后面詳細(xì)敘述，是使用者1能夠確認(rèn)在畫面中自己面部的位置及大小的標(biāo)記。
攝像機(jī)單元4由鏡頭等光學(xué)系統(tǒng)及CCD等電氣系統(tǒng)構(gòu)成，用來拍攝使用者1。該攝像機(jī)單元4拍攝的圖像(下面稱為對(duì)象圖像)按每一幀存儲(chǔ)在自己圖像存儲(chǔ)器6中。
顯示控制單元5對(duì)顯示單元3的畫面顯示(主要是顯示接收的對(duì)方圖像)進(jìn)行控制。另外，控制單元5按照由輸入單元2輸入的信息，根據(jù)面部抽取單元7抽取的面部區(qū)域，在顯示單元3的畫面上顯示標(biāo)記。
面部抽取單元7對(duì)于自己圖像存儲(chǔ)器6存儲(chǔ)的對(duì)象圖像，求得存在的面部的位置及大小，并將這些信息作為面部區(qū)域輸出到顯示控制單元5及發(fā)送數(shù)據(jù)處理單元8.另外，關(guān)于該面部抽取單元7，將在后面詳細(xì)說明可用于本發(fā)明的方法。
發(fā)送數(shù)據(jù)處理單元8設(shè)定與面部抽取單元7抽取的面部區(qū)域位置一致的發(fā)送區(qū)域。然后，發(fā)送數(shù)據(jù)處理單元8根據(jù)由輸入單元2輸入的發(fā)送模式，將自己圖像存儲(chǔ)器6存儲(chǔ)的對(duì)象圖像內(nèi)的發(fā)送區(qū)域內(nèi)的圖像數(shù)據(jù)送出至通信單元9。
通信單元9通過通信路徑，與對(duì)方的信息處理裝置(包括圖像通信終端)至少進(jìn)行圖像數(shù)據(jù)通信。這里的通信模式是任意的，例如可以象內(nèi)線電話那樣，不通過基地臺(tái)進(jìn)行子機(jī)間通信，也可以通過電視電話那樣的基地臺(tái)，進(jìn)行同步通信或異步通信。
接收數(shù)據(jù)處理單元10對(duì)通過通信單元9接收的對(duì)方圖像數(shù)據(jù)進(jìn)行處理，按每一幀存儲(chǔ)在對(duì)方存儲(chǔ)器11中。
另外，在本實(shí)施形狀中，是以通信單元9進(jìn)行雙向通信的情況為例進(jìn)行說明，但也可以將本發(fā)明用于由使用者1向?qū)Ψ竭M(jìn)行圖像數(shù)據(jù)單向通信的視頻郵件等。這種情況下，對(duì)方的信息處理裝置也可以只具有接收被發(fā)送的圖像數(shù)據(jù)然后進(jìn)行畫面顯示的構(gòu)成部分。
下面利用圖2～圖6，說明發(fā)送數(shù)據(jù)處理單元8進(jìn)行的與面部區(qū)域位置一致的跟蹤處理。
首先，由攝像機(jī)單元4決定的拍攝區(qū)域30與通信單元9發(fā)送的圖像的發(fā)送區(qū)域31之關(guān)系，一般如圖3所示。發(fā)送區(qū)域31為小于拍攝區(qū)域30的矩形區(qū)域。攝像機(jī)單元4在比發(fā)送區(qū)域31大的拍攝區(qū)域30對(duì)被拍者(使用者1)進(jìn)行拍攝，而從圖像通信終端僅將發(fā)送區(qū)域31內(nèi)的圖像向?qū)Ψ桨l(fā)送。在圖3的例子中，拍攝區(qū)域30的x方向長(zhǎng)為A，y方向長(zhǎng)為B，而發(fā)送區(qū)域31的x方向長(zhǎng)為L(zhǎng)，y方向長(zhǎng)為M。另外，L＜A，M＜B，各長(zhǎng)度A、B、L、M均固定。
在圖3的例子中，將發(fā)送區(qū)域31在左上點(diǎn)(x1、y1)作為基準(zhǔn)點(diǎn)。該基準(zhǔn)點(diǎn)可在拍攝區(qū)域30內(nèi)移動(dòng)，若使基準(zhǔn)點(diǎn)固定，則發(fā)送區(qū)域31的位置也確定下來，且呈現(xiàn)單一性。另外，也可以將發(fā)送區(qū)域31的左上點(diǎn)以外的點(diǎn)作為基準(zhǔn)。
另外，在本實(shí)施形狀中，用圓形標(biāo)記R表示面部抽取單元7抽取的面部區(qū)域的位置及大小。該標(biāo)記R的中心是面部區(qū)域的中心，標(biāo)記R的直徑相對(duì)于面部區(qū)域的大小。標(biāo)記R也可以是圓形以外的形狀。
在圖3的狀態(tài)中，用標(biāo)記R表示的面部區(qū)域向發(fā)送區(qū)域31的右側(cè)超出。因而，根據(jù)標(biāo)記R，如圖中箭頭所示，若使發(fā)送區(qū)域31向右側(cè)移動(dòng)，則成為理想的畫面構(gòu)成。因此，在本實(shí)施形狀中，讓發(fā)送區(qū)域31移動(dòng)，使標(biāo)記R包含在內(nèi)部。
圖4所示為使發(fā)送區(qū)域31移動(dòng)后的狀態(tài)(左上點(diǎn)(x2、y2))。這里，在本實(shí)施形狀中，如圖4所示，在發(fā)送區(qū)域31的內(nèi)側(cè)再設(shè)定有效區(qū)域32，使有效區(qū)域32與發(fā)送區(qū)域31一起移動(dòng)。然后，不是檢查標(biāo)記R是否超出發(fā)送區(qū)域31，而是檢查是否超出有效區(qū)域32，在超出時(shí)，如從圖3到圖4那樣，使發(fā)送區(qū)域31及有效區(qū)域32移動(dòng)。
這里，若有效區(qū)域32太小，則標(biāo)記R超出有效區(qū)域32的概率增加，容易導(dǎo)致對(duì)方眼花。因而，最好如圖4所示，將有效區(qū)域32取得較大，以抑制發(fā)送區(qū)域31移動(dòng)。即使這樣，面部區(qū)域也處于容易看清的位置。
另外，在本實(shí)施形狀中，還可利用發(fā)送模式(面部以上模式或胸部以上模式)來切換發(fā)送區(qū)域31剛移動(dòng)后的標(biāo)記R的位置。圖4是標(biāo)記R相對(duì)于發(fā)送區(qū)域31位于比x方向中心及y方向中心略上方的位置即根據(jù)胸部以上模式的圖像顯示方法之一例。另外，所謂面部以上模式是標(biāo)記R相對(duì)于發(fā)送區(qū)域31位于x方向中心及y方向中心位置的圖像顯示方法。
另外，在本實(shí)施形狀中，如圖5所示，還可以使標(biāo)記R從這些模式向希望的方向偏離。如果這樣，就可以適應(yīng)各種要求，例如考慮到使用者1想要讓對(duì)方一起看到自己與所拿的物品等情況下，也能滿足要求。
下面參照?qǐng)D2，說明發(fā)送數(shù)據(jù)處理單元8進(jìn)行的跟蹤處理的各個(gè)步驟。
首先，使用者以輸入單元2將發(fā)送模式(胸部以上模式/面部以上模式)輸入(步驟S201)。然后，利用攝像機(jī)單元4拍攝使用者1，作為對(duì)象圖像存儲(chǔ)在自己圖像存儲(chǔ)6中(步驟S202)。在該拍攝時(shí)，使用者1只要位于大的拍攝區(qū)域30內(nèi)面部拍攝位置就可以了。然后，面部抽取單元7抽取對(duì)象圖像內(nèi)的面部區(qū)域(面部位置及大小)，將抽取的面部區(qū)域輸出到發(fā)送數(shù)據(jù)處理單元8(步驟S203)。
若抽取了面部區(qū)域，則發(fā)送數(shù)據(jù)處理單元8根據(jù)發(fā)送模式，使發(fā)送區(qū)域31與面部區(qū)域一致(步驟S204)。具體來說，如圖4所示，決定發(fā)送區(qū)域31的左上點(diǎn)，使面部區(qū)域包含在發(fā)送區(qū)域31內(nèi)。然后，在發(fā)送區(qū)域31內(nèi)設(shè)定有效區(qū)域32(步驟S205)，利用顯示單元3將圖4的發(fā)送區(qū)域31內(nèi)的圖像顯示給使用者1進(jìn)行監(jiān)控(步驟S206)。另外，在該步驟S206中，也可以不顯示使用者1本身的圖像，而只顯示標(biāo)記R。然后，使用者1利用輸入單元2輸入所監(jiān)控顯示的畫面構(gòu)成是否合適(是否鎖定發(fā)送區(qū)域31)(步驟S207)。使用者1在希望偏離發(fā)送區(qū)域31時(shí)，輸入單元2接受輸入的移動(dòng)信息，調(diào)節(jié)發(fā)送區(qū)域31的位置(步驟S215)。然后，處理返回步驟S205，再一次請(qǐng)求使用者1確認(rèn)。
若在上述步驟S207中畫面構(gòu)成結(jié)束，則開始與對(duì)方的圖像通信(步驟S208)。另外，設(shè)置適當(dāng)?shù)闹袛嗵幚韱卧?，即使在通信過程中，也可以進(jìn)行步驟S201～S207的處理。若開始通過，則通過通信單元9及接收數(shù)據(jù)處理單元10存儲(chǔ)在對(duì)方圖像存儲(chǔ)器11的對(duì)方圖像，就顯示在顯示單元3的畫面上(步驟S209)。這里再一次用攝像機(jī)單元4拍攝使用者1(步驟S210)，面部抽取單元7抽取面部區(qū)域(步驟S211)，發(fā)送數(shù)據(jù)處理單元8判斷面部區(qū)域是否超出有效區(qū)域32(步驟S212)。
這里，如圖6所示，若超出有效區(qū)域32，則發(fā)送數(shù)據(jù)處理ufjq8與上述步驟S204相同，根據(jù)發(fā)送模式，使發(fā)送區(qū)域31的左上點(diǎn)移動(dòng)(步驟S213)，然后在面部抽取單元7再一次抽取面部區(qū)域，再一次判斷抽取的面部區(qū)域是否超出有效區(qū)域32(步驟S211、S212)。另外，若未超出有效區(qū)域32，則發(fā)送數(shù)據(jù)處理部分8不使發(fā)送區(qū)域31移動(dòng)，繼續(xù)進(jìn)行通信。另外，在使用者想要一面確認(rèn)自己拍攝的情況，在放心以后一面進(jìn)行通信時(shí)，也可以采用例如畫中畫方式，將自己的圖像與對(duì)方的圖像一起顯示在畫面內(nèi)。
然后，重復(fù)步驟S209～S213的處理，直到通信結(jié)束(步驟S214)。
這樣，根據(jù)本發(fā)明實(shí)施形狀1的圖像通信終端，可以不用龐大的跟蹤機(jī)構(gòu)，不損害圖像通信終端的便攜性能，能夠?qū)嶋H上跟蹤了使用者的運(yùn)動(dòng)而進(jìn)行拍攝及圖像通信。即使用者即使不注意拍攝的情況，也能夠以理想的畫面構(gòu)成進(jìn)行拍攝，并將自己圖像向?qū)Ψ桨l(fā)送。另外，若面部區(qū)域在有效區(qū)域內(nèi)，則發(fā)送區(qū)域不移動(dòng)，因此向?qū)Ψ揭粋?cè)發(fā)送的圖像，特別是使用者一側(cè)的背景圖像不會(huì)敏繁晃動(dòng)，可以防止對(duì)方眼花。
眾所周知，攝像機(jī)單元4所用的攝像機(jī)，有的具有自動(dòng)曝光校正功能。所謂自動(dòng)曝光校正是自動(dòng)校正圖像亮度使亮度為最佳的功能，一般是根據(jù)整個(gè)圖像或幾點(diǎn)的平均亮度，通過改變圖像內(nèi)各象素亮度來進(jìn)行校正。但是產(chǎn)生的問題是，在像逆光等那樣面部區(qū)域平均亮度低于整個(gè)對(duì)象圖像平均亮度的情況下，使用者1的面部就變成漆黑了。
因此，作為這種情況下采取的方法，是只要在發(fā)送數(shù)據(jù)處理單元8，根據(jù)面部抽取單元7抽取的面部區(qū)域，對(duì)攝像機(jī)單元4拍攝的對(duì)象圖像的亮度進(jìn)行亮度校正，以提高面部的可視性，然后傳送給通信單元9即可。
具體來說，發(fā)送數(shù)據(jù)處理單元8預(yù)先存儲(chǔ)有面部區(qū)域內(nèi)部的平均亮度理想值(理想平均亮度a)。然后，發(fā)送數(shù)據(jù)處理單元8求出面部抽取單元7抽取的面部區(qū)域內(nèi)部的平均亮度I，為了將攝像機(jī)單元4拍攝的對(duì)象圖像的亮度Y1變?yōu)樾碌牧炼萗2，將對(duì)象圖像的各象素進(jìn)行Y2＝Y(jié)1X(a/I)的運(yùn)算。這樣，面部區(qū)域內(nèi)部能夠被校正為理想平均亮度a。另外，利用該理想平均亮度a，可以認(rèn)為不僅亮度改變，而且色調(diào)也同樣改變。
除此之外，還可能有這種情況，即發(fā)送數(shù)據(jù)處理單元8在面部區(qū)域內(nèi)部平均亮度為I時(shí)，具有可以設(shè)定的攝像機(jī)單元4的曝光等級(jí)，而使面部區(qū)域變?yōu)槔硐肫骄炼萢。這種情況下，發(fā)送數(shù)據(jù)處理單元8將面部區(qū)域內(nèi)部的平均亮度I相對(duì)應(yīng)的曝光等級(jí)通知攝像機(jī)單元4，通過這樣能夠進(jìn)行校正，使面部區(qū)域的亮度達(dá)到理想值。
這樣一來，即使是逆光那樣的情況下，能夠?qū)⑹冀K能看得清使用者面部那樣的圖像向?qū)Ψ揭粋?cè)發(fā)送。這樣，即使在室外，也可以不必注意周圍的照明環(huán)境，用圖像通信終端與對(duì)方進(jìn)行對(duì)話。
實(shí)施形狀2在上述實(shí)施形狀1中說明的方法是，采用簡(jiǎn)單的跟蹤機(jī)構(gòu)，圖像通信終端一側(cè)自動(dòng)跟蹤使用者的運(yùn)動(dòng)，通過這樣，能夠?qū)⑹褂谜呖蛟趫D像框內(nèi)的理想圖像向?qū)Ψ揭粋?cè)發(fā)送。
下面在實(shí)施形狀2中要說明的方法是，不用跟蹤機(jī)構(gòu)，通過使用者一側(cè)配合圖像通信終端運(yùn)動(dòng)進(jìn)行顯示，能夠?qū)⑹褂谜呖虺鰣D像框內(nèi)的理想圖像向?qū)Ψ揭粋?cè)發(fā)送。
圖7所示為本發(fā)明實(shí)施形狀2的圖像通信終端構(gòu)成方框圖。在圖7中，實(shí)施形狀2的圖像通信終端具有輸入單元22、顯示單元3、攝像機(jī)單元4、顯示控制單元25、自己圖像存儲(chǔ)器6、面部抽取單元7、發(fā)送數(shù)據(jù)處理單元8、通信單元9、接收數(shù)據(jù)處理單元10及對(duì)方圖像存儲(chǔ)器11。
首先，說明實(shí)施形狀2的圖像通信終端各構(gòu)成的簡(jiǎn)要情況。
如圖7所示，在本實(shí)施形狀的圖像通信終端中，輸入單元22、顯示單元3及攝像機(jī)單元4對(duì)著使用者1。
輸入單元22由鍵盤(包括數(shù)字鍵等)及鼠標(biāo)器等構(gòu)成，使用者1用來輸入通知模式、發(fā)送模式及其它必要的wyth。在本實(shí)施形狀中，輸入單元22具有能夠發(fā)光(或閃爍)的數(shù)字鍵。
顯示單元3由LCD等構(gòu)成，畫面上對(duì)著使用者1顯示對(duì)方圖像及根據(jù)顯示控制單元25的指示顯示的標(biāo)記等，關(guān)于標(biāo)記將在后面詳細(xì)敘述，是使用者1能夠確認(rèn)在畫面中自己面部的位置及大小的標(biāo)記。另外，由輸入單元22及顯示單元3構(gòu)成通知單元12，通知單元12將發(fā)送給對(duì)方一側(cè)的發(fā)送圖像中使用者1的面部位置及大小通知使用者1。
攝像機(jī)單元4由鏡頭等光學(xué)系統(tǒng)及CCD等電氣系統(tǒng)構(gòu)成，用來拍攝使用者1。該攝像機(jī)單元4拍攝的圖像(對(duì)象圖像)按每一幀存儲(chǔ)在自己圖像存儲(chǔ)器6中。
顯示控制單元25對(duì)顯示單元3的畫面顯示(主要是顯示接收的對(duì)方圖像)進(jìn)行控制、另外，顯示控制單元25按照由輸入單元22輸入的通知模式，根據(jù)面部抽取單元7抽取的面部區(qū)域，或者在顯示單元3的畫面上顯示標(biāo)記，或者使輸入單元22的數(shù)字鍵發(fā)光。
面部抽取單元7對(duì)于自己圖像存儲(chǔ)器6存儲(chǔ)的對(duì)象圖像，求得存在的面部的位置及大小，并將這些信息作為面部區(qū)域輸出到顯示控制單元25及發(fā)送數(shù)據(jù)處理單元8，另外，關(guān)于該面部抽取單元7，將在后面詳細(xì)說明可用于本發(fā)明的方法。
發(fā)送數(shù)據(jù)處理單元8根據(jù)輸入單元22給出的發(fā)送模式，將自己圖像存儲(chǔ)器6存儲(chǔ)的對(duì)象圖像照原樣或經(jīng)過后述的加工處理后輸出給通信單元9。
通信單元9通過通信路徑，與對(duì)方的信息處理裝置(包括圖像通信終端)至少進(jìn)行圖像數(shù)據(jù)通信。這里的通信模式是任意的，例如可以象內(nèi)線電話那樣，不通過基地臺(tái)進(jìn)行子機(jī)間通信，也可以通過電視電話那樣的基地臺(tái)，進(jìn)行同步通信或異步通信。
接收數(shù)據(jù)處理單元10對(duì)通過通信單元9接收的對(duì)方圖像數(shù)據(jù)進(jìn)行處理，按每一幀存儲(chǔ)在對(duì)方圖像存儲(chǔ)器11中。
下面參照?qǐng)D8～圖10，說明顯示控制單元25在顯示單元3的畫面上顯示的標(biāo)記之一例。另外，這些例子也可以適當(dāng)加以組合使用。
首先，圖8(a)～(d)為顯示單元3的畫面上用標(biāo)記R僅顯示使用者1的面部位置(這里是面部抽取單元7抽取的面部區(qū)域的中心)的例子。圖中用矩形表示的區(qū)域是顯示單元3的畫面，在該區(qū)域中顯示對(duì)方的圖像。在圖8(a)～(c)中，標(biāo)記R在對(duì)方圖像內(nèi)重疊顯示。在圖8(d)中，標(biāo)記R在對(duì)方圖像處顯示。這些標(biāo)記R的顯示，可以與對(duì)方圖像幀同步更新，也可以異步更新。
圖8(a)使用十字線作為標(biāo)記R，線的交點(diǎn)表示使用者1的面部位置。圖8(b)使用箭頭作為標(biāo)記R，兩個(gè)箭頭所確定的點(diǎn)表示使用者1的面部位置。圖8(c)使用十字或X的圖形作為標(biāo)記R，圖形的位置表示面部位置。圖8(d)使用對(duì)方圖像框外顯示的橫豎直尺作為標(biāo)記R，豎R上所附的標(biāo)尺與橫尺上所附的標(biāo)尺所確定的點(diǎn)表示使用者1的面部位置。
而圖9(a)～(c)為顯示單元3的畫面上用標(biāo)記R顯示使用者1的面部位置及大小(面部抽取單元7抽取的整個(gè)面部區(qū)域)的例子。圖9(a)使用橫豎各兩條平行線作為標(biāo)記R，用該平等線所包圍的矩形區(qū)域表示使用者1的面部位置及大小。圖9(b)使用對(duì)方圖像框外顯示的橫豎直尺作為標(biāo)記R，豎尺上所附的帶有寬度的標(biāo)尺與橫尺上所附的帶有寬度的標(biāo)尺所確定的區(qū)域表示使用者1的面部位置及大小。圖9(c)使用與面部區(qū)域挖的圓(或橢圓)作為標(biāo)記R，圓的區(qū)域表示使用者1的面部位置及大小。
另外，這些標(biāo)記的顯示可以與對(duì)方圖像無(wú)關(guān)，也可以與對(duì)方圖像相關(guān)，前者例如不管對(duì)方圖像如何，用規(guī)定的顏色(用黑色一種顏色等)顯示標(biāo)記R。后者例如當(dāng)顯示的標(biāo)記在對(duì)方圖像上難以看懂時(shí)，就改變顯示標(biāo)記R的象素的亮度，或使其RGB值改變(反轉(zhuǎn))。無(wú)論哪一種情況，希望這些標(biāo)記R顯示時(shí)不要妨礙對(duì)方圖像。
再有圖10是不用顯示單元3、而是用輸入單元22來顯示使用者1面部大致位置的例子。如圖10所示，用能夠發(fā)光的數(shù)字鍵作為標(biāo)記R，通過使該數(shù)字鍵的某一個(gè)鍵發(fā)光，能夠?qū)⒚娌课恢猛ㄖ褂谜?，在圖10中，由于“3”鍵發(fā)光，因此可以通知使用者1，面部位置位于畫面的“右上”方。同樣，如果是“1”鍵發(fā)光，為畫面的“左上”方；如果是“5”鍵發(fā)光，為畫面的正當(dāng)中；如果是“9”鍵發(fā)光，為畫面的“右下”方。這樣能顯示大概的位置。即使通知這樣的大致位置，實(shí)用上也足夠了。
另外，在本實(shí)施形狀中，根據(jù)從輸入單元22給予顯示控制單元25的通知模式，能夠?qū)Σ捎脠D8～圖10的哪一種方法來通知面部位置進(jìn)行切換。還有，這些通知可以在平常進(jìn)行，也可以僅僅在使用者1利用輸入單元22發(fā)出通知指令時(shí)進(jìn)行。另外，通知大致位置的方法，除了圖10所示的輸入單元22的數(shù)字鍵發(fā)光以外，還可以利用聲、光等方法。例如利用聲音的情況下，可以考慮使揚(yáng)聲器發(fā)出聲音的間隔或頻率隨面部位置而變化；利用發(fā)光的情況下，可以考慮使發(fā)光的亮度或閃爍的間隔隨面部位置而變化等。
下面參照?qǐng)D11，說明發(fā)送數(shù)據(jù)處理單元8通過通信單元9發(fā)送的使用者1的圖像例子。在本實(shí)施形狀中，向?qū)Ψ揭粋?cè)發(fā)送的圖像，可根據(jù)從輸入單元22給予發(fā)送數(shù)據(jù)處理單元8的發(fā)送模式進(jìn)行選擇。
這里，在使用者1一側(cè)(自己一側(cè))，假設(shè)在對(duì)方圖像上顯示如圖11(a)所示的標(biāo)記R(圖9(a)～(c)的組合)。這時(shí)，發(fā)送數(shù)據(jù)處理單元8可以根據(jù)發(fā)送模式以各種形狀將自己圖像向?qū)Ψ桨l(fā)送。例如，若發(fā)送模式為“通常”，則如圖11(b)所示，發(fā)送數(shù)據(jù)處理單元8將攝像機(jī)單元4取得的圖像照原樣進(jìn)行發(fā)送。另外，若發(fā)送模式為“帶標(biāo)記”，則如圖11(c)所示，發(fā)送數(shù)據(jù)處理單元8參照面部抽取單元7抽取的面部區(qū)域，生成將標(biāo)記R與取得的圖像合成的自己圖像，向?qū)Ψ桨l(fā)送。再有，若發(fā)送模式為“面部”，則如圖11(d)所示，發(fā)送數(shù)據(jù)處理單元8從取得的圖像中僅僅取出面部抽取單元7抽取的面部區(qū)域，形成自己圖像將該自己圖像向?qū)Ψ桨l(fā)送。
根據(jù)發(fā)送模式進(jìn)行的這些圖像處理，可以采用眾所周知的技術(shù)簡(jiǎn)單的實(shí)現(xiàn)，因此省略其詳細(xì)說明。這里，若如圖11(c)所示，發(fā)送“帶標(biāo)記”的自己圖像，則即使發(fā)送例如很難知道自己位于什么位置的圖像(處于漆黑中的圖像)，也能夠讓對(duì)方正確掌握自己的位置。另外，若如圖11(d)所示，發(fā)送“面部”的自己圖像。則由于不拍攝背景，可以隱去不想被對(duì)方看見的部分，可以保護(hù)個(gè)人秘密。另外，即使這樣隱去背景，但由于仍向?qū)Ψ絺魉兔娌勘砬榈?，因此不妨礙會(huì)話。
另外，上述說明的發(fā)送模式，若相互是唯一的，則也可能根據(jù)其它任意的區(qū)域方法。
如上所述，根據(jù)本發(fā)明第二實(shí)施形狀的圖像通信終端，是采用基于抽取的面部區(qū)域的標(biāo)記，能夠簡(jiǎn)單且適當(dāng)?shù)乇憩F(xiàn)使用者畫面上的位置關(guān)系。因而，使用者在自己的面部位置超出畫面時(shí)，當(dāng)然能夠一面確認(rèn)自己的面部位置，在放心之后，一面與對(duì)方進(jìn)行對(duì)話，而即使自己的面部位置未超出畫面時(shí)，也能夠這樣。另外，與上述實(shí)施形狀1相比，由于省略了跟蹤機(jī)構(gòu)，因此能夠使圖像通信終端的便攜性能更好。
下面就上述本發(fā)明實(shí)施形狀1、2的圖像通信終端能夠采用的面部抽取單元7說明三個(gè)具體的實(shí)施例。另外，面部抽取單元7除了下面說明的三個(gè)方法以外，還可以采用基于顏色信息的方法、著眼于面部的眼、口等部分的方法、以及利用模板匹配的方法等眾所周知的各種方法。
實(shí)施例1圖12所示為實(shí)施例1的面部抽取單元7的構(gòu)成方框圖。在圖12中，面部抽取單元7具有邊緣抽取單元51、模板存儲(chǔ)單元52、投標(biāo)結(jié)果存儲(chǔ)單元53、投標(biāo)單元54及解析單元55。
邊緣抽取單元51從攝像機(jī)單元4拍攝的對(duì)話圖像抽取邊緣部分，生成僅僅有邊緣部分的圖像(下面稱為邊緣圖像)。這里所謂邊緣部分，是相當(dāng)于人物外形或面部輪廓等部分(象素)，是對(duì)象圖像內(nèi)的高頻分量的部分。該邊緣抽取單元51最好采用從對(duì)象圖像取出高頻分量的Sobel濾波器等。
在模板存儲(chǔ)單元52存儲(chǔ)模板數(shù)據(jù)，前述模板是將預(yù)先規(guī)定的形狀，根據(jù)相似但大小不同的各種尺寸，在中心點(diǎn)設(shè)置的多個(gè)同心狀的圖形。該模板形狀雖可以采用圓、橢圓、正多邊形、多邊形等，但最好采用從中心點(diǎn)至形狀線(形成形狀的各象素)的距離始終為一定的圓。這樣，能夠提高后述的投票精度。
下面說明的情況是，在該實(shí)施例1中，如圖13所示，采用中心點(diǎn)為P、設(shè)置多個(gè)半徑不同的同心圓的模板。這里，構(gòu)成模板的多個(gè)圓t1～tn(n為任意整數(shù))，如圖13所示的模板，可以是半徑按一定間隔變化，也可以是半徑按不定間隔變化。另外，構(gòu)成模板的多個(gè)圓t1～tn可以是全部線寬由1位(bit)(相當(dāng)于對(duì)象圖像的1個(gè)象素)構(gòu)成，也可以部分或全部線寬由2位以上(即圓環(huán)形狀)構(gòu)成。在下面的說明中，將圓及圓環(huán)簡(jiǎn)單統(tǒng)稱為“圓”。
該多個(gè)圓t1～tn合起來作為一個(gè)模板處理，存儲(chǔ)在模板存儲(chǔ)單元52中，但在實(shí)際處理中，構(gòu)成模板的各圓t1～tn是獨(dú)立處理的。為此，在模板存儲(chǔ)單元52中，形成各圓t1～tn的象素?cái)?shù)據(jù)是例如以表格形式分別加以存儲(chǔ)的。
在投票結(jié)果存儲(chǔ)單元53中，對(duì)構(gòu)成模板存儲(chǔ)單元52存儲(chǔ)的模板的各個(gè)大小形狀，設(shè)置將在后述的投票單元54進(jìn)行的投票處理結(jié)果加以存儲(chǔ)的區(qū)域(下面稱為投票存儲(chǔ)區(qū)域)。在該例子中，由于各大小的形狀為圓t1～tn，因此在投票結(jié)果存儲(chǔ)單元53，對(duì)于圓t1～tn，設(shè)置n個(gè)投票存儲(chǔ)區(qū)域。另外，該投票存儲(chǔ)區(qū)域具有與對(duì)象圖像對(duì)應(yīng)的范圍。
投標(biāo)單元54對(duì)于邊緣抽取單元51生成的邊緣圖像，采用模板存儲(chǔ)單元52存儲(chǔ)的模板，進(jìn)行投票處理。圖14所示為投票單元54進(jìn)行的投票處理順序流程圖。
參照?qǐng)D14，投票單元54首先訪問投票結(jié)果存儲(chǔ)單元53，將表示各投票存儲(chǔ)區(qū)域內(nèi)的坐標(biāo)的成分(投票值)全部的始化為零(步驟S601)。然后，投票單元54將模板中心點(diǎn)P置于邊緣圖像內(nèi)邊緣部分的起始象素位置(步驟S602)。該起始象素位置，只要例如在邊緣圖像上從左上向右上或向左下依次進(jìn)行掃描，最初檢測(cè)出的邊緣部分象素位置作為起始象素位置即可。
然后，投票單元54對(duì)確定構(gòu)成模板的形狀(在該例子中，為圓t1～tn)的計(jì)數(shù)器i初始化為“1”(步驟S603)。然后，投票單元54對(duì)于根據(jù)計(jì)數(shù)器i(＝1)確定的圓t1，分別取得形成圓t1的全部象素在邊緣圓像上的xy坐標(biāo)(步驟S604)。然后，投票單元54在投票結(jié)果存儲(chǔ)單元53設(shè)置的關(guān)于圓t1的投票存儲(chǔ)區(qū)域中，對(duì)表示取得的各xy坐標(biāo)的成分分別如“1”，進(jìn)行投票(步驟S605)。
若該處理結(jié)束，則投票單元54將計(jì)數(shù)器i加1，使i＝2(步驟S607)。然后，投票單元54對(duì)于根據(jù)計(jì)數(shù)器i(i＝2)確定的圓t2，分別取得形成圓t2的全部象素在邊緣圖像上的xy坐標(biāo)(步驟S604)。然后，投票單元54在投票結(jié)果存儲(chǔ)單元53設(shè)置的關(guān)于圓t2的投票存儲(chǔ)區(qū)域中，對(duì)取得的表示各xy坐標(biāo)的成分別加“1”，進(jìn)行投票(步驟S605)。
以下步驟同樣進(jìn)行，投票單元54在達(dá)到i＝n之前，每次對(duì)計(jì)數(shù)器i加1(步驟S606、S607)，對(duì)構(gòu)成模板的全部形狀即圓t3～tn，重復(fù)進(jìn)行上述步驟S604及S605的投票處理。這樣，分別對(duì)關(guān)于各圓t1～tn的投票存儲(chǔ)區(qū)域，在起始象素位置進(jìn)行投票處理。
然后，投票單元54再將模板中心點(diǎn)P置于邊緣部分下一個(gè)象素位置，重復(fù)進(jìn)行上述步驟S603～S607的處理，這樣的過程對(duì)于邊緣圖像內(nèi)的邊緣部分全部象素都各進(jìn)行一次(步驟S608、S609)。即利用投票單元54的投票處理是模板中心點(diǎn)P沿著邊緣部分的全部象素那樣來進(jìn)行的。
例如對(duì)圖15所示的邊緣圖像進(jìn)行上述投票處理，通過這樣在投票結(jié)果存儲(chǔ)單元53設(shè)置的n個(gè)投票存儲(chǔ)區(qū)域存儲(chǔ)了圖16所示的投票數(shù)。另外，在圖16中，為了便于看清圖形，所示為在邊緣部分的一部分象素位置進(jìn)行投票處理的情況。在圖16中，實(shí)線圓的部分相當(dāng)于在上述步驟S605中根據(jù)模板各大小不同的形狀(圖t1～tn)進(jìn)行投票的坐標(biāo)成分，為坐標(biāo)數(shù)“1”。另外，如上所述，由于各種投票數(shù)進(jìn)行累加，因此圖16的圓相交部分(圖中用符號(hào)表示)表示相交的數(shù)越多，投票數(shù)越高。
因此，在表現(xiàn)近似于具有中心點(diǎn)的圓或橢圓的面部輪廓的邊緣部分，若進(jìn)行上述投票處理，則高的投標(biāo)數(shù)集中在該中心點(diǎn)附近。因而，若判斷高投標(biāo)數(shù)集中的部分，則能夠確定面部中心。另外，這樣的高投標(biāo)值集中的現(xiàn)象，即使在模板中采用圓形，而該圓形具有與表面面部輪廓的邊緣部分最小寬度相等或非常接近的半徑的情況下，也表現(xiàn)得更顯著。因而，若判斷該現(xiàn)象在哪個(gè)圓形的投票存儲(chǔ)區(qū)域表面得顯著，則能夠確定面部大小。這一點(diǎn)可以說與廣義哈夫變換相似，但是，本發(fā)明的面部抽取方法是使用具有同心狀的多個(gè)大小不同形狀的模板，通過這樣能一次確定邊緣部分的中心點(diǎn)及其大小，這一點(diǎn)與廣義哈夫變換明顯不同。
另外，也可以在上述步驟S601中，將表示各投票存儲(chǔ)區(qū)域內(nèi)的坐標(biāo)的成分全部初始化為預(yù)定的最大值，并在上述步驟S605中，從表示取得的各xy坐標(biāo)的成分分別減“1”，進(jìn)行投票。這種情況下，若判斷低投票值集中的部分，則能夠確定面部中心，若判斷該集中現(xiàn)象在哪個(gè)圓形的投票存儲(chǔ)區(qū)域表面得顯著，則能夠確定面部大小。
另外，也可以在上述步驟S605中，使投票數(shù)加或減的值是除“1”以外的值，能夠自由設(shè)定該值。
下面說明根據(jù)投票結(jié)果存儲(chǔ)單元53存儲(chǔ)的投票結(jié)果來確定對(duì)象圖像面部區(qū)域的方法。
在利用投票單元54進(jìn)行投票處理結(jié)束后，解析單元55根據(jù)投標(biāo)結(jié)果存儲(chǔ)單元53存儲(chǔ)的投標(biāo)結(jié)果，評(píng)價(jià)該聚類，求出對(duì)象圖像包含的面部位置及大小。圖17為解析單元55進(jìn)行的解析處理順序流程圖。
參照?qǐng)D17，解析單元55首先將確定構(gòu)成模板的形狀(在該例中為圓t1～tn)的計(jì)數(shù)器j置“1”(步驟S701)。然后，解析單元55對(duì)于根據(jù)計(jì)數(shù)器j(＝1)確定的圓t1，參照投票結(jié)果存儲(chǔ)單元53中關(guān)于圓t1的投票存儲(chǔ)區(qū)域存儲(chǔ)的投票結(jié)果，僅僅將投票數(shù)超過預(yù)定閾值G(例如200等)的萬(wàn)分抽出(步驟S702)。該閾值G可以根據(jù)對(duì)象圖像的清晰度可所希望的抽出精度任意規(guī)定。然后，解析單元55僅以抽出的萬(wàn)分為對(duì)象，進(jìn)行聚類(步驟S703)，分別計(jì)算聚類處理的各區(qū)域的方差值及協(xié)方差值(步驟S704)。該聚類的相似度可以利用歐幾里德平方距離、標(biāo)準(zhǔn)歐幾里德平方距離、馬哈拉諾比斯的泛距離或閔可夫斯基距離的任一咱種距離進(jìn)行判斷。另外，為了形成聚類，也可用最矩距離法(SLINKsingle linkage clustering method)、最長(zhǎng)距離法(CLINKcomplete linkage cluctering method)或群平均法(UPGMAunweightedpair-group method using artithmetic averages)的任一種方法。
然后，解析單元55將聚類處理的各區(qū)域的方差值及協(xié)方差值與預(yù)定閾值H進(jìn)行比較(步驟S705)。然后，當(dāng)該步驟S705中各值小于瓶值H時(shí)，解析單元55將該區(qū)域中心點(diǎn)看作面部中心點(diǎn)，將此時(shí)的計(jì)數(shù)器j(＝1)所指的圓t1的大小(直徑)作為面部短軸長(zhǎng)(步驟S706)，將該短軸長(zhǎng)加上一定的數(shù)值(根據(jù)經(jīng)驗(yàn)確定)所得的長(zhǎng)度作為面部的長(zhǎng)軸長(zhǎng)，通過這樣來確定(步驟S707)。然后，解析單元55將該確定的中心點(diǎn)、短軸長(zhǎng)及長(zhǎng)軸長(zhǎng)作為解析結(jié)果加以保持(步驟S708)。另外，當(dāng)在上述步驟S705中各值大于閾值H時(shí)，解析單元55判斷為該區(qū)域中心點(diǎn)不是面部中心點(diǎn)，轉(zhuǎn)移至下面的處理。
若該處理結(jié)束，則解析單元55使計(jì)數(shù)器j加1，使j＝2(步驟S710)。然后，解析單元55對(duì)于根據(jù)計(jì)數(shù)器j(j＝2)確定的圓t2，參照投票結(jié)果存儲(chǔ)單元53中關(guān)于圓t2的投票存儲(chǔ)區(qū)域存儲(chǔ)的投票結(jié)果，僅僅將投票數(shù)超過預(yù)定閾值G的成分抽出(步驟S702)。然后，解析單元55僅以抽出的成分為對(duì)象，進(jìn)行聚ood(hicbS702)，分別計(jì)算聚類處理的各區(qū)域的方差值及協(xié)方差值(步驟S704)。
然后，解析單元55將聚類處理的各區(qū)域的方差值及協(xié)方差值與預(yù)定閾值H進(jìn)行比較(步驟S705)。然后，當(dāng)該步驟(S705)中各值小于閾值H時(shí)，解析單元55將該區(qū)域中心點(diǎn)看作面部中心點(diǎn)，將此時(shí)的計(jì)數(shù)器j(＝2)所指的圓t2的大小作為面部短軸長(zhǎng)(步驟S706)，將該短軸長(zhǎng)加上一定的數(shù)所得的長(zhǎng)度作為面部的長(zhǎng)軸長(zhǎng)，通過這樣來確定(步驟S707)。然后，解析單元55將該確定的中心點(diǎn)、短軸長(zhǎng)及長(zhǎng)軸長(zhǎng)作為解析結(jié)果加以追加保持(步驟S708)。另外，當(dāng)在上述步驟S705中各值大小閾值H時(shí)，解析單元55判斷為該區(qū)域中心點(diǎn)不是面部中心點(diǎn)，轉(zhuǎn)移至下面的處理。
以下步驟同樣進(jìn)行，解析單元55在達(dá)到j(luò)＝n之前，每次對(duì)計(jì)數(shù)器j加1(步驟S709、S710)，對(duì)投票結(jié)果存儲(chǔ)單元53存儲(chǔ)的關(guān)于各圓t3—tn的投票存儲(chǔ)區(qū)域，重復(fù)進(jìn)行上述步驟S702—S708的解析處理。這樣，能夠得到關(guān)于各圓t1—tn的投票存儲(chǔ)區(qū)域中面部區(qū)域抽取的解析結(jié)果。
該解析結(jié)果輸出到顯示控制單元5、25及發(fā)送數(shù)據(jù)處理單元8。
這樣，在實(shí)施例1的面部抽取單元7，能夠僅僅通過負(fù)擔(dān)較輕的投票處理(基本上僅僅是加法處理)及投票數(shù)的評(píng)價(jià)。高速抽取面部位置。而且，由于采用具有同心狀的多個(gè)大小不同的相似形狀的模板，因此，實(shí)際上進(jìn)行近似處理，看作為面部區(qū)域的邊緣部分與這些形狀的哪一個(gè)大小接近，這樣還能夠高速抽取面部大小。
實(shí)施例2下面作為實(shí)施例2說明的方法是，通過在正交變換后的空間進(jìn)行模式匹配，以圖減少處理量，這對(duì)于電話等那樣要求處理量的終端是一種有效方法。
圖18所示為實(shí)施例2的面部抽取單元7的構(gòu)成方框圖。在圖18中，面部抽取單元7具有模板圖像處理單元80、逆正交變換單元(逆FFT)102及映射處理單元103。該實(shí)施例2的是在模板圖像處理單元80及輸入圖像處理單元90中，對(duì)模板圖像的輸入圖像(對(duì)象圖像)分別進(jìn)行具有線性的正交變換，求得相似值L。
這里，在實(shí)施例2中，是對(duì)采用FFT(高速離散傅里葉變換)作為正交變換的情況進(jìn)行說明，但其它也可以采用Hartley變換或數(shù)論變換。在采用其它一些變換方法時(shí)，只要將下面說明中有“傅里葉變換”的部分用這些變換方式代替即可。
另外，在模板圖像處理單元80及輸入圖像處理單元90的任一個(gè)單元中，都是利用邊緣法絲方向向量的內(nèi)積，越接近邊緣法線方向向量的方向，相關(guān)性越高。而且，該內(nèi)積用偶數(shù)倍解表現(xiàn)進(jìn)行評(píng)價(jià)。下面為了簡(jiǎn)單起見，說明2倍解的情況作為偶數(shù)倍角的例子，但在4倍角或6倍角等其它偶數(shù)倍角中，也能夠得到與實(shí)施例2同樣的效果。
首先說明模板圖像處理單元80。
在圖18中，模板圖像處理單元80具有邊緣抽取單元81、評(píng)價(jià)向量生成單元82、正交變換單元(FFT)83、壓縮單元84及存儲(chǔ)單元85。
邊緣抽取單元81對(duì)輸入的模板圖像，分別對(duì)X方向及Y方向進(jìn)行微分處理(邊緣抽取)，將模板圖像的邊緣法線方向向量輸出。
在本實(shí)施例2中對(duì)X方向，采用〔式1〕的sobel濾波器，[式1]-101-202-101]]>對(duì)Y方向，采用〔式2〕的sobel濾波器。-1-2-1000121]]>根據(jù)這些濾波器(1)及(2)，求出用下式(3)定義的模板圖像邊緣法線方向向量。T→=(TX,TY)]]>評(píng)價(jià)向量生成單元82從邊緣抽取單元81將模板圖像的邊緣法線方向向量輸入，進(jìn)行下述的處理后，將模板圖像的評(píng)價(jià)向量輸出的至正交變換單元83。
首先，評(píng)價(jià)向量生成單元用下述(4)將模板圖像邊緣法線方向向量相對(duì)長(zhǎng)度進(jìn)行歸一化處理。U=(Ux,UY)=T→|T→|]]>這是因?yàn)榭紤]到在照明變化的這種拍攝條件變化情況下，邊緣強(qiáng)度(長(zhǎng)度)容易受到影響，而邊緣角度不易受到影響。因此，在本實(shí)施例2中，如后所述，在輸入圖像處理單元90中，將對(duì)象圖像的邊緣法線方向向量歸一化為長(zhǎng)度“1”與此相配合，在模板圖像處理單元80中，也將模板圖像的邊緣法線方向向量歸一化為長(zhǎng)度“1”。
另外，眾所周知，關(guān)于三角函數(shù)，下式〔5〕的倍角公式成立。cos(2θ)＝2cos(θ)2－1sin(2θ)＝2cos(θ)sin(θ)用該倍角公式，根據(jù)下式(6)對(duì)邊緣向量進(jìn)行歸一化處理。如果
|T→|≥a]]>V→=(VX,VY)=cos(2θ),sin(2θ)=2UX2-1,2UXUY]]>否則V→=0→]]>下面說明該公式(6)。首先，常數(shù)α是去除微小邊緣用的閾值，使小于常數(shù)α的向量作為零向量，是用來去除噪聲等。
然后說明關(guān)于XY各分量成為式〔4〕的XY各分量倍角的余弦的從屬關(guān)系的情況。這里，設(shè)模板評(píng)價(jià)向量T與對(duì)象圖像評(píng)價(jià)向量I的夾角為θ，若采用其內(nèi)積即cosθ作為相似尺度，則存在下面的問題。例如設(shè)模板圖像為圖19(a)所示的圖像，對(duì)象圖像如圖19(b)所示的圖像。這里，圖19(b)的背景部分圖像在左半邊比對(duì)象物體要亮，而右半邊比對(duì)象物體要暗。若僅僅用圖像來看，當(dāng)圖19(a)的模板圖像中心與圖19(b)的對(duì)象圖像中心一致時(shí)，由于對(duì)象物體完全一致，因此這些相似值必須為最大。而且，邊緣法線方向向量，若設(shè)從對(duì)象物體的圖像向外側(cè)的為正，則不論是圖19(b)的亮的背景部分還是暗的背景部分，從對(duì)象物體看，是必須是同樣指向(向外或向內(nèi))。
但是，這時(shí)圖19(b)的背景部分亮度，若在對(duì)象物體的左右不一樣，則如圖19(b)箭頭所示，指向變成相反(在亮的背景部分指向?qū)ο笸鈧?cè)，在暗的背景部分指向?qū)ο笪矬w內(nèi)側(cè))。
這種情況下，本來應(yīng)該是最大相似值的情況下，相似值不一定高，容易導(dǎo)致誤識(shí)別。
以上的情況用圖20再詳細(xì)加以說明。
在采用模板圖像的評(píng)價(jià)向量T與對(duì)象圖像的評(píng)價(jià)向量I的夾角θ之內(nèi)積cosθ作為相似值時(shí)，如上所述，由于對(duì)象物體周圍的背景圖像亮度之差，對(duì)象圖像的評(píng)價(jià)向量方向有可能為I方向或其正好相反的I’方向中的某一個(gè)方向。因此，相似尺度即內(nèi)可能得到cosθ與cosθ’兩種情況。而且，θ＋θ’＝π，cosθ＝cos(π－θ’)＝-cosθ’。
即若用cos作為相似尺度，則在本來必須作用使相似值增加的情況，有時(shí)反過來變成使相似值減少的情況。另外，在必須作用使相似值減少的情況，有時(shí)反過來變成使相似值增加。
因此，在本實(shí)施例2中，相似值的式子使用θ的倍角的余弦(cos2θ)。這樣一來，即使是cosθ’＝-cosθ，但根據(jù)式(5)的倍角公式，變成cos2θ’-cos2θ。即必須作用使相似值增加的情況下，不受背景部分影響，相似值增加，因而，即使背景部分的圖像有亮度之差，也能夠正常對(duì)圖像的匹配進(jìn)行評(píng)價(jià)。以上的情況，不僅用2倍角，即使用4倍角或6倍角等，也同樣成立。這樣通過遇數(shù)倍角評(píng)價(jià)，不論背景的亮度條件如何，都能穩(wěn)定抽取圖形。
另外，除了該表現(xiàn)以外，這里作為根據(jù)Tx與Ty值的組合表現(xiàn)為cosθ＝Tx、sinθ＝Ty的θ值(即將邊緣法線方向向量以極坐標(biāo)表現(xiàn)情況下的相位角)，也可以不是用Tx及Ty兩個(gè)值表現(xiàn)，而是用一個(gè)值表現(xiàn)。另外，設(shè)θ不是用0—360度表現(xiàn)，而是例如用8位(bit)表現(xiàn)，而負(fù)值作為2的補(bǔ)碼表現(xiàn)的以2進(jìn)制表現(xiàn)時(shí)(即-128-127的情況)，對(duì)-128加1時(shí)，即為θ，形成循環(huán)表現(xiàn)，因此，在關(guān)于θ的倍角計(jì)算及相似值計(jì)算中，當(dāng)超過127時(shí)，則自動(dòng)進(jìn)行作為-128的處理。
下面說明相似值的計(jì)算。更具體地說，在本實(shí)施例2中，根據(jù)下式(7)定義相似值L。L(x,y)=ΣiΣjKx(x+i,y+j)Vx(i,j)+Ky(x+i,y+j)Vy(i,j)]]>K→=(Kx,Ky)]]>輸入圖像的評(píng)價(jià)向量V→=(Vx,Vy)]]>模板圖像的評(píng)價(jià)向量另外，設(shè)評(píng)價(jià)向量不是(Vx，Vy)、(Tx，Ty)，而是Vθ、Tθ時(shí)，則用下式(8)。L(x,y)=ΣiΣjKθ(x+i,y+j)Vθ(i,j)]]>Kθ輸入圖像的評(píng)價(jià)向量Vθ模板圖像的評(píng)價(jià)向量另外，這里在評(píng)價(jià)向量的要素為一個(gè)時(shí)，也標(biāo)注為向量。
這里，式〔7〕及式〔8〕由于僅僅由加法及乘法構(gòu)成，因此相似值對(duì)于對(duì)象圖像及模板圖像的各評(píng)價(jià)向量是線性的。因而，若對(duì)式〔7〕及式〔8〕進(jìn)行傅里葉變換，則根據(jù)傅里葉變換的離散相關(guān)定理，成為L(zhǎng)~(u,v)=K~x(u,v)V~x(u,v)*+K~y(u,v)V~y(u,v)*]]> Kx，Ky的傅里葉變換值 Vx，Vy的傅里葉變換的共軛復(fù)數(shù)[式10]L~(u,v)=K~θ(u,v)V~θ(u,v)*----(10)]]> Kθ的傅里葉變換值 Vθ的傅里葉變換的共軛復(fù)數(shù)另外，在式〔9〕及式〔10〕中“～”表示傅里葉變換值，“*”表示共軛復(fù)數(shù)。
另外，若對(duì)式〔9〕或式〔10〕進(jìn)行逆傅里葉變換，則得到式〔7〕或式〔8〕的相似值L。而且，根據(jù)式〔9〕或式〔10〕，明確了下面兩點(diǎn)。
1.在正交變換的變換值中，只要對(duì)模板圖像有關(guān)的傅里葉變換值與對(duì)象圖像有關(guān)的傅里葉變換值單純進(jìn)行積和運(yùn)算即可。
2.沒有必要同時(shí)求出模板圖像有關(guān)的傅里葉變換值及對(duì)象圖像有關(guān)的傅里葉變換值，即使相對(duì)于對(duì)象圖像的傅里葉變換值，先求出模板圖像有關(guān)的傅里葉變換值也沒有關(guān)系。
因此，在本實(shí)施例2中，是在模板圖像處理單元80設(shè)置存儲(chǔ)單元85，在對(duì)象圖像輸入之前，預(yù)先存儲(chǔ)壓縮單元84的輸出。這樣，在對(duì)象圖像輸入至輸入圖像處理單元90后，模板圖像處理單元80絲毫沒有必要進(jìn)行模板圖像的處理。因而，可以將圖像通信終端的處理能力集中在輸入圖像處理單元90及累積單元101的后級(jí)處理中，能夠更使處理速度提高。
下面說明評(píng)價(jià)向量生成單元82的后級(jí)構(gòu)成。
如圖18所示，在模板圖像處理單元80中，從評(píng)價(jià)向量生成單元82輸出的模板圖像評(píng)價(jià)向量利用正交變換單元83進(jìn)行傅里葉變換，輸出到壓縮單元84。壓縮單元84削減傅里葉變換后的評(píng)價(jià)向量，存儲(chǔ)在存儲(chǔ)單元85中。如圖21所示，變換后的評(píng)價(jià)向量在XY兩個(gè)方向包含各種高低頻率分量。根據(jù)本發(fā)明者們的實(shí)驗(yàn)可知，即使不對(duì)所有的頻率分量進(jìn)行處理，若對(duì)低頻率分量(例如對(duì)XY兩個(gè)分量的低頻率側(cè)各一半等)進(jìn)行處理，也能得到足夠的精度。另外，在圖21中，沒有畫斜線的區(qū)域(-a≤x≤a，-b≤y≤b)是原來的區(qū)域，畫斜線的區(qū)域(-a/2≤x≤a/2，-b/2≤y≤b/2)是削減后的區(qū)域，即處理量為1/4。
若這樣進(jìn)行，則削減了處理對(duì)象，更能實(shí)現(xiàn)高速處理。另外，在數(shù)據(jù)量較小時(shí)，或不要求高速性能時(shí)，還可以省略壓縮單元84及存儲(chǔ)單元85。
下面說明輸入圖像處理單元90。
在圖18中，輸入圖像處理單元90具有邊緣抽取單元91、評(píng)價(jià)向量生成單元92、正交變換單元(FFT)93及壓縮單元94。
輸入圖像處理單元90進(jìn)行與模板圖像處理單元80相同的處理。即邊緣抽取單元91用式(1)及式(2)，將對(duì)象圖像邊緣法線方向向量輸出。另外，評(píng)價(jià)向量生成單元92從邊緣單元91將對(duì)象圖像的邊緣法線方向向量輸入，進(jìn)行與模板圖像處理單元80的評(píng)價(jià)向量生成單元82相同的處理，生成評(píng)價(jià)向量。從評(píng)價(jià)向量生成單元92輸出的對(duì)象圖像評(píng)價(jià)向量利用正變換單元93進(jìn)行傅里葉變換，輸出到壓縮單元94。壓縮單元94削減傅里葉變換后的評(píng)價(jià)向量，輸出到累積單元101。這里，壓縮單元94削減處理對(duì)象，成為與模板圖像處理單元80的壓縮單元84相同的頻帶。
下面說明累積單元101以后的部分。
若模板圖像處理單元80及輸入圖像處理單元90的處理結(jié)束，則累積單元101從存儲(chǔ)單元85及壓縮單元94將模板圖像及對(duì)象圖像的各評(píng)價(jià)向量的傅里葉變換值輸入。累積單元101按照式〔9〕或式(10〕進(jìn)行積和運(yùn)算，將結(jié)果(近似值L的傅里葉變換值)輸出到逆正交變換單元102。逆正交變換單元102對(duì)近似值的傅里葉變換值進(jìn)行逆傅里葉變換，將近似值L的映射L(x，y)輸出到映射處理單元103。映射單元103根據(jù)該映射L(x，y)，抽取值高的點(diǎn)(峰值)，將該位置及值輸出。另外，映射處理單元103的后面可根據(jù)需要自由構(gòu)成。
設(shè)對(duì)象圖像的大小為A(＝2γ)，模板圖像的大小為B，則在對(duì)象圖像上依次對(duì)模板圖像進(jìn)行掃描，為了求出各位置的相關(guān)值，必須的計(jì)算次數(shù)為積的次數(shù)＝2AB這里的計(jì)算次數(shù)用計(jì)算成本高的積的次數(shù)來評(píng)價(jià)。
另外，在本實(shí)施例2中，必須利用正交變換單元83及93進(jìn)行兩次FFT，在累積單元101進(jìn)行積和運(yùn)算，以及利用逆正交變換單元102進(jìn)行一次逆FFT，利用積的次數(shù)＝3[(2γ－4)A＋4]＋2A
的計(jì)算次數(shù)可完成。
比較這些計(jì)算次數(shù)，例如設(shè)A＝256×256＝216，B＝60×60，則利用本實(shí)施例的積計(jì)算次數(shù)為約1/100，故能實(shí)現(xiàn)非常高速的處理，相應(yīng)削減處理量。
這樣，在實(shí)施例2的面部抽取單元7，能以較少的處理量抽取面部位置。因此，對(duì)于象便攜式圖像通信終端那樣的要求限制處理量的情況，也能夠抽取面部位置及大小。另外，通過進(jìn)行倍角表現(xiàn)，象便攜式圖像通信終端那樣，不限定拍攝地點(diǎn)及時(shí)間，又必須設(shè)想一切拍攝條件的情況，也能夠穩(wěn)定地抽取面部。
實(shí)施例3采用上述實(shí)施例1及實(shí)施例2的面部抽取方法，即使在對(duì)象圖像內(nèi)不存在面部的情況下，也會(huì)把近似面部的部分強(qiáng)制作為面部區(qū)域抽取出來。而下面作為實(shí)施例3，是說明對(duì)利用實(shí)施例1及實(shí)施例2的面部抽取方法抽取的面部位置及大小再進(jìn)一步判斷是否真是面部的方法。
為了實(shí)現(xiàn)這一功能，在圖12所示實(shí)施例1的解析單元55的后級(jí)，或在圖18所示實(shí)施例2的映射處理單元103的后級(jí)，設(shè)置判斷抽取的面部區(qū)域是否真是面部的單元(面部或非面部判斷單元)。
在實(shí)施例1的解析單元55的后級(jí)設(shè)置面部或非面部判斷單元的情況下，最簡(jiǎn)單的方法是，預(yù)先確定判斷面部或非面部用的閾值，若根據(jù)解析單元55輸出的區(qū)域的投票值及面部大小求得的值超過該閾值，則判斷該區(qū)域是面部。這里所謂根據(jù)投票值及面部大小求得的值，是用面部大小除投票值所得的值。進(jìn)行這樣的處理是基于這樣的理由，是用面部大小對(duì)與面部大小成正經(jīng)的投票值進(jìn)行歸一化處理。
另外，在實(shí)施例2的映射處理單元103的后級(jí)設(shè)置面部或非面部判斷單元的情況下，最簡(jiǎn)單的方法是，預(yù)先確定判斷面部或非面部用的閾值，若映射處理單元103輸出的區(qū)域近似值超過該閾值，則判斷該區(qū)域是面部。
另外，在上述實(shí)施例1及實(shí)施例2中，說明了從面部抽取單元7輸出的面部區(qū)域是一個(gè)的情況，但即使輸出多個(gè)面部區(qū)域時(shí)，上述本實(shí)施例3的面部或非面部判斷也能夠適用。
然后，面部或非面部判斷單元判斷為不是面部的面部區(qū)域，則不從面部抽取單元7輸出到顯示控制單元5及發(fā)送數(shù)據(jù)處理單元8。另外，上述第1實(shí)施形狀的發(fā)送數(shù)據(jù)處理單元8在不從面部抽取單元7輸出面部區(qū)域時(shí)，就不使發(fā)送區(qū)域31的位置移動(dòng)，仍然照樣使用前一時(shí)刻的發(fā)送區(qū)域31不變。另外，當(dāng)一定時(shí)間內(nèi)不輸出面部區(qū)域的情況下，就在初始位置(例如拍攝區(qū)域30的中央)設(shè)定發(fā)送區(qū)域31。
另外有一種不是利用上述閾值進(jìn)行的方法，而是利用支持向量函數(shù)來判斷面部或非面部的方法。下面簡(jiǎn)要說明利用支持向量函數(shù)的面部或非面部的判斷方法。
支持向量本身是一項(xiàng)眾所周知的技術(shù)，在文獻(xiàn)“Support Vector Machines による復(fù)數(shù)カテゴリの識(shí)別(利用支持向量機(jī)的多類型識(shí)別)(電子情報(bào)通信學(xué)會(huì)信學(xué)技法PRMU98—36(1998—06))”中已有詳細(xì)說明。
圖22所示是在實(shí)施例3的面部抽取單元7構(gòu)成中在實(shí)施例1及實(shí)施例2的構(gòu)成上追加的構(gòu)成部分方框圖。在圖22中，實(shí)施例3中的追加構(gòu)成具有圖像大小歸一化單元111、特征向量抽取單元112、面部或非面部判斷單元113及面部或非面部學(xué)習(xí)辭典114。該圖22的構(gòu)成是追加在實(shí)施例1的解析單元55的后級(jí)或?qū)嵤├?的映射處理單元103的后級(jí)。
圖像大小歸一化單元111從對(duì)象圖像中將解析單元55或映射處理單元103輸出的面部區(qū)域部分的圖像切取出來。然后，圖像大小最一化單元111對(duì)于切取出來的圖像(下面稱為面部區(qū)域候補(bǔ)圖像)求得各象素中的圖像特征(例如邊緣強(qiáng)度、色值、亮度值等)，然后進(jìn)行歸一化為一定大小。這里將面部區(qū)域候補(bǔ)圖像放大或縮小(即歸一化)為10×10象素大小為例加以說明。特征向量抽取單元112取得歸一化的面部區(qū)域候補(bǔ)圖像的亮度信息作為一個(gè)特征數(shù)據(jù)。在該例子中，由于歸一化為10×10象素的圖像，因此取得100維的特征向量xi(0≤i≤100)。
這里，特征向量抽取單元112也可以抽取邊緣法線方向向量作為特征向量。具體來說，對(duì)于面部區(qū)域候補(bǔ)圖像加上X方向sobel濾波器及Y方向sobel濾波器，根據(jù)各象素的X方向強(qiáng)度及Y方向的強(qiáng)度，計(jì)算方向向量。根據(jù)該計(jì)算，作為計(jì)算值能計(jì)算出角度及強(qiáng)度，因此忽略強(qiáng)度而僅取出角度。然后，以256級(jí)灰度為基礎(chǔ)，對(duì)各方向進(jìn)行歸一化處理，用作為特征向量。另外，特征向量抽取單元112也可以對(duì)每個(gè)面部區(qū)域候補(bǔ)圖像內(nèi)部歸一化的角度計(jì)算直方圖，抽取邊緣法線的直方圖作為特征向量。
然后，面部或非面部判斷單元113采用面部或非面部學(xué)習(xí)辭典114預(yù)先準(zhǔn)備的特征圖像及參數(shù)，根據(jù)下面的計(jì)算式，對(duì)面部區(qū)域進(jìn)行面部或非面部判斷。g(x)＝∑αi×yi×K(si，x)－bK(si，xi)＝exp(-‖si－xi‖2/2δ2)式中，K()表示核函數(shù)，αi表示對(duì)應(yīng)的拉格朗日系數(shù)，yi表示教師數(shù)據(jù)，學(xué)習(xí)辭典在面部時(shí)采用+1，在非面部時(shí)采用-1。
另外，核函數(shù)中除了上述式(12)之外，還可以采用多項(xiàng)式K(Si，Xi)＝(Si·Xi＋1)或雙層神經(jīng)網(wǎng)絡(luò)K(Si，Xi)＝tanh(Si·Xi－δ)。
圖23所示為面部或非面部判斷結(jié)果。在面部或非面部判斷單元113，當(dāng)上式(12)的結(jié)果大于0時(shí)，面部區(qū)域候補(bǔ)圖像被判斷為面部圖像，小于0時(shí)，被判斷為非面部圖像。同樣，對(duì)其它面部區(qū)域候補(bǔ)圖像也可以進(jìn)行面部或非面部判斷。在該圖23的例子中，圖像121被判斷為面部圖像，圖像122—124被判斷為非面部圖像。
在面部或非面部學(xué)習(xí)辭典114中，準(zhǔn)備了面部圖像及非面部圖像作為教師數(shù)據(jù)，采用識(shí)別使用的相同特征數(shù)據(jù)進(jìn)行辭典編寫。
這樣，在實(shí)施例3的面部抽取單元7中，即使在實(shí)際的面部處于面部區(qū)域的第1候補(bǔ)以外的情況下，也能抽取出穩(wěn)定的面部區(qū)域。另外，即使在圖像中沒有面部時(shí)，也能夠判斷沒有面部，因此能夠自動(dòng)檢測(cè)出不需要移動(dòng)面部位置進(jìn)行顯示的情況。
權(quán)利要求
1.一種圖像通信終端，其特征在于，將攝像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送，包括接受來自使用者的輸入的輸入單元(2)、拍攝使用者的攝像機(jī)單元(4)、從所述攝像機(jī)單元(4)拍攝的圖像抽取使用者面部位置及大小(下面稱為面部區(qū)域)的面部抽取單元(7)、對(duì)使用者顯示圖像的顯示單元(3)、與對(duì)方的信息處理裝置至少進(jìn)行圖像通信的通信單元(9)、以及發(fā)送數(shù)據(jù)處理單元(8)，所述發(fā)送數(shù)據(jù)處理單元(8)將比所述攝像機(jī)單元(4)拍攝的圖像區(qū)域要小、而且在該圖像區(qū)域內(nèi)設(shè)定的能夠移動(dòng)的矩形發(fā)送區(qū)域的圖像輸出到所述通信單元(9)，在所述攝像機(jī)單元(4)拍攝的圖像區(qū)域內(nèi)，設(shè)定與所述發(fā)送區(qū)域一起移動(dòng)的有效區(qū)域，當(dāng)抽取的所述面部區(qū)域超出所述有效區(qū)域時(shí)，所述發(fā)送數(shù)據(jù)處理單元(8)移動(dòng)所述發(fā)送區(qū)域的設(shè)定位置，使其與該面部區(qū)域的位置一致。
2.如權(quán)利要求1所述的圖像通信終端，其特征在于，所述有效區(qū)域設(shè)定為小于所述發(fā)送區(qū)域，而且設(shè)定在所述發(fā)送區(qū)域內(nèi)。
3.如權(quán)利要求1所述的圖像通信終端，其特征在于，當(dāng)抽取的所述面部區(qū)域超出所述有效區(qū)域時(shí)，所述發(fā)送數(shù)據(jù)處理單元(8)移動(dòng)所述區(qū)域，使該面部區(qū)域位于所述發(fā)送區(qū)域的中心位置。
4.如權(quán)利要求1所述的圖像通信終端，其特征在于，當(dāng)抽取的所述面部區(qū)域超出所述有效區(qū)域時(shí)，所述發(fā)送數(shù)據(jù)處理單元(8)移動(dòng)所述發(fā)送區(qū)域，使該面部區(qū)域位于比所述發(fā)送區(qū)域中心偏上方向的位置。
5.如權(quán)利要求4所述的圖像通信終端，其特征在于，當(dāng)抽取的所述面部區(qū)域超出所述有效區(qū)域時(shí)，所述發(fā)送數(shù)據(jù)處理單元(8)移動(dòng)所述發(fā)送區(qū)域，并根據(jù)所述輸入單元(2)輸入的發(fā)送模式信息進(jìn)行切換，使該面部區(qū)域位于所述發(fā)送區(qū)域的中心或比中心偏上方向的位置。
6.如權(quán)利要求4所述的圖像通信終端，其特征在于，根據(jù)從輸入單元(2)輸入的信息，所述顯示單元(3)監(jiān)控顯示所述發(fā)送區(qū)域內(nèi)的圖像及所述面部區(qū)域，使用者可參照所述監(jiān)控顯示，根據(jù)對(duì)輸入單元(2)的輸入，在縱橫方向調(diào)節(jié)所述發(fā)送區(qū)域的位置。
7.如權(quán)利要求1所述的圖像通信終端，其特征在于，所述面部抽取單元(7)包括從所述攝像機(jī)單元(4)拍攝的圖像抽取邊緣部分(相當(dāng)于人物外形或面部輪廓等象素)、生成僅僅有該邊緣部分的圖像(下面稱為邊緣圖像)的邊緣抽取單元(51)；存儲(chǔ)模板的模板存儲(chǔ)單元(52)，前述模板是將預(yù)定的形狀根據(jù)相似而各種不同的大小設(shè)置多個(gè)以中心點(diǎn)為中心的同心狀的圖形；對(duì)構(gòu)成所述模板的每個(gè)不同大小的形狀對(duì)應(yīng)附加所述邊緣圖像上的坐標(biāo)位置及投票數(shù)、并分別加以存儲(chǔ)的投票結(jié)果存儲(chǔ)單元(53)；依次使所述模板中心點(diǎn)移動(dòng)到前述邊緣部分的各象素位置、對(duì)于與形成所述各種大小形狀的全部象素位置所對(duì)應(yīng)的各坐標(biāo)位置分別增加或減少所述投票結(jié)果存儲(chǔ)單元(53)存儲(chǔ)的所述投票數(shù)的投票單元(54)；以及根據(jù)所述投票結(jié)果單元(53)存儲(chǔ)的所述各投票數(shù)求出所述對(duì)象圖像包含的面部位置及大小的解析單元(55)。
8.如權(quán)利要求7的圖像通信終端，其特征在于，所述預(yù)定的形狀是圓。
9.如權(quán)利要求7所述的圖像通信終端，其特征在于，所述面部抽取單元(7)還包括面部或非面部判斷單元，所述面部或非面部判斷單元根據(jù)所述投票結(jié)果存儲(chǔ)單元(53)存儲(chǔ)內(nèi)容，判斷從所述攝像機(jī)單元(4)拍攝的圖像作為面部抽取的位置及大小是否真是面部，并僅在判斷為面部時(shí)，將抽取結(jié)果輸出。
10.如權(quán)利要求1所述的圖像通信終端，其特征在于，所述面部抽取單元(7)包括輸入規(guī)定的模板圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正交變換的模板圖像處理單元(80)；輸入所述攝像機(jī)單元(4)拍攝的圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)議向量進(jìn)行正交變換的輸入圖像處理單元(90)；對(duì)于所述圖像及所述拍攝的圖像分別生成的正交變換后的各評(píng)價(jià)向量、將對(duì)應(yīng)的譜數(shù)據(jù)進(jìn)行積和運(yùn)算的積和單元(101)；將所述積和運(yùn)算的結(jié)果進(jìn)行逆正交變換后生成相似值映射的逆正交變換單元(102)，所述評(píng)價(jià)向量包含將該圖像的所述邊緣法線方向向量進(jìn)行偶數(shù)倍角變換的分量，所述相似值的計(jì)算式、正交變換及逆正交變換都為線性。
11.如權(quán)利要求10所述的圖像通信終端，其特征在于，所述面部抽取單元(7)在評(píng)價(jià)向量表現(xiàn)中，采用根據(jù)用極坐標(biāo)表現(xiàn)所述邊緣法線方向向量時(shí)的角度進(jìn)行計(jì)算的值。
12.如權(quán)利要求10所述的圖像通信終端，其特征在于，所述面部抽取單元(7)還包括面部或非面部判斷單元，所述面部或非面部判斷單元根據(jù)所述逆正交變換單元(102)生面的所述相似值，判斷從所述攝像機(jī)單元(4)拍攝的圖像作為面部抽取的位置及大小是否真是面部，并僅在判斷為面部時(shí)，將抽取結(jié)果輸出。
13.如權(quán)利要求1所述的圖像通信終端，其特征在于，所述面部抽取單元(7)還包括判斷從所述攝像機(jī)單元(4)拍攝的圖像作為面部抽取的位置及大小是否真為面部的面部或非面部判斷單元，并僅在判斷為面部時(shí)，將抽取結(jié)果輸出。
14.如權(quán)利要求13所述的圖像通信終端，其特征在于，所述面部或非面部判斷單元利用從所述攝像機(jī)單元(4)拍攝的圖像作為面部抽取的區(qū)域所得到的圖像特征，根據(jù)支持向量函數(shù)的判斷結(jié)果，進(jìn)行面部或非面部的判斷。
15.如權(quán)利要求14所述的圖像通信終端，其特征在于，所述面部或非面部判斷單元將從所述攝像機(jī)單元(4)拍攝的圖像作為面部抽取的區(qū)域所得到的邊緣法線方向向量作為所述圖像特征。
16.如權(quán)利要求14所述的圖像通信終端，其特征在于，所述面部或非面部判斷單元將從所述攝像和單元(4)拍攝的圖像作為面部抽取的區(qū)域所得到的邊緣法線直方圖作為所述圖像特征。
17.一種圖像通信終端，其特征在于，將攝像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送，包括接受來自使用者的輸入的輸入單元(2)、拍攝使用者的攝像單元(4)、從所述攝像機(jī)單元(4)拍攝的圖像抽取使用者面部位置及大小(下面稱為面部區(qū)域)的面部抽取單元(7)、對(duì)使用者顯示圖像的顯示單元(3)、與對(duì)方的信息處理裝置至少進(jìn)行通信的通信單元(9)、以及發(fā)送數(shù)據(jù)處理單元(8)，所述發(fā)送數(shù)據(jù)處理單元(8)將比所述攝像機(jī)單元(4)拍攝的圖像區(qū)域要小、而且在該圖像區(qū)域內(nèi)設(shè)定的能夠移動(dòng)的矩形發(fā)送區(qū)域的圖像輸出到所述通信單元(9)，在所述攝像機(jī)單元(4)拍攝的圖像區(qū)域內(nèi)設(shè)定與所述發(fā)送區(qū)域一起移動(dòng)的有效區(qū)域，當(dāng)抽取的所述面部區(qū)域超出所述有效區(qū)域時(shí)，所述發(fā)送數(shù)據(jù)處理單元(8)移動(dòng)所述發(fā)送區(qū)域的設(shè)定位置，使其與該面部區(qū)域的位置一致，而且根據(jù)抽取的所述面部區(qū)域圖像亮度，對(duì)所述發(fā)送區(qū)域的圖像亮度進(jìn)行校正，以提高所述攝像機(jī)單元(4)拍攝的圖像內(nèi)的面部可視性，然后輸出到所述通信單元(9)。
18.如權(quán)利要求17所述的圖像通信終端，其特征在于，所述發(fā)送數(shù)據(jù)處理單元(8)除了對(duì)所述發(fā)送區(qū)域圖像亮度進(jìn)行校正，還對(duì)色調(diào)進(jìn)行校正，然后輸出到所述通信單元(9)。
19.如權(quán)利要求17所述的圖像通信終端，其特征在于，所述面部抽取單元(7)包括從所述攝像機(jī)單元(4)拍攝的圖像抽取邊緣部分(相當(dāng)于人物外形或面部輪廓等象素)、生成僅僅有該邊緣部分的圖像(下面稱為邊緣圖像)的邊緣抽取單元(51)；存儲(chǔ)模板的模板存儲(chǔ)單元(52)，所述模板是將預(yù)定的形狀根據(jù)相似而各種不同的大小設(shè)置多個(gè)以中心點(diǎn)為中心的同心狀的圖形；對(duì)構(gòu)成所述模板的每個(gè)不同大小的形狀對(duì)應(yīng)附加所述邊緣圖像上的坐標(biāo)位置及投票數(shù)、并分別加以存儲(chǔ)的投票結(jié)果存儲(chǔ)單元(53)；依次使所述模板中心點(diǎn)移動(dòng)到所述邊緣部分的各象素位置、對(duì)于與形成所述各種大小形狀的全部象素位置所對(duì)應(yīng)的各坐標(biāo)位置分別增加或減少所述投票結(jié)果存儲(chǔ)單元(53)存儲(chǔ)的所述投票數(shù)的投票單元(54)；以及根據(jù)所述投票結(jié)果存儲(chǔ)單元(53)存儲(chǔ)的所述投票數(shù)求出所述對(duì)象圖像包含的面部位置及大小的解析單元(55)。
20.如權(quán)利要求17所述的圖像通信終端，其特征在于，所述面部單元(7)包括輸入規(guī)定的模板圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正交變換的模板圖像處理單元(80)；輸入所述攝像機(jī)單元(4)拍攝的圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并該評(píng)價(jià)向量進(jìn)行正交變換的輸入圖像處理單元(90)；對(duì)于所述模板圖像及所述拍攝的圖像分別生成的正交變換后的各評(píng)價(jià)向量、將對(duì)應(yīng)的譜數(shù)據(jù)進(jìn)行積和運(yùn)算的積和單元(101)；將所述積和運(yùn)算的結(jié)果進(jìn)行逆正交變換后生成相似值映射的逆正交變換單元(102)，所述評(píng)價(jià)向量包含將該圖像的所述法線方向向量進(jìn)行偶數(shù)倍角變換的分量，所述相似值的計(jì)算式、正交變換及逆正交變換都為線性。
21.如權(quán)利要求17所述的圖像通信終端，其特征在于，所述面部抽取單元(7)還包括判斷從所述攝像機(jī)單元(4)的拍攝的圖像作為面部抽取的位置及大小是否真為面部的面部或非面部判斷單元，并僅在判斷為面部時(shí)，將抽取結(jié)果輸出。
22.一種圖像通信終端，其特征在于，將攝像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送，包括接受來自使用者的輸入的輸入單元(2)、拍攝使用者的攝像機(jī)單元(4)、從所述攝像單元(4)拍攝的圖像抽取使用者面部位置及大小(下面稱為面部區(qū)域)的面部抽取單元(7)、對(duì)使用者顯示圖像的顯示單元(3)、與對(duì)方的信息處理裝置至少進(jìn)行圖像通信的通信單元(9)、以及發(fā)送數(shù)據(jù)處理單元(8)，所述發(fā)送數(shù)據(jù)處理單元(8)將比所述攝像機(jī)單元(4)拍攝的圖像區(qū)域要小，而且在該圖像區(qū)域內(nèi)設(shè)定的能夠移動(dòng)的矩形發(fā)送區(qū)域的圖像到所述通信單元(9)，在所述攝像機(jī)單元(4)拍攝有圖像區(qū)域內(nèi)，設(shè)定與所述發(fā)送區(qū)域一起移動(dòng)的有效區(qū)域，當(dāng)抽取的所述面部分區(qū)域起出所述有效區(qū)域時(shí)，所述發(fā)送數(shù)據(jù)處理單元(8)移動(dòng)所述發(fā)送區(qū)域的設(shè)定位置，使其與該面部區(qū)域的位置一致，而且根據(jù)抽取的所述面部區(qū)域圖像亮度，設(shè)定所述攝像機(jī)單元(4)的曝光強(qiáng)弱的值，以提高所述攝像機(jī)單元(4)拍攝的圖像內(nèi)的面部可視性。
23.如權(quán)利要求22所述的圖像通信終端，其特征在于，所述發(fā)送數(shù)據(jù)處理單元(8)除了對(duì)所述發(fā)送區(qū)域圖像亮度進(jìn)行校正，還對(duì)色調(diào)進(jìn)行校正，然后輸出到所述通信單元(9)。
24.如權(quán)利要求22所述的圖像通信終端，其特征在于，所述面部抽取單元(7)包括從所述攝像單元(4)拍攝的圖像抽取邊緣部分(相當(dāng)于人物外形或面部輪廓等像素)，生成僅有該邊緣部分的圖像(下面稱為邊緣圖像)的邊緣抽取單元(51)；存儲(chǔ)模板的模板存儲(chǔ)單元(52)，對(duì)構(gòu)成所述模板的每個(gè)不同大小的形狀對(duì)應(yīng)附加所述邊緣圖像上的坐標(biāo)位置及投票數(shù)、并分別加以存儲(chǔ)的投票結(jié)果存儲(chǔ)單元(53)；依次使所述模板中心點(diǎn)移動(dòng)到所述邊緣部分的各象素位置、對(duì)于與形成所述各種大小形狀的全部象素位置所對(duì)應(yīng)的各坐標(biāo)位置分別增加或減少所述投票存儲(chǔ)單元(53)存儲(chǔ)的所術(shù)投票數(shù)的投票單元(54)；以及根據(jù)所述投票結(jié)果存儲(chǔ)單元(53)存儲(chǔ)的所述投票數(shù)求出所述對(duì)象圖像包含的面部位置及大小的解析單元(55)。
25.如權(quán)利要求22所述的圖像通信終端，其特征在于，所述面部抽取單元(7)包括輸入規(guī)定的模板圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正交變換的模板圖像處理單元(80)；輸入所述攝像機(jī)單元(4)拍攝的圖像并求出該圖像的邊緣法線方向向量，再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正效變換的輸入圖像處理單元(90)；對(duì)于所述模板圖像及所述拍攝的圖像分別生成的正交變換后的各評(píng)價(jià)向量、將對(duì)應(yīng)的譜數(shù)據(jù)進(jìn)行積和運(yùn)算的積和單元(101)；將所述積和運(yùn)算的結(jié)果進(jìn)行逆正交變換后生成相似的值映射的逆正交變換單元(102)；所述評(píng)價(jià)向量包含將該圖像的所述邊緣法線方向向量進(jìn)行偶數(shù)倍解變換的分量，所述相似值的計(jì)算式，正交變換及逆正交變換都為線性。
26.如權(quán)利要求22所述的圖像通信終端，其特征在于，所述面部抽取單元(7)還包括判斷從所述攝像機(jī)單元(4)拍攝的圖像作為面部抽取的位置及大小是否真為面部的面部或非面部判斷單元，并在僅在判斷為面部時(shí)，將抽取結(jié)果輸出。
27.一種圖像通信終端，其特征在于，將攝像機(jī)單元拍攝的使用者圖像向?qū)Ψ桨l(fā)送，包括拍攝使用者的攝像機(jī)單元(4)、從所述攝像機(jī)單元(4)拍攝的圖像抽取使用者面部位置的面部抽取單元(7)、對(duì)使用者顯示從對(duì)方接收的圖像的顯示單元(3)、根據(jù)抽出的所述面部位置將所述攝像機(jī)單元(4)拍攝的圖像中使用者面部位置通知使用者的通知控制單元(25)、以及與對(duì)方的信息處理裝置至少進(jìn)行通信的通信單元(9)。
28.如權(quán)利要求27所述的圖像通信終端，其特征在于，所述面部抽取單元(7)在抽取使用者的所述面部位置的同時(shí)，也抽取所述面部的大小，所述通知控制單元(25)將攝像機(jī)單元(4)拍攝的圖像中使用者的所述面部位置及大小通知使用者。
29.如權(quán)利要求27所述的圖像通信終端，其特征在于，所述通知控制單元(25)在所述顯示單元(3)顯示僅表示抽取的所述面部位置或表示位置及大小的標(biāo)記。
30.如權(quán)利要求29所述的圖像通信終端，其特征在于，所述標(biāo)記顯示在從對(duì)方接收的圖像上。
31.如權(quán)利要求29所述的圖像通信終端，其特征在于，所述標(biāo)記顯示在從對(duì)方接收的圖像外。
32.如權(quán)利要求29所述的圖像通信終端，其特征在于，所述通知控制單元(25)通過與所述所述顯示單元(3)分開另外設(shè)置的位置通知單元(22)，將抽取的所述面部位置通知使用者。
33.如權(quán)利要求27所述的圖像通信終端，其特征在于，利用所述通知控制單元(25)進(jìn)行的向使用者通知的方法可根據(jù)使用者的指示進(jìn)行切換。
34.如權(quán)利要求27所述的圖像通信終端，其特征在于，所述面部抽取單元(7)包括從所述攝像機(jī)單元(4)拍攝的圖像抽取邊緣部分(相當(dāng)于人物外形或面部輪廓等象素)、生成僅有該邊緣部分的圖像(下面稱為邊緣圖像)的邊緣抽取單元(51)；存儲(chǔ)模板的模板存儲(chǔ)單元(52)，所述模板是將預(yù)定的形狀根據(jù)相似而各種不同的大小設(shè)置多個(gè)以中心點(diǎn)為中心的同心狀的圖形；對(duì)構(gòu)成所述模板的每個(gè)不同大小的形狀對(duì)應(yīng)附加所述邊緣圖像上的坐標(biāo)位置及投票數(shù)、并分別加以存儲(chǔ)的投票結(jié)果存儲(chǔ)單元(53)；依次使所述模板中心點(diǎn)移動(dòng)到所述邊緣部分的各象素位置、對(duì)于與形成所述各種大小形狀的全部象素位置所對(duì)應(yīng)的各坐標(biāo)位置分別增加或減少所述投票結(jié)果存儲(chǔ)單元(53)存儲(chǔ)的所述投票數(shù)的投票單元(54)；以及根據(jù)所述投票結(jié)果存儲(chǔ)單元(53)存儲(chǔ)的所述投票數(shù)求出所述對(duì)象圖像包含的面部位置及大小的解析單元(55)。
35.如權(quán)利要求27所述的圖像通信終端，其特征在于，所述面部抽取單元(7)包括輸入規(guī)定的模板圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正交變換的模板圖像處理單元(80)；輸入所述攝像機(jī)單元(4)拍攝的圖像并求出該圖像的邊緣法線方向向量、再根據(jù)該邊緣法線方向向量生成評(píng)價(jià)向量并將該評(píng)價(jià)向量進(jìn)行正效變換的輸入圖像處理單元(90)；對(duì)于所述模板圖像及所述拍攝的圖像分別生成的正交變換后的各評(píng)價(jià)向量、將對(duì)應(yīng)的譜數(shù)據(jù)進(jìn)行積和運(yùn)算的積和單元(101)；將所述積和運(yùn)算的結(jié)果進(jìn)行聞逆正交變換后生成相似值映射的逆正交變換單元(102)；所述評(píng)價(jià)向量包含將該圖像的所述邊緣法線方向向量進(jìn)行偶數(shù)倍角變換的分量，所述相似值的計(jì)算式、正交變換及逆正交變換都為線性。
36.如權(quán)利要求27所述的圖像通信終端，其特征在于，所述面部抽取單元(7)還包括判斷從所述攝像機(jī)單元(4)拍攝的圖像作為面部抽取的位置及大小是否真為面部的面部或非面部判斷單元，并僅在判斷為面部時(shí)，將抽取結(jié)果輸出。
全文摘要
本發(fā)明揭示一種圖像通信終端,包括對(duì)攝像機(jī)4拍攝的圖像抽取面部位置及大小的面部抽取單元7、對(duì)使用者顯示圖像的顯示單元3、與對(duì)方的信息處理裝置之間進(jìn)行圖像雙向通信的通信單元9、將攝像機(jī)4拍攝的圖像內(nèi)設(shè)定的能夠移動(dòng)的矩形發(fā)送區(qū)域內(nèi)的圖像輸出給通信單元9的發(fā)送數(shù)據(jù)處理單元8、在攝像機(jī)4拍攝的圖像中,設(shè)定與發(fā)送區(qū)域一起移動(dòng)的有效區(qū)域,只要面部區(qū)域超出有效區(qū)域,就移動(dòng)發(fā)送區(qū)域位置,使其與面部位置一致。
文檔編號(hào)H04N7/14GK1333632SQ0111976
公開日2002年1月30日 申請(qǐng)日期2001年5月22日 優(yōu)先權(quán)日2000年5月22日
發(fā)明者今川和幸, 松尾英明, 高田雄二, 吉澤正文, 濱崎省吾, 吉村哲也, 巖佐克博 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社