使用汽車方向盤的手勢識別裝置、手的識別方法及其程序的制作方法
【專利摘要】提供一種手勢識別裝置，無論光從哪個方向照射手，都能夠從二值圖像中識別出手。二值化處理部(12)利用規(guī)定的方法對從攝像機(1)到手識別部(10)的輸入圖像進行二值化處理，生成第1二值圖像，再次二值化處理部(13)僅對輸入圖像的規(guī)定的區(qū)域進行再次二值化，生成第2二值圖像，收縮處理部(14)對第2二值圖像進行收縮處理。通過進行再次二值化，能夠?qū)⒃诘?二值圖像中被分類為黑的手的部分分類為白，能夠提高識別出手的可能性。在能夠在第1二值圖像與第2二值圖像的任意一方或者雙方中識別出手的情況下，判定為能夠識別出手。
【專利說明】使用汽車方向盤的手勢識別裝置、手的識別方法及其程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及這樣的手勢識別裝置:對于使用汽車方向盤的手勢(操作)，利用設(shè)置在車內(nèi)的攝像設(shè)備對方向盤進行攝像，根據(jù)圖像數(shù)據(jù)，識別人的手在方向盤中位置。
【背景技術(shù)】
[0002]以往，已知有這樣的手勢遙控式操作裝置:利用攝像機讀取使用汽車方向盤的手勢、即駕駛員的手在方向盤上的位置，進行基于讀取到的手的位置和運動的操作處理。在手勢遙控式裝置中使用的手勢識別裝置利用攝像機對駕駛員的手在方向盤上的位置進行攝像，對該圖像數(shù)據(jù)進行處理，來識別手。
[0003]例如，在專利文獻I中，記載了如下技術(shù):根據(jù)操作者的手勢、即手的位置和手的運動，輸出對車載設(shè)備的操作命令。
[0004]此外，在專利文獻2中，記載了如下技術(shù):對背景存在濃淡不均的圖像進行二值化，從二值圖像中提取出更鮮明的檢測對象物。
[0005]現(xiàn)有技術(shù)文獻
[0006]專利文獻
[0007]專利文獻1:日本特許第3941786號公報
[0008]專利文獻2:日本特開2007-122274號公報

【發(fā)明內(nèi)容】

[0009]發(fā)明要解決的問題
[0010]但是，專利文獻I所述的技術(shù)難以正確地讀取操作者的手的位置和運動，例如，不能明確地識別出由操作者的差異引起的手勢的微妙差異。
[0011]此外，專利文獻2所述的技術(shù)從背景存在濃淡不均的圖像中檢測對象物，因此在應(yīng)用于汽車的情況下，在作為背景的方向盤中沒有濃淡不均，很難從在太陽光照射的環(huán)境下拍攝的圖像數(shù)據(jù)中檢測作為對象物的手的位置。
[0012]在對利用攝像機拍攝方向盤上的手而得到的圖像數(shù)據(jù)進行二值化、并從二值圖像中識別手的情況下，當(dāng)太陽光從手的前方照射時，以光照射的部分為白、光未照射的部分為黑的方式進行二值化，在二值圖像上，手是分離的。此外，當(dāng)光從手的右側(cè)后方照射時，在手上出現(xiàn)光照射的部分以及光未照射而成為陰影的部分，在二值圖像上，手是分離的。這樣，在手是分離的情況下，有時不能識別為手。
[0013]因此，本發(fā)明的目的在于提供一種手勢識別裝置，無論光從哪個方向照射，都能夠從二值圖像中識別出手。
[0014]用于解決問題的技術(shù)方案
[0015]為了解決所述問題而提出的本發(fā)明的手勢識別裝置具有攝像單元和識別單元，所述攝像單元設(shè)置在能夠?qū)Ψ较虮P進行攝像的位置，所述識別單元根據(jù)從攝像單元輸出的攝像數(shù)據(jù)，識別人的手在方向盤的位置，在使用汽車方向盤的手勢識別裝置中，識別單元具有:二值化處理單元，其利用規(guī)定的方法對從攝像單元輸出的攝像數(shù)據(jù)進行二值化處理，生成第I 二值圖像；再次二值化處理單元，其在攝像數(shù)據(jù)中確定手勢時可能拍攝到手的第I區(qū)域和做手勢時也可能拍攝到背景的第2區(qū)域，將第I區(qū)域和第2區(qū)域作為I個圖像，利用規(guī)定的方法確定新的閾值，對攝像數(shù)據(jù)的規(guī)定的區(qū)域進行再次二值化，生成第2 二值圖像；以及判定單元，其在能夠在第I二值圖像與第2 二值圖像中的任意一方或者雙方中識別出手的情況下，判定為能夠識別出手。
[0016]此外，本發(fā)明的使用汽車方向盤的手勢識別裝置還具有能夠?qū)Φ? 二值圖像進行收縮處理的收縮處理單元。
[0017]此處，二值化處理單元中的規(guī)定的方法優(yōu)選為判別分析法或者自適應(yīng)二值化處理。此外，再次二值化處理單元中的規(guī)定的方法優(yōu)選為判別分析法。
[0018]在本發(fā)明的手識別方法中，在做出使用汽車方向盤的手勢時，根據(jù)從設(shè)置在能夠?qū)Ψ较虮P進行攝像的位置的攝像單元輸出的攝像數(shù)據(jù)，識別人的手在方向盤上的位置，所述手識別方法包括如下步驟:利用規(guī)定的方法對從攝像單元輸出的攝像數(shù)據(jù)進行二值化處理，生成第I 二值圖像的步驟；在攝像數(shù)據(jù)中確定做手勢時可能拍攝到手的第I區(qū)域和做手勢時也可能拍攝到背景的第2區(qū)域，將第I區(qū)域和第2區(qū)域作為I個圖像，利用規(guī)定的方法確定新的閾值，對攝像數(shù)據(jù)的規(guī)定的區(qū)域進行再次二值化，生成第2 二值圖像；以及在能夠在第I二值圖像與第2 二值圖像中的任意一方或者雙方中識別出手的情況下，判定為能夠識別出手。
[0019]此外，還可以包括對第2 二值圖像進行收縮處理的步驟。
[0020]此處，生成第I 二值圖像的步驟中的規(guī)定的方法優(yōu)選為判別分析法或者自適應(yīng)二值化處理。此外，生成第2 二值圖像的步驟中的規(guī)定的方法優(yōu)選為判別分析法。
[0021]本發(fā)明的程序是使計算機執(zhí)行上述手識別方法的程序。
[0022]發(fā)明效果
[0023]根據(jù)本發(fā)明的使用汽車方向盤的手勢識別裝置，僅在規(guī)定的區(qū)域利用不同的閾值進一步對進行攝像數(shù)據(jù)的二值化而得到的二值圖像進行再次二值化，因此，將在最初的二值圖像中因光的照射情況而使得手背和手指的一部分分類為黑的部分分類為白，從而能夠在二值圖像中使手背與手指結(jié)合。由此，能夠在二值圖像中識別出手。
[0024]此外，在本發(fā)明中，對再次二值化后的二值圖像進行收縮處理。在再次二值化時，背景的一部分有時被分類為白，背景與手背以及手指可能結(jié)合，不過，通過進行收縮處理，能夠降低結(jié)合的可能性。
[0025]此外，在本發(fā)明中，不是將圖像整體作為進行再次二值化的區(qū)域，而僅將規(guī)定的區(qū)域作為進行再次二值化的區(qū)域，因此，能夠降低裝置的處理負擔(dān)。
[0026]根據(jù)本發(fā)明的識別人的手在方向盤上的位置的手識別方法，僅在規(guī)定的區(qū)域利用不同的閾值進一步對進行攝像數(shù)據(jù)的二值化而得到的二值圖像進行再次二值化，因此，將在最初的二值圖像中因光的照射情況而使得手背和手指的一部分分類為黑的部分分類為白，從而能夠在二值圖像中使手背與手指結(jié)合。由此，能夠在二值圖像中識別出手。
【專利附圖】

【附圖說明】
[0027]圖1是示出本發(fā)明的使用汽車方向盤的手勢識別裝置的一個實施方式的汽車的車室內(nèi)部的概略圖。
[0028]圖2是從駕駛者側(cè)觀察儀表板附近的主視圖。
[0029]圖3是示出手勢識別裝置的手識別部的結(jié)構(gòu)的框圖。
[0030]圖4是示出手的識別處理方法的流程圖。
[0031]圖5是示出手的識別處理中的圖像處理的一例的圖。
[0032]圖6是示出手的識別處理中的圖像處理的一例的圖。
[0033]圖7是示出手的識別處理中的圖像處理的一例的圖。
【具體實施方式】
[0034]本發(fā)明的使用汽車方向盤的手勢識別裝置是如下裝置:利用攝像機等攝像單元對車的方向盤進行攝像，對攝像數(shù)據(jù)進行二值化，從二值圖像中識別方向盤上的駕駛員的手。以下，參照附圖，對本發(fā)明的使用汽車方向盤的手勢識別裝置的操作裝置的實施方式進行詳細說明。
[0035]圖1及圖2示出了安裝有本發(fā)明的使用汽車方向盤的手勢識別裝置的汽車的車室內(nèi)部。如圖1、圖2所示，作為攝像設(shè)備的攝像機I以能夠?qū)Ψ较虮PS進行攝像的方式設(shè)置在駕駛者的斜后方的頂部。此外，在攝像機I的附近設(shè)置有紅外線照射單元UR，該紅外線照射單元UR在車內(nèi)較暗的情況下對方向盤S周邊進行照射。
[0036]被用作攝像單元的攝像機是能夠拍攝可見光的圖像和紅外線的圖像的攝像機，攝像機的設(shè)置位置不限于圖1的例子，只要是能夠?qū)囀覂?nèi)的方向盤S進行攝像的位置即可。
[0037]作為攝像對象的方向盤S具有與轉(zhuǎn)向軸(未圖示)連結(jié)的中央輪轂部Sa、圓環(huán)狀地包圍該中央輪轂部Sa的輪緣Sm、以及連結(jié)在該輪緣Sm和中央輪轂部Sa之間的3根輻條部Sbl?Sb3。在中央輪轂部Sa的外表面，以可拆裝的方式覆蓋了喇機罩(horn cover) 2,在該喇叭罩2的中央外表面，安裝有經(jīng)過設(shè)計處理的H字狀的標(biāo)志Ml。此外，在輻條部Sbl?Sb3上以可拆裝的方式安裝有輻條罩3，該輻條罩3外觀良好地覆蓋這些輻條部的外表面。
[0038]在方向盤S處于豎直的位置時，在輻條部Sbl和Sb3上左右對稱地設(shè)置有L字狀標(biāo)志的基準標(biāo)志Ms，在輻條部Sbl設(shè)置有標(biāo)志M2?M4，在輻條部Sb3設(shè)置有標(biāo)志M5?M7。在本實施方式中，根據(jù)基準標(biāo)志Ms的位置，確定用于求出對來自攝像機的輸入圖像進行二值化處理的閾值的圖像區(qū)域。
[0039]此外，本發(fā)明的 申請人:已經(jīng)對這樣的車載設(shè)備操作裝置進行了專利申請(未公開):設(shè)置基準標(biāo)志和標(biāo)志，根據(jù)攝像裝置的攝像數(shù)據(jù)，識別基準標(biāo)志的位置，根據(jù)基準標(biāo)志的位置，確定標(biāo)志的位置。
[0040]確定用于求出閾值的圖像區(qū)域的方法不限于利用基準標(biāo)志的方法，也可以基于其它能夠進行識別的方式，或者可以預(yù)先確定用于求出閾值的圖像區(qū)域。
[0041]接下來，對手識別部進行說明，該手識別部對由攝像機I拍攝到的圖像數(shù)據(jù)進行二值化，從二值圖像中識別手。圖3示出手勢識別裝置的手識別部10。如圖3所示，具有:圖像接收部11，其接收由攝像機I拍攝到的圖像數(shù)據(jù)；二值化處理部12，其利用規(guī)定的方法對從圖像接收部11接收到的輸入圖像進行二值化處理，生成第I 二值圖像；再次二值化處理部13，其利用其它閾值對輸入圖像的規(guī)定區(qū)域進行再次二值化，生成第2 二值圖像；收縮處理部14，其對由再次二值化處理部13生成的第2 二值圖像進行收縮處理；以及判定部15，其判定在第I 二值圖像和收縮處理后的第2 二值圖像中是否能夠識別出手。
[0042]圖像接收部11具有從攝像機I接收圖像數(shù)據(jù)的功能。具體而言，接收攝像機所生成的規(guī)定形式的圖像數(shù)據(jù)，將接收到的輸入圖像發(fā)送到二值化處理部12。
[0043]二值化處理部12具有將從圖像接收部11發(fā)送的輸入圖像轉(zhuǎn)換為二值圖像的功能。在本實施方式中，使用判別分析法作為確定用于對圖像進行二值化的閾值的方法。關(guān)于判別分析法，由于是公知的技術(shù)，因而省略詳細說明，作為判別分析法的文獻，有「大津展之:“判別杉&最小2乗基準(二基3〈自動L.t P値選定法，”電子通信學(xué)會論文誌D，J-63,4,ρ.349，1980」。
[0044]二值化處理部12根據(jù)基準標(biāo)志Ms，從輸入圖像中確定用于求出閾值的區(qū)域，將進行判別分析后的結(jié)果作為閾值，進行輸入圖像的二值化處理，生成第I 二值圖像。通過該輸入圖像的二值化處理 ，在第I 二值圖像中，能夠?qū)⒎较虮P與手分離。針對所生成的第I 二值圖像，判定部15判定是否能夠識別出手。
[0045]接下來，再次二值化處理部13確定僅對從圖像接收部11發(fā)送的輸入圖像的規(guī)定的區(qū)域進行二值化的其它閾值，對由二值化處理部12生成的二值圖像的規(guī)定區(qū)域進行再次二值化，生成第2 二值圖像。此處，進行再次二值化的目的是，雖然在二值化處理部12的二值圖像中分離了方向盤與手，但是根據(jù)光照射的方式的不同，有時手的各手指也會與手背分離，出于使手背與手的各手指結(jié)合的目的，進行再次二值化處理。
[0046]在再次二值化處理部13中的其它閾值的確定方法中，根據(jù)基準標(biāo)志Ms，從輸入圖像中確定在做手勢(操作)時手可能進入的區(qū)域和做手勢(操作)時也可能拍攝到背景的區(qū)域。并且，將這些區(qū)域作為I個圖像，利用判別分析法確定閾值。
[0047]此外，進行再次二值化的規(guī)定區(qū)域優(yōu)選是進行再次二值化的所需最低限度的區(qū)域，其確定方法可以根據(jù)基準標(biāo)志Ms從輸入圖像中確定。例如，用于確定其它閾值的上述區(qū)域可推測為拍攝到手與背景的分界的區(qū)域，因此，僅對這些區(qū)域進行再次二值化，則將手背與手的各手指結(jié)合起來的可能性較高。通過僅對所需最低限度的區(qū)域進行再次二值化，能夠降低處理負擔(dān)。
[0048]收縮處理部14對由再次二值化處理部13生成的第2 二值圖像進行收縮處理。之所以對再次二值化后的二值圖像進行收縮處理是因為，在再次二值化時，容易與作為背景的方向盤結(jié)合，因此，需要緩解結(jié)合。此外，作為收縮處理的一例，在日本特許第3025365號公報的0014段中有記載。
[0049]判定處理部15判定在第I 二值圖像和由收縮處理部14收縮后的第2 二值圖像中是否能夠識別出手，在任何一方或者其雙方中識別出手的情況下，判定為能夠識別出手。
[0050]接下來，說明手勢識別裝置的手的識別處理方法。圖4示出手的識別處理方法的流程圖。手的識別處理方法是如下方法:利用判別分析法對輸入圖像進行二值化處理，生成第I 二值圖像，接下來，僅對規(guī)定區(qū)域進行再次二值化，生成第2 二值圖像。
[0051]首先，生成第I 二值圖像。確定利用判別分析法對由攝像機拍攝到的輸入圖像進行二值化處理的閾值(S100)。
[0052]圖5示出了生成第I 二值圖像的圖像處理的一例。在圖5中，(a)是攝像機輸入圖像，(b)是進行二值化的閾值確定的塊，(c)是二值化處理后的二值圖像。如圖5(b)所示，將攝像機輸入圖像分割為任意尺寸的塊，按照每一塊，利用判別分析法進行分析，確定閾值。
[0053]接下來，利用確定出的閾值對輸入圖像進行二值化，生成二值圖像(SlOl)。在圖5的例子中，對(a)的輸入圖像進行二值化的結(jié)果是(C)的二值圖像。在圖5(c)所示的二值圖像中，手背為黑，被分類為背景。
[0054]接下來，生成第2 二值圖像。針對生成第I 二值圖像時的輸入圖像，確定一處在做手勢(操作)時手可能進入的區(qū)域以及兩處在做手勢(操作)時也可能拍攝到背景的區(qū)域
(5102)。這3處區(qū)域可以以圖2的基準標(biāo)志Ms為基準來確定。在本實施方式中，確定了一處手可能進入的區(qū)域和兩處可能拍攝到背景的區(qū)域，不過，這些區(qū)域使用幾處均可，可以適
當(dāng)確定。
[0055]圖6示出進行再次二值化處理而形成第2 二值圖像的圖像處理的一例。在圖6中，圖6(a)是攝像機輸入圖像，圖6(b)是進行再次二值化的閾值確定的塊，圖6(c)是將閾值確定的塊的圖像設(shè)為I個圖像的情況，圖6(d)是二值化處理后的二值圖像。如圖6(b)所示，在確定出的3處區(qū)域中，將手可能進入(拍攝到)的區(qū)域設(shè)為中央輪轂部Sa的中心的塊，在進行操作時也可能拍攝到背景的區(qū)域設(shè)為中央輪轂部Sa的基準標(biāo)志Ms的附近的塊。
[0056]如圖6(c)所示，將3處的塊的圖像作為I個圖像，進行判別分析法，確定新的閾值
(5103)。然后，利用 新的閾值，對輸入圖像的規(guī)定區(qū)域進行再次二值化處理，生成第2二值圖像(S104)。如圖6(d)所示，在再次二值化后的第2 二值圖像中，手背被分類為白。接下來，對第2 二值圖像進行收縮處理(S105)。再接下來，判定在第I 二值圖像和收縮處理后的第2 二值圖像中是否能夠識別出手(S106)。在能夠在第I 二值圖像和第2 二值圖像的任意一個圖像中識別出手的情況下，判定為能夠識別出手(S107)。
[0057]在圖5(c)的第I 二值圖像中，手背為黑而判定為不能識別出手，而在圖6(d)的再次二值化后的圖像的例子中，由于手被分類為白，因而被識別為手。因此，由于能夠在一方中識別出手，因此判定為能夠識別出手。
[0058]圖7示出手的識別處理中的圖像處理的另一例。圖7(a)是來自攝像機的輸入圖像，且光從手的右側(cè)后方照射。圖7(b)是基于判別分析法的第I 二值圖像，圖7(c)是對所需最低限的區(qū)域進行再次二值化并進行收縮處理后的第2 二值圖像。
[0059]如圖7(b)所示，手被分類為白，方向盤S的部分被分類為黑。即，判斷為在圖7(b)的第I 二值圖像中能夠識別出手。另一方面，在圖7(c)的第2 二值圖像中，通過再次二值化處理，喇叭部2被分類為白，手指與氣囊面結(jié)合，通過進行收縮處理，食指變細，能夠消除人的食指與喇叭部2的結(jié)合。
[0060]在上述的實施方式中，二值化的閾值確定方法使用了判別分析法，不過，也可以使用其它確定二值化的閾值的方法，按照相同的處理順序，生成二值圖像，進行手的識別。此外，進行最初的二值化的閾值和進行再次二值化的閾值均是利用判別分析法來確定的，不過也可以分別利用不同的方法來確定閾值。例如，利用自適應(yīng)二值化處理(adaptivethreshold:自適應(yīng)閾值)確定最初的閾值，利用判別分析法確定進行再次二值化的閾值，按照與上述的實施方式相同的處理順序，也能夠得到相同的效果。此外，作為自適應(yīng)二值化處理的一例，在日本特許第4405942號公報的0037段中有記載。
[0061]以上，使用附圖所示的實施方式對本發(fā)明進行了說明，但這些僅為示例，本【技術(shù)領(lǐng)域】的技術(shù)人員應(yīng)當(dāng)理解，在不脫離本發(fā)明的范圍及主旨的范圍內(nèi)，能夠進行各種變更及變形。因此，本發(fā)明的范圍不限定于所說明的實施方式，而必須由權(quán)利要求所記載的技術(shù)主旨來限定。
[0062]標(biāo)號說明
[0063]I攝像機
[0064]10手識別部
[0065]11圖像接收部
[0066]12 二值化處理部
[0067]13再次二值化處理部
[0068]14收縮處理部
[0069]15判定部
【權(quán)利要求】
1.一種使用汽車方向盤的手勢識別裝置，其具有攝像單元和識別單元，該攝像單元設(shè)置在能夠?qū)Ψ较虮P進行攝像的位置，該識別單元根據(jù)從所述攝像單元輸出的攝像數(shù)據(jù)，識別人的手在所述方向盤上的位置，其特征在于， 所述識別單元具有: 二值化處理單元，其利用規(guī)定的方法對從所述攝像單元輸出的攝像數(shù)據(jù)進行二值化處理，生成第I 二值圖像； 再次二值化處理單元，其在所述攝像數(shù)據(jù)中，確定做手勢時可能拍攝到手的第I區(qū)域和做手勢時也可能拍攝到背景的第2區(qū)域，將第I區(qū)域和第2區(qū)域作為I個圖像，利用規(guī)定的方法確定新的閾值，對所述攝像數(shù)據(jù)的規(guī)定的區(qū)域進行再次二值化，生成第2 二值圖像；以及 判定單元，其在能夠在所述第I二值圖像與所述第2 二值圖像的任意一方或者雙方中識別出手的情況下，判定為能夠識別出手。
2.根據(jù)權(quán)利要求1所述的使用汽車方向盤的手勢識別裝置，其特征在于， 所述手勢識別裝置還具有對所述第2 二值圖像進行收縮處理的收縮處理單元。
3.根據(jù)權(quán)利要求1或2所述的使用汽車方向盤的手勢識別裝置，其特征在于， 所述二值化處理單元中的規(guī)定的方法是判別分析法或者自適應(yīng)二值化處理。
4.根據(jù)權(quán)利要求1~3所述的使用汽車方向盤的手勢識別裝置，其特征在于， 所述再次二值化處理單元中的規(guī)定的方法是利用判別分析法確定的。
5.一種手識別方法，在做出使用汽車方向盤的手勢時，根據(jù)從設(shè)置在能夠?qū)λ龇较虮P進行攝像的位置的攝像單元輸出的攝像數(shù)據(jù)，識別人的手在所述方向盤上的位置，其特征在于，所述手識別方法包括如下步驟: 利用規(guī)定的方法對從所述攝像單元輸出的攝像數(shù)據(jù)進行二值化處理，生成第I 二值圖像； 在所述攝像數(shù)據(jù)中，確定做手勢時可能拍攝到手的第I區(qū)域和做手勢時也可能拍攝到背景的第2區(qū)域，將第I區(qū)域和第2區(qū)域作為I個圖像，利用規(guī)定的方法確定新的閾值，對所述攝像數(shù)據(jù)的規(guī)定的區(qū)域進行再次二值化，生成第2 二值圖像；以及 在能夠在所述第I二值圖像與所述第2二值圖像中的任意一方或者雙方中識別出手的情況下，判定為能夠識別出手。
6.根據(jù)權(quán)利要求5所述的汽車中的手識別方法，其特征在于， 所述手識別方法還包括對所述第2 二值圖像進行收縮處理的步驟。
7.根據(jù)權(quán)利要求5或6所述的手識別方法，其特征在于， 生成所述第I二值圖像的步驟中的規(guī)定的方法是利用判別分析法或者自適應(yīng)二值化處理確定的。
8.根據(jù)權(quán)利要求5~7中的任意一項所述的手識別方法，其特征在于， 生成所述第2 二值圖像的步驟中的規(guī)定的方法是判別分析法。
9.一種程序，其使計算機執(zhí)行權(quán)利要求5~8所述的手識別方法。
【文檔編號】B60R16/027GK104025154SQ201380004646
【公開日】2014年9月3日 申請日期:2013年1月29日 優(yōu)先權(quán)日:2012年2月7日
【發(fā)明者】近藤健, 內(nèi)村輝雄, 堀崎真一, 柿沼篤樹, 細貝俊明 申請人:日本系統(tǒng)工具株式會社, 株式會社本田阿克塞斯