專利名稱：手勢(shì)開(kāi)關(guān)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于將操作員對(duì)控制對(duì)象的操作信息進(jìn)行輸入的手勢(shì)開(kāi)關(guān)裝置，尤其是涉及適用于駕駛員不用觸摸該車輛搭載設(shè)備的操作面板、或不妨礙車輛駕駛就能簡(jiǎn)單地對(duì)空調(diào)設(shè)備和音響設(shè)備等車輛搭載設(shè)備的動(dòng)作進(jìn)行操作的手勢(shì)開(kāi)關(guān)裝置。
背景技術(shù)：
作為不用觸摸該車輛搭載設(shè)備的操作面板就能對(duì)空調(diào)設(shè)備和音響設(shè)備等車輛搭載設(shè)備的動(dòng)作進(jìn)行操作的技術(shù)，已有利用照攝像機(jī)對(duì)駕駛員的身體的一部分(比如左手)進(jìn)行攝像，對(duì)其畫(huà)像圖形進(jìn)行辨認(rèn)得到對(duì)上述車輛搭載設(shè)備的操作信息方面的提案(比如日本專利特開(kāi)平11-134090號(hào)公報(bào))。
另外，也有對(duì)駕駛員的表示為手指形狀和移動(dòng)的手勢(shì)進(jìn)行檢測(cè)以得到對(duì)車輛搭載設(shè)備的操作信息的提案(比如日本專利特開(kāi)2001-216069號(hào)公報(bào))。
這里，從對(duì)諸如手掌、手、手指等攝像得到的圖像中對(duì)其形狀進(jìn)行辨認(rèn)的圖案識(shí)別處理、通過(guò)跟蹤識(shí)別到的手掌、手、手指等的位置變化來(lái)檢測(cè)其移動(dòng)的移動(dòng)檢測(cè)處理等來(lái)實(shí)現(xiàn)上述目的的裝置稱為手勢(shì)開(kāi)關(guān)裝置。以下如無(wú)特別說(shuō)明，將手掌、手、手指等簡(jiǎn)單地統(tǒng)稱為手來(lái)說(shuō)明。
但是，在車輛中搭載有上述音響設(shè)備和空調(diào)設(shè)備等各種輔助設(shè)備，而且各輔助設(shè)備的調(diào)節(jié)功能多種多樣。比如搭載在車輛上的音響設(shè)備中有廣播、磁帶播放器、CD播放器等，其調(diào)節(jié)功能有音量、頻道選擇、播放、停止等功能。另外，對(duì)于空調(diào)設(shè)備也有溫度、風(fēng)量、風(fēng)向等的調(diào)節(jié)功能。
但是，在上述兩個(gè)傳統(tǒng)例子中，都是以1個(gè)手形作為1個(gè)控制對(duì)象，操作量也是以某個(gè)手形來(lái)確定的，故駕駛員需要記憶極多的手形，有可能對(duì)駕駛帶來(lái)障礙。
另一方面，從手勢(shì)開(kāi)關(guān)裝置可輸入的開(kāi)關(guān)操作信息，一般來(lái)說(shuō)僅是唯一地給予與手形的不同和手的移動(dòng)方法等對(duì)應(yīng)的信息，也存在著難以將各種控制對(duì)象分別合理地進(jìn)行調(diào)節(jié)的問(wèn)題。
即，在各種控制對(duì)象中，有像廣播的頻道選擇或風(fēng)量調(diào)節(jié)那樣最好連續(xù)、或階梯式進(jìn)行大調(diào)節(jié)(變更)，或溫度和音量等那樣最好連續(xù)進(jìn)行微調(diào)節(jié)。
因此，作為可從手勢(shì)開(kāi)關(guān)裝置輸入的開(kāi)關(guān)操作信息，最好能比如根據(jù)駕駛員的喜好和控制對(duì)象進(jìn)行變更，以提高其操作性。
而且，利用此類手勢(shì)開(kāi)關(guān)裝置對(duì)車輛搭載設(shè)備的動(dòng)作進(jìn)行操作的場(chǎng)合，對(duì)借助手勢(shì)開(kāi)關(guān)裝置來(lái)輸入操作信息的駕駛員不帶來(lái)妨礙駕駛操作的額外負(fù)擔(dān)也是非常重要的。當(dāng)然，根據(jù)控制對(duì)象的車輛搭載設(shè)備，最好能簡(jiǎn)單且合適地將該操作信息進(jìn)行輸入。
本

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的在于，提供一種手勢(shì)開(kāi)關(guān)裝置，能使駕駛員等操作人員借助手勢(shì)開(kāi)關(guān)裝置，將用來(lái)對(duì)各種車輛搭載設(shè)備等的控制對(duì)象的動(dòng)作進(jìn)行控制的操作信息簡(jiǎn)單而合適地輸入到控制對(duì)象，尤其是該手勢(shì)開(kāi)關(guān)裝置具有適用于將對(duì)應(yīng)于控制對(duì)象的合適的操作信息進(jìn)行輸入的良好的操作性。
而且，本發(fā)明的目的在于，提供一種手勢(shì)開(kāi)關(guān)裝置，能對(duì)車輛的駕駛員等操作者不施加額外負(fù)擔(dān)、就能借助手勢(shì)開(kāi)關(guān)裝置而將操作信息輸入給控制對(duì)象。
采用本發(fā)明，能提供一種具有對(duì)放置在規(guī)定攝像區(qū)域內(nèi)的手進(jìn)行攝像的攝像裝置、從該攝像得到的圖像中對(duì)手的形狀進(jìn)行識(shí)別并檢測(cè)該手的移動(dòng)，從而得到對(duì)控制對(duì)象的操作信息的手勢(shì)開(kāi)關(guān)裝置。
本發(fā)明的一種實(shí)施例的手勢(shì)開(kāi)關(guān)裝置，其特征在于，具有根據(jù)識(shí)別到的手的形狀及/或手的移動(dòng)而從多個(gè)控制對(duì)象中選擇1個(gè)的控制對(duì)象設(shè)定裝置、根據(jù)該選擇的控制對(duì)象而對(duì)由所述手的移動(dòng)帶來(lái)的操作信息的檢測(cè)形態(tài)進(jìn)行變更的檢測(cè)形態(tài)變更裝置。
控制對(duì)象設(shè)定裝置，也可是每當(dāng)檢測(cè)預(yù)先設(shè)定好的手的移動(dòng)圖案、從多個(gè)控制對(duì)象中循環(huán)地選擇1個(gè)的裝置。另外，檢測(cè)形態(tài)變更裝置也可包括對(duì)攝像區(qū)域內(nèi)的手的移動(dòng)距離進(jìn)行檢測(cè)而作為操作信息的移動(dòng)距離檢測(cè)形態(tài)；對(duì)在攝像區(qū)域內(nèi)移動(dòng)了規(guī)定距離以上的手的停止位置的停止時(shí)間進(jìn)行檢測(cè)而作為操作信息的停止時(shí)間檢測(cè)形態(tài)；對(duì)移動(dòng)距離檢測(cè)形態(tài)及停止時(shí)間檢測(cè)形態(tài)中的至少1種進(jìn)行設(shè)定的檢測(cè)形態(tài)設(shè)定裝置。移動(dòng)距離檢測(cè)形態(tài)，最好是將手的移動(dòng)距離的檢測(cè)，以規(guī)定移動(dòng)距離為檢測(cè)單位多步地進(jìn)行。
采用上述手勢(shì)開(kāi)關(guān)裝置，可根據(jù)控制對(duì)象和操作員比如駕駛員的喜好和習(xí)慣，能合適地設(shè)定給予各種控制對(duì)象的操作信息的檢測(cè)形態(tài)。因此，操作員負(fù)擔(dān)少，簡(jiǎn)單地進(jìn)行操作就能對(duì)控制對(duì)象諸如各種車輛搭載設(shè)備的調(diào)節(jié)對(duì)象進(jìn)行有效的操作等，在實(shí)用上起到極大的效果。尤其是可根據(jù)控制對(duì)象變更操作信息的檢測(cè)形態(tài)，故即使是希望將較大的操作量分步地賦予的場(chǎng)合，相反地連續(xù)給予較小的操作量來(lái)調(diào)節(jié)的場(chǎng)合，也可獲得根據(jù)控制對(duì)象而適當(dāng)?shù)亟o予操作信息等的效果。
采用本發(fā)明的其他實(shí)施例，也可提供車輛用手勢(shì)開(kāi)關(guān)裝置，該裝置特征在于，將攝像區(qū)域作成在車輛的方向盤(pán)側(cè)方且操作該方向盤(pán)的駕駛員在維持其駕駛姿勢(shì)的狀態(tài)下伸展手臂就能涉及的區(qū)域。
攝像區(qū)域，可以設(shè)定在離開(kāi)方向盤(pán)的外周部至少50mm的位置，并可設(shè)定在具有在駕駛員伸展的手的手指方向上大致600mm、手的寬度方向上大致350mm大小的呈長(zhǎng)方形的區(qū)域內(nèi)。另外，攝像區(qū)域內(nèi)的手的移動(dòng)的檢測(cè)，也可將從圖像中求得的手的重心位置朝手指方向的10～70mm的位移作為控制對(duì)象選擇及/或控制對(duì)象的操作量進(jìn)行檢測(cè)。
采用上述車輛用手勢(shì)開(kāi)關(guān)裝置，可不受駕駛員的駕駛操作所產(chǎn)生的手和手臂的移動(dòng)，而能確切地檢測(cè)手的形狀及其移動(dòng)帶來(lái)的操作指示。而且，根據(jù)該檢測(cè)結(jié)果，可獲得對(duì)規(guī)定的車輛搭載設(shè)備能合適地賦予操作信息等在實(shí)用上極大的效果。尤其是，能可靠地對(duì)將胳膊放在扶手上的駕駛員在假想操作時(shí)獲得實(shí)際感覺(jué)的手的移動(dòng)進(jìn)行檢測(cè)，從而具有減輕駕駛員的操作負(fù)擔(dān)等的效果。
本發(fā)明的又一實(shí)施例的車輛用手勢(shì)開(kāi)關(guān)裝置，其特征在于，將攝像裝置設(shè)置在如下的位置對(duì)操作該方向盤(pán)的駕駛員在維持其駕駛姿勢(shì)的狀態(tài)下能伸展手臂的區(qū)域進(jìn)行攝像的位置。攝像裝置可設(shè)置在車輛的頂部。
采用上述的車輛用手勢(shì)開(kāi)關(guān)裝置，駕駛員可以沒(méi)有負(fù)擔(dān)地向上述車輛用手勢(shì)開(kāi)關(guān)裝置中的控制對(duì)象輸入操作信息。
本發(fā)明的又一實(shí)施例的手勢(shì)開(kāi)關(guān)裝置，其特征在于，具有通過(guò)重復(fù)預(yù)先設(shè)定的手的移動(dòng)圖形、從多個(gè)控制對(duì)象中循環(huán)地選擇1個(gè)的控制對(duì)象選擇裝置、根據(jù)所述手的移動(dòng)而將該選擇的控制對(duì)象的操作量進(jìn)行變更的操作量變更裝置。
手勢(shì)開(kāi)關(guān)裝置也可以具有當(dāng)檢測(cè)出識(shí)別到的手形是預(yù)先設(shè)定的第1手形時(shí)、對(duì)該裝置的動(dòng)作開(kāi)始予以識(shí)別的操作開(kāi)始識(shí)別裝置，控制對(duì)象選擇裝置，在同動(dòng)作開(kāi)始識(shí)別后，手的移動(dòng)-其識(shí)別到的手形形成預(yù)先設(shè)定的第2手形-以此選擇控制對(duì)象。操作開(kāi)始識(shí)別裝置也可以具有對(duì)形成第1手形的手沒(méi)有把持或沒(méi)有觸摸特定的東西進(jìn)行識(shí)別、并決定手勢(shì)開(kāi)關(guān)裝置的動(dòng)作開(kāi)始的確認(rèn)裝置。第1手形，可以是持有東西時(shí)的形狀，第2手形可以是用食指指東西時(shí)的形狀。另外，手勢(shì)開(kāi)關(guān)裝置可以具有在控制對(duì)象選擇后，識(shí)別的手形形成預(yù)先設(shè)定的第3手形，當(dāng)檢測(cè)到攝像區(qū)域內(nèi)的手的檢測(cè)位置在規(guī)定時(shí)間沒(méi)有位移時(shí)，促進(jìn)操作量變更裝置起動(dòng)的起動(dòng)促進(jìn)裝置。
采用上述手勢(shì)開(kāi)關(guān)裝置，駕駛員等操作員，比如通過(guò)重復(fù)與用食指按壓按鈕開(kāi)關(guān)的按壓操作相對(duì)應(yīng)的手的移動(dòng)圖形而可循環(huán)地對(duì)控制對(duì)象進(jìn)行選擇，另外，比如通過(guò)用第1手形進(jìn)行與用手移動(dòng)變速桿的操作相對(duì)應(yīng)的手的移動(dòng)，而可改變變速桿的操作量。這一點(diǎn)，在上述日本專利特開(kāi)平11-134090號(hào)公報(bào)及特開(kāi)2001-216069號(hào)公報(bào)中記載的技術(shù)中，用1個(gè)手指形狀決定1個(gè)控制對(duì)象，對(duì)操作量的確定也是由手指形狀對(duì)應(yīng)分配的，因此，駕駛員需要記憶大量的手指形狀，有妨礙駕駛之虞。
附圖的簡(jiǎn)單說(shuō)明

圖1是表示本發(fā)明的實(shí)施例的手勢(shì)開(kāi)關(guān)裝置的概要結(jié)構(gòu)的示圖。
圖2是表示圖1所示的手勢(shì)開(kāi)關(guān)裝置的手指的攝像區(qū)域的示圖。
圖3是表示手勢(shì)開(kāi)關(guān)裝置的開(kāi)關(guān)操作信息的指示輸入動(dòng)作的概要順序的示圖。
圖4A是表示用于將開(kāi)關(guān)操作指示賦予手勢(shì)開(kāi)關(guān)裝置的手指形狀的例子的圖。
圖4B是表示手指形狀的其他例子的圖。
圖4C是表示手指形狀的又一例子的圖。
圖5是表示伴隨手指的按壓操作的控制對(duì)象的選擇例子的圖。
圖6是表示與控制對(duì)象對(duì)應(yīng)的輸入模式的設(shè)定畫(huà)面的例子的圖。
圖7是表示手勢(shì)開(kāi)關(guān)裝置的開(kāi)關(guān)操作信息輸入用的大致處理順序的一部分的流程圖。
圖8是表示接在圖7所示的處理順序后面的處理順序的流程圖。
圖9是表示距離模式中的開(kāi)關(guān)操作信息的檢測(cè)順序的流程圖。
圖10是表示時(shí)間模式中的開(kāi)關(guān)操作信息的檢測(cè)順序的流程圖。
圖11是表示距離·時(shí)間模式中的開(kāi)關(guān)操作信息的檢測(cè)順序的流程圖。
圖12A是表示帶有實(shí)感地進(jìn)行按壓按鈕開(kāi)關(guān)的假想的開(kāi)關(guān)操作頻度與手指移動(dòng)量的關(guān)系的圖。
圖12B是表示帶有實(shí)感地進(jìn)行杠桿開(kāi)關(guān)的假想的開(kāi)關(guān)操作頻度與手指移動(dòng)量的關(guān)系的圖。
圖12C是表示帶有實(shí)感地進(jìn)行假想的開(kāi)關(guān)操作停止頻度與停止時(shí)間的關(guān)系的圖。
具體實(shí)施例方式
以下參照附圖對(duì)本發(fā)明的實(shí)施例的手勢(shì)開(kāi)關(guān)裝置進(jìn)行說(shuō)明。以下如無(wú)特別說(shuō)明，則將手掌、手、手指等統(tǒng)稱為手進(jìn)行說(shuō)明。
圖1是表示實(shí)施例裝置的主要部分的概要結(jié)構(gòu)的示圖，表示卡車的駕駛座的樣子及通過(guò)微機(jī)(ECU)等實(shí)現(xiàn)的裝置的功能。在駕駛座設(shè)有駕駛員操縱的方向盤(pán)1和組合開(kāi)關(guān)(未圖示)等，另外，在其控制盤(pán)上設(shè)有成為控制對(duì)象的音響設(shè)備和空調(diào)設(shè)備等的操作部2。在如此駕駛座上方的車頂上設(shè)有攝像機(jī)3，該攝像機(jī)3將方向盤(pán)1的側(cè)方作為攝像區(qū)域，對(duì)將手臂朝該攝像區(qū)域伸展的駕駛員的手指進(jìn)行攝像。該攝像機(jī)3由CCD攝像機(jī)等的小型攝像機(jī)構(gòu)成。
上述攝像機(jī)3的攝像區(qū)域3a如圖2所示，設(shè)定在方向盤(pán)1的側(cè)方、離方向盤(pán)1的外周部至少50mm的位置，最好是離開(kāi)100mm左右的位置。另外，該攝像區(qū)域3a，設(shè)定為具有將手臂向方向盤(pán)1的側(cè)方伸展的駕駛員手的手指方向上大致600mm、手的寬度方向上大致350mm大小的呈長(zhǎng)方形的區(qū)域。
如此設(shè)定后的攝像區(qū)域3a，是對(duì)把握在方向盤(pán)1上或?qū)υO(shè)置在方向盤(pán)1的立柱軸上的組合開(kāi)關(guān)(未圖示)進(jìn)行操作的駕駛員的手不進(jìn)行攝像的區(qū)域，而且設(shè)定為駕駛員不需很大地移動(dòng)手臂就能移動(dòng)手指的區(qū)域。尤其是駕駛員保持將手臂放置在設(shè)置于駕駛座側(cè)部的扶手5上，不用改變其駕駛姿勢(shì)手臂就能伸展胳膊的位置，是手無(wú)法觸摸音響設(shè)備等的操作部2的位置。
由此，可防止將伴隨駕駛操作的手的移動(dòng)誤作為開(kāi)關(guān)操作信息進(jìn)行檢測(cè)。另外，也可設(shè)定成不會(huì)對(duì)直接操作音響設(shè)備等的操作部2的手進(jìn)行檢測(cè)。
在如此設(shè)定的攝像區(qū)域3a配置或鄰接有操作變速機(jī)的齒輪變速手柄(未圖示)的場(chǎng)合，比如可事先在齒輪變速手柄上設(shè)置感壓傳感器，借助該感壓傳感器來(lái)檢測(cè)駕駛員對(duì)齒輪變速手柄的把持。只要事先考慮周到，就能很容易地辨別延伸到攝像區(qū)域3a內(nèi)的手是操作齒輪變速手柄還是操作手勢(shì)開(kāi)關(guān)裝置的狀態(tài)，能可靠地防止將駕駛操作誤當(dāng)作開(kāi)關(guān)操作信息進(jìn)行檢測(cè)。另外，也可利用立體攝像機(jī)作為攝像機(jī)3檢測(cè)手的高度位置(與攝像機(jī)3的距離)，由此可辨別延伸至攝像區(qū)域3a內(nèi)的手是操作齒輪變速手柄還是位于齒輪變速手柄的上方空間。
但是，如上所述的攝像區(qū)域3a，設(shè)定成駕駛員不必較大地移動(dòng)手臂、而可使手指移動(dòng)的區(qū)域，而且將假想操作開(kāi)關(guān)時(shí)駕駛員能實(shí)感到的手指的移動(dòng)(位移)為基準(zhǔn)進(jìn)行設(shè)定。即，對(duì)組裝在音響設(shè)備等內(nèi)的各種開(kāi)關(guān)進(jìn)行實(shí)際的按壓操作的場(chǎng)合，作為其反作用力能實(shí)際感覺(jué)到開(kāi)關(guān)操作。但是，在規(guī)定的空間內(nèi)進(jìn)行假想的開(kāi)關(guān)操作的場(chǎng)合，沒(méi)有伴隨手的移動(dòng)的反作用力，故無(wú)法直接感受到開(kāi)關(guān)操作，反而是感覺(jué)到進(jìn)行開(kāi)關(guān)操作的自己的手指和手臂的移動(dòng)。
為此，本發(fā)明者等，在假想1次次按壓操作按鈕開(kāi)關(guān)時(shí)，另外多步地移動(dòng)操作變速機(jī)的齒輪變速手柄時(shí)等，要進(jìn)行多大程度的移動(dòng)才能感覺(jué)到進(jìn)行了開(kāi)關(guān)操作作了實(shí)驗(yàn)。
另外，假想開(kāi)關(guān)操作后使該手停止的動(dòng)作，手要停止多長(zhǎng)時(shí)間才能感覺(jué)到該操作已結(jié)束作了實(shí)驗(yàn)。
該實(shí)驗(yàn)是以具有大型汽車執(zhí)照的多位具有駕駛經(jīng)驗(yàn)的人員為對(duì)象而重復(fù)進(jìn)行上述操作的，對(duì)其位移量和停止時(shí)間分別進(jìn)行了實(shí)測(cè)。
圖12A～圖12C分別表示其實(shí)驗(yàn)結(jié)果。具體地說(shuō)，圖12A是將1次次按壓操作按鈕開(kāi)關(guān)時(shí)手的移動(dòng)量(位移量)為參數(shù)，對(duì)其操作頻度進(jìn)行了圖示。其結(jié)果確認(rèn)到，對(duì)于1次次按壓操作按鈕開(kāi)關(guān)時(shí)手的移動(dòng)量(位移量)，盡管有30～70mm的誤差，但50mm的位移作為開(kāi)關(guān)操作能感覺(jué)到的頻度最高，平均為45mm。
另外，在將齒輪變速手柄分級(jí)前后進(jìn)行變速操作的場(chǎng)合，如圖12B所示，作為1級(jí)的操作有實(shí)感地進(jìn)行移動(dòng)的手的移動(dòng)量(位移量)為10～40mm，30mm的位移作為1級(jí)的操作能感覺(jué)到的頻度最高，另外，平均為23mm。而且，將手位移規(guī)定量后，將其移動(dòng)停止，在完成1個(gè)動(dòng)作的場(chǎng)合，作為其停止時(shí)間，如圖12C所示，320m秒的頻度最高。不過(guò)，該停止時(shí)間的測(cè)量是以80m秒為單位進(jìn)行的。
從這些實(shí)驗(yàn)結(jié)果可以確認(rèn)，駕駛員保持將其手臂擱在扶手上以自然的狀態(tài)進(jìn)行假想的開(kāi)關(guān)操作的場(chǎng)合，操作開(kāi)關(guān)時(shí)能有實(shí)感的(節(jié)度感)手的移動(dòng)量(位移量)，在1次開(kāi)關(guān)按壓操作的場(chǎng)合為50mm左右，而在分級(jí)操作齒輪變速手柄的場(chǎng)合，每1級(jí)的位移量為30mm左右。在帶有停止動(dòng)作的場(chǎng)合，可確認(rèn)為該動(dòng)作停止期間是300米秒左右。
上述攝像機(jī)3的攝像區(qū)域3a的位置及其大小是，根據(jù)上述實(shí)驗(yàn)結(jié)果，比如后述那樣設(shè)想對(duì)多步的開(kāi)關(guān)操作(換檔操作)前后方向分成5級(jí)進(jìn)行，另外，考慮到駕駛員的體形和駕駛姿勢(shì)等，延伸至方向盤(pán)1的側(cè)方的手指的基準(zhǔn)位置會(huì)發(fā)生變化來(lái)確定的。另外，考慮到手的大小一般從手腕至指尖的長(zhǎng)度為200mm左右，手的寬度為120mm左右，因此定為上述那樣的比如長(zhǎng)為600mm、寬為350mm的大致矩形區(qū)域。
采用如此設(shè)定的攝像區(qū)域3a，不對(duì)隨著駕駛操作產(chǎn)生的手的移動(dòng)進(jìn)行檢測(cè)，在離開(kāi)方向盤(pán)1的手無(wú)不舒服感且自然移動(dòng)的狀態(tài)下，能對(duì)該手進(jìn)行可靠的攝像。而且，即使隨著開(kāi)關(guān)操作使手指的位置發(fā)生移動(dòng)，其移動(dòng)能在上述攝像區(qū)域3a內(nèi)可靠地進(jìn)行捕捉，利用比較簡(jiǎn)易的圖像處理能容易地進(jìn)行手的形狀識(shí)別和其移動(dòng)量的檢測(cè)。
另外，從駕駛員的角度來(lái)看，不必改變其駕駛姿勢(shì)，只要將手臂伸展至方向盤(pán)1的側(cè)方即可，不必直接觸摸音響設(shè)備等的操作部2，事先將設(shè)定了的手形做成樣板，只要將手移動(dòng)就可進(jìn)行所需的開(kāi)關(guān)操作。
因此，可減輕駕駛員的操作負(fù)擔(dān)。另外，具有不會(huì)將伴隨駕駛操作產(chǎn)生的手和手臂的移動(dòng)作為開(kāi)關(guān)操作指示進(jìn)行檢測(cè)，不必意識(shí)手勢(shì)開(kāi)關(guān)裝置而可集中于駕駛操作，具有只要根據(jù)需要而將手移動(dòng)至攝像區(qū)域3a內(nèi)、就可方便地給予開(kāi)關(guān)操作指示等的優(yōu)點(diǎn)。
手勢(shì)開(kāi)關(guān)裝置，基本上將由上述攝像機(jī)3攝像得到的駕駛員的手形和移動(dòng)用微機(jī)(ECU)進(jìn)行識(shí)別處理，根據(jù)其識(shí)別結(jié)果得到對(duì)控制對(duì)象的音響設(shè)備和空調(diào)設(shè)備的操作信息(開(kāi)關(guān)操作信息)。而且，由該開(kāi)關(guān)操作信息代替上述操作部2的操作，對(duì)這些音響設(shè)備和空調(diào)設(shè)備等進(jìn)行操作。
具體來(lái)說(shuō)，手勢(shì)開(kāi)關(guān)裝置主要如圖1所示，由攝像裝置的攝像機(jī)3、從該攝像機(jī)3攝像得到的圖像獲得開(kāi)關(guān)操作信息的微機(jī)(ECU)等構(gòu)成。
ECU包括雙值化處理部11，其從攝像機(jī)3向微機(jī)(ECU)輸入的輸入圖像(以下簡(jiǎn)稱為輸入圖像)最終進(jìn)行雙值化處理，去除其背景圖像成分，僅將手的圖像抽出；從由雙值化處理抽出的圖像中識(shí)別手形的形狀識(shí)別部12；從識(shí)別的手的形狀求出其重心位置的重心檢測(cè)部13；根據(jù)上述形狀識(shí)別部12得到的識(shí)別結(jié)果、及重心檢測(cè)部13檢測(cè)到的手的重心位置，對(duì)駕駛員的手的形狀和其移動(dòng)所表示的開(kāi)關(guān)操作信息進(jìn)行識(shí)別的操作指示識(shí)別部14。
該操作指示識(shí)別部14，大致包括邊參照事先記錄在存儲(chǔ)器15內(nèi)的手的形狀圖案邊對(duì)該手的形狀進(jìn)行判斷·識(shí)別的形狀判斷部16；跟蹤手的重心位置的移動(dòng)，對(duì)手的位移進(jìn)行檢測(cè)的位移量檢測(cè)部17；對(duì)手的移動(dòng)進(jìn)行隨時(shí)間的監(jiān)視的定時(shí)器18。在重心位置檢測(cè)及手的時(shí)間經(jīng)過(guò)監(jiān)視時(shí)，最好使用手掌部分。
操作指示識(shí)別部14，根據(jù)這些判斷·監(jiān)視結(jié)果，求出由駕駛員的手形和其移動(dòng)所特定的規(guī)定的開(kāi)關(guān)操作信息，將該開(kāi)關(guān)操作信息向上述音響設(shè)備和空調(diào)設(shè)備等輸出。
操作指示識(shí)別部14的形狀判斷部16，設(shè)有根據(jù)上述判斷結(jié)果等向駕駛員進(jìn)行規(guī)定的語(yǔ)音提示的引導(dǎo)部19。該語(yǔ)音提示比如對(duì)音響設(shè)備和空調(diào)設(shè)備(控制對(duì)象設(shè)備)、還有對(duì)音量·頻道設(shè)定、風(fēng)量·溫度等(控制對(duì)象功能)進(jìn)行特定的語(yǔ)音信息、和表示該開(kāi)關(guān)操作的“吡”和“吡-”等的確認(rèn)音通過(guò)喇叭20向駕駛員進(jìn)行告知。
上述結(jié)構(gòu)的手勢(shì)開(kāi)關(guān)裝置中，其發(fā)明的特征之一是，如圖3的開(kāi)關(guān)操作動(dòng)作的流程所示，根據(jù)選擇了的控制對(duì)象，而將給予該控制對(duì)象的開(kāi)關(guān)操作信息的輸入模式有選擇地進(jìn)行切換這一點(diǎn)上。尤其是，作為開(kāi)關(guān)操作信息的輸入模式，這里準(zhǔn)備了“距離模式”、“時(shí)間模式”、“距離·時(shí)間模式”3種，可根據(jù)控制對(duì)象(車輛搭載設(shè)備)進(jìn)行選擇。
下面對(duì)該開(kāi)關(guān)操作進(jìn)行說(shuō)明。
該手勢(shì)開(kāi)關(guān)裝置中，使用作為指定開(kāi)關(guān)操作的手形、比如圖4A～圖4C所示的手指圖形。具體地說(shuō)，使用如圖4A所示的握拳形狀的圖形(手形1)、圖4B所示的豎起食指的食指指示形狀的圖形(手形2)、圖4C所示的豎起大拇指的圖案(手形3)。
食指指示形狀的圖形(手形2)是表示按壓操作按鈕那樣開(kāi)關(guān)的含義。另外，握拳形狀的圖形(手形1)是表示將手把持在對(duì)自動(dòng)變速機(jī)的變速級(jí)進(jìn)行切換的換檔手柄那樣的桿狀開(kāi)關(guān)上、進(jìn)行前后換檔操作的含義。而豎起大拇指的圖案(手形3)是表示待機(jī)指示的含義。如此的手形圖案，表示其形狀特征的數(shù)據(jù)記錄在上述存儲(chǔ)器15內(nèi)。通過(guò)對(duì)從輸入圖像中識(shí)別的手形與記錄在上述存儲(chǔ)器15內(nèi)的圖案的一致度(類似度)進(jìn)行計(jì)算，能用于對(duì)手形的判斷。
在駕駛員手握方向盤(pán)1操縱車輛的場(chǎng)合，圖3的動(dòng)作狀態(tài)A1所示的駕駛員的手離開(kāi)了攝像區(qū)域3a。此時(shí)的輸入圖像作為車室內(nèi)的背景，僅是被排除處理的圖像成分，故手勢(shì)開(kāi)關(guān)裝置不會(huì)進(jìn)行動(dòng)作。對(duì)此，一旦駕駛員的手離開(kāi)方向盤(pán)1進(jìn)入動(dòng)作狀態(tài)A2所示的攝像區(qū)域3a內(nèi)，則開(kāi)始對(duì)手進(jìn)行識(shí)別處理。在此場(chǎng)合，比如最好通過(guò)將手做成握拳形狀(手形1)，指示開(kāi)始開(kāi)關(guān)操作信息的輸入。
然后，對(duì)手的形狀是否變換為按壓操作開(kāi)關(guān)的食指指示形狀的圖案(手形2)進(jìn)行判斷。當(dāng)檢測(cè)出食指指示形狀的圖案(手形2)的場(chǎng)合，如動(dòng)作狀態(tài)A3所示，重復(fù)按壓操作(按壓)選擇開(kāi)關(guān)，選擇指定規(guī)定的功能·設(shè)備，進(jìn)行其移動(dòng)的檢測(cè)。具體來(lái)說(shuō)，對(duì)食指指示形狀的手指的前后移動(dòng)通過(guò)對(duì)其手掌的重心位置的變化(移動(dòng))進(jìn)行檢測(cè)，從而檢測(cè)出其按壓操作。
在此場(chǎng)合，每檢測(cè)出1次按壓動(dòng)作，比如如圖5所示那樣，事先將其控制法進(jìn)行設(shè)定，以將其控制對(duì)象作為“音量”、“頻道(ch)”、“溫度”、“風(fēng)量”等循環(huán)地進(jìn)行選擇指定。
尤其是此時(shí)，每當(dāng)檢測(cè)出1次按壓動(dòng)作，就輸出“吡”等的操作確認(rèn)聲、或用語(yǔ)音信息告知所選擇的控制對(duì)象也是有用的。通過(guò)這樣的語(yǔ)音提示，駕駛員不必用眼確認(rèn)其操作狀態(tài)就能明白，故可專心于駕駛操作。
選擇所需的控制對(duì)象時(shí)，變更為與剛才不同的圖形，比如動(dòng)作狀態(tài)A4所示的豎起大拇指的圖案(手形3)，對(duì)指示功能選擇操作的結(jié)束和開(kāi)關(guān)操作量的輸入開(kāi)始進(jìn)行指示。在此場(chǎng)合，其確認(rèn)音最好能發(fā)出與上述的確認(rèn)音不同的“吡-”等的聲音。
然后，變更為動(dòng)作狀態(tài)A5所示的手握拳形狀(手形1)，通過(guò)該手形1的前后移動(dòng)，進(jìn)行輸入開(kāi)關(guān)操作信息。此時(shí)，通過(guò)該手掌的重心位置的位移量等對(duì)該手形1的移動(dòng)進(jìn)行檢測(cè)，并輸出與該移動(dòng)對(duì)應(yīng)的開(kāi)關(guān)操作信息。
具體地說(shuō)，在該開(kāi)關(guān)操作信息的輸入中，根據(jù)由上述按壓操作選擇指定的控制對(duì)象，對(duì)應(yīng)該檢測(cè)的信息內(nèi)容進(jìn)行更改。
即，控制對(duì)象，有的需要將其控制量(開(kāi)關(guān)操作信息)用大的變化量進(jìn)行多步變更，有的需要用小的變化量進(jìn)行連續(xù)細(xì)小地變更。
因此，根據(jù)所選擇的控制對(duì)象，對(duì)比如將手的移動(dòng)量作為開(kāi)關(guān)操作信息的距離模式(動(dòng)作狀態(tài)A6a)、從位移了規(guī)定距離的手的停止時(shí)間求出其開(kāi)關(guān)操作信息的時(shí)間模式(動(dòng)作狀態(tài)A6b)、另外將這些模式并用的距離·時(shí)間模式(動(dòng)作狀態(tài)A6c)進(jìn)行選擇性的設(shè)定。
這里，上述距離模式，是根據(jù)手掌距基準(zhǔn)位置的移動(dòng)量分級(jí)式地將開(kāi)關(guān)操作信息進(jìn)行輸出的模式，適用于廣播的頻道選擇和空調(diào)設(shè)備的風(fēng)量·風(fēng)向的選擇設(shè)定的場(chǎng)合。
另外，時(shí)間模式，是將與從基準(zhǔn)位置進(jìn)行位移后的手的停止時(shí)間對(duì)應(yīng)的開(kāi)關(guān)操作信息進(jìn)行輸出的模式，適用于音響設(shè)備的音量和空調(diào)設(shè)備的溫度等的調(diào)節(jié)的場(chǎng)合等。
而上述距離·時(shí)間模式，是當(dāng)手的微小的移動(dòng)時(shí)輸出與其移動(dòng)量對(duì)應(yīng)的開(kāi)關(guān)操作信息，而當(dāng)至停止位置移動(dòng)了規(guī)定距離以上的場(chǎng)合，輸出與其停止位置處的手的停止時(shí)間相對(duì)應(yīng)的開(kāi)關(guān)操作信息的模式。
該距離·時(shí)間模式適合于對(duì)控制對(duì)象進(jìn)行粗調(diào)節(jié)、微調(diào)節(jié)的場(chǎng)合等。
上述操作指示識(shí)別部14，如上所述，根據(jù)由控制對(duì)象選擇性地設(shè)定的輸入模式(距離模式/時(shí)間模式/距離·時(shí)間模式)，跟蹤手掌在上述攝像區(qū)域3a內(nèi)的移動(dòng)，對(duì)手掌的移動(dòng)量(位移量及其位移方向)和移動(dòng)停止后的手掌的停止時(shí)間進(jìn)行測(cè)量。然后將與這些測(cè)量結(jié)果對(duì)應(yīng)的開(kāi)關(guān)操作信息輸出。
而且，對(duì)各種開(kāi)關(guān)控制對(duì)象與上述各模式的對(duì)應(yīng)關(guān)系、作為開(kāi)關(guān)操作量檢測(cè)出的內(nèi)容(檢測(cè)距離和時(shí)間)等也可事先固定地進(jìn)行設(shè)定。但是，這些對(duì)應(yīng)關(guān)系、檢測(cè)距離、時(shí)間等，使用具有上述操作指示識(shí)別部14的比如圖6所示的控制畫(huà)面14a，也可事先按開(kāi)關(guān)操作者(駕駛員)的喜好等進(jìn)行合適地變更。
具體地說(shuō)，對(duì)于多個(gè)控制對(duì)象，也可選擇性地指定用何種輸入模式將開(kāi)關(guān)操作信息進(jìn)行輸入，并事先將成為其檢測(cè)單位的手掌的位移量(移動(dòng)距離)和測(cè)量時(shí)間等可分別作可變的設(shè)定。
(流程圖)①初期判斷圖7～圖11是表示實(shí)現(xiàn)上述處理功能的操作指示識(shí)別部14的概要的處理順序。
現(xiàn)對(duì)該處理順序進(jìn)行說(shuō)明。隨著手勢(shì)開(kāi)關(guān)裝置的起動(dòng)，首先進(jìn)行包括由攝像機(jī)3對(duì)攝像區(qū)域(識(shí)別區(qū)域)的設(shè)定和雙值化處理中閾值的設(shè)定等在內(nèi)的系統(tǒng)的初期設(shè)定(步驟S1)。
然后，清除用于計(jì)測(cè)手形的識(shí)別和手的移動(dòng)的參數(shù)值等，并將控制圖設(shè)定為“0”，對(duì)開(kāi)關(guān)信息檢測(cè)實(shí)行初始化(步驟S2)。
進(jìn)行了以上初始化處理后，對(duì)輸入圖像中的手形進(jìn)行識(shí)別(步驟S3)。
判斷該手形是上述(手形1)、(手形2)、(手形3)中的哪一種(步驟S4)。
當(dāng)手形是食指指示形的(手形2)的場(chǎng)合，判斷上一次檢測(cè)出的手形是哪一種(步驟S5)。
若上次的手形不是食指指示形(手形2)，則這次檢測(cè)到的(手形2)的功能選擇的模式被設(shè)定，將此時(shí)檢測(cè)到的手掌的重心位置作為基準(zhǔn)位置A進(jìn)行記錄(步驟S6)。
將表示上次檢測(cè)到的手的位移量、且用于手的移動(dòng)距離管理的參數(shù)B′設(shè)定為“0”(步驟S7)。
然后，將上次的手形更新為(手形2)(步驟S8)。
然后，重復(fù)執(zhí)行自上述(步驟S3)開(kāi)始的處理。
而在(步驟S5)中，在判斷上次的手形為食指指示形的(手形2)的場(chǎng)合，接著求出此時(shí)檢測(cè)到的手掌的重心位置相對(duì)于上述基準(zhǔn)位置A的位移量B(步驟S9)。
然后判斷是否滿足參數(shù)B′不到閾值H1且這次檢測(cè)到的位移量B超過(guò)了規(guī)定的判斷閾值H1這樣2個(gè)條件(步驟S10)。
當(dāng)上述條件得到滿足時(shí)，作為以(手形2)的狀態(tài)進(jìn)行了用于上述功能選擇的按壓操作，對(duì)控制對(duì)象進(jìn)行1級(jí)變更(步驟S11)。
然后，將上次的手形更新為(手形2)，重復(fù)執(zhí)行自(步驟S8)開(kāi)始的步驟S3開(kāi)始的處理。
而在(步驟S10)中，當(dāng)沒(méi)有滿足上述位移量B不超過(guò)規(guī)定的判斷閾值H1等條件時(shí)，將上述位移量B設(shè)作為上述的參數(shù)B′(步驟S12)。
然后，將上次的手形更新為(手形2)(步驟S8)。
然后重復(fù)執(zhí)行自上述(步驟S3)開(kāi)始的處理。
通過(guò)該(步驟S3)至(步驟S8)的處理，在僅以(手形2)的規(guī)定的移動(dòng)量進(jìn)行按壓操作時(shí)，上述功能選擇被執(zhí)行，控制對(duì)象被選擇性地設(shè)定。
另一方面，在上述(步驟S4)中，當(dāng)檢測(cè)出手形為(手形1)或(手形3)時(shí)，如以下圖8所示，判斷該手形是否是(手形1)或是(手形3)(步驟S13)。
如是(手形3)，則判斷上述動(dòng)作是指定待機(jī)狀態(tài)，將此時(shí)檢測(cè)到的手掌的重心位置作為基準(zhǔn)位置C進(jìn)行記錄(步驟S14)。
同時(shí)將在后述的移動(dòng)距離測(cè)量中使用的控制參數(shù)D′設(shè)定為“0”(步驟S15)。
然后，將上次的手形更新為(手形3)后(步驟S16)，重復(fù)執(zhí)行自上述(步驟S3)開(kāi)始的處理。
而當(dāng)在(步驟S13)中，手形被判斷為(手形1)時(shí)，接著判斷上次檢測(cè)得到的手形是哪一種(步驟S17)。
若上次的手形是(手形3)，則作為操作信息的輸入模式已被設(shè)定，將控制圖設(shè)定為“1”，并將移動(dòng)距離的測(cè)量參數(shù)n和停止時(shí)間的測(cè)量參數(shù)t分別設(shè)定為“0”(步驟S18)。
另外，若上次的手形是握拳形的(手形1)，則通過(guò)判斷控制圖是否是“1”，來(lái)檢查操作信息的輸入模式是否已經(jīng)設(shè)定(步驟S19)。
在控制圖已是“1”的場(chǎng)合，檢測(cè)此時(shí)檢測(cè)到的手掌的重心位置與上述基準(zhǔn)位置C之間的距離D(步驟S20)。
根據(jù)先前已功能選擇的控制對(duì)象，判斷上述3種輸入模式中用哪種模式對(duì)開(kāi)關(guān)操作信息進(jìn)行檢測(cè)(步驟S21)。
根據(jù)判斷后的輸入模式，進(jìn)行開(kāi)關(guān)操作信息的檢測(cè)處理。
而在上次的手形不是(手形1)或(手形3)的場(chǎng)合(步驟S17)，或控制圖不是“1”的場(chǎng)合(步驟S19)，重復(fù)執(zhí)行從上述(步驟S2)所示的初期設(shè)定開(kāi)始的處理順序。
通過(guò)該處理，即可得到上述動(dòng)作狀態(tài)A2所示的開(kāi)關(guān)操作信息的輸入開(kāi)始的指示。
②距離模式對(duì)于利用距離模式的開(kāi)關(guān)操作信息的檢測(cè)處理，如圖9所例示的那樣，將上述離開(kāi)基準(zhǔn)位置C的距離D與控制參數(shù)D′的值進(jìn)行比較，根據(jù)其大小關(guān)系判斷手掌是前進(jìn)還是后退(步驟S22)。
當(dāng)使手掌前進(jìn)移動(dòng)時(shí)，判斷從上次周期至這次周期為止的移動(dòng)距離是否超過(guò)規(guī)定的測(cè)量單位距離。即，判斷后述的條件1是否成立(步驟S23)。
超過(guò)規(guī)定的測(cè)量單位距離時(shí)，增加控制參數(shù)n(步驟S24)。
然后，將該設(shè)定(開(kāi)關(guān)操作信息)增加1級(jí)(步驟S25)。
相反，在手后退的場(chǎng)合，判斷從上次周期至這次周期為止的移動(dòng)距離是否超過(guò)規(guī)定的測(cè)量單位距離。即，判斷后述的條件2是否成立(步驟S26)。
移動(dòng)距離超過(guò)規(guī)定的測(cè)量單位距離時(shí)，減少控制參數(shù)n(步驟S27)。
并且，將該設(shè)定(開(kāi)關(guān)操作信息)減少1級(jí)(步驟S28)。
另外，只要距離D與距離C之差(移動(dòng)量)超過(guò)通過(guò)控制參數(shù)n而可變?cè)O(shè)定的規(guī)定步數(shù)的移動(dòng)距離，且控制參數(shù)D′的值與距離C的差(移動(dòng)量)不到通過(guò)控制參數(shù)n而可變?cè)O(shè)定的規(guī)定步數(shù)的移動(dòng)距離，則上述條件1成立。
即，條件1，是判斷上次周期至這次周期為止、手是否移動(dòng)了大于由規(guī)定步數(shù)所確定的規(guī)定的測(cè)量單位距離的條件。而條件2，是手的移動(dòng)方向向相反方向(后退)的場(chǎng)合的同樣的判斷條件。
如上所述，若得到了與手的移動(dòng)距離對(duì)應(yīng)的開(kāi)關(guān)操作信息，則將距離D作為上述控制參數(shù)D′進(jìn)行記錄，然后更新其判斷基準(zhǔn)(步驟S29)。
并將(手形1)作為上次的手形進(jìn)行記錄(步驟S30)。
然后，回歸到從上述(步驟S3)開(kāi)始的處理。
通過(guò)將該處理重復(fù)執(zhí)行，即可多步地輸出與手掌的移動(dòng)量對(duì)應(yīng)的開(kāi)關(guān)操作信息。
③時(shí)間模式另一方面，在設(shè)定了時(shí)間模式的場(chǎng)合，則按圖10所示的順序進(jìn)行其檢測(cè)處理。在此場(chǎng)合，首先判斷移動(dòng)距離D是否超過(guò)第3閾值H3(步驟S31)。
如沒(méi)到第3閾值的場(chǎng)合，將時(shí)間參數(shù)t設(shè)定為“0”(步驟S32)。
并將(手形1)作為上次的手形進(jìn)行記錄(步驟S33)。
然后，回歸到從上述(步驟S3)開(kāi)始的處理。
而在(步驟S31)中，當(dāng)判斷移動(dòng)距離D超過(guò)了第3閾值H3時(shí)，將時(shí)間參數(shù)t往上計(jì)數(shù)(步驟S34)。
并且判斷往上計(jì)數(shù)后的時(shí)間參數(shù)t是否達(dá)到基準(zhǔn)時(shí)間T1(步驟S35)。
當(dāng)判斷為時(shí)間參數(shù)t在T1以上時(shí)，將其設(shè)定(開(kāi)關(guān)操作信息)增加1級(jí)(步驟S36)。
并將時(shí)間參數(shù)t復(fù)位至“0”。(步驟S37)。
并將(手形1)作為上次的手形進(jìn)行記錄(步驟S33)。
然后，回歸到上述從(步驟S3)開(kāi)始的處理。
而在(步驟S31)中，當(dāng)判斷移動(dòng)距離D朝相反方向超過(guò)了第3閾值H3時(shí)，將時(shí)間參數(shù)t往上計(jì)數(shù)(步驟S38)。
并判斷往上計(jì)數(shù)后的時(shí)間參數(shù)t是否達(dá)到基準(zhǔn)時(shí)間T1(步驟S39)。
當(dāng)判斷為時(shí)間參數(shù)t在T1以上時(shí)，將其設(shè)定(開(kāi)關(guān)操作信息)減少1級(jí)(步驟S40)。
并將時(shí)間參數(shù)t復(fù)位至“0”。(步驟S41)。
并將(手形1)作為上次的手形進(jìn)行記錄(步驟S33)。
然后，回歸到上述從(步驟S3)開(kāi)始的處理。
通過(guò)如此一系列的處理，在手掌移動(dòng)規(guī)定的距離后停止時(shí)，輸出與其停止時(shí)間對(duì)應(yīng)的開(kāi)關(guān)操作信息。
④距離·時(shí)間模式距離·時(shí)間模式是將上述距離模式和時(shí)間模式的處理根據(jù)手的移動(dòng)距離分開(kāi)使用。
具體如圖11所示，判斷上述控制參數(shù)n的值(步驟S42)。
根據(jù)參數(shù)n是在“-2”至“2”的范圍內(nèi)，還是在“3”以上或不到“-3”，而可分別實(shí)行從(步驟S22a)至(步驟S33a)所示的距離模式、或(步驟S24a)至(步驟S41a)所示的時(shí)間模式的處理。
而(步驟S22a)至(步驟S33a)所示的處理，是與上述(步驟S22)至(步驟S33)所示的處理相當(dāng)。另外，(步驟S24a)至(步驟S41a)所示的處理，是與上述(步驟S24)至(步驟S41)所示的處理相當(dāng)。
具有上述功能的手勢(shì)開(kāi)關(guān)裝置，能簡(jiǎn)單有效地選擇作為控制對(duì)象的設(shè)備，有選擇性地設(shè)定與該控制對(duì)象對(duì)應(yīng)的輸入模式，將開(kāi)關(guān)操作信息進(jìn)行輸入。
因此，如控制對(duì)象像風(fēng)量和風(fēng)向那樣，即使在最好邊給予較大的位移量邊進(jìn)行設(shè)定的場(chǎng)合，或相反如音量和溫度那樣最好邊給予小的位移量邊進(jìn)行微調(diào)節(jié)的場(chǎng)合，都能簡(jiǎn)單地輸入與該控制對(duì)象對(duì)應(yīng)的開(kāi)關(guān)操作量。
尤其是只要事先將該輸入模式根據(jù)控制對(duì)象進(jìn)行設(shè)定，就能簡(jiǎn)單地將符合操作意圖的合適的開(kāi)關(guān)操作信息進(jìn)行輸入等，在實(shí)用上具有極大的效果。
而且，如上所述，只要構(gòu)成可對(duì)檢測(cè)單位距離和檢測(cè)單位時(shí)間等作可變?cè)O(shè)定，就能進(jìn)行與開(kāi)關(guān)操作者(駕駛員)的體形和喜好、甚至習(xí)慣相對(duì)應(yīng)的設(shè)定。
另外也可進(jìn)行與控制對(duì)象的設(shè)備特性對(duì)應(yīng)的設(shè)定。因此，可實(shí)現(xiàn)操作負(fù)擔(dān)小、使用容易的手勢(shì)開(kāi)關(guān)裝置。
具有上述結(jié)構(gòu)的手勢(shì)開(kāi)關(guān)裝置，可簡(jiǎn)單地、有效地、不受伴隨駕駛操作的手的移動(dòng)的影響地、可靠地對(duì)手的形狀及其移動(dòng)所表現(xiàn)的開(kāi)關(guān)操作指示進(jìn)行檢測(cè)。而且可根據(jù)該檢測(cè)結(jié)果，將開(kāi)關(guān)操作信息合適地給予規(guī)定的車輛搭載設(shè)備。尤其是對(duì)指示開(kāi)關(guān)操作的手進(jìn)行攝像的區(qū)域(攝像區(qū)域3a)，是在方向盤(pán)1的側(cè)方的位置，可設(shè)定為駕駛員不必改變其駕駛姿勢(shì)，自然地伸展手臂就能到達(dá)的范圍，故不會(huì)對(duì)駕駛員增加操作負(fù)擔(dān)。因此，在維持對(duì)音響設(shè)備等的操作部2直接進(jìn)行操作的感覺(jué)的同時(shí)，可容易借助手勢(shì)開(kāi)關(guān)裝置而指示輸入開(kāi)關(guān)操作信息等，在實(shí)用上具有極大的效果。
而且，本發(fā)明并不局限于上述實(shí)施例。實(shí)施例中是以右方向盤(pán)車為前提進(jìn)行了說(shuō)明，當(dāng)然對(duì)左方向盤(pán)車的場(chǎng)合也同樣適用。另外，并不局限于卡車等大型車，同樣也適用于普通的轎車等。
對(duì)于其控制對(duì)象，當(dāng)然也可擴(kuò)展至導(dǎo)向裝置的操作、刮水器的開(kāi)·關(guān)和其動(dòng)作間隔的調(diào)節(jié)、側(cè)鏡的開(kāi)閉等。
另外，對(duì)于攝像區(qū)域A的大小，比如利用攝像機(jī)3的變焦距功能，也可事先做成能進(jìn)行可變?cè)O(shè)定，另外，對(duì)于攝像區(qū)域A的位置，也可考慮駕駛員的習(xí)慣等做成可微調(diào)。在此場(chǎng)合，只要使攝像機(jī)3的安裝角度可以調(diào)節(jié)。
此外，對(duì)于開(kāi)關(guān)操作信息的輸入模式，并不特定于上述3種模式，比如也可設(shè)置將手的形狀本身作為開(kāi)關(guān)操作信息進(jìn)行讀取的模式。另外，這里將其控制對(duì)象作為“音量”、“頻道”、“溫度”、“風(fēng)量”直接進(jìn)行選擇，但也可將控制對(duì)象設(shè)備特定為“廣播”、“磁帶”、“CD”、“空調(diào)”等，在此基礎(chǔ)上再特定“音量”、“頻道”、“溫度”、“播放”、“停止”等的控制對(duì)象，和特定“風(fēng)量”、“風(fēng)向”、“溫度”等的控制對(duì)象。
在此場(chǎng)合，也只要根據(jù)最終特定的控制對(duì)象，將開(kāi)關(guān)操作信息的檢測(cè)形態(tài)進(jìn)行變更設(shè)定即可。
另外，只要在本發(fā)明的宗旨范圍內(nèi)，可進(jìn)行各種變形。
權(quán)利要求
1.一種手勢(shì)開(kāi)關(guān)裝置，具有對(duì)放置在規(guī)定攝像區(qū)域內(nèi)的手進(jìn)行攝像的攝像裝置，從其攝像得到的圖像中對(duì)手的形狀進(jìn)行識(shí)別的同時(shí)檢測(cè)該手的移動(dòng)，從而得到對(duì)控制對(duì)象的操作信息，其特征在于，該手勢(shì)開(kāi)關(guān)裝置包括根據(jù)識(shí)別到的手的形狀及/或手的移動(dòng)而從多個(gè)控制對(duì)象中選擇1個(gè)的控制對(duì)象設(shè)定裝置；根據(jù)該選擇的控制對(duì)象而對(duì)由所述手的移動(dòng)所帶來(lái)的所述操作信息的檢測(cè)形態(tài)進(jìn)行變更的檢測(cè)形態(tài)變更裝置。
2.如權(quán)利要求1所述的手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述控制對(duì)象設(shè)定裝置，是每次檢測(cè)預(yù)先設(shè)定好的手的移動(dòng)圖案、從多個(gè)控制對(duì)象中循環(huán)地選擇1個(gè)的裝置。
3.如權(quán)利要求1所述的手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述檢測(cè)形態(tài)變更裝置包括對(duì)所述攝像區(qū)域內(nèi)的手的移動(dòng)距離進(jìn)行檢測(cè)并作為所述操作信息的移動(dòng)距離檢測(cè)形態(tài)；對(duì)所述攝像區(qū)域內(nèi)移動(dòng)了規(guī)定距離以上的手的停止位置的停止時(shí)間進(jìn)行檢測(cè)并作為所述操作信息的停止時(shí)間檢測(cè)形態(tài)；對(duì)所述移動(dòng)距離檢測(cè)形態(tài)及停止時(shí)間檢測(cè)形態(tài)中的至少1種進(jìn)行設(shè)定的檢測(cè)形態(tài)設(shè)定裝置。
4.如權(quán)利要求3所述的手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述移動(dòng)距離檢測(cè)形態(tài)，是將對(duì)手的移動(dòng)距離的檢測(cè)，以規(guī)定移動(dòng)距離為檢測(cè)單位多步地進(jìn)行的形態(tài)。
5.一種車輛用手勢(shì)開(kāi)關(guān)裝置，具有對(duì)放置在規(guī)定攝像區(qū)域內(nèi)的手進(jìn)行攝像的攝像裝置，從其攝像得到的圖像中對(duì)手的形狀進(jìn)行識(shí)別的同時(shí)檢測(cè)該手的移動(dòng)，從而得到對(duì)控制對(duì)象的操作信息，其特征在于，將所述攝像區(qū)域設(shè)定在所述車輛的方向盤(pán)側(cè)方、且操作該方向盤(pán)的駕駛員在維持其駕駛姿勢(shì)的狀態(tài)下能伸展手臂的區(qū)域。
6.如權(quán)利要求5所述的車輛用手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述攝像區(qū)域，設(shè)定在離開(kāi)所述方向盤(pán)的外周部至少50mm的位置，并設(shè)定在具有駕駛員伸展的手的手指方向上大致600mm、手的寬度方向上大致350mm大小的大致呈長(zhǎng)方形的區(qū)域。
7.如權(quán)利要求5所述的車輛用手勢(shì)開(kāi)關(guān)裝置，其特征在于，對(duì)所述攝像區(qū)域內(nèi)的手的移動(dòng)的檢測(cè)，是將從圖像中求得的手的重心位置朝手指方向的10～70mm的位移作為控制對(duì)象選擇及/或控制對(duì)象的操作量進(jìn)行檢測(cè)。
8.一種車輛用手勢(shì)開(kāi)關(guān)裝置，具有對(duì)放置在規(guī)定攝像區(qū)域內(nèi)的手進(jìn)行攝像的攝像裝置，從其攝像得到的圖像中對(duì)手的形狀進(jìn)行識(shí)別的同時(shí)檢測(cè)該手的移動(dòng)，從而得到對(duì)控制對(duì)象的操作信息，其特征在于，所述攝像裝置，設(shè)置在能對(duì)駕駛所述車輛的方向盤(pán)的駕駛員在維持其駕駛姿勢(shì)的狀態(tài)下能伸展手臂的區(qū)域進(jìn)行攝像的位置。
9.如權(quán)利要求8所述的車輛用手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述攝像裝置設(shè)置在所述車輛的頂部。
10.一種手勢(shì)開(kāi)關(guān)裝置，具有對(duì)放置在規(guī)定攝像區(qū)域內(nèi)的手進(jìn)行攝像的攝像裝置，從其攝像得到的圖像中對(duì)手的形狀進(jìn)行識(shí)別的同時(shí)檢測(cè)該手的移動(dòng)，從而得到對(duì)控制對(duì)象的操作信息，其特征在于，該手勢(shì)開(kāi)關(guān)裝置包括通過(guò)重復(fù)預(yù)先設(shè)定的手的移動(dòng)圖形，從多個(gè)控制對(duì)象中循環(huán)地選擇1個(gè)的控制對(duì)象選擇裝置；根據(jù)所述手的移動(dòng)而將該選擇后的控制對(duì)象的操作量進(jìn)行變更的操作量變更裝置。
11.如權(quán)利要求10所述的手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述手勢(shì)開(kāi)關(guān)裝置具有當(dāng)檢測(cè)出識(shí)別到的手形是預(yù)先設(shè)定的第1手形時(shí)、對(duì)該裝置的動(dòng)作開(kāi)始進(jìn)行識(shí)別的操作開(kāi)始識(shí)別裝置，所述控制對(duì)象選擇裝置，在該動(dòng)作開(kāi)始識(shí)別后，手的移動(dòng)-其識(shí)別到的手形為預(yù)先設(shè)定的第2手形-以此選擇控制對(duì)象。
12.如權(quán)利要求11所述的手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述操作開(kāi)始識(shí)別裝置具有對(duì)成為所述第1手形的手沒(méi)有把持或接觸特定的東西進(jìn)行確認(rèn)、并決定手勢(shì)開(kāi)關(guān)裝置的動(dòng)作開(kāi)始的確認(rèn)裝置。
13.如權(quán)利要求11所述的手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述第1手形是把持東西時(shí)的形狀，所述第2手形是用食指指東西時(shí)的形狀。
14.如權(quán)利要求11所述的手勢(shì)開(kāi)關(guān)裝置，其特征在于，所述手勢(shì)開(kāi)關(guān)裝置具有起動(dòng)促進(jìn)裝置，其選擇了控制對(duì)象后，識(shí)別的手形為預(yù)先設(shè)定的第3手形，當(dāng)檢測(cè)到所述攝像區(qū)域內(nèi)的手的檢測(cè)位置在規(guī)定時(shí)間沒(méi)有位移時(shí)，催促所述操作量變更裝置起動(dòng)。
全文摘要
一種手勢(shì)開(kāi)關(guān)裝置，從放置于攝像區(qū)域內(nèi)的手的圖像中識(shí)別手形，并檢測(cè)該手的移動(dòng)，根據(jù)識(shí)別的手的形狀及/或手的移動(dòng)從多個(gè)控制對(duì)象從選擇1個(gè)，根據(jù)該選擇的控制對(duì)象，對(duì)手的移動(dòng)確定的操作信息的檢測(cè)形態(tài)進(jìn)行變更。移動(dòng)距離檢測(cè)形態(tài)中，對(duì)攝像區(qū)域內(nèi)的手的移動(dòng)距離進(jìn)行檢測(cè)，以此作為操作信息，停止時(shí)間檢測(cè)形態(tài)中，對(duì)攝像區(qū)域內(nèi)的移動(dòng)了規(guī)定距離以上的手的停止位置的停止時(shí)間進(jìn)行檢測(cè)并以此作為操作信息。攝像區(qū)域，比如設(shè)定在方向盤(pán)側(cè)方且駕駛員在維持其駕駛姿勢(shì)的狀態(tài)下能伸展手臂的區(qū)域。采用本發(fā)明，能對(duì)車輛的駕駛員等操作者不施加額外負(fù)擔(dān)、就能借助手勢(shì)開(kāi)關(guān)裝置而將操作信息輸入給控制對(duì)象。
文檔編號(hào)B60K37/06GK1499344SQ20031010291
公開(kāi)日2004年5月26日 申請(qǐng)日期2003年10月24日 優(yōu)先權(quán)日2002年10月25日
發(fā)明者山本惠一, 佐藤?gòu)V充, 齋藤英雄, 小澤慎治, 五十嵐弘也, 充, 弘也, 治, 雄 申請(qǐng)人:三菱扶?？蛙嚬? 學(xué)校法人慶應(yīng)義塾