專利名稱：生體信號(hào)利用機(jī)器及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)用戶所操作的機(jī)器的控制技術(shù)，特別涉及一種利用用戶的腦波等生體信號(hào)對(duì)機(jī)器進(jìn)行控制的技術(shù)。
背景技術(shù)：
作為利用腦波等生體信號(hào)控制機(jī)器的現(xiàn)有技術(shù)，有利用能夠有意識(shí)地且隨意地發(fā)生的腦波的頻率成份即β波(12～25Hz)的(參考專利文獻(xiàn)1、2)。它是這樣的，以矩陣狀將分配了用文字、圖形表現(xiàn)的意志傳達(dá)內(nèi)容(例如“呼叫護(hù)士”、“飲料”等)的軟件開(kāi)關(guān)(菜單項(xiàng)目)顯示在屏幕上等，提示給用戶。然后，以規(guī)定的時(shí)間間隔依次使各個(gè)軟件開(kāi)關(guān)很顯眼(highlight)，在所希望的菜單項(xiàng)目很顯眼之際用戶產(chǎn)生β波，選擇該菜單項(xiàng)目。這樣一來(lái)，用戶在即使他們不能用語(yǔ)言、身體的動(dòng)作等傳達(dá)自己的意思的情況下，也能夠向別人傳達(dá)自己的意思。
另一方面，在認(rèn)知心理學(xué)、醫(yī)學(xué)臨床研究中，也進(jìn)行了利用腦波等生理指標(biāo)的研究。例如根據(jù)非專利文獻(xiàn)1，利用腦波計(jì)診斷癡呆、抑郁癥、精神分裂癥、高級(jí)功能障礙等，利用腦波計(jì)判斷各種藥物、康復(fù)的效果等。
《專利文獻(xiàn)1》特開(kāi)平10-207592號(hào)公報(bào)(圖1、圖4)《專利文獻(xiàn)2》特開(kāi)平11-203022號(hào)公報(bào)(圖1、圖3)《非專利文獻(xiàn)1》加我他，以“事象相關(guān)電位(ERP)手冊(cè)P300為中心”，篠原出版新社，1995《非專利文獻(xiàn)2》藤澤他，“新生理心理學(xué)”，北大路書(shū)房，1998但是，在上述現(xiàn)有技術(shù)下會(huì)出現(xiàn)以下情況。即產(chǎn)生β波的時(shí)刻偏移，由于身體狀態(tài)、無(wú)意識(shí)的動(dòng)作等在與用戶所意識(shí)的不一樣的時(shí)刻產(chǎn)生β波。在這樣的情況下，便不能正確地傳達(dá)意思、按照所希望的去操作機(jī)器等。而且，已知要想產(chǎn)生β波，還需要非常耐心的訓(xùn)練。也就是說(shuō)，并不能說(shuō)現(xiàn)有技術(shù)非常適合控制機(jī)器。

發(fā)明內(nèi)容
本發(fā)明正是為解決上述問(wèn)題而開(kāi)發(fā)出來(lái)的。其目的在于利用生體信號(hào)檢測(cè)用戶的意圖、心中的狀態(tài)等，自動(dòng)地修正機(jī)器的動(dòng)作，以提高機(jī)器的方便性。
本發(fā)明，計(jì)測(cè)操作機(jī)器的用戶的生體信號(hào)，當(dāng)機(jī)器根據(jù)用戶的操作而動(dòng)作的時(shí)候，便在機(jī)器的動(dòng)作內(nèi)容提示給用戶后的規(guī)定時(shí)間范圍，特別是提示后經(jīng)過(guò)了在600ms中再加上規(guī)定的位移時(shí)間所得到的時(shí)刻為中心的時(shí)間范圍內(nèi)，從所計(jì)測(cè)的生體信號(hào)中檢測(cè)期待破滅信號(hào)之有無(wú)。當(dāng)檢測(cè)期待破滅信號(hào)的時(shí)候，則命令該機(jī)器對(duì)動(dòng)作進(jìn)行修正。
根據(jù)該發(fā)明，在機(jī)器根據(jù)用戶的操作動(dòng)作的情況下，用戶看著所提示的動(dòng)作內(nèi)容，有一種與該內(nèi)容所期待的不同這樣的“期待破滅感”的時(shí)候，便能夠從其中檢測(cè)出生體信號(hào)，主動(dòng)地修正機(jī)器的動(dòng)作。這樣一來(lái)，有“期待破滅感”的用戶便能夠省去要重新操作所花費(fèi)的時(shí)間。故能顯著地提高機(jī)器的方便性。
作為修正檢測(cè)到期待破滅信號(hào)時(shí)的動(dòng)作的方法，可以根據(jù)提示給用戶的動(dòng)作內(nèi)容消除動(dòng)作。當(dāng)機(jī)器具有多個(gè)功能的時(shí)候，則可以將現(xiàn)在正在進(jìn)行的功能切換到其它功能。當(dāng)用戶操作包括多臺(tái)機(jī)器的機(jī)器系統(tǒng)的時(shí)候，則可以讓其它機(jī)器代替正在動(dòng)作的機(jī)器動(dòng)作。
這里，在本案說(shuō)明書(shū)中，“期待破滅信號(hào)”，說(shuō)的是當(dāng)“用戶在操作前所期待的機(jī)器的動(dòng)作”和“操作后的實(shí)際的機(jī)器的動(dòng)作結(jié)果”不一樣時(shí)(不一致)時(shí)，從用戶的生體信號(hào)中檢測(cè)的具有特征的信號(hào)。具體而言，期待破滅信號(hào)，能夠從例如腦波的事象相關(guān)電位中檢測(cè)出來(lái)。
-發(fā)明的效果-根據(jù)本發(fā)明，當(dāng)從生體信號(hào)中檢測(cè)出期待破滅信號(hào)的時(shí)候，機(jī)器的動(dòng)作被主動(dòng)地修正。這樣一來(lái)，用戶便能夠省去重新操作的時(shí)間，所以能夠極大地提高機(jī)器的方便性。


圖1是顯示本發(fā)明的第一個(gè)實(shí)施例所涉及的生體信號(hào)利用機(jī)器的結(jié)構(gòu)的方框圖。
圖2是顯示圖1中的結(jié)構(gòu)中信號(hào)檢測(cè)部的內(nèi)部結(jié)構(gòu)之例的方框圖。
圖3是機(jī)器操作時(shí)所得到的腦波之一例。
圖4是顯示圖1的結(jié)構(gòu)的動(dòng)作的流程圖。
圖5是顯示本發(fā)明的第二個(gè)實(shí)施例所涉及的生體信號(hào)利用機(jī)器的結(jié)構(gòu)的方框圖。
圖6是顯示圖5的結(jié)構(gòu)的動(dòng)作的流程圖。
圖7是顯示本發(fā)明的第三個(gè)實(shí)施例所涉及的生體信號(hào)利用機(jī)器的結(jié)構(gòu)的方框圖。
圖8是顯示圖7的結(jié)構(gòu)的動(dòng)作的流程圖。
圖9是本案發(fā)明人們所進(jìn)行的實(shí)驗(yàn)順序的概要圖。
圖10是顯示圖9的實(shí)驗(yàn)的一個(gè)試行的順序的流程圖。
圖11是顯示4個(gè)被實(shí)驗(yàn)者的實(shí)驗(yàn)數(shù)據(jù)的曲線圖。
圖12是顯示期待破滅信號(hào)的具體檢測(cè)方法之例的流程圖。
圖13是顯示期待破滅信號(hào)的檢測(cè)結(jié)果的圖。
圖14是本案發(fā)明人們所進(jìn)行的追加實(shí)驗(yàn)的順序的概要圖。
圖15是顯示圖14的實(shí)驗(yàn)的一個(gè)試行的順序的流程圖。
圖16顯示問(wèn)題種類1～3的實(shí)驗(yàn)數(shù)據(jù)的曲線圖。
圖中1、1A、1B、1C-機(jī)器(生體信號(hào)利用機(jī)器)，50-用戶，100一生體信號(hào)處理裝置，101-機(jī)器操作檢測(cè)部，102-機(jī)器控制部，103-機(jī)器提示部，104-生體信號(hào)計(jì)測(cè)部，105-信號(hào)檢測(cè)部，106-操作消除部(動(dòng)作修正部)，201-機(jī)器切換部(動(dòng)作修正部)，301-機(jī)器變更部。
具體實(shí)施例方式
本發(fā)明的第一方面提供一種利用生體信號(hào)動(dòng)作的機(jī)器。包括機(jī)器操作檢測(cè)部，檢測(cè)用戶對(duì)該機(jī)器的操作；機(jī)器控制部，根據(jù)所述操作控制該機(jī)器；動(dòng)作提示部，向所述用戶提示作為所述控制結(jié)果的該機(jī)器的動(dòng)作內(nèi)容；生體信號(hào)計(jì)測(cè)部，計(jì)測(cè)所述用戶的腦波中的事象相關(guān)電位；以及信號(hào)檢測(cè)部，以所述動(dòng)作內(nèi)容的提示時(shí)刻為起點(diǎn)進(jìn)行檢測(cè)，檢測(cè)在從該起點(diǎn)開(kāi)始經(jīng)過(guò)了在600ms中加上了規(guī)定的位移時(shí)間后所得到的時(shí)刻有無(wú)事象相關(guān)電位。
最好是，在第一方面的生體信號(hào)利用機(jī)器中，設(shè)所述位移時(shí)間在150ms左右。
具體而言，在第一方面的生體信號(hào)利用機(jī)器中，包括動(dòng)作修正部，當(dāng)檢測(cè)出所述事象相關(guān)電位的時(shí)候，該動(dòng)作修正部便命令所述機(jī)器控制部將將該機(jī)器所執(zhí)行的功能切換到其它功能。具體地講，所述功能是針對(duì)由靜止圖像、活動(dòng)圖像、畫(huà)像以及聲音中的至少一個(gè)構(gòu)成的內(nèi)容，從顯示、選擇、存儲(chǔ)、再生、編輯、配信及消除中選擇的行為。
另一方面，本發(fā)明的第二方面是這樣的，在包括第一方面的生體信號(hào)利用機(jī)器的機(jī)器系統(tǒng)中，包括機(jī)器變更部，當(dāng)檢測(cè)出所述事象相關(guān)電位的時(shí)候，該動(dòng)作修正部便命令所述機(jī)器控制部讓其它機(jī)器來(lái)代替已根據(jù)所述操作動(dòng)作的機(jī)器動(dòng)作。更具體地講，所述功能，是針對(duì)由靜止圖像、活動(dòng)圖像以及聲音中之至少一個(gè)構(gòu)成的內(nèi)容從顯示、選擇、存儲(chǔ)、再生、編輯、分配信號(hào)以及消除中選出的行為。
本發(fā)明的第三方面提供了以下生體信號(hào)處理裝置，該生體信號(hào)處理裝置包括生體信號(hào)計(jì)測(cè)部，計(jì)測(cè)用戶腦波中的事象相關(guān)電位；以及信號(hào)檢測(cè)部，以該機(jī)器針對(duì)由所述用戶操作機(jī)器后的反應(yīng)時(shí)刻為起點(diǎn)進(jìn)行，檢測(cè)在從該起點(diǎn)開(kāi)始經(jīng)過(guò)了在600ms中加上了規(guī)定的位移時(shí)間后所得到的時(shí)刻有無(wú)事象相關(guān)電位。
最好是，在第三方面的生體信號(hào)處理裝置中，設(shè)所述位移時(shí)間在150ms左右。
本發(fā)明的第四方面提供了一種利用了生體信號(hào)的控制方法。該方法包括由用戶檢測(cè)對(duì)該機(jī)器的操作的步驟，根據(jù)所述操作控制該機(jī)器的步驟，向所述用戶提示作為所述控制結(jié)果的該機(jī)器的動(dòng)作內(nèi)容的步驟，計(jì)測(cè)所述用戶的腦波中的事象相關(guān)電位的步驟，以及以所述動(dòng)作內(nèi)容的提示時(shí)刻為起點(diǎn)進(jìn)行檢測(cè)，檢測(cè)在從該起點(diǎn)開(kāi)始經(jīng)過(guò)了在600ms中加上了規(guī)定的位移時(shí)間后所得到的時(shí)刻有無(wú)事象相關(guān)電位。
(取得期待破滅信號(hào)的實(shí)驗(yàn))首先，對(duì)本案發(fā)明人所進(jìn)行的取得期待破滅信號(hào)的實(shí)驗(yàn)進(jìn)行說(shuō)明。
圖9是顯示實(shí)驗(yàn)順序的概要的圖。該實(shí)驗(yàn)由下列順序A、順序B及順序C構(gòu)成。即給被實(shí)驗(yàn)者命令(順序A)、被實(shí)驗(yàn)者接收該命令腦海里浮現(xiàn)出必要的行動(dòng)、被實(shí)驗(yàn)者操作機(jī)器(順序B)、將作為該操作結(jié)果的動(dòng)作提示給被實(shí)驗(yàn)者(順序C)。
首先，由實(shí)驗(yàn)執(zhí)行者向被實(shí)驗(yàn)者做以下說(shuō)明，“畫(huà)面上會(huì)顯示文字“L”或者“R”，當(dāng)顯示文字“L”，請(qǐng)點(diǎn)擊鼠標(biāo)的左鍵；當(dāng)顯示文字“R”時(shí)，請(qǐng)點(diǎn)擊鼠標(biāo)的右鍵”。然后，以50％的概率隨機(jī)選擇“L”、“R”并顯示在畫(huà)面上(順序A)。被實(shí)驗(yàn)者看到所顯示的文字，根據(jù)所學(xué)到的規(guī)則點(diǎn)擊右鍵或者左鍵(順序B)。然后，用“○”、“×”將是否正確地為該操作按了鍵這一情況顯示在畫(huà)面上(順序C)。
但是，在該實(shí)驗(yàn)中，假定即使正確地點(diǎn)擊了(應(yīng)該幾乎是百分之百正確)，也以20％的概率顯示出“×”。從被實(shí)驗(yàn)者來(lái)看，正確地點(diǎn)擊了，期待著顯示“○”，而一旦顯示出“×”，被實(shí)驗(yàn)者想到的將是“哎，好奇怪”。也就是說(shuō)，是一種機(jī)器未能按照人們所希望的去動(dòng)作的“期待破滅”的狀態(tài)。本實(shí)驗(yàn)的目的是，確認(rèn)是否能從腦波的事象相關(guān)電位檢測(cè)出該“期待破滅”狀態(tài)。
圖10是顯示試行一次的順序的流程圖。首先，以50％的概率在畫(huà)面上選擇文字“L”或者“R”并顯示在畫(huà)面上(S30)，被實(shí)驗(yàn)者看到該顯示后，選擇點(diǎn)擊哪一個(gè)鍵，操作鼠標(biāo)(S31)。收到被實(shí)驗(yàn)者的操作根據(jù)是否已正確操作來(lái)顯示“○”、“×”。此時(shí)，在應(yīng)該顯示“○”的情況下，也以20％的概率顯示出“×”(S32)。以顯示出“○”、“×”的時(shí)刻為起點(diǎn)，測(cè)量被實(shí)驗(yàn)者腦波中的事象相關(guān)電位(S33)，對(duì)所測(cè)量的事象相關(guān)電位進(jìn)行處理，識(shí)別期待破滅信號(hào)(S34)。
在實(shí)驗(yàn)中，首先對(duì)多個(gè)被實(shí)驗(yàn)者作為練習(xí)進(jìn)行30次一直顯示“○”的試行后，再進(jìn)行100次圖10所示的順序的試行。
圖11是顯示實(shí)驗(yàn)結(jié)果中四個(gè)被實(shí)驗(yàn)者(Subject 1～4)的實(shí)驗(yàn)數(shù)據(jù)的曲線圖。圖11中的每一條曲線是對(duì)用腦波計(jì)測(cè)得的電位波形的累積結(jié)果。橫軸表示從刺激提示(當(dāng)顯示“○”、“×”的時(shí)候)開(kāi)始的時(shí)間，單位是毫秒ms；橫軸是電位，單位是微伏μV。粗線表示“期待破滅”時(shí)的波形，亦即盡管點(diǎn)擊正確也顯示“×”時(shí)的波形；細(xì)線表示一般情況下的波形，亦即點(diǎn)擊正確，顯示“○”時(shí)的波形。補(bǔ)充說(shuō)明一下，電極，根據(jù)國(guó)際10-20法貼在以下四個(gè)地方，即1)Pz頭頂正中、2)3)A1、A2兩個(gè)耳朵、4)身體接地(Z)鼻根部。假定樣本頻率為1000Hz。
從圖11的每一條曲線可知，當(dāng)“期待破滅”時(shí)，從刺激提示開(kāi)始約經(jīng)過(guò)600ms左右，出現(xiàn)了特征與一般情況不同的事象相關(guān)電位。也就是說(shuō)，可以預(yù)測(cè)能夠通過(guò)測(cè)量該事象相關(guān)電位，檢測(cè)出用戶的“期待破滅感”。
補(bǔ)充說(shuō)明一下，與在非專利文獻(xiàn)1等中示出的P300相比，在該實(shí)驗(yàn)中所測(cè)量的事象相關(guān)電位，從刺激提示開(kāi)始的反應(yīng)時(shí)間晚了。其理由雖然還不是完全肯定，可認(rèn)為如下。
也就是說(shuō)，在到目前為止(非專利文獻(xiàn)1、2)對(duì)事象相關(guān)電位所做的實(shí)驗(yàn)是，判斷音程、畫(huà)像的不同等被動(dòng)的測(cè)量。與此相對(duì)，在本案發(fā)明人所做的實(shí)驗(yàn)中，用戶帶著某種期待，選擇并執(zhí)行行動(dòng)，判斷是否進(jìn)行了所期待的動(dòng)作。和到目前為止最大的不同之處在于含有用戶選擇行動(dòng)這樣的步驟。而且，和單純地判斷音程、圖像的不同的情況相比，判斷是否進(jìn)行了自己所希望的動(dòng)作是高級(jí)的判斷。因此，認(rèn)為從刺激提示開(kāi)始的反應(yīng)時(shí)間比到目前所測(cè)量的要晚，而在刺激提示過(guò)后600ms左右的地方出現(xiàn)了峰值。
補(bǔ)充說(shuō)明一下，從圖11可知，雖然不同的人出現(xiàn)峰值的時(shí)間不同，不同的試行出現(xiàn)峰值的時(shí)間也不同，但通過(guò)分析刺激提示過(guò)后600ms左右的范圍便會(huì)知道事象相關(guān)電位之有無(wú)。
從該實(shí)驗(yàn)可明顯地看出，在機(jī)器完全按照用戶的要求動(dòng)作的情況和未按照用戶的要求動(dòng)作的情況下，用腦波計(jì)測(cè)量的事象相關(guān)電位出現(xiàn)了明顯的差。因此，該事象相關(guān)電位能夠在機(jī)器的接口作“期待破滅信號(hào)”用。
(期待破滅信號(hào)的檢測(cè))參考圖12的流程圖說(shuō)明期待破滅信號(hào)的具體檢測(cè)方法之例。在該方法下，事先做好將期待破滅時(shí)的信號(hào)相加后所得到的標(biāo)準(zhǔn)波形(目標(biāo)樣板)和將非期待破滅時(shí)亦即通常情況下的信號(hào)相加后所得到的標(biāo)準(zhǔn)波形(表示為控制樣板)，用這些樣板來(lái)檢測(cè)“期待破滅信號(hào)”。
如圖12所示，首先，以已輸出應(yīng)答內(nèi)容的時(shí)刻(應(yīng)答提示時(shí))為起點(diǎn)，進(jìn)行腦波的電位變化取樣(S51)。抽樣頻率例如有200Hz、500Hz、1000Hz等。接著，從所得到的腦波的電位變化中切出與“期待破滅信號(hào)”的檢測(cè)有關(guān)的區(qū)域的波形(S52)。從上述實(shí)驗(yàn)結(jié)果可知，“期待破滅信號(hào)”在刺激提示后600ms左右的部分被檢測(cè)出來(lái)。因?yàn)槲覀冋J(rèn)為應(yīng)答提示后較早的區(qū)域的波形，是響應(yīng)于聽(tīng)覺(jué)刺激、視覺(jué)刺激而出現(xiàn)的，和人的期待無(wú)關(guān)，所以最好是除去這一部分。這里，例如假定切出的是應(yīng)答提示后200ms到800ms的區(qū)域。
當(dāng)然，該切出范圍并不限于它，還可以將它設(shè)定在從500ms到700ms的范圍內(nèi)、從300ms到900ms。或者是還可以不設(shè)定下限，將應(yīng)答提示后1s左右的范圍切出來(lái)。
其次，從已切出的波形中除去噪音(S53)。這里，或者切掉混入到信號(hào)中的高頻成份，或者讓信號(hào)通過(guò)例如40Hz的低通濾波器，或者是為了減少眼電的影響，從識(shí)別對(duì)象中將振幅40μV以上的波形除去。
其次，對(duì)已除去噪音的信號(hào)找到與目標(biāo)樣板和控制樣板的相關(guān)關(guān)系(S54)。通過(guò)該相關(guān)計(jì)算，可計(jì)算出信號(hào)波形與各個(gè)樣板具有多大的相關(guān)關(guān)系。
接著，計(jì)算信號(hào)波形和各個(gè)樣板的距離(S55)。利用例如馬氏(mahalanobis)距離作距離計(jì)算。該馬氏距離，表示的是從將數(shù)據(jù)的分散、共分散考慮在內(nèi)的組的重心開(kāi)始計(jì)算的距離。使用該馬氏距離，判別信號(hào)波形離目標(biāo)和控制中的哪一個(gè)近(S56)。已知利用馬氏距離進(jìn)行判別的識(shí)別能力比單純地利用相關(guān)的大小進(jìn)行判別的識(shí)別能力高。
當(dāng)判斷出信號(hào)波形接近目標(biāo)的時(shí)候(S56是)，便識(shí)別為是檢測(cè)到了期待破滅信號(hào)的狀態(tài)，也就是說(shuō)，是用戶認(rèn)為期待破滅的狀態(tài)(S57)。另一方面，當(dāng)判斷出信號(hào)波形接近控制的時(shí)候(S58)，便識(shí)別為是未檢測(cè)到期待破滅信號(hào)，也就是說(shuō)，用戶認(rèn)為得到了自己所期待的應(yīng)答。
在采取這樣的利用樣板的方法后，即使是波形出現(xiàn)很大的偏差、每一次波形的識(shí)別都很困難的腦波中，某種程度上也能檢測(cè)出期待破滅信號(hào)。
圖13是一個(gè)顯示利用上述實(shí)驗(yàn)數(shù)據(jù)，根據(jù)圖12的流程檢測(cè)出期待破滅信號(hào)的結(jié)果的圖。在圖13中，示出了各個(gè)被實(shí)驗(yàn)者的目標(biāo)個(gè)數(shù)(期待破滅的數(shù)據(jù)個(gè)數(shù))和能夠正確識(shí)別的個(gè)數(shù)。從圖13可知，即使是單一波形，也能以大約80％的精度識(shí)別期待破滅的狀況。
補(bǔ)充說(shuō)明一下，這里使用的是目標(biāo)和控制的信號(hào)樣板，不僅如此，僅使用目標(biāo)的信號(hào)樣板也無(wú)妨。例如，也可計(jì)算與目標(biāo)的信號(hào)樣板的馬氏距離，和所規(guī)定的值進(jìn)行比較，判別期待是否破滅。
還可以將樣板和其它方法結(jié)合起來(lái)使用來(lái)代替使用樣板。例如，既可使用極大值、極小值，又可檢測(cè)波形中最大的陽(yáng)性成份，將它的振幅的大小和閾值的大小進(jìn)行比較，還可以使用適應(yīng)型相關(guān)濾波器等。另外，波形識(shí)別方法還有很多可改善的余地，認(rèn)為將圖案識(shí)別方法、腦波信號(hào)的前處理方法結(jié)合起來(lái)的話，便能夠使識(shí)別精度提高。
(基于更高級(jí)的認(rèn)知取得期待破滅信號(hào)的實(shí)驗(yàn))本案發(fā)明人，進(jìn)一步進(jìn)行了用以取得期待破滅信號(hào)的追加實(shí)驗(yàn)。該實(shí)驗(yàn)的目的，不僅在于利用“○/×”這樣單純的標(biāo)識(shí)符確認(rèn)所期待的動(dòng)作內(nèi)容，還在于確認(rèn)在例如選擇數(shù)字電視中想看的圖像的操作等現(xiàn)實(shí)的機(jī)器的接口操作中出現(xiàn)同樣的事象相關(guān)電位。該實(shí)驗(yàn)的目的，還不僅在于利用頻道號(hào)碼這樣單純的標(biāo)識(shí)符確認(rèn)所期待的動(dòng)作內(nèi)容，又在于基于更高級(jí)的認(rèn)知去測(cè)量用戶的反應(yīng)，更高級(jí)的認(rèn)知是這樣的，對(duì)根據(jù)類別名、節(jié)目名選擇行動(dòng)時(shí)被實(shí)驗(yàn)者期待并想像的內(nèi)容、和實(shí)際上提示給被實(shí)驗(yàn)者的、事先不可能知道的圖像加以比較，判斷該內(nèi)容是否完全與所期待的一樣。下面，說(shuō)明該實(shí)驗(yàn)。
圖14是顯示追加實(shí)驗(yàn)的順序的概要的圖。該實(shí)驗(yàn)包括以下幾個(gè)順序。通過(guò)畫(huà)面向被實(shí)驗(yàn)者提示問(wèn)題和選擇項(xiàng)目(順序1)，被實(shí)驗(yàn)者選擇判斷為適當(dāng)?shù)娜我粋€(gè)選擇項(xiàng)目(順序2)，作為來(lái)自被實(shí)驗(yàn)者的要求通過(guò)鍵盤等將要求輸入到機(jī)器中(順序3)。然后，經(jīng)過(guò)規(guī)定時(shí)間后作為要求的結(jié)果將圖像提示到畫(huà)面上(順序4)，利用腦波計(jì)測(cè)量判斷該圖像是否是針對(duì)要求內(nèi)容的想到的內(nèi)容之際的被實(shí)驗(yàn)者的反應(yīng)(順序5)。
圖15是顯示一個(gè)試行中的順序的流程圖。首先，將問(wèn)題和針對(duì)該問(wèn)題的行動(dòng)的選擇項(xiàng)目同時(shí)顯示到畫(huà)面上(S71)。例如，如圖14所示，針對(duì)“調(diào)到2頻道上”這樣的問(wèn)題，顯示出“A2頻道、B4頻道、C10頻道、D8頻道”等。其次，被實(shí)驗(yàn)者確認(rèn)所顯示的問(wèn)題和選擇項(xiàng)目，從選擇項(xiàng)目中選擇出針對(duì)問(wèn)題的行動(dòng)(S72)。例如，如圖14所示，被實(shí)驗(yàn)者為了將頻道調(diào)到2頻道而選擇行動(dòng)A。之后，被實(shí)驗(yàn)者將所選擇的行動(dòng)輸入到機(jī)器中(S73)。具體而言，輸入對(duì)應(yīng)于選擇項(xiàng)目A～D的鍵盤的鍵。例如如圖14所示，被實(shí)驗(yàn)者按下鍵A。被實(shí)驗(yàn)者按下A鍵后200ms之后，便以65％的概率將“對(duì)應(yīng)于所選擇的行動(dòng)內(nèi)容的圖像”提示給畫(huà)面，以35％的概率將“內(nèi)容與所選擇的行動(dòng)內(nèi)容不同的圖像”提示給畫(huà)面(S74)。補(bǔ)充說(shuō)明一下，圖像提示2秒鐘，圖像提示結(jié)束再過(guò)0.5秒鐘便提示下一個(gè)問(wèn)題。而且，每一個(gè)試行，圖像的內(nèi)容都改變。最后，以圖像提示時(shí)刻Tmc為起點(diǎn)(時(shí)刻0)，在規(guī)定時(shí)間范圍內(nèi)(1500ms)測(cè)量被實(shí)驗(yàn)者的腦波中的事象相關(guān)電位(S75)。
這里，提示三種問(wèn)題。象“調(diào)到2頻道”那樣與頻道號(hào)碼那樣的“由標(biāo)識(shí)符提出的要求有關(guān)的問(wèn)題(問(wèn)題種類1)”、象“調(diào)到棒球節(jié)目”那樣“與由標(biāo)識(shí)符提出的要求有關(guān)的問(wèn)題(問(wèn)題種類2)”、象“調(diào)到新聞X”那樣“與節(jié)目?jī)?nèi)容有關(guān)的問(wèn)題(問(wèn)題種類3)。而且，設(shè)選擇項(xiàng)目為4個(gè)。
針對(duì)問(wèn)題種類1～3中的每一個(gè)問(wèn)題種類，“對(duì)應(yīng)于已選擇的行動(dòng)內(nèi)容的圖像的提示”(以下，稱其為“期待圖像提示”)和“內(nèi)容與已選擇的行動(dòng)內(nèi)容不同的圖像的提示”(以下，稱其為“異圖像提示”)如下。
在是問(wèn)題種類1(與由標(biāo)識(shí)符提出的要求有關(guān)的問(wèn)題)的情況下，期待圖像提示，例如是針對(duì)調(diào)到2頻道這一要求提示2頻道的圖像，異圖像提示是，盡管要求的是2頻道，提示的卻是4頻道等不同頻道的圖像。例如，在圖14中顯示的就是這樣的一個(gè)例子，盡管被實(shí)驗(yàn)者輸入2頻道，要求顯示2頻道，提示的卻是4頻道的圖像。
在是問(wèn)題種類2(與由類別提出的要求有關(guān)的問(wèn)題)的情況下，期待圖像提示，例如是針對(duì)“棒球”這一類別的要求輸入而提示棒球的圖像，異圖像提示，是盡管要求的是“棒球”這樣的類別，提示的卻是“新聞”、“動(dòng)畫(huà)片”、“天氣預(yù)報(bào)”等不同類別的圖像。
在是問(wèn)題種類3(與內(nèi)容有關(guān)的問(wèn)題)的情況下，期待圖像提示，例如是針對(duì)“新聞X”這樣的節(jié)目的要求輸入而提示“新聞X”的圖像，異圖像提示，是盡管要求的是“新聞X”，提示的卻是“新聞Y”、“新聞Z”等不同的節(jié)目圖像。
認(rèn)為上述問(wèn)題種類1到3之間存在著以下的認(rèn)知復(fù)雜程度的不同。也就是說(shuō)，問(wèn)題種類1的復(fù)雜程度是認(rèn)知2頻道、4頻道這樣的記號(hào)的不同。問(wèn)題種類2的復(fù)雜程度是類別的識(shí)別問(wèn)題，不僅要認(rèn)知記號(hào)，還要將由圖形、物體等構(gòu)成的圖像認(rèn)知為新聞、動(dòng)畫(huà)片、棒球等不同的類別。在該問(wèn)題中，動(dòng)畫(huà)片和非動(dòng)畫(huà)片之間圖像的色度區(qū)別很大，成為區(qū)別天氣圖、棒球場(chǎng)、新聞攝像室這樣大的類別，故認(rèn)知的難易程度和記號(hào)一樣容易。
相對(duì)于此，問(wèn)題種類3和問(wèn)題種類2不同，問(wèn)題種類3是將同一個(gè)類別的圖像再根據(jù)內(nèi)容識(shí)別的問(wèn)題。例如，若根據(jù)節(jié)目的內(nèi)容識(shí)別屬于新聞這一類別的多個(gè)圖像，就需要考慮到攝像室的形狀、正在表演的演員、文字屏幕等這樣詳細(xì)的特征。而且，以棒球?yàn)槔M(jìn)行說(shuō)明的話，若要識(shí)別到“○○對(duì)××”這樣的節(jié)目?jī)?nèi)容這么詳細(xì)，若不將球場(chǎng)的不同、制服的不同等這樣詳細(xì)的特征考慮進(jìn)去，就無(wú)法識(shí)別。也就是說(shuō)，識(shí)別出一看就知道棒球場(chǎng)和天氣圖的不同即可的問(wèn)題種類2、和要識(shí)別是哪一個(gè)棒球場(chǎng)、哪一種制服這樣的非常相似的特征的問(wèn)題種類3，其識(shí)別的復(fù)雜程度明顯不同。問(wèn)題種類3被認(rèn)為是基于更高級(jí)的認(rèn)知。
補(bǔ)充說(shuō)明一下，在該實(shí)驗(yàn)中，對(duì)不同的問(wèn)題種類使用相同的為實(shí)驗(yàn)而準(zhǔn)備的圖像。例如，當(dāng)問(wèn)題種類2的實(shí)驗(yàn)中，針對(duì)“請(qǐng)調(diào)到棒球節(jié)目”這樣的要求，提示出的是圖14所示的天氣預(yù)報(bào)的圖像作異圖像提示。于是，驗(yàn)證了以下情況，即使是相同的圖像提示，認(rèn)知的復(fù)雜程度卻隨著問(wèn)題種類的不同而不同，這時(shí)被實(shí)驗(yàn)者的反應(yīng)會(huì)產(chǎn)生哪些不同呢。
在該實(shí)驗(yàn)中，每一次實(shí)驗(yàn)都進(jìn)行120次圖15所示的順序的試行，對(duì)每一個(gè)被實(shí)驗(yàn)者進(jìn)行兩次實(shí)驗(yàn)，對(duì)每一個(gè)被實(shí)驗(yàn)者合計(jì)測(cè)量240次試行。補(bǔ)充說(shuō)明一下，電極的粘貼方法和前面的實(shí)驗(yàn)一樣，遵循國(guó)際10-20法，假定抽樣頻率是200Hz。而且，在對(duì)實(shí)驗(yàn)數(shù)據(jù)的解析中，利用0.05～10Hz的帶通濾波器，作為底線(baseline)修正使用的是刺激提示前200ms到0ms的波形。為了防止由于眨眼混入噪聲，同時(shí)還測(cè)量了眼電，從解析對(duì)象的數(shù)據(jù)中將眼電成份的振幅在100μV以上的試行消除。
圖16是顯示針對(duì)問(wèn)題種類1～3的實(shí)驗(yàn)數(shù)據(jù)的曲線圖。圖16的每一條曲線，是將從三名被實(shí)驗(yàn)者得到的電位波形累積以后得到的。橫軸表示從圖像提示開(kāi)始的時(shí)間，單位是毫秒ms；橫軸是電位，單位是微伏μV。粗線表示提示了和已輸入的要求(已選擇的行動(dòng))無(wú)關(guān)連的圖像時(shí)的波形，細(xì)線表示提示了和已輸入的要求(已選擇的行動(dòng))相關(guān)連的圖像時(shí)的波形。
在圖16中，對(duì)應(yīng)于問(wèn)題種類1和2的曲線，當(dāng)提示了和已輸入的要求(已選擇的行動(dòng))無(wú)關(guān)連的圖像時(shí)，和上一個(gè)實(shí)驗(yàn)結(jié)果一樣，從該提示開(kāi)始過(guò)600ms時(shí)，出現(xiàn)其特征和一般情況不同的事象相關(guān)電位。同樣，在圖16中，對(duì)應(yīng)于問(wèn)題種類3的曲線，提示了和已輸入的要求(已選擇的行動(dòng))不相關(guān)的圖像時(shí)(例如，輸入“新聞X”，顯示出“新聞Z”的圖像時(shí)等)、和提示了和已輸入的要求(已選擇的行動(dòng))相關(guān)連的圖像時(shí)(例如，輸入“新聞X”，顯示出“新聞X”的圖像時(shí)等)，其波形明顯不同。而且，具有特征的事象相關(guān)電位的潛時(shí)從600ms位移150ms左右而成為750ms左右。認(rèn)為這是由于在問(wèn)題種類1、3與問(wèn)題種類2之間存在認(rèn)知的復(fù)雜程度的不同所致。
從上一個(gè)實(shí)驗(yàn)可知，和單純地判斷音程、圖像之不同的情況相比，判斷是否完全進(jìn)行了自己所希望的動(dòng)作是高級(jí)的判斷。因此，認(rèn)為從刺激提示開(kāi)始的反應(yīng)時(shí)間比到目前所測(cè)量的要晚，在刺激提示過(guò)后600ms左右的地方出現(xiàn)了峰值。
以上，根據(jù)本實(shí)驗(yàn)確認(rèn)了以下情況，即在進(jìn)行對(duì)類別程度的大致期待內(nèi)容和實(shí)際機(jī)器的動(dòng)作提示內(nèi)容加以比較這樣的更高級(jí)的認(rèn)知上很復(fù)雜的判斷時(shí)，也是和上一個(gè)實(shí)驗(yàn)結(jié)果一樣，在刺激提示后600ms左右的地方出現(xiàn)具有特征的事象相關(guān)電位。從這一情況可知，在操作、功能等用類別記述較多的通常的接口操作中，利用600ms左右的事象相關(guān)電位是非常有效的。
而且，已經(jīng)確認(rèn)出在要求進(jìn)行這樣的更高級(jí)的認(rèn)知很復(fù)雜的判斷的情況下，很復(fù)雜的判斷例如是復(fù)雜程度超過(guò)判斷類別那樣的大的不同的判斷、且需要將節(jié)目?jī)?nèi)容這樣的詳細(xì)特征考慮進(jìn)去，潛時(shí)位移150ms左右，則出現(xiàn)具有特征的事象相關(guān)電位。從這一現(xiàn)象可知，在實(shí)現(xiàn)認(rèn)知更加復(fù)雜的狀況的新接口的時(shí)候，需要根據(jù)認(rèn)知的復(fù)雜程度，考慮事象相關(guān)電位的潛時(shí)位移。
從該追加實(shí)驗(yàn)進(jìn)一步明確的是，在要求從認(rèn)知上更高級(jí)地進(jìn)行很復(fù)雜的判斷的情況下，用腦波計(jì)測(cè)量的事象相關(guān)電位，在機(jī)器按照用戶所期待的那樣動(dòng)作的時(shí)候和不動(dòng)作的時(shí)候存在著明確的差。
下面，參考附圖，說(shuō)明本發(fā)明的實(shí)施例。
(第一個(gè)實(shí)施例)圖1是顯示本發(fā)明的第一個(gè)實(shí)施例所涉及的生體信號(hào)利用機(jī)器的機(jī)構(gòu)的方框圖。圖1中，假定生體信號(hào)處理裝置100內(nèi)裝在生體信號(hào)利用機(jī)器(下面，有簡(jiǎn)單地稱為“機(jī)器”的時(shí)候)1中。但是，生體信號(hào)處理裝置100和機(jī)器1也可以是相互獨(dú)立的。
在圖1中，101是檢測(cè)用戶50對(duì)該機(jī)器的操作的機(jī)器操作檢測(cè)部，102是根據(jù)由機(jī)器操作檢測(cè)部101檢測(cè)到的用戶50的操作控制該機(jī)器的機(jī)器控制部，103是向用戶50提示作為機(jī)器1的動(dòng)作內(nèi)容的動(dòng)作提示部。在生體信號(hào)處理裝置100中，104是計(jì)測(cè)用戶50的生體信號(hào)的生體信號(hào)計(jì)測(cè)部，105是檢測(cè)由生體信號(hào)計(jì)測(cè)部104計(jì)測(cè)的生體信號(hào)中有無(wú)期待破滅信號(hào)的信號(hào)檢測(cè)部。106是當(dāng)檢測(cè)到期待破滅信號(hào)的時(shí)候，消除從動(dòng)作提示部103提示的動(dòng)作內(nèi)容要進(jìn)行的動(dòng)作，命令機(jī)器控制部102使機(jī)器1的狀態(tài)返回操作前的狀態(tài)，作為動(dòng)作修正部的操作取消部。
該實(shí)施例是這樣的，由機(jī)器自動(dòng)地判斷對(duì)應(yīng)于用戶的操作的機(jī)器的動(dòng)作是否與用戶所期待的一致，當(dāng)與所期待的不一致的時(shí)候，則使機(jī)器的狀態(tài)返回到用戶操作前的狀態(tài)。具體而言，例如在錯(cuò)按了操作鍵的時(shí)候、誤解了操作鍵的功能而操作了的時(shí)候、或者是不明白操作方法隨意地操作了的情況下，機(jī)器的動(dòng)作則不會(huì)成為用戶所希望的動(dòng)作。利用期待破滅信號(hào)檢測(cè)這樣的情況，自動(dòng)地消除與用戶的期待不符的機(jī)器動(dòng)作。這樣一來(lái)，便不需要用戶進(jìn)行麻煩的訂正操作，方便性大大提高。
在例如操作錄放像機(jī)的情況下，當(dāng)用戶想按“快進(jìn)”、“快退”的時(shí)候，若正確地選擇并按下了“快進(jìn)”、“快退”，則錄放像機(jī)便會(huì)按照用戶的意圖去動(dòng)作。但是，若錯(cuò)按了鍵，則成為和用戶所希望的不一樣的狀態(tài)，用戶會(huì)有一種“糟糕”這樣的期待破滅感。補(bǔ)充說(shuō)明一下，和上述實(shí)驗(yàn)對(duì)比一下，L或者R是對(duì)應(yīng)于“快進(jìn)”、“快退”這樣的意圖的動(dòng)作，鼠標(biāo)的左鍵、右鍵對(duì)應(yīng)于“快進(jìn)鍵”、“快退鍵”，作為結(jié)果顯示出來(lái)的“○”、“×”，對(duì)應(yīng)于“機(jī)器成為用戶所意圖的狀態(tài)”或者是“機(jī)器未成為用戶所意圖的狀態(tài)”。
根據(jù)該實(shí)施例，例如當(dāng)用戶想到“想快進(jìn)”要來(lái)操作處于再生狀態(tài)的錄放像機(jī)，卻錯(cuò)誤地按下了“快倒鍵”，成為與用戶的意圖相反的狀態(tài)的時(shí)候，便能夠靠期待破滅信號(hào)把它檢測(cè)出來(lái)。因此，機(jī)器就能夠把搞錯(cuò)的操作亦即“快倒”取消，使其恢復(fù)到一開(kāi)始的再生狀態(tài)。同樣，還能夠靠檢測(cè)期待破滅信號(hào)來(lái)將例如音量太大、音量太小這樣的動(dòng)作取消。
生體信號(hào)計(jì)測(cè)部104包括腦波計(jì)，用戶50的腦波作為生體信號(hào)計(jì)測(cè)。用戶50事先帶上腦波計(jì)。電極的最合適的設(shè)置位置可通過(guò)實(shí)驗(yàn)等決定。
信號(hào)檢測(cè)部105，在動(dòng)作提示部103提示動(dòng)作內(nèi)容后的規(guī)定時(shí)間范圍內(nèi)，從用戶50的作為生體信號(hào)計(jì)測(cè)的腦波中檢測(cè)出期待破滅信號(hào)之有無(wú)。圖2是顯示信號(hào)檢測(cè)部105的內(nèi)部結(jié)構(gòu)的方框圖。圖2中，105a是存儲(chǔ)根據(jù)機(jī)器的動(dòng)作內(nèi)容的認(rèn)知復(fù)雜程度、用戶的個(gè)人差、年齡等移動(dòng)的期待破滅信號(hào)的潛時(shí)位移時(shí)間Ts的潛時(shí)位移時(shí)間存儲(chǔ)部；105b是參照潛時(shí)位移時(shí)間存儲(chǔ)部105a來(lái)決定檢測(cè)期待破滅信號(hào)之有無(wú)的時(shí)間范圍的解析范圍決定部；105c是在由解析范圍決定部105b決定的時(shí)間范圍內(nèi)，從用戶50的作為生體信號(hào)計(jì)測(cè)的腦波中檢測(cè)期待破滅信號(hào)之有無(wú)的相關(guān)電位檢測(cè)部。
圖3是操作機(jī)器時(shí)所得到的腦波之一例。從由上述本案發(fā)明人所做的實(shí)驗(yàn)中明顯可知，在從產(chǎn)生“期待破滅信號(hào)”時(shí)的動(dòng)作的提示開(kāi)始經(jīng)過(guò)600ms的地方發(fā)生正峰值電位。如圖3所示，在該實(shí)施例中，動(dòng)作內(nèi)容被提示給用戶50的時(shí)刻亦即在以操作提示時(shí)刻Tmc為起點(diǎn)(時(shí)刻0)的時(shí)間軸上，假定以(600+Ts)ms為中心的前后時(shí)間范圍是期待破滅信號(hào)的檢測(cè)范圍亦即解析范圍。這里，從潛時(shí)位移時(shí)間存儲(chǔ)部105a讀出的潛時(shí)位移時(shí)間Ts，是針對(duì)以認(rèn)知與“○”“×”提示一樣容易的反饋的期待破滅信號(hào)的潛時(shí)600ms的增減值，取正負(fù)值。以此為例加以說(shuō)明。
特別是，從上述追加實(shí)驗(yàn)結(jié)果明顯可知，在要求進(jìn)行更高級(jí)的復(fù)雜的認(rèn)知判斷的情況下，假定以將150ms左右的值作潛時(shí)位移時(shí)間Ts加到潛時(shí)600ms中所得到的750ms為中心的前后時(shí)間范圍是期待破滅信號(hào)的解析范圍。例如，按下音量鍵，音量是否按照用戶的意愿提高了，當(dāng)選擇菜單時(shí)用GUI表示的內(nèi)容是否是所希望的內(nèi)容等，對(duì)于更復(fù)雜地高級(jí)狀況的認(rèn)知的期待破滅信號(hào)檢測(cè)出的期待破滅信號(hào)的峰值也比潛時(shí)600ms晚150ms左右。
一般認(rèn)為潛時(shí)位移時(shí)間Ts隨著所提示的動(dòng)作內(nèi)容的不同而不同。因此，最好是，讓潛時(shí)位移時(shí)間存儲(chǔ)部105a存儲(chǔ)對(duì)應(yīng)于動(dòng)作內(nèi)容的標(biāo)準(zhǔn)潛時(shí)位移時(shí)間。該標(biāo)準(zhǔn)潛時(shí)位移時(shí)間只要利用監(jiān)視器等來(lái)求得即可?？梢源鎯?chǔ)用戶的操作履歷，參考著操作的時(shí)間間隔等決定、修正潛時(shí)位移時(shí)間等，這樣一來(lái)，也能夠?qū)?yīng)于由年齡、個(gè)人差等帶來(lái)的潛時(shí)不同等用戶特性。
利用圖4的流程圖，對(duì)該實(shí)施例所涉及的機(jī)器1和生體信號(hào)處理裝置100的動(dòng)作進(jìn)行說(shuō)明。這里，假定用戶50的腦波一直由生體信號(hào)計(jì)測(cè)部104計(jì)測(cè)，按照時(shí)間順序存儲(chǔ)。補(bǔ)充說(shuō)明一下，還可以根據(jù)操作機(jī)器的時(shí)刻、機(jī)器動(dòng)作等來(lái)適當(dāng)?shù)販y(cè)量腦波。
首先，機(jī)器操作檢測(cè)部101檢測(cè)由用戶50進(jìn)行的對(duì)機(jī)器1的操作(a1)。當(dāng)用戶50進(jìn)行了某一操作時(shí)(a1中為“有”)，進(jìn)入步驟a2。此時(shí)，由用戶50進(jìn)行操作的時(shí)刻(用戶操作時(shí)刻)Tui通過(guò)機(jī)器控制部102存儲(chǔ)到信號(hào)檢測(cè)部105中。另一方面，若沒(méi)有操作輸入(a1為“無(wú)”)，則等待接收繼續(xù)操作。
在步驟a2中，機(jī)器控制部102，在實(shí)現(xiàn)了針對(duì)用戶50的操作的動(dòng)作之前存儲(chǔ)機(jī)器的現(xiàn)在的狀態(tài)。之后，機(jī)器控制部102控制該機(jī)器1，以進(jìn)行對(duì)應(yīng)于用戶50的操作的動(dòng)作。此時(shí)，將動(dòng)作內(nèi)容傳達(dá)給動(dòng)作提示部103。動(dòng)作提示部103將從機(jī)器控制部102接收的動(dòng)作內(nèi)容提示給用戶50。例如，在機(jī)器1是數(shù)字電視的情況下，用戶50選擇機(jī)器設(shè)定菜單中的GUI的某一菜單項(xiàng)目作操作輸入時(shí)，對(duì)應(yīng)于它的子菜單的項(xiàng)目便提示在畫(huà)面上。而且，此時(shí)，機(jī)器控制部102將傳達(dá)動(dòng)作內(nèi)容的時(shí)刻(操作提示時(shí)刻)Tmc存儲(chǔ)到信號(hào)檢測(cè)部105中。
接著，在步驟a3中，信號(hào)檢測(cè)部105內(nèi)的解析范圍決定部105b決定檢測(cè)期待破滅信號(hào)的時(shí)間范圍即解析范圍。這里，如圖3所示，在以動(dòng)作提示時(shí)刻Tcm為起點(diǎn)的時(shí)間軸上，假定以(600+Ts)ms為中心的前后的時(shí)間范圍為期待破滅信號(hào)的檢測(cè)范圍，也就是說(shuō)解析范圍。在圖3的例子中，設(shè)從起點(diǎn)開(kāi)始200ms～800ms的期間為解析范圍。補(bǔ)充說(shuō)明一下，解析范圍的設(shè)定并不限于圖3所示的情況，例如還可設(shè)定為500ms～700ms、300ms～900ms等?；蛘呤牵梢圆辉O(shè)定下限，切出動(dòng)作內(nèi)容提示后1s左右的范圍。
接著，在步驟a4，信號(hào)檢測(cè)部105內(nèi)的相關(guān)電位檢測(cè)部105c，在在步驟a3由解析范圍決定部105b決定的時(shí)間范圍內(nèi)，從由生體信號(hào)計(jì)測(cè)部104計(jì)測(cè)的腦波中檢測(cè)出是否有期待破滅信號(hào)。該檢測(cè)可以利用期待破滅信號(hào)與模型波形的相似性(相關(guān)系數(shù)、馬氏距離等)進(jìn)行，還可以利用規(guī)定的閾值(例如10V以上)來(lái)判斷正峰值電位之有無(wú)，這樣來(lái)進(jìn)行該檢測(cè)。當(dāng)未檢測(cè)到期待破滅信號(hào)的時(shí)候(a4為“無(wú)”)，返回到步驟a1。繼續(xù)控制機(jī)器，等待下一個(gè)操作命令。另一方面，當(dāng)檢測(cè)出期待破滅信號(hào)的時(shí)候(a4中為“有”)進(jìn)入步驟a5。
在步驟a5，操作消除部106從信號(hào)檢測(cè)部105接收已檢測(cè)到期待破滅信號(hào)的通知后，便命令機(jī)器控制部102將機(jī)器1的狀態(tài)返回到操作前的狀態(tài)。機(jī)器控制部102接收該命令，便中止對(duì)應(yīng)于用戶50的操作命令的控制，使機(jī)器1的狀態(tài)返回到操作前的狀態(tài)。
就這樣，根據(jù)該實(shí)施例，機(jī)器自動(dòng)地判斷機(jī)器對(duì)應(yīng)于用戶的操作的動(dòng)作是否與用戶的期待一致。當(dāng)與期待不一致的時(shí)候，便將機(jī)器的狀態(tài)返回到用戶操作前的狀態(tài)。這樣一來(lái)，用戶就不會(huì)被強(qiáng)迫進(jìn)行訂正操作，也就能夠順利地操作機(jī)器。
補(bǔ)充說(shuō)明一下，這里所說(shuō)明的操作的取消例只是一例。只要是基于該實(shí)施例的、當(dāng)檢測(cè)到機(jī)器沒(méi)有按照用戶的意圖動(dòng)作的情況就將造成它的操作消除這樣的宗旨，則可以進(jìn)行各種各樣的變更。這是不需要再多言的。
當(dāng)檢測(cè)到期待破滅信號(hào)時(shí)，可以顯示對(duì)操作結(jié)果的說(shuō)明。例如，當(dāng)用戶按下了經(jīng)常在收看的節(jié)目的頻道時(shí)，有時(shí)候會(huì)由于特別報(bào)道節(jié)目而將原來(lái)的節(jié)目改變了。此時(shí)，用戶有一種“期待破滅感”，但若將節(jié)目已改變的宗旨提示給用戶的話，用戶就能夠知道為什么不播放他所期待的節(jié)目。當(dāng)用戶已經(jīng)知道今天是特別節(jié)目的時(shí)候，便檢測(cè)不到期待破滅信號(hào)，故不提示節(jié)目已改變的情況也是可以的。
從以上實(shí)驗(yàn)明顯可知，當(dāng)在節(jié)目、音樂(lè)等內(nèi)容選擇行動(dòng)中檢測(cè)到期待破滅信號(hào)時(shí)，機(jī)器控制部102，便將它改變?yōu)槠渌l道、提示其它類別的內(nèi)容以及提示其它類似內(nèi)容；若未檢測(cè)到期待破滅信號(hào)，則通過(guò)維持現(xiàn)在所提示的內(nèi)容的提示，便能夠進(jìn)行自動(dòng)地提示用戶所期待的內(nèi)容的自動(dòng)快速移動(dòng)功能。
(第二個(gè)實(shí)施例)近年來(lái)，以數(shù)字家電為首的多功能機(jī)器在不斷地增加，在操作這樣的多功能機(jī)器的情況下，用戶需要事先選擇要執(zhí)行的功能，之后在進(jìn)行所希望的操作。例如，在操作具有HDD錄放像機(jī)、DVD錄放像機(jī)的功能的機(jī)器的情況下，在再生內(nèi)容的時(shí)候，需要首先選擇HDD功能、DVD功能，之后再按下內(nèi)容的再生鍵。在這樣的多功能機(jī)器中，通常情況下，因?yàn)樵偕z索等操作鍵是通用的，故即使用戶想看DVD而按下再生鍵，當(dāng)機(jī)器的功能模式是HDD的時(shí)候，當(dāng)然不會(huì)再生所希望的內(nèi)容。
本發(fā)明的第二個(gè)實(shí)施例，在具有多個(gè)不同功能的機(jī)器中，對(duì)應(yīng)于用戶的操作的動(dòng)作不是用戶所意圖的功能的時(shí)候，通過(guò)檢測(cè)出期待破滅信號(hào)，將現(xiàn)在的功能切換自動(dòng)地切換到其它功能。
圖5是顯示該實(shí)施例所涉及的生體信號(hào)利用機(jī)器的結(jié)構(gòu)的方框圖。圖5中，和圖1相同的構(gòu)成要素用同一個(gè)符號(hào)來(lái)表示。在圖5的生體信號(hào)利用機(jī)器1A中，設(shè)置作為動(dòng)作修正部的功能切換部201來(lái)代替操作消除部106。當(dāng)由信號(hào)檢測(cè)部105檢測(cè)出期待破滅信號(hào)的時(shí)候，功能切換部201便命令機(jī)器控制部102將現(xiàn)在正在執(zhí)行的功能切換到其它功能。圖5中，也假定生體信號(hào)處理裝置100內(nèi)裝在機(jī)器1A中，生體信號(hào)利用機(jī)器100和機(jī)器1A也可以是分別獨(dú)立的。
利用圖6的流程圖，說(shuō)明該實(shí)施例所涉及的機(jī)器1A的動(dòng)作。補(bǔ)充說(shuō)明一下，圖6中的步驟b1～b4和第一個(gè)實(shí)施例中的步驟a1～a4一樣。故不再說(shuō)明。
當(dāng)從用戶50的腦波中檢測(cè)出期待破滅信號(hào)的時(shí)候(b4中為“有”)，則在步驟b5中，將現(xiàn)在的機(jī)器1A的功能改變?yōu)樵摍C(jī)器1A所具有的其它功能。換句話說(shuō)，功能切換部201命令機(jī)器控制部102將現(xiàn)在正在執(zhí)行的功能切換到其它功能。機(jī)器控制部102接收該命令，將正在執(zhí)行的功能切換到其它功能。之后，返回到步驟b3，再次檢測(cè)到期待破滅信號(hào)之有無(wú)。
例如，在機(jī)器1A是DVD和HDD的復(fù)合機(jī)的時(shí)候，用戶想看DVD而按下了再生鍵，但因?yàn)楸辉O(shè)定為HDD模式，故要再生的則是HDD的內(nèi)容。此時(shí)，由生體信號(hào)處理裝置100檢測(cè)出期待破滅信號(hào)，機(jī)器1A通過(guò)功能切換部201的命令將模式從HDD自動(dòng)地切換到DVD來(lái)再生內(nèi)容。之后，執(zhí)行步驟b3、b4，若檢測(cè)不出期待破滅信號(hào)，則維持已切換的功能，亦即DVD模式，返回到步驟b1，等待用戶的下一個(gè)操作輸入。
這樣，根據(jù)該實(shí)施例，在具有多個(gè)功能的機(jī)器中，當(dāng)機(jī)器的對(duì)應(yīng)于用戶的操作的動(dòng)作與用戶所期待的不一致的時(shí)候，便將現(xiàn)在的功能變更為其它功能。這樣一來(lái)，用戶就不會(huì)被強(qiáng)迫進(jìn)行訂正操作，也就能夠順利地操作機(jī)器。
例如，當(dāng)用VHS、HDD的復(fù)合機(jī)進(jìn)行錄像操作的情況下，自己想錄到VHS中，用遙控器輸入日期、頻道、時(shí)刻等，將這些信息傳送給機(jī)器的時(shí)候，有時(shí)會(huì)和所想的不同，預(yù)約成錄到HDD上。在這樣的情況下，按照目前的做法，則是需要例如打開(kāi)預(yù)約目錄，用GUI將錄像功能從HDD變更為VHS，但根據(jù)該實(shí)施例，則根據(jù)期待破滅信號(hào)，功能自動(dòng)變更。
補(bǔ)充說(shuō)明一下，這里所說(shuō)明的僅僅是功能變更之一例。只要是基于該實(shí)施例的、檢測(cè)出機(jī)器的動(dòng)作和用戶所期待的不一致的情況并將現(xiàn)在的功能切換到其它候補(bǔ)功能這樣的宗旨，可以進(jìn)行各種各樣的變更。這是不需要多言的。
當(dāng)檢測(cè)出期待破滅信號(hào)的時(shí)候，可以從視覺(jué)或者聽(tīng)覺(jué)上來(lái)提示現(xiàn)在正在動(dòng)作的功能，促使用戶進(jìn)行修正。
(第三個(gè)實(shí)施例)近年來(lái)，用以操作家用電器的遙控器越來(lái)越多功能化，一個(gè)遙控器能夠控制多臺(tái)機(jī)器。例如，若用一個(gè)遙控器來(lái)操作TV和VHS/HDD錄放像機(jī)，則能夠通過(guò)事先選擇要操作的機(jī)器，借助同一個(gè)頻道變更各個(gè)機(jī)器的頻道。但是，在要看著電視，用遙控器變更頻道的時(shí)候，有頻道不變，用戶覺(jué)得“哎，好奇怪”的時(shí)候。這是因?yàn)檫b控器所選擇的機(jī)器不是TV，而是VHS/HDD錄放像機(jī)之故。
本發(fā)明的第三個(gè)實(shí)施例，在包括多個(gè)機(jī)器的機(jī)器系統(tǒng)中，例如用遙控器有選擇地操作任一個(gè)機(jī)器的時(shí)候，已動(dòng)作的機(jī)器不是用戶意圖的機(jī)器的時(shí)候，能夠借助檢測(cè)期待破滅信號(hào)，自動(dòng)地切換到要控制的機(jī)器。
圖7是顯示該實(shí)施例所涉及的生體信號(hào)利用機(jī)器系統(tǒng)的結(jié)構(gòu)的方框圖。圖7中，和圖1、圖5相同的構(gòu)成要素用和圖1、圖5相同的符號(hào)來(lái)表示。在圖7的結(jié)構(gòu)中，設(shè)置了多臺(tái)分別包括機(jī)器控制部102和動(dòng)作提示部103的機(jī)器1B、1C。生體信號(hào)處理裝置100和機(jī)器1B、1C是互相獨(dú)立的。當(dāng)由信號(hào)檢測(cè)部105檢測(cè)出期待破滅信號(hào)的時(shí)候，機(jī)器變更部301便命令機(jī)器控制部102變更為是控制對(duì)象的機(jī)器。機(jī)器變更部301可以設(shè)置在機(jī)器1B、1C中的任一個(gè)中，也可以和機(jī)器1B、1C分開(kāi)，例如可以將機(jī)器變更部301設(shè)置在生體信號(hào)處理裝置100中。
利用圖8的流程圖，說(shuō)明該實(shí)施例所涉及的生體信號(hào)利用機(jī)器系統(tǒng)的基本動(dòng)作。補(bǔ)充說(shuō)明一下，圖8中的步驟c1～c4和第一個(gè)實(shí)施例中的步驟a1～a4一樣。故不再說(shuō)明。這里，機(jī)器1B是TV，機(jī)器1C是VHS/HDD錄放像機(jī)，假定這些機(jī)器由一個(gè)共用的擁有機(jī)器操作檢測(cè)部101的遙控器操作。而且，各個(gè)機(jī)器1B、1C的機(jī)器控制部102具有用來(lái)將其它機(jī)器的操作信號(hào)變換成自己的控制信號(hào)的表。
現(xiàn)在，用戶50要想變更TV1B的頻道而按下了遙控器的頻道鍵，卻假定遙控器的機(jī)器選擇模式是VHS/HDD錄放像機(jī)1C。此時(shí)，從遙控器送來(lái)的操作信號(hào)分別被送到TV1B和VHS/HDD錄放像機(jī)1C。但是，TV1B判斷出不是自己的操作信號(hào)便不變更動(dòng)作。另一方面，VHS/HDD錄放像機(jī)1C認(rèn)知到是要變更自己的頻道的信號(hào)，便變更頻道。
雖然用戶50期待著TV1B被變更，但實(shí)際上僅有VHS/HDD錄放像機(jī)1C被變更，TV1B的狀態(tài)沒(méi)有任何變化。因此，檢測(cè)出期待破滅信號(hào)(在c4為“有”)。
這樣一來(lái)，在步驟c5，改變了成為控制對(duì)象的機(jī)器。在該例中，TV1B的機(jī)器控制部102，參考表，將剛才從遙控器送來(lái)的VHS/HDD錄放像機(jī)1C的操作信號(hào)解釋為改變頻道的信號(hào)，而改變了TV1B的頻道。另外，VHS/HDD錄放像機(jī)1C的機(jī)器控制部102則消除頻率變更。之后，執(zhí)行步驟c3、c4，若檢測(cè)不出期待破滅信號(hào)，則維持著將成為控制對(duì)象的機(jī)器切換到TV1B的狀態(tài)，返回步驟c1，等待用戶輸入下一個(gè)操作。
這樣，根據(jù)該實(shí)施例，在擁有多臺(tái)機(jī)器的機(jī)器系統(tǒng)中，對(duì)應(yīng)于用戶的利用遙控器等的操作而動(dòng)作的機(jī)器是與用戶所期待的不一致的機(jī)器的時(shí)候，便將控制對(duì)象變更為其它機(jī)器。這樣一來(lái)，用戶就不會(huì)被強(qiáng)迫進(jìn)行訂正操作，也就能夠順利地操作機(jī)器。
補(bǔ)充說(shuō)明一下，這里所說(shuō)明的機(jī)器變更只是一例。只要是基于該實(shí)施例的、當(dāng)檢測(cè)到機(jī)器沒(méi)有按照用戶的意圖動(dòng)作的情況就變更要控制的機(jī)器這樣的宗旨，則可以進(jìn)行各種各樣的變更。這是不需要再多言的。
當(dāng)檢測(cè)到期待破滅信號(hào)時(shí)，可以從視覺(jué)或者聽(tīng)覺(jué)上來(lái)提示現(xiàn)在正在選擇的機(jī)器，促使用戶切換機(jī)器。
—工業(yè)實(shí)用性—本發(fā)明對(duì)于提高由用戶操作的所有機(jī)器的操作性有效。例如，對(duì)于控制數(shù)字電視、錄放像機(jī)、各種包括白色家電在內(nèi)的家電、個(gè)人電腦等很有用。另外，還能應(yīng)用到為靠語(yǔ)言、手勢(shì)等傳達(dá)意思有困難的人所使用的福利機(jī)器等中。
權(quán)利要求
1.一種利用生體信號(hào)動(dòng)作的生體信號(hào)利用機(jī)器，其特征在于包括機(jī)器操作檢測(cè)部，檢測(cè)用戶對(duì)該機(jī)器的操作，機(jī)器控制部，根據(jù)所述操作控制該機(jī)器，動(dòng)作提示部，向所述用戶提示作為所述控制結(jié)果的該機(jī)器的動(dòng)作內(nèi)容，生體信號(hào)計(jì)測(cè)部，計(jì)測(cè)所述用戶的腦波中的事象相關(guān)電位，以及信號(hào)檢測(cè)部，以所述動(dòng)作內(nèi)容的提示時(shí)刻為起點(diǎn)進(jìn)行檢測(cè)，檢測(cè)在從該起點(diǎn)開(kāi)始經(jīng)過(guò)了在600ms中加上了規(guī)定的位移時(shí)間后所得到的時(shí)刻有無(wú)事象相關(guān)電位。
2.根據(jù)權(quán)利要求1所述的生體信號(hào)利用機(jī)器，其特征在于所述位移時(shí)間在150ms左右。
3.根據(jù)權(quán)利要求1所述的生體信號(hào)利用機(jī)器，其特征在于包括動(dòng)作修正部，當(dāng)檢測(cè)出所述事象相關(guān)電位的時(shí)候，便命令所述機(jī)器控制部將該機(jī)器的動(dòng)作消除或?qū)⒃摍C(jī)器正在執(zhí)行的功能切換到其它功能。
4.根據(jù)權(quán)利要求3所述的生體信號(hào)利用機(jī)器，其特征在于所述功能，是針對(duì)由靜止圖像、活動(dòng)圖像、畫(huà)像以及聲音中的至少一個(gè)構(gòu)成的內(nèi)容從顯示、選擇、存儲(chǔ)、再生、編輯、分配信號(hào)以及消除中選出的行為。
5.一種包括權(quán)利要求1所述的生體信號(hào)利用機(jī)器的生體信號(hào)利用機(jī)器系統(tǒng)，其特征在于包括機(jī)器變更部，當(dāng)檢測(cè)出所述事象相關(guān)電位的時(shí)候，便命令所述機(jī)器控制部讓其它機(jī)器來(lái)代替已根據(jù)所述操作動(dòng)作的機(jī)器動(dòng)作。
6.根據(jù)權(quán)利要求5所述的生體信號(hào)利用機(jī)器系統(tǒng)，其特征在于所述機(jī)器，包括針對(duì)由靜止圖像、活動(dòng)圖像、畫(huà)像以及聲音中的至少一個(gè)構(gòu)成的內(nèi)容進(jìn)行顯示、選擇、存儲(chǔ)、再生、編輯、分配信號(hào)以及消除中的至少一個(gè)功能。
7.一種生體信號(hào)處理裝置，其特征在于，包括生體信號(hào)計(jì)測(cè)部，計(jì)測(cè)用戶腦波中的事象相關(guān)電位，以及信號(hào)檢測(cè)部，以該機(jī)器對(duì)所述用戶進(jìn)行的機(jī)器操作做出的反應(yīng)時(shí)刻為起點(diǎn)進(jìn)行檢測(cè)，檢測(cè)在從該起點(diǎn)開(kāi)始經(jīng)過(guò)了在600ms中加上了規(guī)定的位移時(shí)間后所得到的時(shí)刻有無(wú)事象相關(guān)電位。
8.根據(jù)權(quán)利要求7所述的生體信號(hào)處理裝置，其特征在于所述位移時(shí)間在150ms左右。
9.一種利用了生體信號(hào)的機(jī)器控制方法，其特征在于，包括檢測(cè)用戶對(duì)該機(jī)器的操作的步驟，根據(jù)所述操作控制該機(jī)器的步驟，向所述用戶提示作為所述控制結(jié)果的該機(jī)器的動(dòng)作內(nèi)容的步驟，計(jì)測(cè)所述用戶的腦波中的事象相關(guān)電位的步驟，以及以所述動(dòng)作內(nèi)容的提示時(shí)刻為起點(diǎn)進(jìn)行檢測(cè)，檢測(cè)在從該起點(diǎn)開(kāi)始經(jīng)過(guò)了在600ms中加上了規(guī)定的位移時(shí)間后所得到的時(shí)刻有無(wú)事象相關(guān)電位的步驟。
全文摘要
本發(fā)明公開(kāi)了一種生體信號(hào)利用機(jī)器及其控制方法。在生體信號(hào)利用機(jī)器(1)中，機(jī)器控制部(102)根據(jù)用戶(50)的操作控制機(jī)器。此時(shí)的動(dòng)作內(nèi)容通過(guò)動(dòng)作提示部(103)提示給用戶(50)。生體信號(hào)檢測(cè)部(104)計(jì)測(cè)用戶(50)的生體信號(hào)，信號(hào)檢測(cè)部(105)，以所述動(dòng)作內(nèi)容的提示時(shí)刻為起點(diǎn)進(jìn)行檢測(cè)，檢測(cè)在從該起點(diǎn)開(kāi)始經(jīng)過(guò)了在600ms中加上了規(guī)定的位移時(shí)間后所得到的時(shí)刻有無(wú)事象相關(guān)電位。當(dāng)檢測(cè)出所述事象相關(guān)電位的時(shí)候，操作消除部(106)便命令機(jī)器控制部(102)將所提示的動(dòng)作內(nèi)容消除。
文檔編號(hào)G06F3/00GK1805707SQ200580000470
公開(kāi)日2006年7月19日 申請(qǐng)日期2005年6月28日 優(yōu)先權(quán)日2004年7月2日
發(fā)明者荒木昭一, 森川幸治, 足立信夫 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社