專利名稱：基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人機交互方法，尤其是基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，屬于信息技術(shù)領(lǐng)域。
背景技術(shù)：
人機交互主要研究人與計算機之間的信息交互。人機交互的模式已從語言命令交互階段、圖像用戶界面交互階段發(fā)展到自然、和諧的感性用戶界面交互階段。以人為中心、 自然與高效成為發(fā)展新一代人機交互的主要目標(biāo)。多模界面作為感性用戶界面的一種模式在國內(nèi)外受到高度重視，是人機交互技術(shù)研究的嶄新領(lǐng)域。在多模界面中，用戶可使用語音、表情、眼神、手勢等自然的方式向計算機傳遞信息，然而計算機沒有面部和軀干，無法運用上述方式與人交流。目前的解決辦法是通過虛擬人實現(xiàn)人與計算機的自然交互。虛擬人是可以在計算機屏幕上活動的，具有面部和軀干，并能通過多種交流方式與人進行信息傳遞的虛擬人物。虛擬人可以將計算機發(fā)展成為栩栩如生的智能體，具有很強的表現(xiàn)力和親和感。人與人交流時傳遞的信息，除語言直接表達的語義信息外，還通過講話者的眼睛傳遞重要信息。因此，在基于仿生代理的人機交互系統(tǒng)中，仿生代理如果被賦予視線追蹤能力， 便能針對人類的視覺焦點做出智能、靈敏、友好的反應(yīng)。視線跟蹤的目的是為了根據(jù)眼睛的特征和位置來計算用戶注視的方向，并把它作為一種可選或互補的計算機輸入通道，作為人機交互研究的一種分析工具。目前，國外許多大學(xué)和研究機構(gòu)已開發(fā)出多種眼動追蹤系統(tǒng)，能實時分析眼動儀輸出的眼球運動數(shù)據(jù)。但此類系統(tǒng)主要面向殘疾人以實現(xiàn)眼球鼠標(biāo)的功能或用于汽車駕駛員的疲勞分析等領(lǐng)域，而在用戶興趣區(qū)域分析方面的研究較少，并且沒有與仿生代理技術(shù)相結(jié)合。國內(nèi)在該方面尚無完整的產(chǎn)品和解決方案。本發(fā)明的基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)可廣泛應(yīng)用于虛擬教學(xué)、虛擬購物以及醫(yī)療、體育、軍事、娛樂等領(lǐng)域，擁有較好的應(yīng)用前
旦
ο

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，實現(xiàn)自然、和諧的人機交互。本發(fā)明的技術(shù)方案可概括為事件交互管理器通過實時分析眼動儀產(chǎn)生的數(shù)據(jù)， 計算用戶眼球在屏幕上的焦點位置，完成用戶興趣區(qū)域分析，并將分析結(jié)果作為非接觸性指令控制人機交互界面上仿生代理的表情、動作和語音，對用戶進行智能反饋，實現(xiàn)自然、 和諧的人機交互。本發(fā)明一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，包括以下4 個步驟步驟1 設(shè)計者進行用戶分析，根據(jù)用戶分析結(jié)果設(shè)定用戶可能關(guān)注的興趣區(qū)域；步驟2 事件交互管理器實時接收分析眼動儀產(chǎn)生的數(shù)據(jù)，計算用戶眼球在屏幕上的焦點位置；步驟3 事件交互管理器根據(jù)得到的用戶眼球在屏幕上的焦點位置，分析用戶關(guān)注的興趣區(qū)域；步驟4 事件交互管理器將分析用戶關(guān)注的興趣區(qū)域結(jié)果作為非接觸性指令控制人機交互界面上仿生代理的表情、動作和語音，對用戶進行智能反饋，實現(xiàn)自然、和諧的人機交互。其中，所述的步驟1中，設(shè)計者用戶分析的結(jié)果是對交互過程中用戶可能感興趣的區(qū)域進行劃分的依據(jù)，劃分出的興趣區(qū)域為后續(xù)的分析做準(zhǔn)備。其中，所述的步驟3中，事件交互管理器根據(jù)得到的用戶眼球在屏幕上的焦點位
置，通過計算興趣區(qū)域的激活率分析用戶關(guān)注的興趣區(qū)域。興趣區(qū)域分析算法是事件交互
管理器的核心。激活率I表示用戶對設(shè)定的某一區(qū)域感興趣的概率，當(dāng)該值超過所設(shè)定的
激活閾值時，該興趣區(qū)域?qū)⒈患せ?，仿生代理將做出相?yīng)反應(yīng)；當(dāng)已經(jīng)激活的興趣區(qū)域的激
活率I低于所設(shè)定的減退閾值時，表示用戶對該區(qū)域的興趣減弱，則該興趣區(qū)域的激活狀
態(tài)被抑制，同時依據(jù)其他區(qū)域的激活率I，一個新的激活區(qū)域?qū)⒈贿x擇，仿生代理將做出相
應(yīng)反應(yīng)。激活率I的定義如下式所示 TI =—
T上式中，T為所定義的時間窗，Ta為在時間窗T內(nèi)用戶視線在設(shè)定的某一興趣區(qū)域的積累時間。其中，所述的步驟4中，事件交互管理器根據(jù)正被激活的不同興趣區(qū)域，控制仿生代理產(chǎn)生相應(yīng)的表情、動作和語音，仿生代理的表情、動作和語音根據(jù)不同的場景需求事先設(shè)定，使其能對用戶進行智能、友好的反饋，實現(xiàn)自然、和諧的人機交互。本發(fā)明一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，其優(yōu)點和積極效果在于1.該方法能實時分析用戶關(guān)注的興趣區(qū)域；2.該方法能將分析得出的用戶關(guān)注的興趣區(qū)域結(jié)果作為非接觸性指令控制人機交互界面上仿生代理的表情、動作和語音，對用戶進行智能反饋，實現(xiàn)自然、和諧的人機交互。


圖1基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)框圖；圖2事件交互管理器工作流程；圖3仿生代理James。
具體實施例方式運用本發(fā)明一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，可搭建基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)，其系統(tǒng)框架如圖1所示。下面通過對該系統(tǒng)的詳細(xì)說明進一步闡釋本發(fā)明的具體實施方式
。如圖1所示，基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)共由四部分
4組成⑴眼動儀(2)人機交互界面(3)事件交互管理器(4)仿生代理該基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)由兩臺設(shè)備搭建而成 一臺設(shè)備為眼動儀(其包含自帶的專用控制計算機)；另一臺設(shè)備為主控計算機，用于實現(xiàn)人機交互界面、事件交互管理器及仿生代理的展示。該基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)的應(yīng)用場景被設(shè)定為虛擬導(dǎo)購員向用戶推薦服裝，對該人機交互系統(tǒng)組成的具體介紹如下⑴眼動儀該基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)采用德國SMI公司的眼動儀Iview X RED，其滿足使用簡便、測量精度高、兼容性好的需求，采樣率為 50/60Hz(PAL/NTSC)。經(jīng)定位校準(zhǔn)，眼動儀便可用于采集用戶視線注視點在人機交互界面上焦點的坐標(biāo)。眼動儀是系統(tǒng)的輸入部分。其能通過紅外檢測人眼在其屏幕上的運動軌跡，實時將人眼相對屏幕的位置坐標(biāo)傳送給主控計算機中的事件交互管理器。其中，眼動儀與主控計算機之間數(shù)據(jù)傳遞采用UDP協(xié)議，滿足數(shù)據(jù)傳遞資源消耗小，處理速度快的需求。(2)人機交互界面人機交互界面通過主控計算機的顯示器進行顯示。根據(jù)設(shè)定的應(yīng)用場景，人機交互界面為由VC編寫的應(yīng)用窗口，窗口分兩個區(qū)域服裝展示區(qū)與試穿效果區(qū)。服裝展示區(qū)分塊展示出所有可供選擇的服裝，試穿效果區(qū)負(fù)責(zé)展示試穿的效果。通過用戶分析可知，用戶關(guān)注的區(qū)域主要集中在服裝展示區(qū)，所以將興趣區(qū)域設(shè)定在該區(qū)域，即每件服裝的方形展示區(qū)域為一個興趣區(qū)域，為排除興趣區(qū)域的形狀、大小對激活率的影響，系統(tǒng)中設(shè)定的興趣區(qū)域的形狀、大小均一致。服裝展示區(qū)與試穿效果區(qū)的圖片均提前進行準(zhǔn)備。(3)事件交互管理器事件交互管理器的所有功能均通過主控計算機的軟件及硬件實現(xiàn)，包括處理眼動儀產(chǎn)生的視線追蹤實時數(shù)據(jù)，計算興趣區(qū)域的激活率，確定當(dāng)前激活的興趣區(qū)域并作為非
接觸性指令對人機交互界面上的仿生代理實施控制。其核心為激活率I的計算公式/ = ·，
激活率I表示用戶對設(shè)定的某一區(qū)域感興趣的概率。事件交互管理器的工作流程如圖2所示，當(dāng)激活率I的值超過所設(shè)定的激活閾值時，該興趣區(qū)域?qū)⒈患せ?，事件交互管理器指示仿生代理做出相?yīng)反應(yīng)；當(dāng)已經(jīng)激活的興趣區(qū)域的激活率I低于所設(shè)定的減退閾值時，表示用戶對該區(qū)域的興趣減弱，則該興趣區(qū)域的激活狀態(tài)被抑制，同時依據(jù)其他區(qū)域的激活率I，一個新的激活區(qū)域?qū)⒈贿x擇，事件交互管理器指示仿生代理做出相應(yīng)反應(yīng)。在該基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)中，事件交互管理器按照50Hz的采樣率接收眼動儀產(chǎn)生的數(shù)據(jù)，根據(jù)實驗中的用戶體驗效果，制定了該系統(tǒng)的激活閾值為0. 6，減退閾值為0. 22。
(4)仿生代理仿生代理在系統(tǒng)中被賦予虛擬導(dǎo)購員的身份，其活動于主控計算機顯示器顯示的人機交互界面上，能根據(jù)事件交互管理器的指示使用表情、動作和語音向用戶推薦服裝。該基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)采用Microsoft Agent提供的仿生代理James，其形象如圖3所示。仿生代理James是基于微軟視窗平臺的可編程即時交互性動畫角色，在Microsoft Visual C++6. 0編輯的程序中插入Microsoft Agent2. 0控件并對其進行命令控制，便能設(shè)計出人性化的用戶交互界面。仿生代理James能夠熟練使用英語交流，還擁有包括眨眼、疑惑、解釋、問候等84 種動作形態(tài)。James的語言和動作均由編程者指控，系統(tǒng)配合其身份專門設(shè)計了一系列的表情動作和表述語言=James的表情動作根據(jù)不同的場景事先設(shè)定；James的表述語言包括贊美的評論、中性的評價與誠懇的建議等，所有語言通過文本形式手動輸入程序。實際演示時，James就能夠同時做出表情、動作和語言，完成生動的展示。
權(quán)利要求
1.一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，其特征在于包括以下 4個步驟步驟1 設(shè)計者進行用戶分析，根據(jù)用戶分析結(jié)果設(shè)定用戶可能關(guān)注的興趣區(qū)域；步驟2 事件交互管理器實時接收分析眼動儀產(chǎn)生的數(shù)據(jù)，計算用戶眼球在屏幕上的義丨、:自:，步驟3:事件交互管理器根據(jù)得到的用戶眼球在屏幕上的焦點位置，分析用戶關(guān)注的興趣區(qū)域；步驟4 事件交互管理器將分析用戶關(guān)注的興趣區(qū)域結(jié)果作為非接觸性指令控制人機交互界面上仿生代理的表情、動作和語音，對用戶進行智能反饋，實現(xiàn)自然、和諧的人機交互。
2.根據(jù)權(quán)利要求1所述的一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，其特征在于所述的步驟1中設(shè)計者用戶分析的結(jié)果是對交互過程中用戶可能感興趣的區(qū)域進行劃分的依據(jù)，劃分出的興趣區(qū)域為后續(xù)的分析做準(zhǔn)備。
3.根據(jù)權(quán)利要求1所述的一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，其特征在于所述的步驟3中事件交互管理器根據(jù)得到的用戶眼球在屏幕上的焦點位置，通過計算興趣區(qū)域的激活率分析用戶關(guān)注的興趣區(qū)域；興趣區(qū)域分析算法是事件交互管理器的核心，激活率I表示用戶對設(shè)定的某一區(qū)域感興趣的概率，當(dāng)該值超過所設(shè)定的閾值時，該興趣區(qū)域?qū)⒈患せ?，仿生代理將做出相?yīng)反應(yīng)；當(dāng)已經(jīng)激活的興趣區(qū)域的激活率 I低于所設(shè)定的閾值時，表示用戶對該區(qū)域的興趣減弱，則該興趣區(qū)域的激活狀態(tài)被抑制， 同時依據(jù)其他區(qū)域的激活率I，一個新的激活區(qū)域?qū)⒈贿x擇，仿生代理將做出相應(yīng)反應(yīng)，激活率I的定義如下式所示T上式中，T為所定義的時間窗，Ta為在時間窗T內(nèi)用戶視線在設(shè)定的某一興趣區(qū)域的積累時間。
4.根據(jù)權(quán)利要求1所述的一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，其特征在于所述的步驟4中事件交互管理器根據(jù)正被激活的不同興趣區(qū)域，控制仿生代理產(chǎn)生相應(yīng)的表情、動作和語音，仿生代理的表情、動作和語音根據(jù)不同的場景需求事先設(shè)定，使其能對用戶進行智能、友好的反饋，實現(xiàn)自然、和諧的人機交互。
全文摘要
本發(fā)明一種基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互方法，可概括為(1)設(shè)計者進行用戶分析，根據(jù)用戶分析結(jié)果設(shè)定用戶可能關(guān)注的興趣區(qū)域；(2)事件交互管理器實時接收分析眼動儀產(chǎn)生的數(shù)據(jù)，計算用戶眼球在屏幕上的焦點位置；(3)事件交互管理器根據(jù)得到的用戶眼球在屏幕上的焦點位置，分析用戶關(guān)注的興趣區(qū)域；(4)事件交互管理器將分析用戶關(guān)注的興趣區(qū)域結(jié)果作為非接觸性指令控制人機交互界面上仿生代理的表情、動作和語音，對用戶進行智能反饋，實現(xiàn)自然、和諧的人機交互。根據(jù)本發(fā)明搭建的基于仿生代理與視線追蹤興趣區(qū)域分析的人機交互系統(tǒng)包括(1)眼動儀；(2)人機交互界面；(3)事件交互管理器；(4)仿生代理。
文檔編號G06F3/01GK102221881SQ20111013191
公開日2011年10月19日 申請日期2011年5月20日 優(yōu)先權(quán)日2011年5月20日
發(fā)明者毛峽, 羅納 申請人:北京航空航天大學(xué)