專(zhuān)利名稱(chēng)：信息處理設(shè)備、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及信息處理設(shè)備、信息處理方法及程序。具體地，本公開(kāi)涉及用于基于用戶(hù)的語(yǔ)音等來(lái)進(jìn)行各種處理的信息處理設(shè)備、信息處理方法和程序。
背景技術(shù)：
當(dāng)使用諸如個(gè)人計(jì)算機(jī)(PC)、電視機(jī)和視頻記錄器/播放器等各種家用設(shè)備時(shí)， 用戶(hù)操作每個(gè)設(shè)備所配備的輸入單元、遙控器等，以使得該設(shè)備執(zhí)行需要的處理。例如，當(dāng)使用PC時(shí)，通常使用鍵盤(pán)或鼠標(biāo)作為輸入裝置。另外，對(duì)于電視機(jī)或視頻記錄器/播放器， 經(jīng)常使用遙控器來(lái)進(jìn)行諸如切換頻道和選擇要再現(xiàn)的內(nèi)容等各種處理。針對(duì)利用用戶(hù)的語(yǔ)音和動(dòng)作來(lái)執(zhí)行對(duì)所述各種設(shè)備的指令的系統(tǒng)，已經(jīng)進(jìn)行了各種研究。具體地，這種系統(tǒng)的示例包括用于利用話(huà)音識(shí)別來(lái)識(shí)別用戶(hù)的語(yǔ)音的系統(tǒng)以及利用圖像處理來(lái)識(shí)別用戶(hù)的動(dòng)作和姿勢(shì)的系統(tǒng)。除了諸如遙控器、鍵盤(pán)和鼠標(biāo)等常用輸入裝置之外，有一種用于利用多種包括話(huà)音識(shí)別和圖像識(shí)別的各種溝通模式與用戶(hù)溝通的接口被稱(chēng)為多模式接口(multi-modal interface)。美國(guó)第6，988，072號(hào)專(zhuān)利公開(kāi)了有關(guān)多模式接口的相關(guān)技術(shù)的一個(gè)示例。然而，用于這種多模式接口等的話(huà)音識(shí)別設(shè)備和圖像識(shí)別設(shè)備在性能上具有局限性，限制了可識(shí)別的用戶(hù)的語(yǔ)音和動(dòng)作。因此，在當(dāng)前環(huán)境下，經(jīng)常出現(xiàn)用戶(hù)意圖未被正確地傳達(dá)到系統(tǒng)側(cè)的情況。對(duì)于信息處理設(shè)備，存在向用戶(hù)提供信息或?qū)τ脩?hù)的請(qǐng)求進(jìn)行響應(yīng)的各種方法， 例如在顯示單元上顯示消息以及通過(guò)揚(yáng)聲器來(lái)輸出話(huà)音和聲響效果等。然而，基于話(huà)音的描述對(duì)于某些用戶(hù)來(lái)說(shuō)可能太饒舌了，而且也可能被某些用戶(hù)所錯(cuò)過(guò)。另外，當(dāng)在顯示單元上呈現(xiàn)描述和幫助信息時(shí)，如果用戶(hù)沒(méi)有在看該顯示單元，那么這些描述和幫助信息就是無(wú)用的。下列文獻(xiàn)是公開(kāi)了用于控制來(lái)自系統(tǒng)的響應(yīng)的結(jié)構(gòu)的現(xiàn)有技術(shù)的例。公開(kāi)號(hào)為2004-333543的未經(jīng)審查的日本專(zhuān)利申請(qǐng)公開(kāi)了一種話(huà)音交互系統(tǒng)和話(huà)音交互方法，其描述了用于提供能夠根據(jù)用戶(hù)使用話(huà)音交互系統(tǒng)的學(xué)習(xí)程度來(lái)改變系統(tǒng)側(cè)的話(huà)音輸出的話(huà)音交互系統(tǒng)和話(huà)音交互方法的結(jié)構(gòu)。另外，公開(kāi)號(hào)為2005-202076的未經(jīng)審查的日本專(zhuān)利申請(qǐng)公開(kāi)了一種用于根據(jù)用戶(hù)與系統(tǒng)之間的距離來(lái)更順利地進(jìn)行交互的技術(shù)。具體地，在所提出的技術(shù)中，當(dāng)機(jī)器人和用戶(hù)彼此間隔開(kāi)時(shí)，存在用戶(hù)聽(tīng)不到機(jī)器人發(fā)出的話(huà)音的高可能性，因此，將機(jī)器人的話(huà)音的音量調(diào)高，以便順利交互。然而，這些文獻(xiàn)所描述的結(jié)構(gòu)針對(duì)特定點(diǎn)(例如用戶(hù)的學(xué)習(xí)程度或距離)的處理， 而沒(méi)有利用來(lái)自各個(gè)觀察點(diǎn)的觀測(cè)信息。另外，公開(kāi)號(hào)為2008-217444的未經(jīng)審查的日本專(zhuān)利申請(qǐng)公開(kāi)了一種用于與用戶(hù)交互的設(shè)備、方法及程序。具體地，基于來(lái)自用戶(hù)的密切觀察的狀態(tài)，來(lái)改變響應(yīng)，以便自然交互。當(dāng)用戶(hù)的位置遠(yuǎn)離電視機(jī)或者當(dāng)其視線(xiàn)并非指向電視機(jī)時(shí)，利用話(huà)音來(lái)進(jìn)行對(duì)來(lái)自用戶(hù)的請(qǐng)求的響應(yīng)。為此，利用紅外線(xiàn)或聲波來(lái)檢測(cè)與用戶(hù)的距離以及視線(xiàn)的方向。然而， 在該結(jié)構(gòu)中，用戶(hù)不利地佩戴某種裝置。

發(fā)明內(nèi)容
期望提供一種能夠監(jiān)視用戶(hù)的狀態(tài)并根據(jù)用戶(hù)的狀態(tài)以最優(yōu)的方法向用戶(hù)提供來(lái)自設(shè)備的消息和幫助信息的信息處理設(shè)備、信息處理方法及程序。在本公開(kāi)的一個(gè)實(shí)施例中，信息處理設(shè)備包括圖像分析單元，用于執(zhí)行對(duì)相機(jī)拍攝的圖像進(jìn)行分析的處理；話(huà)音分析單元，用于執(zhí)行對(duì)從麥克風(fēng)輸入的話(huà)音進(jìn)行分析的處理；以及數(shù)據(jù)處理單元，用于接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果的輸入，并控制要輸出給用戶(hù)的信息。所述數(shù)據(jù)處理單元基于系統(tǒng)狀態(tài)信息以及從圖像分析結(jié)果和話(huà)音分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將所述信息輸出給用戶(hù)。另外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，所述數(shù)據(jù)處理單元基于圖像分析單元的分析結(jié)果來(lái)確定用戶(hù)是否正在關(guān)注信息處理設(shè)備，并且在確定用戶(hù)沒(méi)有在關(guān)注該信息處理設(shè)備時(shí)，利用話(huà)音或者聲響效果來(lái)進(jìn)行信息的輸出。此外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，所述數(shù)據(jù)處理單元基于圖像分析單元的分析結(jié)果來(lái)確定用戶(hù)是否在信息處理設(shè)備前面，并且在確定了用戶(hù)不在信息處理設(shè)備前面時(shí)，利用話(huà)音或者聲響效果來(lái)進(jìn)行信息的輸出。另外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，所述數(shù)據(jù)處理單元在基于系統(tǒng)狀態(tài)信息而確定了該信息處理設(shè)備正在向顯示單元播放內(nèi)容時(shí)執(zhí)行對(duì)顯示單元的信息輸出。另外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，所述數(shù)據(jù)處理單元基于系統(tǒng)狀態(tài)信息來(lái)確定該信息處理設(shè)備是否要向用戶(hù)輸出告警，并且在確定要輸出告警時(shí)，利用話(huà)音或聲響效果來(lái)執(zhí)行信息的輸出。另外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，所述數(shù)據(jù)處理單元通過(guò)基于與用戶(hù)之前導(dǎo)致的錯(cuò)誤有關(guān)的信息改變要輸出給用戶(hù)的信息的等級(jí)來(lái)控制輸出。另外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，當(dāng)在預(yù)定時(shí)段內(nèi)由同一用戶(hù)引起的同一類(lèi)型的錯(cuò)誤的次數(shù)超過(guò)預(yù)定閾值時(shí)，所述數(shù)據(jù)處理單元進(jìn)行控制，以輸出詳細(xì)說(shuō)明。另外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，當(dāng)在預(yù)定時(shí)段內(nèi)由同一用戶(hù)相繼引起的多個(gè)不同類(lèi)型的錯(cuò)誤的次數(shù)超過(guò)預(yù)定閾值時(shí)，所述數(shù)據(jù)處理單元進(jìn)行控制，以輸出詳細(xì)說(shuō)明。另外，在本公開(kāi)的實(shí)施例的信息處理設(shè)備中，所述數(shù)據(jù)處理單元基于用于指示所述用戶(hù)之前在所述信息處理設(shè)備上的操作的操作歷史信息來(lái)確定所述用戶(hù)使用所述信息處理設(shè)備的技巧的等級(jí)，并且在確定所述用戶(hù)不是初學(xué)者時(shí)，進(jìn)行控制以輸出簡(jiǎn)要說(shuō)明，而在確定所述用戶(hù)為初學(xué)者時(shí)，輸出正常等級(jí)的說(shuō)明或詳細(xì)說(shuō)明。另外，在本公開(kāi)的另一實(shí)施例中，一種要在信息處理設(shè)備中進(jìn)行的信息處理方法包括利用圖像分析單元對(duì)相機(jī)拍攝的圖像進(jìn)行分析；利用話(huà)音分析單元對(duì)從麥克風(fēng)輸入的話(huà)音進(jìn)行分析；以及利用數(shù)據(jù)處理單元來(lái)接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果的輸入，并控制要輸出給用戶(hù)的信息，其中，基于系統(tǒng)狀態(tài)信息以及從圖像分析結(jié)果和話(huà)音分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將所述信息輸出給用戶(hù)。另外，在本公開(kāi)的另一實(shí)施例中，一種程序使得信息處理設(shè)備進(jìn)行包括以下的信息處理利用圖像分析單元對(duì)相機(jī)拍攝的圖像進(jìn)行分析；利用話(huà)音分析單元對(duì)從麥克風(fēng)輸入的話(huà)音進(jìn)行分析；以及利用數(shù)據(jù)處理單元來(lái)接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果的輸入，并控制要輸出給用戶(hù)的信息，其中，基于系統(tǒng)狀態(tài)信息以及從圖像分析結(jié)果和話(huà)音分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將所述信息輸出給用戶(hù)。注意，可以將本公開(kāi)的上述另一實(shí)施例的程序的示例提供到能夠執(zhí)行來(lái)自存儲(chǔ)介質(zhì)或通信介質(zhì)的、計(jì)算機(jī)可讀格式的各種程序代碼的計(jì)算機(jī)系統(tǒng)和信息處理設(shè)備。通過(guò)以計(jì)算機(jī)可讀格式提供的程序，可以在信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)上執(zhí)行根據(jù)該程序的處理。根據(jù)下文中將要描述的基于本公開(kāi)的實(shí)施例和附圖的更為詳細(xì)的說(shuō)明，本公開(kāi)的實(shí)施例的其他特征和優(yōu)點(diǎn)將變得明顯。注意，本說(shuō)明書(shū)中的系統(tǒng)是指多個(gè)設(shè)備的邏輯集合機(jī)構(gòu)，而并非局限于各個(gè)設(shè)備在一個(gè)機(jī)箱內(nèi)的系統(tǒng)。根據(jù)本公開(kāi)的實(shí)施例，提供了以根據(jù)用戶(hù)狀態(tài)或者系統(tǒng)狀態(tài)而改變的信息提供模式或等級(jí)來(lái)提供信息的設(shè)備和方法。具體地，數(shù)據(jù)處理單元接收用于執(zhí)行對(duì)相機(jī)拍攝的圖像進(jìn)行分析的處理的圖像分析單元的分析結(jié)果和用于執(zhí)行對(duì)從麥克風(fēng)輸入的話(huà)音進(jìn)行分析的處理的話(huà)音分析單元的分析結(jié)果的輸入，并控制向用戶(hù)的信息輸出。數(shù)據(jù)處理單元基于從圖像分析結(jié)果和話(huà)音分析結(jié)果中的至少任一個(gè)中獲得的用戶(hù)信息以及系統(tǒng)狀態(tài)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的模式向用戶(hù)輸出信息。利用該處理， 可以根據(jù)用戶(hù)的狀態(tài)來(lái)可靠地傳達(dá)信息。


圖1是示出根據(jù)本公開(kāi)的一個(gè)實(shí)施例的信息處理設(shè)備的使用的一個(gè)示例的圖；圖2是根據(jù)本公開(kāi)的一個(gè)實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)的框圖；圖3是根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備的詳細(xì)結(jié)構(gòu)的一個(gè)示例的框圖；圖4是示出由根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備進(jìn)行的處理的一個(gè)示例的流程圖；圖5是示出由根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備進(jìn)行的處理的一個(gè)示例的圖；圖6是示出由根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備進(jìn)行的處理的一個(gè)示例的流程圖；以及圖7示出根據(jù)本公開(kāi)的一個(gè)實(shí)施例的信息處理設(shè)備的硬件結(jié)構(gòu)的一個(gè)示例的圖。
具體實(shí)施例方式下文參考附圖詳細(xì)描述根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備、信息處理方法及程序。注意，下文的描述是按照下列各項(xiàng)來(lái)進(jìn)行的。1.要由根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備進(jìn)行的處理的總體概述2.根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)的示例3.向用戶(hù)輸出信息的處理的具體示例
4.信息處理設(shè)備的硬件結(jié)構(gòu)的示例1.要由根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備進(jìn)行的處理的總體概述根據(jù)本公開(kāi)的一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，該信息處理設(shè)備包括圖像分析單元，用于對(duì)來(lái)自圖像輸入單元的圖像進(jìn)行分析；話(huà)音分析單元，用于對(duì)從話(huà)音輸入單元輸入的話(huà)音進(jìn)行分析；以及數(shù)據(jù)處理單元，用于接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果，并控制要輸出給用戶(hù)的信息。該數(shù)據(jù)處理單元基于系統(tǒng)狀態(tài)信息以及從所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將所述信息輸出給用戶(hù)。首先，參考圖1來(lái)描述要由根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備進(jìn)行的處理的總體概述。在圖1中示出了電視機(jī)，作為根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備的一個(gè)示例。信息處理設(shè)備100例如進(jìn)行如下處理顯示廣播內(nèi)容的處理、播放記錄于內(nèi)置視頻記錄器/播放器(例如硬盤(pán)、DVD或藍(lán)光盤(pán))中的內(nèi)容的處理以及將節(jié)目記錄在視頻記錄器/播放器中的處理。信息處理設(shè)備100前面有多個(gè)用戶(hù)。在圖1所示的示例中，有用戶(hù)all、用戶(hù)b 12 和用戶(hù)c 13。這些用戶(hù)向信息處理設(shè)備100提出各種請(qǐng)求。這些請(qǐng)求的示例包括頻道切換、音量調(diào)整、開(kāi)始記錄視頻、顯示所記錄視頻的粗略列表(at-a-glance list)、該列表中內(nèi)容的選擇播放、停止播放以及快進(jìn)等請(qǐng)求。每個(gè)用戶(hù)利用話(huà)音(即語(yǔ)音)來(lái)進(jìn)行這些請(qǐng)求。信息處理設(shè)備100具有相機(jī)101 以及包括麥克風(fēng)和揚(yáng)聲器的話(huà)音輸入/輸出單元102。用戶(hù)a 11至用戶(hù)c 13說(shuō)的話(huà)通過(guò)包括麥克風(fēng)和揚(yáng)聲器的話(huà)音輸入/輸出單元102而被輸入到信息處理設(shè)備100。用戶(hù)a 11 至用戶(hù)c 13的圖像通過(guò)相機(jī)101而被輸入到信息處理設(shè)備100。信息處理設(shè)備100分析這些輸入信息，確定將由該設(shè)備進(jìn)行的動(dòng)作并進(jìn)行所述動(dòng)作。當(dāng)用戶(hù)的請(qǐng)求被理解時(shí)，執(zhí)行根據(jù)該請(qǐng)求的處理，例如，切換頻道或選擇并播放內(nèi)容。另外，本公開(kāi)的實(shí)施例的信息處理設(shè)備100分析用戶(hù)面部的朝向、所關(guān)注的方向、 錯(cuò)誤發(fā)生的狀態(tài)、系統(tǒng)的當(dāng)前狀態(tài)等，并基于該分析的結(jié)果以改變的、向用戶(hù)提供信息的等級(jí)或模式將信息提供給用戶(hù)。這些具體處理將在下文中進(jìn)一步描述。2.根據(jù)本公開(kāi)實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)的示例接下來(lái)，參考圖2來(lái)描述本公開(kāi)的實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)的一個(gè)示例。圖 2所示的信息處理設(shè)備100例如對(duì)應(yīng)于圖1所示的信息處理設(shè)備100。注意，本公開(kāi)的實(shí)施例的信息處理設(shè)備并不局限于電視機(jī)，而可以是各種家用設(shè)備(如PC、視頻記錄器/播放器等)中的任一種。也就是說(shuō)，信息處理設(shè)備根據(jù)用戶(hù)的請(qǐng)求來(lái)進(jìn)行各種處理。如圖2中所示，信息處理設(shè)備100具有圖像輸入單元(相機(jī))201、圖像分析單元 202、話(huà)音輸入單元(麥克風(fēng))203、話(huà)音分析單元204、數(shù)據(jù)處理單元205、話(huà)音輸出單元(揚(yáng)聲器)206和圖像輸出單元(顯示單元)207。圖像輸入單元(相機(jī))201接收信息處理設(shè)備100周?chē)膱D像的輸入，例如，接收用戶(hù)的圖像。圖像輸入單元(相機(jī))201拍攝的圖像被輸入到圖像分析單元202。圖像分析單元202利用例如預(yù)先存儲(chǔ)在存儲(chǔ)單元中的注冊(cè)信息(如用戶(hù)的面部信息)來(lái)識(shí)別所拍攝的圖像中所包含的用戶(hù)。具體地，對(duì)與用戶(hù)位置、該用戶(hù)是誰(shuí)等有關(guān)的信息進(jìn)行分析。該分析信息被輸入到數(shù)據(jù)處理單元205。話(huà)音輸入單元(麥克風(fēng))203接收信息處理設(shè)備100周?chē)脑?huà)音信息的輸入，例如，接收用戶(hù)的語(yǔ)音。輸入到話(huà)音輸入單元(麥克風(fēng))203的話(huà)音信息被輸入到話(huà)音分析單元204。話(huà)音分析單元204在存儲(chǔ)單元中具有用于話(huà)音分析的字典，利用該字典來(lái)分析用戶(hù)說(shuō)的話(huà)，然后將分析信息輸出到數(shù)據(jù)處理單元205。話(huà)音分析信息是從話(huà)音分析單元204輸入到數(shù)據(jù)處理單元205的，并且圖像分析信息是從圖像分析單元202輸入到數(shù)據(jù)處理單元205的。根據(jù)所輸入的信息，數(shù)據(jù)處理單元205確定要由信息處理設(shè)備進(jìn)行的處理(動(dòng)作)。也就是說(shuō)，如上所述，當(dāng)用戶(hù)的請(qǐng)求被理解時(shí)，執(zhí)行根據(jù)該請(qǐng)求的處理，例如，切換頻道或者選擇并播放內(nèi)容。另外，數(shù)據(jù)處理單元205分析例如用戶(hù)面部的朝向、所關(guān)注的方向、錯(cuò)誤發(fā)生的狀態(tài)和系統(tǒng)的當(dāng)前狀態(tài)等，并基于該分析結(jié)果以改變的向用戶(hù)提供信息的等級(jí)或模式將信息提供給用戶(hù)。信息輸出處理為通過(guò)話(huà)音輸出單元(揚(yáng)聲器)206的話(huà)音輸出和通過(guò)圖像輸出單元(顯示單元)207的圖像輸出中的任一個(gè)。其具體細(xì)節(jié)將在下文中進(jìn)一步描述。圖3是圖2所示的信息處理設(shè)備100的詳細(xì)結(jié)構(gòu)的圖。圖像分析單元202具有面部和面部朝向識(shí)別單元311和人識(shí)別單元312。話(huà)音分析單元204具有話(huà)音檢測(cè)單元321和含義檢測(cè)單元322。數(shù)據(jù)處理單元205具有用戶(hù)信息管理單元331、系統(tǒng)狀態(tài)控制單元333、系統(tǒng)響應(yīng)生成單元334和系統(tǒng)響應(yīng)輸出單元335。在圖像分析單元202的面部和面部朝向識(shí)別單元311和人識(shí)別單元312中，根據(jù)從圖像輸入單元(相機(jī))201輸入的拍攝圖像，確定以預(yù)定的幀間隔針對(duì)每一采樣時(shí)間的幀圖像中是否存在面部或人。如果存在，則估計(jì)面部特性(如面部的角度、估計(jì)的年齡和性別等)，分析面部的朝向以及對(duì)面部進(jìn)行識(shí)別等。注意，用于這些處理的字典數(shù)據(jù)和面部圖像信息被注冊(cè)于圖像分析單元202的存儲(chǔ)器中。例如，諸如面部識(shí)別等處理是基于利用預(yù)先注冊(cè)的面部圖像數(shù)據(jù)、通過(guò)匹配處理根據(jù)經(jīng)由圖像輸入單元201輸入的圖像而識(shí)別的人的面部來(lái)進(jìn)行的。在話(huà)音分析單元204的話(huà)音檢測(cè)單元321和含義檢測(cè)單元322中，基于從話(huà)音輸入單元(麥克風(fēng))203輸入的話(huà)音數(shù)據(jù)，估計(jì)話(huà)音源的方向，檢測(cè)話(huà)音分段，理解含義，并添加可靠性度(degree of reliability)等。話(huà)音分析單元204在存儲(chǔ)單元中具有用于話(huà)音分析的字典，通過(guò)利用該字典來(lái)分析用戶(hù)說(shuō)的話(huà)，并將分析信息輸出到數(shù)據(jù)處理單元205。在該話(huà)音分析處理中，進(jìn)行拒絕非話(huà)音的聲音而僅獲取人的話(huà)音的處理。另外，進(jìn)行基于所獲得的話(huà)音信息來(lái)提取含義的處理。該處理例如作為利用話(huà)音分析單元204中保存的字典數(shù)據(jù)的匹配處理的基礎(chǔ)來(lái)進(jìn)行。在該過(guò)程中，例如，如果沒(méi)有注冊(cè)的語(yǔ)句相匹配， 則數(shù)據(jù)被作為沒(méi)有意義的語(yǔ)音而被拒絕。另外，計(jì)算話(huà)音識(shí)別的可靠性度。該可靠性度例如基于與話(huà)音分析單元204中保存的字典數(shù)據(jù)的匹配度來(lái)計(jì)算。作為與預(yù)設(shè)的閾值等的比較結(jié)果而被確定為可靠性度低的語(yǔ)音被拒絕。如圖3中所示，數(shù)據(jù)處理單元205具有用戶(hù)信息管理單元331、系統(tǒng)狀態(tài)控制單元 333、系統(tǒng)響應(yīng)生成單元334和系統(tǒng)響應(yīng)輸出單元335。用戶(hù)信息管理單元331接收來(lái)自面部和面部朝向識(shí)別單元311和人識(shí)別單元312的輸出信息的輸入，例如，有關(guān)圖像中是否包含面部的信息以及(如果包含)對(duì)該面部的特性(如面部的角度、估計(jì)的年齡和性別等)的估計(jì)的結(jié)果、面部朝向的分析及面部識(shí)別等信息的輸入。另外，從話(huà)音分析單元204的含義檢測(cè)單元322接收有關(guān)語(yǔ)音的細(xì)節(jié)的信息的輸入。用戶(hù)信息管理單元331將這些輸入信息作為用戶(hù)管理信息來(lái)保存并管理。注意，這些信息是隨著時(shí)間而順序更新的，并且用戶(hù)信息管理單元331將這些信息作為與每個(gè)采樣時(shí)間(t，t+1，t+2. · ·)對(duì)應(yīng)的用戶(hù)信息記錄在存儲(chǔ)器中以便管理。用戶(hù)信息管理單元331中保存的用戶(hù)信息被提供給系統(tǒng)狀態(tài)控制單元333。系統(tǒng)狀態(tài)控制單元333獲取并保存系統(tǒng)(信息處理設(shè)備)內(nèi)部的狀態(tài)，并使用用戶(hù)信息和系統(tǒng)狀態(tài)二者來(lái)確定從系統(tǒng)(信息處理設(shè)備100)向用戶(hù)提供信息的等級(jí)(詳細(xì)的/正常的/ 簡(jiǎn)要的)和模式。具體地，(1)確定使用下列(la)、(Ib)和(Ic)中的哪一個(gè)說(shuō)明等級(jí)作為輸出信息的等級(jí)， 以便輸出信息(Ia)輸出簡(jiǎn)要說(shuō)明(Ib)輸出正常說(shuō)明(Ic)輸出詳細(xì)說(shuō)明另外，(2)確定使用下列(2a)、(2b)和(2c)中的哪一個(gè)模式或其組合作為輸出模式，以便向用戶(hù)提供系統(tǒng)響應(yīng)(2a)話(huà)音輸出(2b)文本顯示輸出(2c)利用聲響效果和文本顯示來(lái)輸出系統(tǒng)響應(yīng)生成單元334根據(jù)系統(tǒng)狀態(tài)控制單元333確定的響應(yīng)等級(jí)和模式來(lái)生成系統(tǒng)響應(yīng)。系統(tǒng)響應(yīng)輸出單元335輸出系統(tǒng)響應(yīng)生成單元334所生成的系統(tǒng)響應(yīng)(例如給用戶(hù)的幫助信息)。輸出經(jīng)由話(huà)音輸出單元(揚(yáng)聲器)206和圖像輸出單元(顯示單元)207 來(lái)進(jìn)行。3.向用戶(hù)輸出信息的處理的具體示例
接下來(lái)，描述向用戶(hù)輸出信息的處理的一個(gè)具體示例，作為本公開(kāi)的實(shí)施例的信息處理設(shè)備所執(zhí)行的處理的一個(gè)示例。如上所述，在被施加話(huà)音識(shí)別或圖像識(shí)別的多模式接口中，話(huà)音識(shí)別設(shè)備和圖像識(shí)別設(shè)備的性能存在局限，從而限制了可理解的用戶(hù)語(yǔ)音和動(dòng)作。因此，使用更為有效的等級(jí)和模式從系統(tǒng)(信息處理設(shè)備100)向用戶(hù)提供信息是重要的。例如，本公開(kāi)的實(shí)施例的信息處理設(shè)備的處理如下所述。當(dāng)狀態(tài)被確定為下列中的任一個(gè)時(shí)，在顯示單元上顯示諸如文本等信息并且還輸出聲響效果和話(huà)音*當(dāng)需要用戶(hù)的響應(yīng)時(shí)(如，當(dāng)確定語(yǔ)音的可靠性度低時(shí)，再次向用戶(hù)發(fā)出詢(xún)問(wèn)"這是XXX嗎？“)*當(dāng)從系統(tǒng)輸出告警時(shí)
(如，當(dāng)發(fā)出語(yǔ)音來(lái)請(qǐng)求難以進(jìn)行的轉(zhuǎn)換(transition)作為狀態(tài)轉(zhuǎn)換時(shí))*當(dāng)用戶(hù)未在關(guān)注系統(tǒng)時(shí)(當(dāng)用戶(hù)沒(méi)有面向系統(tǒng)時(shí))女當(dāng)系統(tǒng)前面無(wú)人發(fā)出語(yǔ)音時(shí)*當(dāng)幾秒或幾十秒內(nèi)沒(méi)有返回來(lái)自用戶(hù)的、對(duì)于已經(jīng)發(fā)出的系統(tǒng)消息的響應(yīng)時(shí)*當(dāng)用戶(hù)在系統(tǒng)前面、來(lái)自系統(tǒng)的響應(yīng)作為文本被發(fā)出而過(guò)了一會(huì)兒還沒(méi)來(lái)響應(yīng)時(shí)在上述各情況下，例如，在顯示單元上顯示諸如文本等信息，并且還輸出聲響效果和話(huà)音。另外，當(dāng)作為話(huà)音的、對(duì)與之前相同的錯(cuò)誤的反饋被返回時(shí)，提供使用簡(jiǎn)要說(shuō)明的 fn息ο另外，當(dāng)確定用戶(hù)在系統(tǒng)前面同時(shí)正在播放內(nèi)容時(shí)，僅顯示文本，而不輸出話(huà)音。這樣，本公開(kāi)的實(shí)施例的信息處理設(shè)備根據(jù)用戶(hù)的狀態(tài)和系統(tǒng)的狀態(tài)來(lái)確定最優(yōu)的信息等級(jí)(詳細(xì)的/正常的/簡(jiǎn)要的)和信息輸出模式，并以所確定的等級(jí)、所確定的模式進(jìn)行信息的輸出。將分別參考圖4和圖6示出的流程圖來(lái)描述下列由本公開(kāi)的實(shí)施例的信息處理設(shè)備的數(shù)據(jù)處理單元205執(zhí)行的用于系統(tǒng)響應(yīng)的處理中的每一個(gè)(a)等級(jí)確定處理(b)模式確定處理首先，參考圖4示出的流程圖來(lái)描述由數(shù)據(jù)處理單元205執(zhí)行的確定系統(tǒng)響應(yīng)的等級(jí)的處理序列。首先，在步驟S101，確定同一用戶(hù)是否已導(dǎo)致了與之前相同的類(lèi)型的錯(cuò)誤(例如在同一天中)。數(shù)據(jù)處理單元205的系統(tǒng)狀態(tài)控制單元333記錄來(lái)自用戶(hù)信息管理單元的用戶(hù)信息以及與系統(tǒng)執(zhí)行的處理、已發(fā)生的錯(cuò)誤等有關(guān)的信息，作為日志信息。具體地，對(duì)于所識(shí)別的每一用戶(hù)，系統(tǒng)狀態(tài)控制單元333記錄與系統(tǒng)引起的處理錯(cuò)誤有關(guān)的細(xì)節(jié)。在步驟S101，當(dāng)發(fā)生新錯(cuò)誤時(shí)，通過(guò)參考日志信息來(lái)確定是否由同一用戶(hù)引起了與之前相同的錯(cuò)誤。當(dāng)步驟SlOl中的確定結(jié)果為肯定時(shí)，處理進(jìn)行到步驟S102，而當(dāng)所述確定結(jié)果為否定時(shí)，處理進(jìn)行到步驟S103。當(dāng)步驟SlOl中的確定結(jié)果為肯定時(shí)，即當(dāng)確定同一用戶(hù)已引起了與之前相同的錯(cuò)誤(例如在同一天)時(shí)，處理進(jìn)行到步驟S102;在步驟S102中，確定自從由系統(tǒng)向用戶(hù)進(jìn)行了詳細(xì)說(shuō)明后與錯(cuò)誤頻率有關(guān)的特征量是否超過(guò)一閾值。例如，當(dāng)該閾值被設(shè)置為三次時(shí)，如果當(dāng)前的新錯(cuò)誤為第四次，則步驟S102的確定結(jié)果為肯定。若當(dāng)前的新錯(cuò)誤為第二次，則步驟S102的確定結(jié)果為否定。當(dāng)步驟S102的確定結(jié)果為肯定時(shí)，處理進(jìn)行到步驟S111，并且產(chǎn)生具有作為將要從系統(tǒng)輸出的說(shuō)明的詳細(xì)說(shuō)明的輸出。另一方面，當(dāng)步驟S102的確定結(jié)果為否定時(shí)，處理進(jìn)行到步驟S112，并且產(chǎn)生具有作為將要從系統(tǒng)輸出的說(shuō)明的簡(jiǎn)要說(shuō)明的輸出。另外，當(dāng)步驟SlOl的確定的結(jié)果為否定時(shí)，即當(dāng)確定同一用戶(hù)沒(méi)有發(fā)生與之前相同的錯(cuò)誤(例如在同一天)時(shí)，處理進(jìn)行到步驟S103，在步驟S103中確定與相繼錯(cuò)誤的發(fā)生有關(guān)的特征量是否超過(guò)預(yù)定的閾值。該處理要確定用戶(hù)是否引起了相繼發(fā)生的不同錯(cuò)誤(而不是相同的錯(cuò)誤)。也就是說(shuō)，確定多個(gè)不同類(lèi)型的錯(cuò)誤相繼發(fā)生的次數(shù)是否超過(guò)了預(yù)定的閾值。例如，該處理要確定是否已導(dǎo)致多個(gè)不同類(lèi)型的錯(cuò)誤(如錯(cuò)誤A、錯(cuò)誤B和錯(cuò)誤C)相繼發(fā)生。例如，當(dāng)所述閾值被設(shè)置為3次時(shí)，如果確定已導(dǎo)致4種或更多類(lèi)型的錯(cuò)誤相繼發(fā)生，則步驟S103的確定結(jié)果為肯定的。另一方面，如果確定已導(dǎo)致三種類(lèi)型或更少類(lèi)型的錯(cuò)誤相繼發(fā)生，則步驟 S103的確定結(jié)果為否定的。當(dāng)步驟S103的確定結(jié)果為肯定時(shí)，即當(dāng)有關(guān)相繼錯(cuò)誤的發(fā)生的特征量超過(guò)預(yù)定的閾值時(shí)，處理進(jìn)行到步驟S111，并且產(chǎn)生具有作為將要從系統(tǒng)輸出的說(shuō)明的詳細(xì)說(shuō)明的輸出。另一方面，當(dāng)步驟S103的確定結(jié)果為否定時(shí)，處理進(jìn)行到步驟S104。在步驟S104，確定用戶(hù)是否不習(xí)慣操作該系統(tǒng)(信息處理設(shè)備100)的初學(xué)者。該確定處理是基于上述日志信息來(lái)執(zhí)行的。也就是說(shuō)，該確定是根據(jù)用戶(hù)使用該設(shè)備的次數(shù)、 迄今發(fā)生錯(cuò)誤的次數(shù)以及錯(cuò)誤發(fā)生的細(xì)節(jié)等來(lái)進(jìn)行的。當(dāng)步驟S104的確定結(jié)果為肯定時(shí)，即當(dāng)確定用戶(hù)為不習(xí)慣操作該系統(tǒng)(信息處理設(shè)備100)的初學(xué)者時(shí)，處理進(jìn)行到步驟S113，以輸出正常說(shuō)明或詳細(xì)說(shuō)明。注意，正常說(shuō)明是比詳細(xì)說(shuō)明簡(jiǎn)潔而比簡(jiǎn)要說(shuō)明詳細(xì)的說(shuō)明。另一方面，當(dāng)步驟S104的確定結(jié)果為否定時(shí)，即當(dāng)確定用戶(hù)并非不習(xí)慣操作該系統(tǒng)(信息處理設(shè)備100)的初學(xué)者時(shí)，處理進(jìn)行到步驟S112，以輸出簡(jiǎn)要說(shuō)明。圖5示出了說(shuō)明等級(jí)的一個(gè)示例。在圖5中，示出了說(shuō)明等級(jí)(a)到(c)的示例。(a)正常說(shuō)明(b)簡(jiǎn)要說(shuō)明(C)詳細(xì)說(shuō)明(a)例如，正常說(shuō)明如下丨‘由于(如果原因已知)...，因此可以使用XXX"具體地，丨‘由于SOCCER尚未被注冊(cè)為搜索關(guān)鍵詞，因此，請(qǐng)搜索SPORTS"“由于不能識(shí)別語(yǔ)句，因此，請(qǐng)?jiān)僬f(shuō)一次〃“由于不能識(shí)別您的話(huà)音，因此，請(qǐng)稍微大聲一些再說(shuō)一次"(b)例如，簡(jiǎn)要說(shuō)明如下〃請(qǐng)搜索 SPORTS. 〃“您可以使用SPORTS.““請(qǐng)稍微大聲一些再說(shuō)一次〃“請(qǐng)?jiān)僬f(shuō)一次"簡(jiǎn)要說(shuō)明即為這種簡(jiǎn)短的描述。(c)例如，詳細(xì)說(shuō)明如下丨‘向?qū)Т翱谥酗@示了不可用的命令〃“在該屏上可以指定種類(lèi)(如電影或體育等)、頻道(如NHH或東京電視臺(tái)等)......““您可以從電影、體育、動(dòng)畫(huà)、音樂(lè)、雜耍和戲劇中選擇一種““這樣說(shuō)〃把它變?yōu)閄XX.““這樣，本公開(kāi)的實(shí)施例的信息處理設(shè)備基于用戶(hù)的錯(cuò)誤歷史和用戶(hù)的等級(jí)將等級(jí)改變的說(shuō)明輸出給用戶(hù)。接下來(lái)，參考圖6的流程圖來(lái)描述數(shù)據(jù)處理單元205執(zhí)行的確定系統(tǒng)響應(yīng)的模式的處理序列首先，在步驟S201中確定系統(tǒng)(信息處理設(shè)備100)是否正在播放內(nèi)容。這是通過(guò)利用系統(tǒng)狀態(tài)控制單元333的系統(tǒng)監(jiān)視信息來(lái)進(jìn)行的。如果正在播放內(nèi)容，則步驟S201的確定結(jié)果為肯定，處理進(jìn)行到步驟S211，在步驟S211中，在顯示單元上將說(shuō)明顯示為文本。該處理基于這樣的確定即當(dāng)播放內(nèi)容時(shí)用戶(hù)正在觀看顯示單元的可能性很高。另一方面，當(dāng)步驟S201的確定結(jié)果為否定時(shí)，即當(dāng)確定沒(méi)有正在播放內(nèi)容時(shí)，處理進(jìn)行到步驟S202。在步驟S202，確定系統(tǒng)(信息處理設(shè)備100)是否正在等待來(lái)自用戶(hù)的響應(yīng)。具體地，確定自從向用戶(hù)發(fā)出消息過(guò)去的時(shí)間是否等于或長(zhǎng)于一閾值，或者確定系統(tǒng)是否已再次詢(xún)問(wèn)過(guò)。系統(tǒng)狀態(tài)控制單元333記錄系統(tǒng)執(zhí)行的處理并且還記錄處理時(shí)間和過(guò)去的時(shí)間，作為日志信息，并且基于該日志信息進(jìn)行確定。當(dāng)步驟S202中的確定結(jié)果為肯定時(shí)，即當(dāng)確定了系統(tǒng)(信息處理設(shè)備100)處于等待來(lái)自用戶(hù)的響應(yīng)的狀態(tài)時(shí)，處理進(jìn)行到步驟S203。在步驟S203，確定用戶(hù)是否在系統(tǒng)(信息處理設(shè)備100)前面。該確定處理是基于用戶(hù)信息管理單元331從圖像分析單元202獲得的圖像信息來(lái)進(jìn)行的。當(dāng)確定用戶(hù)在系統(tǒng)前面時(shí)，步驟S203的確定結(jié)果為肯定，處理進(jìn)行到步驟S212。在步驟S212，利用話(huà)音或者文本和聲響效果輸出來(lái)自系統(tǒng)的說(shuō)明。由于用戶(hù)在系統(tǒng)(信息處理設(shè)備100)前面、但難以確定用戶(hù)是否正在觀看顯示單元，因此，該處理是要利用話(huà)音和聲響效果來(lái)提示用戶(hù)。另一方面，當(dāng)確定用戶(hù)不在系統(tǒng)前面時(shí)，步驟S203的確定結(jié)果為否定，處理進(jìn)行到步驟S214。在這種情況下，僅利用話(huà)音來(lái)輸出響應(yīng)或說(shuō)明。在該處理中，確定了用戶(hù)未處于觀看顯示單元的狀態(tài)，并且執(zhí)行僅利用話(huà)音來(lái)呼叫用戶(hù)的處理。下面描述步驟S202的確定結(jié)果為否定時(shí)的處理。步驟S202的確定結(jié)果為否定的情況如下確定了系統(tǒng)(信息處理設(shè)備100)未處于等待來(lái)自用戶(hù)的響應(yīng)的狀態(tài)。在這種情況下，處理進(jìn)行到步驟S204。在步驟S204，確定用戶(hù)是否在系統(tǒng)(信息處理設(shè)備100)前面。該確定處理是基于用戶(hù)信息管理單元331從圖像分析單元202獲得的圖像信息來(lái)進(jìn)行的。當(dāng)確定用戶(hù)在系統(tǒng)前面時(shí)，步驟S204的確定結(jié)果為肯定，處理進(jìn)行到步驟S205。另一方面，確定用戶(hù)不在系統(tǒng)前面時(shí)，步驟S204的確定結(jié)果為否定，處理進(jìn)行到步驟S214。在這種情況下，僅利用話(huà)音來(lái)輸出響應(yīng)或說(shuō)明。在該處理中，確定了用戶(hù)未處于觀看顯示單元的狀態(tài)，并且執(zhí)行僅利用話(huà)音來(lái)呼叫用戶(hù)的處理。當(dāng)步驟S204的確定結(jié)果為肯定時(shí)，即當(dāng)確定了用戶(hù)在系統(tǒng)前面時(shí)，處理進(jìn)行到步驟 S205。在步驟S205，確定用戶(hù)是否正在關(guān)注系統(tǒng)(信息處理設(shè)備100)。同樣，該確定處理也是基于用戶(hù)信息管理單元331從圖像分析單元202獲得的圖像信息來(lái)進(jìn)行的。也就是說(shuō)，該確定處理是利用圖像分析單元202生成的有關(guān)面部朝向的信息來(lái)進(jìn)行的。當(dāng)在步驟S205中確定了用戶(hù)正在關(guān)注系統(tǒng)(信息處理設(shè)備100)時(shí)，處理進(jìn)行到步驟S206。另一方面，當(dāng)在步驟S205中確定了用戶(hù)未在關(guān)注系統(tǒng)(信息處理設(shè)備100)時(shí)，處理進(jìn)行到步驟S212。在步驟S212，利用話(huà)音或者文本及聲響效果來(lái)輸出來(lái)自系統(tǒng)的說(shuō)明。由于用戶(hù)在系統(tǒng)(信息處理設(shè)備100)前面、但難以確定用戶(hù)是否正在觀看顯示單元，因此，該處理是要利用話(huà)音和聲響效果來(lái)提示用戶(hù)。當(dāng)在步驟S205中確定了用戶(hù)正在關(guān)注系統(tǒng)(信息處理設(shè)備100)時(shí)，在步驟S206 中確定是否要將來(lái)自系統(tǒng)的告警通知到用戶(hù)。這是通過(guò)利用系統(tǒng)狀態(tài)控制單元333的系統(tǒng)監(jiān)視信息來(lái)進(jìn)行的。當(dāng)要輸出告警時(shí)，步驟S206的確定結(jié)果為肯定。在這種情況下，處理進(jìn)行到步驟 S212。在步驟S212，利用話(huà)音或者文本及聲響效果來(lái)輸出來(lái)自系統(tǒng)的說(shuō)明。由于用戶(hù)在系統(tǒng)(信息處理設(shè)備100)前面、但難以確定用戶(hù)是否正在觀看顯示單元，因此，該處理是要利用話(huà)音和聲響效果來(lái)提示用戶(hù)。另一方面，當(dāng)步驟S206的確定結(jié)果為否定，即當(dāng)沒(méi)有告警要輸出時(shí)，處理進(jìn)行到步驟S213。在步驟S213，以文本、話(huà)音、以及文本和聲響效果的模式中的任一個(gè)來(lái)輸出系統(tǒng)響應(yīng)或說(shuō)明信息。由于已經(jīng)確認(rèn)用戶(hù)正在關(guān)注系統(tǒng)，因此，該處理是基于確定能夠以任何一種模式將系統(tǒng)響應(yīng)輸出通知到用戶(hù)來(lái)進(jìn)行的。這樣，本公開(kāi)的實(shí)施例的信息處理設(shè)備通過(guò)對(duì)用戶(hù)的眼睛響應(yīng)(eyeresponse)來(lái)進(jìn)行控制，其中，根據(jù)用戶(hù)的狀態(tài)和系統(tǒng)的狀態(tài)來(lái)改變說(shuō)明的輸出模式。這種處理能夠增大用戶(hù)確實(shí)接收到來(lái)自系統(tǒng)的消息的可能性。4.信息處理設(shè)備的硬件結(jié)構(gòu)的示例最后，參考圖7來(lái)描述執(zhí)行上述處理的信息處理設(shè)備的硬件結(jié)構(gòu)的一個(gè)示例。 CPU(中央處理單元)701根據(jù)存儲(chǔ)在R0M(只讀存儲(chǔ)器)702或存儲(chǔ)單元708中的程序來(lái)執(zhí)行各種處理。例如，執(zhí)行圖2的信息處理設(shè)備的結(jié)構(gòu)中的話(huà)音分析單元204、圖像分析單元202 和數(shù)據(jù)處理單元205的處理。根據(jù)需要在RAM(隨機(jī)存取存儲(chǔ)器)703中存儲(chǔ)要由CPU 701 執(zhí)行的程序和數(shù)據(jù)。所述CPU 701、R0M702和RAM 703通過(guò)總線(xiàn)704彼此連接。CPU 701通過(guò)總線(xiàn)704連接到輸入/輸出接口 705。輸入單元706 (如相機(jī)、麥克風(fēng)、遙控器、鍵盤(pán)、鼠標(biāo)等)和輸出單元707 (包括顯示器和揚(yáng)聲器等)連接到輸入/輸出接口 705。CPU 701執(zhí)行與從輸入單元706輸入的信息對(duì)應(yīng)的各種處理，并輸出處理結(jié)果例如到輸出單元707。連接到輸入/輸出接口 705的存儲(chǔ)單元708包括例如用于存儲(chǔ)要由CPU701執(zhí)行的程序和各種數(shù)據(jù)的硬盤(pán)。另外，還記錄用于話(huà)音識(shí)別的各種話(huà)音信息和字典數(shù)據(jù)以及用于用戶(hù)識(shí)別的用戶(hù)圖像數(shù)據(jù)等。通信單元709通過(guò)網(wǎng)絡(luò)(如因特網(wǎng)或局域網(wǎng))與外部裝置通信。連接到輸入/輸出接口 705的驅(qū)動(dòng)710驅(qū)動(dòng)可拆卸介質(zhì)711 (如磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器等)，并獲取其中記錄的程序和數(shù)據(jù)。根據(jù)情況需要，所獲取的程序和數(shù)據(jù)被傳送到存儲(chǔ)單元708并存儲(chǔ)在存儲(chǔ)單元708中。在上文中，參考具體實(shí)施例詳細(xì)描述了本公開(kāi)。然而，顯然的是，在不偏離本公開(kāi)的主旨的范圍內(nèi)，本領(lǐng)域的普通技術(shù)人員能夠修改或替換實(shí)施例。也就是說(shuō)，本公開(kāi)僅僅是示例性的，而不應(yīng)被作為限制性的解釋。為了確定本公開(kāi)的主旨，應(yīng)考慮權(quán)利要求書(shū)。本說(shuō)明書(shū)中描述的系列處理可以利用硬件、軟件或二者的組合來(lái)進(jìn)行。當(dāng)用軟件來(lái)執(zhí)行所述處理時(shí)，可以將記錄有處理序列的程序安裝在合并在專(zhuān)用硬件中的計(jì)算機(jī)的存儲(chǔ)器中以便執(zhí)行，或者，可以將程序安裝在能夠執(zhí)行各種處理的通用計(jì)算機(jī)中以便執(zhí)行。例如，可以將程序預(yù)先記錄在記錄介質(zhì)上。程序可以從記錄介質(zhì)安裝到計(jì)算機(jī)上，或者可以通過(guò)網(wǎng)絡(luò)(LAN(局域網(wǎng))或因特網(wǎng))來(lái)接收并安裝在記錄介質(zhì)(如內(nèi)置硬盤(pán))中。注意，本說(shuō)明書(shū)中描述的各種處理不僅可以用所描述的時(shí)間序列來(lái)執(zhí)行，還可以根據(jù)執(zhí)行這些處理的設(shè)備的性能或根據(jù)情況需要而并行或單獨(dú)執(zhí)行。另外，本說(shuō)明書(shū)中的系統(tǒng)是指多個(gè)設(shè)備的邏輯集合結(jié)構(gòu)，而不局限于各個(gè)設(shè)備在一個(gè)機(jī)箱內(nèi)的系統(tǒng)。本公開(kāi)包含與2010年6月2日提交于日本專(zhuān)利局的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP 2010-127111中公開(kāi)的主題相關(guān)的主題，該申請(qǐng)的整體內(nèi)容通過(guò)引用被包含在此。
權(quán)利要求
1.一種信息處理設(shè)備，包括圖像分析單元，執(zhí)行對(duì)來(lái)自圖像輸入單元的圖像進(jìn)行分析的處理；話(huà)音分析單元，執(zhí)行對(duì)從話(huà)音輸入單元輸入的話(huà)音進(jìn)行分析的處理；以及數(shù)據(jù)處理單元，接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果的輸入，并控制要輸出給用戶(hù)的信息；其中所述數(shù)據(jù)處理單元基于系統(tǒng)狀態(tài)信息以及從所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將信息輸出給用戶(hù)。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述數(shù)據(jù)處理單元基于所述圖像分析單元的分析結(jié)果來(lái)確定所述用戶(hù)是否在關(guān)注所述信息處理設(shè)備，并且在確定所述用戶(hù)沒(méi)有在關(guān)注所述信息處理設(shè)備時(shí)，利用話(huà)音或聲響效果來(lái)進(jìn)行信息輸出。
3.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述數(shù)據(jù)處理單元基于所述圖像分析單元的分析結(jié)果來(lái)確定所述用戶(hù)是否在所述信息處理設(shè)備前面，并且在確定所述用戶(hù)不在所述信息處理設(shè)備前面時(shí)，利用話(huà)音或聲響效果來(lái)進(jìn)行信息輸出。
4.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述數(shù)據(jù)處理單元在基于所述系統(tǒng)狀態(tài)信息確定了所述信息處理設(shè)備正在向顯示單元播放內(nèi)容時(shí)，向所述顯示單元進(jìn)行信息輸出ο
5.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述數(shù)據(jù)處理單元基于所述系統(tǒng)狀態(tài)信息來(lái)確定所述信息處理設(shè)備是否要向用戶(hù)輸出告警，并且在確定要輸出告警時(shí)，利用話(huà)音或聲響效果來(lái)進(jìn)行信息輸出。
6.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述數(shù)據(jù)處理單元通過(guò)基于與所述用戶(hù)之前引起的錯(cuò)誤有關(guān)的信息而改變要輸出給所述用戶(hù)的信息的等級(jí)，來(lái)進(jìn)行對(duì)輸出的控制。
7.根據(jù)權(quán)利要求6所述的信息處理設(shè)備，其中，當(dāng)在預(yù)定時(shí)段內(nèi)同一用戶(hù)引起同一類(lèi)型的錯(cuò)誤的次數(shù)超過(guò)預(yù)定閾值時(shí)，所述數(shù)據(jù)處理單元進(jìn)行控制以輸出詳細(xì)說(shuō)明。
8.根據(jù)權(quán)利要求6所述的信息處理設(shè)備，其中，當(dāng)在預(yù)定時(shí)段內(nèi)同一用戶(hù)相繼引起多種不同類(lèi)型的錯(cuò)誤的次數(shù)超過(guò)預(yù)定閾值時(shí)，所述數(shù)據(jù)處理單元進(jìn)行控制以輸出詳細(xì)說(shuō)明。
9.根據(jù)權(quán)利要求6所述的信息處理設(shè)備，其中，所述數(shù)據(jù)處理單元基于用于指示所述用戶(hù)之前在所述信息處理設(shè)備上的操作的操作歷史信息來(lái)確定所述用戶(hù)使用所述信息處理設(shè)備的技巧的等級(jí)，并且在確定所述用戶(hù)不是初學(xué)者時(shí)，進(jìn)行控制以輸出簡(jiǎn)要說(shuō)明，而在確定所述用戶(hù)為初學(xué)者時(shí)，輸出正常等級(jí)的說(shuō)明或詳細(xì)說(shuō)明。
10.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述數(shù)據(jù)處理單元包括用戶(hù)信息管理單元，被配置為管理從所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息；系統(tǒng)狀態(tài)控制單元，被配置為獲得系統(tǒng)狀態(tài)信息并基于所述系統(tǒng)狀態(tài)信息和所述用戶(hù)信息來(lái)確定要輸出給用戶(hù)的信息的等級(jí)以及要輸出給用戶(hù)的信息的輸出模式；系統(tǒng)響應(yīng)生成單元，被配置為根據(jù)所述系統(tǒng)狀態(tài)控制單元確定的等級(jí)和輸出模式來(lái)生成系統(tǒng)響應(yīng)；以及系統(tǒng)響應(yīng)輸出單元，被配置為以所確定的輸出模式將所述系統(tǒng)響應(yīng)輸出給用戶(hù)。
11.一種要在信息處理設(shè)備上執(zhí)行的信息處理方法，該方法包括 利用圖像分析單元對(duì)來(lái)自圖像輸入單元的圖像進(jìn)行分析；利用話(huà)音分析單元對(duì)從話(huà)音輸入單元輸入的話(huà)音進(jìn)行分析；以及利用數(shù)據(jù)處理單元來(lái)接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果的輸入，并控制要輸出給用戶(hù)的信息，其中，基于系統(tǒng)狀態(tài)信息以及從所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將信息輸出給用戶(hù)。
12.—種程序，該程序使得信息處理設(shè)備進(jìn)行包括以下的信息處理 利用圖像分析單元對(duì)來(lái)自圖像輸入單元的圖像進(jìn)行分析；利用話(huà)音分析單元對(duì)從話(huà)音輸入單元輸入的話(huà)音進(jìn)行分析；以及利用數(shù)據(jù)處理單元來(lái)接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果的輸入，并控制要輸出給用戶(hù)的信息，其中，基于系統(tǒng)狀態(tài)信息以及從所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將信息輸出給用戶(hù)。
全文摘要
提供了信息處理設(shè)備、信息處理方法和程序。信息處理設(shè)備包括圖像分析單元，執(zhí)行對(duì)來(lái)自圖像輸入單元的圖像進(jìn)行分析的處理；話(huà)音分析單元，執(zhí)行對(duì)從話(huà)音輸入單元輸入的話(huà)音進(jìn)行分析的處理；以及數(shù)據(jù)處理單元，接收所述圖像分析單元的分析結(jié)果和所述話(huà)音分析單元的分析結(jié)果的輸入，并控制要輸出給用戶(hù)的信息。所述數(shù)據(jù)處理單元基于系統(tǒng)狀態(tài)信息以及從圖像分析結(jié)果和話(huà)音分析結(jié)果中的至少任意一個(gè)中獲得的用戶(hù)信息來(lái)確定要提供給用戶(hù)的信息的輸出模式，并以所確定的輸出模式將信息輸出給用戶(hù)。
文檔編號(hào)G06F3/01GK102331836SQ201110151088
公開(kāi)日2012年1月25日 申請(qǐng)日期2011年5月26日 優(yōu)先權(quán)日2010年6月2日
發(fā)明者烏戈·迪普羅菲奧, 佐野茜, 松田晃一, 澤田務(wù) 申請(qǐng)人:索尼公司