本公開涉及一種信息處理系統(tǒng)和一種控制方法。
背景技術(shù):
在過去,已經(jīng)提出了自動搜索并提供到指定目的地的路線的引導(dǎo)的導(dǎo)航系統(tǒng)。這種導(dǎo)航系統(tǒng)搜索從當(dāng)前位置到指定目的地具有最短行進(jìn)距離和時間的路線并向用戶呈現(xiàn)搜索結(jié)果,或者基于搜索結(jié)果向用戶提供路線引導(dǎo)。
例如,關(guān)于這種導(dǎo)航系統(tǒng)的技術(shù),在專利文獻(xiàn)1中公開了基于用戶的偏好和設(shè)施信息的推薦度提出中途停留點的導(dǎo)航設(shè)備。
引文列表
專利文獻(xiàn)
專利文獻(xiàn)1:jp2008-3027a
技術(shù)實現(xiàn)要素:
技術(shù)問題
然而,在相關(guān)技術(shù)的導(dǎo)航系統(tǒng)中,由于僅搜索到指定目的地的路線,所以用戶需要搜索路線附近的其他中途停留點。
另一方面,在專利文獻(xiàn)1中公開的導(dǎo)航設(shè)備中,從對應(yīng)于用戶的偏好度的類型的設(shè)施提出了中途停留點,但是沒有提及當(dāng)存在多個用戶時的最佳路線引導(dǎo)。
在這方面,在本公開中,提出了能夠根據(jù)多個用戶的關(guān)系生成更優(yōu)化的引導(dǎo)信息的信息處理系統(tǒng)和控制方法。
問題的解決方案
根據(jù)本公開,提供一種信息處理系統(tǒng),包括:用戶指定單元,其被配置成指定一起執(zhí)行動作的多個用戶;估計單元,其被配置成估計多個指定用戶的關(guān)系;以及生成單元,其被配置成根據(jù)估計的多個用戶的關(guān)系生成多個用戶的引導(dǎo)信息。
根據(jù)本公開,提供一種控制方法,包括:指定一起執(zhí)行動作的多個用戶;估計多個指定用戶的關(guān)系;以及根據(jù)估計的多個用戶的關(guān)系生成多個用戶的引導(dǎo)信息。
發(fā)明的有益效果
如上所述,根據(jù)本公開,可能根據(jù)多個用戶的關(guān)系生成更優(yōu)化的引導(dǎo)信息。
應(yīng)注意,上述效果不一定是限制性的。使用或代替上述效果,可以實現(xiàn)本說明書中描述的任何一種效果或可以從本說明書中掌握的其他效果。
附圖說明
[圖1]圖1是圖示根據(jù)本公開的一個實施方案的信息處理系統(tǒng)的概述的圖解。
[圖2]圖2是圖示根據(jù)本實施方案的信息處理系統(tǒng)的整體配置的圖解。
[圖3]圖3是圖示根據(jù)本實施方案的引導(dǎo)服務(wù)器的配置的實例的方框圖。
[圖4]圖4是圖示根據(jù)本實施方案的車輛的配置的實例的方框圖。
[圖5]圖5是圖示根據(jù)本實施方案的情感服務(wù)器的配置的實例的方框圖。
[圖6]圖6是圖示根據(jù)本實施方案的信息處理系統(tǒng)中的引導(dǎo)信息生成處理的流程圖。
[圖7]圖7是圖示由根據(jù)本實施方案的環(huán)境信息圖生成單元生成的環(huán)境信息圖的實例的圖解。
[圖8]圖8是圖示由根據(jù)本實施方案的情感熱圖生成單元生成的情感熱圖的實例的圖解。
[圖9]圖9是圖示存儲在根據(jù)本實施方案的對象db中的詳細(xì)對象信息的實例的圖解。
[圖10]圖10是圖示從根據(jù)本實施方案的情感信息db提取的交互信息的實例的圖解。
[圖11]圖11是圖示從根據(jù)本實施方案的情感信息db提取的交互信息的實例的圖解。
[圖12]圖12是圖示根據(jù)本實施方案的集成熱圖的實例的圖解。
[圖13]圖13是圖示根據(jù)本實施方案的估計多個用戶的關(guān)系的處理的細(xì)節(jié)的流程圖。
具體實施方式
在下文中,將參考附圖詳細(xì)描述本公開的優(yōu)選實施方案。在本說明書和附圖中,具有大體上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的參考數(shù)字表示,并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。
此外,描述將按照以下順序進(jìn)行。
1.根據(jù)本公開的一個實施方案的信息處理系統(tǒng)的概述
2.基本配置
2-1.引導(dǎo)服務(wù)器的配置
2-2.車輛的配置
2-3.情感服務(wù)器的配置
3.操作處理
4.結(jié)論
<<根據(jù)本公開的一個實施方案的信息處理系統(tǒng)的概述>>
首先,將參考圖1描述根據(jù)本公開的一個實施方案的信息處理系統(tǒng)的概述。根據(jù)本實施方案的信息處理系統(tǒng)基于從各種傳感器獲取的信息,從多個用戶的氣氛、屬性、對話、面部識別、情感、情感值等估計多個用戶的關(guān)系,并且呈現(xiàn)適合于估計關(guān)系的引導(dǎo)信息。要呈現(xiàn)的引導(dǎo)信息是到達(dá)目的地的路線的信息或通過路線中間的中途停留點的路線的信息(例如,通過圖1中右側(cè)所示的中途停留點1、中途停留點2和中途停留點3到達(dá)目的地的路線的信息)。此外,引導(dǎo)信息的呈現(xiàn)可以通過用戶擁有的信息處理終端(例如,智能電話、移動電話終端、平板電腦終端、可穿戴終端等)中的顯示輸出或音頻輸出來執(zhí)行,或可以通過用戶乘坐的車輛中的顯示輸出或音頻輸出來執(zhí)行。此外,當(dāng)用戶乘坐的車輛是自主巡航車輛時,可以執(zhí)行根據(jù)用作引導(dǎo)信息的路線信息的自主巡航。
(背景)
這里,在相關(guān)技術(shù)的導(dǎo)航系統(tǒng)中,自動搜索具有到由用戶輸入的目的地的最短時間/距離的路線,并且執(zhí)行根據(jù)該路線的導(dǎo)航。另一方面,一般來說,當(dāng)在旅行等中有足夠的時間前往目的地時,假定用戶在移動到目的地時在游覽點、餐館、紀(jì)念品商店等停車。然而,如上所述,在搜索并且僅呈現(xiàn)到目的地的路線的導(dǎo)航系統(tǒng)中,用戶必須沿著路線搜索中途停留點,并將中途停留點重新設(shè)置為新的目的地。搜索中途停留點是用戶的繁重任務(wù),并且根據(jù)用戶的搜索能力,很難充分搜索最佳的地方。
此外,當(dāng)存在多個用戶時,假定最佳導(dǎo)航根據(jù)多個用戶的關(guān)系而不同。例如,在家庭的情況下,包括在家庭導(dǎo)向地點停止的路線是最佳的,但是在一對夫婦的情況下,包括在夫婦導(dǎo)向地點停止的路線是最佳的。此外,在業(yè)務(wù)關(guān)系的情況下,以最短距離到達(dá)目的地而不停止的路線是最佳的。
在這方面,鑒于上述幾點,在根據(jù)本公開的信息處理系統(tǒng)中,可能根據(jù)多個用戶的關(guān)系生成更優(yōu)化的引導(dǎo)信息。具體來說,在根據(jù)本實施方案的信息處理系統(tǒng)中,自動搜索根據(jù)多個用戶的關(guān)系到指定目的地的路線附近的中途停留點,并且生成包括中途停留點的引導(dǎo)信息并呈現(xiàn)給用戶。
用戶關(guān)系的實例包括圖1中所示的夫婦、朋友、家庭成員、配偶、父母和孩子、兄弟姐妹和業(yè)務(wù)關(guān)系。如上所述,基于從各種傳感器獲得的信息,可以從多個用戶的氣氛、屬性、對話、面部識別、情感、情感值等估計多個用戶的關(guān)系。
更具體來說,在根據(jù)本實施方案的信息處理系統(tǒng)中,例如,基于由信息處理終端的相機或車輛的車載攝像頭捕獲的用戶面部的捕獲圖像,由麥克風(fēng)收集的用戶的音頻數(shù)據(jù),以及由生物傳感器檢測的用戶的生物信息來估計多個用戶的性別和大概年齡,并且根據(jù)用戶的性別和大概年齡的組合來估計關(guān)系。在根據(jù)本實施方案的信息處理系統(tǒng)中,也可能根據(jù)基于音頻數(shù)據(jù)、語音聲調(diào)、基于捕獲圖像的面部表情識別、生物信息等的對話內(nèi)容的分析來估計氣氛,并且從氣氛估計關(guān)系。
此外,根據(jù)本實施方案的信息處理系統(tǒng)也可以參考使用基于捕獲圖像的面部識別,基于音頻數(shù)據(jù)的說話者識別或基于生物信息的生物認(rèn)證預(yù)先登記的個人信息來執(zhí)行多個用戶的個體識別。在這種情況下,可能獲取預(yù)先登記為與識別的人相關(guān)聯(lián)的屬性(年齡、性別、職業(yè)等),并且根據(jù)該屬性來估計多個用戶的關(guān)系。
此外,當(dāng)執(zhí)行個體識別時,可能基于預(yù)先登記為與識別的人相關(guān)聯(lián)的對象id來估計多個用戶的情感值,并且根據(jù)情感值來估計多個用戶的關(guān)系。在本說明書中,情感值是基于在包括人或物體的多個對象之間發(fā)生的交互的評估值來計算并且被積累(對象之間發(fā)生的動作,諸如對象處理、關(guān)懷、服務(wù)提供和對話),并通過量化對象的性質(zhì)、性格和個性來獲得的指標(biāo)。例如,具有低情感值的人可以被確定為具有低可靠性的人,不慎處理對象的人或粗心的人,并且具有高情感值的人可以被確定為具有高可靠性的人,慎重處理對象的人或好人。此外,當(dāng)計算情感值時,使用與目標(biāo)的對象id相關(guān)聯(lián)地積累的交互的評估值,但是使用的交互歷史的范圍根據(jù)情感值的使用目的而不同。例如,當(dāng)根據(jù)本實施方案使用情感值來估計多個用戶的關(guān)系時,使用在使用對應(yīng)于多個指定用戶的對象id的多個用戶中發(fā)生的先前交互的評估值來計算情感值。因此,可能估計多個用戶的更詳細(xì)的關(guān)系(例如,一對夫婦正在爭吵)。
上面已經(jīng)描述了根據(jù)本公開的一個實施方案的信息處理系統(tǒng)的概述。接著,將參考圖2描述根據(jù)本實施方案的信息處理系統(tǒng)的整體配置。
圖2圖示根據(jù)本實施方案的信息處理系統(tǒng)的整體配置。如圖2中所示,根據(jù)本實施方案的信息處理系統(tǒng)包括生成引導(dǎo)信息的引導(dǎo)服務(wù)器1,以及向用戶呈現(xiàn)從引導(dǎo)服務(wù)器1接收的引導(dǎo)信息的信息處理設(shè)備(例如,車輛2a或智能電話2b)。引導(dǎo)服務(wù)器1例如經(jīng)由圖2中所示的互聯(lián)網(wǎng)7與車輛2a或智能電話2b連接。在下文中,車輛2a用作呈現(xiàn)引導(dǎo)信息的信息處理設(shè)備。
引導(dǎo)服務(wù)器1估計乘坐車輛2a的多個用戶的關(guān)系,并且根據(jù)估計關(guān)系生成引導(dǎo)信息?;谟蓚鞲衅鳈z測并從車輛2a傳輸?shù)年P(guān)于用戶的信息(例如,捕獲圖像、音頻數(shù)據(jù)、生物信息等)來估計多個用戶的關(guān)系。引導(dǎo)信息可以包括例如根據(jù)如上所述的估計關(guān)系的到指定目的地的路線的信息和中途停留點信息。具體來說,例如,當(dāng)多個用戶是一對夫婦時,包括夫婦導(dǎo)向地點作為中途停留點信息,并且當(dāng)多個用戶是家庭時,包括家庭導(dǎo)向地點作為中途停留點信息。
引導(dǎo)服務(wù)器1經(jīng)由互聯(lián)網(wǎng)7將生成的引導(dǎo)信息傳輸?shù)杰囕v2a。車輛2a在安裝在車輛2a中的顯示設(shè)備(例如,汽車導(dǎo)航設(shè)備)上顯示接收的引導(dǎo)信息,或通過從揚聲器輸出的聲音向用戶呈現(xiàn)接收的引導(dǎo)信息。此外,當(dāng)車輛2a是自主巡航車輛時,執(zhí)行控制,使得根據(jù)包括在接收的引導(dǎo)信息中的路線信息執(zhí)行自主巡航。因此,車輛2a的乘客可以根據(jù)關(guān)系經(jīng)由合適的中途停留點前往目的地,并且更多地享受旅行和駕駛。
此外,由引導(dǎo)服務(wù)器1生成的引導(dǎo)信息不限于車輛2a的汽車導(dǎo)航信息,并且可以是用于通過步行、自行車、火車或公共汽車行駛的導(dǎo)航信息。
上面已經(jīng)描述了根據(jù)本實施方案的信息處理系統(tǒng)的整體配置。接著,將詳細(xì)說明包括在本實施方案的信息處理系統(tǒng)中的每個設(shè)備的基本配置。
<<2.基本配置>>
<2-1.引導(dǎo)服務(wù)器>
圖3是圖示根據(jù)本實施方案的引導(dǎo)服務(wù)器1的配置的實例的方框圖。如圖3中所示,根據(jù)本實施方案的引導(dǎo)服務(wù)器1包括控制單元10、通信單元11和存儲單元12。
(控制單元)
控制單元10包括引導(dǎo)服務(wù)器1的各自的組件??刂茊卧?0由包括中央處理單元(cpu)、只讀存儲器(rom)、隨機存取存儲器(ram)和非易失性存儲器的微型計算機來實施。如圖3中所示,根據(jù)本實施方案的控制單元10也用作用戶指定單元10a、關(guān)系估計單元10b、引導(dǎo)信息生成單元10c、情感熱圖生成單元10d和環(huán)境信息圖生成單元10e。
用戶指定單元10a基于由傳感器檢測并經(jīng)由通信單元11從車輛2a接收的與用戶相關(guān)的信息,指定乘坐車輛2a的多個用戶(一起執(zhí)行動作)。由傳感器檢測的與用戶相關(guān)的信息的實例包括由安裝在車輛2a中的車載攝像頭捕獲的用戶的捕獲圖像,由麥克風(fēng)收集的用戶的音頻數(shù)據(jù),以及由生物傳感器檢測的用戶的生物信息(例如,心率、出汗率、腦電波、體動、指紋等)。關(guān)于用戶的信息也可以包括終端間通信數(shù)據(jù)。終端間通信數(shù)據(jù)是指可以由車輛2a通過與用戶的信息處理終端(智能電話、移動電話終端、平板電腦終端、可穿戴終端等)進(jìn)行通信(紅外通信、wi-fi(注冊商標(biāo))、藍(lán)牙(注冊商標(biāo))等)而獲取的用戶的識別信息(姓名、年齡、性別、用戶id等)。
用戶指定單元10a分析乘客的面部圖像、音頻數(shù)據(jù)和生物信息,并且在可能的情況下對乘客(多個用戶)的性別和大概年齡執(zhí)行估計和個體識別。參考面部圖像等的分析結(jié)果和先前登記在個人db服務(wù)器6中的個人信息來執(zhí)行個體識別。此外,可以參考從社交網(wǎng)絡(luò)服務(wù)(sns)服務(wù)器5獲取的個人信息來執(zhí)行個體識別。用戶指定單元10a可以新登記通過對無法在個人db服務(wù)器6中識別的人執(zhí)行面部圖像分析、語音識別、對話識別、生物識別等而獲取的個人信息(性別、大概年齡、姓名、愛好/偏好、職業(yè)、他們不喜歡的東西等)。當(dāng)指定與用戶一起執(zhí)行動作的除人以外的動物時,用戶指定單元10a可以登記動物(狗、貓等)的類型被分配的動物信息作為個人db中的屬性。當(dāng)乘坐車輛2a的用戶手動輸入關(guān)于乘客的信息,并且從車輛2a傳輸信息時,用戶指定單元10a也可以基于手動輸入信息來指定多個用戶。用戶指定單元10a將關(guān)于多個指定用戶的信息輸出到關(guān)系估計單元10b。
關(guān)系估計單元10b估計由用戶指定單元10a指定的多個用戶的關(guān)系。例如,關(guān)系估計單元10b基于由用戶指定單元10a指定的多個用戶的性別或大概年齡的組合來估計親子關(guān)系、兄弟姊妹關(guān)系、朋友關(guān)系、夫婦關(guān)系等。關(guān)系估計單元10b也可以通過基于性別或大概年齡的組合設(shè)置多個關(guān)系候選來估計多個用戶的關(guān)系,并且基于音頻數(shù)據(jù)進(jìn)一步分析和識別對話內(nèi)容。
此外,關(guān)系估計單元10b可以通過識別基于面部圖像的面部表情,分析和識別基于音頻數(shù)據(jù)的對話內(nèi)容,并且分析語音聲調(diào)或生物信息,獲取車輛內(nèi)的氣氛,并且根據(jù)獲取的氣氛估計汽車上多個用戶的關(guān)系。
此外,關(guān)系估計單元10b也可以基于與多個用戶的情感相關(guān)的信息估計多個用戶的關(guān)系。與情感相關(guān)的信息可以例如通過基于面部圖像的面部表情識別,分析和識別基于音頻數(shù)據(jù)的對話內(nèi)容,語音聲調(diào)或生物信息來獲取。
此外,當(dāng)能夠執(zhí)行多個用戶的個體識別時,關(guān)系估計單元10b可以從情感服務(wù)器3獲取用戶的情感值作為與多個用戶的情感相關(guān)的信息,并且基于情感值估計多個用戶的關(guān)系。具體來說,關(guān)系估計單元10b從個人db服務(wù)器6獲取多個識別用戶的對象id,并且請求情感服務(wù)器3使用對象id來傳輸情感值。情感服務(wù)器3響應(yīng)于該請求而傳輸使用指定對象之間的先前交互的評估值計算的對象的情感值。
此外,當(dāng)能夠執(zhí)行多個用戶的個體識別時,關(guān)系估計單元10b也可以根據(jù)從個人db服務(wù)器6獲取的個人信息(性別、年齡、姓名、職業(yè)等)中包括的多個用戶的屬性,估計多個用戶的關(guān)系。
關(guān)系估計單元10b將多個用戶的估計關(guān)系輸出到引導(dǎo)信息生成單元10c。在車輛2a中可能存在幾種類型的關(guān)系,但是在這種情況下,關(guān)系估計單元10b可以選擇具有最多人數(shù)的關(guān)系。例如,當(dāng)五個用戶(具體來說,包括四個家庭成員和一個孩子的朋友在內(nèi)的總共五人)乘坐車輛2a時,兩個人是朋友,兩個人是兄弟姐妹,兩個人是丈夫和妻子,并且四個人處于家庭關(guān)系,則關(guān)系估計單元10b選擇具有最多人數(shù)的家庭關(guān)系作為乘坐車輛2a的多個用戶的關(guān)系。關(guān)系估計單元10b也可以在諸如車輛2a的所有者或最老的人的多個用戶中選擇具有最強影響力的人的關(guān)系。此外,當(dāng)乘坐車輛2a的用戶手動輸入與關(guān)系相關(guān)的信息,并且從車輛2a傳輸信息時,關(guān)系估計單元10b可以基于手動輸入信息來估計多個用戶的關(guān)系。
引導(dǎo)信息生成單元10c根據(jù)由關(guān)系估計單元10b估計的多個用戶的關(guān)系生成多個用戶的引導(dǎo)信息。例如,引導(dǎo)信息生成單元10c提取對應(yīng)于到指定目的地的路線附近的多個用戶的關(guān)系的一個或多個中途停留點,并且生成通過中途停留點的路線信息作為引導(dǎo)信息。具體來說,當(dāng)多個用戶具有家庭關(guān)系時,引導(dǎo)信息生成單元10c提取家庭導(dǎo)向地點作為中途停留點,并且當(dāng)多個用戶具有夫婦關(guān)系時,提取夫婦導(dǎo)向地點作為中途停留點。
此外,引導(dǎo)信息生成單元10c可以使用由情感熱圖生成單元10d生成的情感熱圖和由環(huán)境信息圖生成單元10e生成的環(huán)境信息圖生成針對多個用戶的關(guān)系而最優(yōu)的引導(dǎo)信息。稍后將參考圖7至圖12描述使用情感熱圖和環(huán)境信息圖生成引導(dǎo)信息。
情感熱圖生成單元10d生成情感熱圖,其中與情感相關(guān)的信息與地圖形式的位置相關(guān)聯(lián)。與情感相關(guān)的信息包括由生物傳感器等檢測的傳感器值或從情感服務(wù)器3獲取的情感值。在情感服務(wù)器3中積累的交互信息中,除了每個交互的日期和時間之外,位置信息可以相關(guān)聯(lián)(參見圖10和圖11),并且可以計算基于在到目的地的路線周圍的區(qū)域中執(zhí)行的交互歷史的情感值,或地點(中途停留點)的情感值。稍后將參考圖8至圖11詳細(xì)描述情感熱圖的生成。
環(huán)境信息圖生成單元10e生成環(huán)境信息圖,其中環(huán)境相關(guān)信息與地圖形式的位置相關(guān)聯(lián)。環(huán)境相關(guān)信息包括從地點信息服務(wù)器4獲取的地點信息(觀光景點、餐館、商店、休息站、公園等的信息)。存儲在地點信息服務(wù)器4中的地點信息包括指示與用戶關(guān)系相關(guān)的一種類型的地點(家庭導(dǎo)向地點、夫婦導(dǎo)向地點、朋友導(dǎo)向地點、大群體導(dǎo)向地點等)的信息,以及除了基本信息(諸如每個地點的位置、營業(yè)時間、入場費等)之外,地點(具有美麗夜景的地點、允許嬰兒的地點、露臺座位、允許寵物的地點以及孩子們可以享受的地點)的特征信息。此外,環(huán)境信息圖生成單元10e根據(jù)來自引導(dǎo)信息生成單元10c的指令提取匹配過濾條件(諸如多個用戶的關(guān)系、屬性(年齡、性別、愛好/偏好等)、時間、天氣,或在基本路線周圍的預(yù)定范圍內(nèi)的地點類別)的地點,并且生成環(huán)境信息圖。稍后將參考圖7詳細(xì)描述環(huán)境信息圖的生成。
(通信單元)
通信單元11利用外部設(shè)備執(zhí)行數(shù)據(jù)的傳輸和接收。例如,通信單元11連接到情感服務(wù)器3、地點信息服務(wù)器4、sns服務(wù)器5和個人db服務(wù)器6,并且執(zhí)行各種數(shù)據(jù)的傳輸和接收。通信單元11連接到車輛2a,并且從車輛2a接收由傳感器檢測的關(guān)于用戶的信息或?qū)Ш皆O(shè)置信息(目的地、預(yù)期到達(dá)時間、優(yōu)選道路的選擇等),或?qū)⒂梢龑?dǎo)信息生成單元10c生成的引導(dǎo)信息傳輸?shù)杰囕v2a。
(存儲單元)
存儲單元12存儲通過控制單元10執(zhí)行各種處理的程序。存儲單元12也可以存儲由情感熱圖生成單元10d生成的情感熱圖和由環(huán)境信息圖生成單元10e生成的環(huán)境信息圖。
上面已經(jīng)具體描述了引導(dǎo)服務(wù)器1的配置。圖3中所示的引導(dǎo)服務(wù)器1的配置是實例,并且根據(jù)本實施方案的引導(dǎo)服務(wù)器1的配置不限于此。例如,存儲在地點信息服務(wù)器4中的地點信息和存儲在個人db服務(wù)器6中的個人信息可以存儲在引導(dǎo)服務(wù)器1中的存儲區(qū)域(即,存儲單元12)中。
<2-2.車輛的配置>
接著,將描述車輛2a的配置,車輛2a是向用戶呈現(xiàn)引導(dǎo)信息的信息處理設(shè)備的實例。圖4是圖示根據(jù)本實施方案的車輛2a的配置的實例的方框圖。如圖4中所示,車輛2a具有控制單元20、通信單元21、車輛位置獲取單元22、車載攝像頭23、麥克風(fēng)24、操作輸入單元25、顯示單元26、生物傳感器27、自主巡航控制單元28和存儲單元29。
(控制單元)
控制單元20通過例如包括cpu、rom、ram、非易失性存儲器和接口單元的微型計算機來實施,并且控制車輛2a的組件??刂茊卧?0執(zhí)行控制,使得由車載攝像頭23捕獲的捕獲圖像、由麥克風(fēng)收集的音頻數(shù)據(jù)或由生物傳感器27檢測的生物信息作為由傳感器檢測的與乘客相關(guān)的信息通過通信單元21傳輸?shù)揭龑?dǎo)服務(wù)器1??刂茊卧?0也可以執(zhí)行控制,使得從操作輸入單元25輸入的乘客的識別信息(性別、年齡、姓名、愛好/偏好、用戶id、對象id等)傳輸?shù)揭龑?dǎo)服務(wù)器1??刂茊卧?0也可以執(zhí)行控制,使得從操作輸入單元25輸入的導(dǎo)航設(shè)置信息(具體來說,與目的地、預(yù)期到達(dá)時間、優(yōu)選的道路等相關(guān)的信息)傳輸?shù)揭龑?dǎo)服務(wù)器1。
此外,控制單元20可以執(zhí)行控制,使得通過通信單元21從引導(dǎo)服務(wù)器1接收的引導(dǎo)信息被顯示在顯示單元26上或以語音輸出方式從揚聲器(未圖示)輸出??刂茊卧?0也可以指示自主巡航控制單元28自主巡航到從引導(dǎo)服務(wù)器1接收的引導(dǎo)信息中包含的路線。
(通信單元)
通信單元21利用外部設(shè)備執(zhí)行數(shù)據(jù)的傳輸和接收。例如,通信單元21連接到引導(dǎo)服務(wù)器1,并且傳輸由傳感器檢測的與乘客相關(guān)的信息或?qū)Ш皆O(shè)置信息,或者接收由引導(dǎo)服務(wù)器1生成的引導(dǎo)信息。
(車輛位置獲取單元)
車輛位置獲取單元22具有基于來自外部的獲取信號來檢測車輛2a的當(dāng)前位置的功能。具體來說,例如,車輛位置獲取單元22由全球定位系統(tǒng)(gps)單元實施,并且從gps衛(wèi)星接收無線電波,檢測車輛2a的位置,并將檢測位置信息輸出到控制單元20。此外,車輛位置獲取單元22可以通過例如除了gps之外的wi-fi(注冊商標(biāo))或藍(lán)牙(注冊商標(biāo))或近場通信等的傳輸和接收來檢測位置。
(車載攝像頭)
車載攝像頭23是對車輛2a的內(nèi)部(例如,坐在各自的座椅上的乘客的面部)進(jìn)行成像的攝像頭。車載攝像頭23的位置和車載攝像頭23的數(shù)量沒有特別限定。
(麥克風(fēng))
麥克風(fēng)24具有在車輛2a內(nèi)收集聲音(例如,乘客的對話)的功能。麥克風(fēng)24的位置和麥克風(fēng)24的數(shù)量沒有特別限定。
(操作輸入單元)
操作輸入單元25接受用戶操作的輸入,并且將輸入信息輸出到控制單元20。例如,操作輸入單元25可以是與安裝在車輛2a的駕駛員座椅附近的顯示單元26集成的觸控面板。此外,操作輸入單元25可以分析由車載攝像頭23成像的用戶的捕獲圖像以啟用手勢輸入,或分析由麥克風(fēng)24收集的用戶的語音以啟用語音輸入。
(顯示單元)
顯示單元26顯示菜單屏幕或?qū)Ш狡聊徊⑶彝ㄟ^例如液晶顯示器來實施。此外,顯示單元26安裝在駕駛員座椅附近。顯示單元26也顯示從引導(dǎo)服務(wù)器1傳輸?shù)囊龑?dǎo)信息。顯示單元26也可以通過將圖像投影到車輛2a的前玻璃上的投影單元來實施。
(生物傳感器)
生物傳感器27檢測乘坐車輛2a的用戶的生物信息。例如,一個或多個生物傳感器27可以安裝在車輛2a的手柄部分、門的旋鈕部分、窗戶打開/關(guān)閉操作部分、座椅部分、頭枕部分等中,并且檢測乘客的體溫、排汗量、心率、腦電波、指紋等。
(自主巡航控制單元)
自主巡航控制單元28具有控制車輛2a的行駛并且實施不依賴于駕駛員的操作的自動駕駛的功能。具體來說,自主巡航控制單元28控制車輛2a,使得車輛2a根據(jù)從引導(dǎo)服務(wù)器1接收的引導(dǎo)信息行駛。當(dāng)引導(dǎo)信息是通過中途停留點到達(dá)目的地的路線的引導(dǎo)時,自主巡航控制單元28控制車輛2a,使得車輛2a沿著通過由引導(dǎo)信息指示的中途停留點的路線行駛。此外,當(dāng)執(zhí)行自主巡航時,自主巡航控制單元28根據(jù)獲取的外部情況(例如,周圍區(qū)域的捕獲圖像、對象檢測信息等)執(zhí)行車輛2a的加速器控制、制動控制、手動控制等。
(存儲單元)
存儲單元29存儲通過控制單元20執(zhí)行處理的程序。存儲單元29也可以存儲與車輛2a的乘客相關(guān)的信息和從引導(dǎo)服務(wù)器1傳輸?shù)囊龑?dǎo)信息。
上面已經(jīng)描述了根據(jù)本實施方案的車輛2a的具體配置。圖4中所示的車輛2a的配置是實例,并且本實施方案不限于此。例如,可以不提供自主巡航控制單元28,并且可以安裝用于獲取與乘客有關(guān)的信息的任何其他傳感器(例如,紅外相機、深度相機等)。
<2-3.情感服務(wù)器的配置>
接著,將描述根據(jù)本實施方案的情感服務(wù)器3的配置。圖5是圖示根據(jù)本實施方案的情感服務(wù)器3的配置的實例的方框圖。如圖5中所示,情感服務(wù)器3包括控制單元30、通信單元31、對象db32和情感信息db34。
(通信單元)
通信單元31經(jīng)由網(wǎng)絡(luò)連接到引導(dǎo)服務(wù)器1,并且傳輸從引導(dǎo)服務(wù)器1請求的對象的情感值。通信單元31從安裝在每個對象(包括人和物)上的傳感設(shè)備(未圖示)接收交互信息。
(控制單元)
控制單元30控制情感服務(wù)器3的組件??刂茊卧?0通過包括cpu、rom、ram和非易失性存儲器的微型計算機來實施。根據(jù)本實施方案的控制單元30用作如圖5中所示的交互存儲控制單元30a、評估單元30b、對象管理單元30c、關(guān)聯(lián)對象搜索單元30d和情感值計算單元30e。
交互存儲控制單元30a執(zhí)行控制,使得從安裝在對象上的傳感設(shè)備接收的交互信息存儲在情感信息db34中。傳感設(shè)備通過濕度傳感器、溫度傳感器、振動傳感器、紅外傳感器、相機、觸覺傳感器或陀螺儀傳感器來實施,并且檢測與來自其他對象的對象的交互。交互是動作,并且人和人之間交互的實例包括對話、電話、郵件、一起出去和贈送禮物,而人和事物之間交互的實例包括處理、存儲、清潔、查看和佩戴事物。
評估單元30b評估存儲在情感信息db34中的交互。評估交互的方法沒有特別限定,并且例如評估單元30b執(zhí)行評估,使得對于接收交互的對象所期望的交互被評估為高,具體來說,給出-1.0至1.0的等級。評估結(jié)果與交互相關(guān)聯(lián)地存儲在情感信息db34中。
對象管理單元30c管理與存儲在對象db32中的對象相關(guān)的信息的登記、修改、刪除等。
關(guān)聯(lián)對象搜索單元30d從對象db32或情感信息db34搜索與請求的對象id進(jìn)行交互的另一對象作為關(guān)聯(lián)對象。
情感值計算單元30e基于與目標(biāo)用戶的對象id相關(guān)聯(lián)的交互評估來計算目標(biāo)用戶的情感值。例如,情感值計算單元30e可以基于交互評估值的總和來計算目標(biāo)用戶的總情感值,或可以基于交互評估值的平均值來計算目標(biāo)用戶的總情感值。
此外,情感值計算單元30e可以通過僅使用預(yù)定的交互或通過根據(jù)請求源中的情感值的使用目的加權(quán)預(yù)定的交互來計算情感值。例如,當(dāng)使用情感值來估計引導(dǎo)服務(wù)器1中的多個用戶的關(guān)系時,情感值計算單元30e使用指定對象(即,多個用戶)之前的先前交互歷史來計算情感值。
(對象db)
對象db32是存儲對象的對象id的存儲單元。對象db32存儲信息,諸如姓名、年齡、性別、服務(wù)類型、服務(wù)公司、產(chǎn)品名稱、產(chǎn)品類型、制造商id、型號,以及與對象id相關(guān)聯(lián)的對象的制造日期和時間。
(情感信息db)
情感信息db34是存儲對象之間的交互信息和評估值的存儲單元。具體來說,情感信息db34存儲執(zhí)行交互的日期和時間和位置、指示已經(jīng)進(jìn)行交互的另一方的關(guān)聯(lián)對象id、交互類型、交互的細(xì)節(jié),以及與對象id相關(guān)聯(lián)的交互評估。
上面已經(jīng)詳細(xì)描述根據(jù)本實施方案的情感服務(wù)器3的配置。情感服務(wù)器3的配置不限于圖5中所示的實例,并且例如對象db32和情感信息db34可以存儲在網(wǎng)絡(luò)上的外部存儲設(shè)備中。情感服務(wù)器3的情感值計算單元30e可以安裝在引導(dǎo)服務(wù)器1中,并且引導(dǎo)服務(wù)器1可以基于從情感服務(wù)器3獲取的多個用戶之間的交互評估來計算情感值。
<<3.操作處理>>
接著,將參考圖6描述根據(jù)本實施方案的信息處理系統(tǒng)的操作處理。圖6是圖示根據(jù)本實施方案的信息處理系統(tǒng)中的引導(dǎo)信息生成處理的流程圖。
如圖6中所示,首先,在步驟s103中,引導(dǎo)服務(wù)器1的用戶指定單元10a基于由傳感器檢測并從車輛2a傳輸?shù)呐c乘客相關(guān)的信息(具體來說,捕獲圖像、音頻數(shù)據(jù)、生物信息等),指定乘坐車輛2a的多個用戶。
然后,在步驟s106中,關(guān)系估計單元10b估計由用戶指定單元10a指定的多個用戶的關(guān)系。稍后將參考圖13詳細(xì)描述多個用戶的關(guān)系的估計。
然后,在步驟s109中,引導(dǎo)信息生成單元10c確定多個用戶的旅行目的是否適合于中途停留。可以根據(jù)多個用戶的關(guān)系、屬性、指定目的地等來估計多個用戶的旅行目的。例如,當(dāng)多個用戶的關(guān)系是親子關(guān)系或兄弟姊妹關(guān)系,并且目的地是有點遙遠(yuǎn)的旅游景點時,引導(dǎo)信息生成單元10c估計旅行目的是家庭旅行。此外,當(dāng)多個用戶的關(guān)系是夫婦關(guān)系,并且目的地是有點遙遠(yuǎn)的旅游景點時,引導(dǎo)信息生成單元10c估計旅行目的是約會。此外,當(dāng)多個用戶的關(guān)系是朋友關(guān)系,并且目的地是有點遙遠(yuǎn)的旅游景點時,引導(dǎo)信息生成單元10c估計旅行目的是朋友旅行。此外,當(dāng)多個用戶的關(guān)系是業(yè)務(wù)關(guān)系,并且目的地是公司或商店時,引導(dǎo)信息生成單元10c估計旅行目的是業(yè)務(wù)。當(dāng)目的地是附近的商店(諸如商業(yè)設(shè)施或商店)時,引導(dǎo)信息生成單元10c估計旅行目的是購物,并且當(dāng)目的地是附近的餐飲地點(諸如餐館或飲食設(shè)施)時,估計旅行目的是用餐。此外,當(dāng)多個用戶的關(guān)系是家庭關(guān)系,并且目的地是婚禮大廳、殯儀館或醫(yī)院時,引導(dǎo)信息生成單元10c估計旅行目的是正式場合。此外,當(dāng)旅行目的是“業(yè)務(wù)”、“購物”、“正式場合”等時,引導(dǎo)信息生成單元10c確定旅行目的不適合于中途停留點,因此需要提早到達(dá)目的地。此外,當(dāng)旅行目的是“家庭旅行”、“朋友旅行”或“約會”時,引導(dǎo)信息生成單元10c確定旅行目的適合于中途停留點,因此到目的地的旅行也應(yīng)該是愉快的。當(dāng)用戶明確地輸入車輛2a的旅行目的作為導(dǎo)航設(shè)置信息時,引導(dǎo)信息生成單元10c基于輸入的移動目的來確定是否適合于中途停留。
然后,當(dāng)確定旅行目的不適合于中途停留(s109中的“否”)時,根據(jù)本實施方案的生成包括中途停留點的引導(dǎo)信息的處理結(jié)束。在這種情況下,引導(dǎo)信息生成單元10c可以僅以最短時間/距離搜索到達(dá)目的地的基本路線,并且向車輛2a提供通過搜索找到的基本路線。
另一方面,當(dāng)確定旅行目的適合于中途停留(s109中的“是”)時,在步驟s112中,引導(dǎo)信息生成單元10c確定在到用戶指定的目的地的途中是否有空閑時間??梢曰诶缬捎脩糨斎氲钠谕哪康牡氐竭_(dá)時間和前往目的地所花費的時間來計算到目的地的途中的空閑時間??臻e時間是在中途停留點停止諸如一個小時或更多的空閑時間,并且用戶可以指定閾值。
然后,當(dāng)確定沒有空閑時間(s112中的“否”)時,根據(jù)本實施方案的生成包括中途停留點的引導(dǎo)信息的處理結(jié)束。在這種情況下,引導(dǎo)信息生成單元10c可以僅以最短時間/距離搜索到達(dá)目的地的基本路線,并且向車輛2a提供通過搜索找到的基本路線。此外,根據(jù)本實施方案的生成包括中途停留點的引導(dǎo)信息的處理結(jié)束的情況不限于上述實例,并且例如可以根據(jù)從車輛2a獲取的捕獲圖像、音頻數(shù)據(jù)、生物信息等檢測的車輛內(nèi)部的情況來確定根據(jù)本實施方案的生成包括中途停留點的引導(dǎo)信息的處理是否結(jié)束。具體來說,例如,當(dāng)檢測到有人睡覺或身體不好的人在車輛中,或根據(jù)對話內(nèi)容需要提早到達(dá)目的地的情況,生成引導(dǎo)信息的處理可以結(jié)束。此外,當(dāng)用戶明確地輸入指示中途停留點的引導(dǎo)是不必要的信息時,引導(dǎo)信息生成處理可以結(jié)束。
另一方面,當(dāng)確定到目的地的途中有空閑時間(s112中的“是”)時,引導(dǎo)信息生成單元10c在步驟s115中搜索從當(dāng)前位置到目的地的基本路線。例如,引導(dǎo)信息生成單元10c根據(jù)用戶輸入的條件(收費優(yōu)先、一般道路優(yōu)先、距離優(yōu)先、擁堵信息等),以最短時間/距離搜索到達(dá)目的地的基本路線。可以在步驟s109和s112之前,即在步驟s106之后執(zhí)行步驟s115的處理。
然后,在步驟s118中,引導(dǎo)信息生成單元10c從環(huán)境信息圖生成單元10e獲取沿著通過搜索找到的基本路線的一定范圍的區(qū)域的環(huán)境信息圖。具體來說,引導(dǎo)信息生成單元10c將沿著基本路線的一定范圍的區(qū)域的指定和根據(jù)多個用戶的關(guān)系的過濾條件以及生成環(huán)境信息圖的指令提供給環(huán)境信息圖生成單元10e。引導(dǎo)信息生成單元10c可以指定沿著基本路線的一定范圍的區(qū)域,以在從出發(fā)點起經(jīng)過預(yù)定時間之后通過。例如,當(dāng)孩子乘坐車輛2a時,由于孩子預(yù)期在出發(fā)后一小時將變得無聊,所以可能搜索在出發(fā)后一小時內(nèi)通過的區(qū)域附近的中途停留點,并且向用戶呈現(xiàn)最佳引導(dǎo)信息。
此外,引導(dǎo)信息生成單元10c設(shè)置根據(jù)多個用戶的關(guān)系的過濾條件,例如,當(dāng)多個用戶的關(guān)系是“家庭關(guān)系”時將“家庭導(dǎo)向”設(shè)置為過濾條件,并且當(dāng)多個用戶的關(guān)系是“夫婦關(guān)系”時將“夫婦導(dǎo)向”設(shè)置為過濾條件。因此,可能獲取從中提取根據(jù)多個用戶的關(guān)系的合適的地點的指定區(qū)域的環(huán)境信息圖。此外,在環(huán)境信息圖生成單元10e中指定的過濾條件不限于根據(jù)多個用戶的關(guān)系的條件,并且例如可以添加多個用戶的屬性(年齡、性別、愛好/偏好、職業(yè)等)、時間和天氣的條件。時間條件和天氣條件是用戶預(yù)期通過指定區(qū)域的時間或指定區(qū)域的天氣(在當(dāng)前時間的天氣或在用戶預(yù)期通過的時間的天氣)。此外,當(dāng)寵物乘坐車輛2a時,可以添加諸如“允許寵物”的過濾條件,并且當(dāng)從對話識別結(jié)果中識別出諸如“我餓了”的對話內(nèi)容時,或當(dāng)用戶指定的用餐時間接近時,可以添加諸如“餐館”或“飲食設(shè)施”的過濾條件。
這里,在圖7中圖示根據(jù)本實施方案的環(huán)境信息圖的實例。例如通過基于根據(jù)多個用戶的關(guān)系的“夫婦導(dǎo)向”的過濾條件以及“雨,溫度18度,下午9點”的日期和時間和天氣的過濾條件進(jìn)行過濾,生成圖7中所示的環(huán)境信息圖40。具體來說,環(huán)境信息圖生成單元10e從地點信息服務(wù)器4獲取指定區(qū)域(沿著基本路線的一定范圍)中的地點的信息,并且參考在地點信息中包括的地點的基本信息、特征信息等提取匹配諸如“夫婦導(dǎo)向”的條件的地點。此外,環(huán)境信息圖生成單元10e根據(jù)“天氣:雨”的條件提取下雨期間開放營業(yè)的地點。此外,環(huán)境信息圖生成單元10e由于室外溫度較冷而根據(jù)“溫度:攝氏18度”的條件提取室內(nèi)地點。此外,環(huán)境信息圖生成單元10e根據(jù)“時間:下午9點”的條件提取作為餐館或酒吧并在下午9點或以后開放的商店。然后,例如,如圖7中所示,提取匹配“夫婦導(dǎo)向,雨,溫度18度,下午9點”的過濾條件的地點400、401和402。環(huán)境信息圖40可以由圖3中所示的引導(dǎo)服務(wù)器1的環(huán)境信息圖生成單元10e生成,或可以經(jīng)由網(wǎng)絡(luò)從外部信息提供服務(wù)器(未圖示)獲取。
然后,在步驟s121中,引導(dǎo)信息生成單元10c從情感熱圖生成單元10d獲取沿著通過搜索找到的基本路線的一定范圍的區(qū)域的情感熱圖。可能參考情感熱圖來檢測在每個地點或周圍區(qū)域執(zhí)行動作的人的情感值。具體來說,引導(dǎo)信息生成單元10c將沿著基本路線的一定范圍的區(qū)域的每個地點(通過生成環(huán)境信息圖提取的每個地點)或一定范圍的區(qū)域的指定以及生成情感熱圖的指令提供給情感熱圖生成單元10d。
這里,在圖8中圖示根據(jù)本實施方案的情感熱圖的實例。使用沿著基本路線的一定范圍的區(qū)域中的每個地點的情感值來生成圖8的左側(cè)所示的情感熱圖42。引導(dǎo)信息生成單元10c可以參考情感熱圖42,根據(jù)每個地點的情感值的等級來選擇適合于多個用戶的中途停留點。
此外,用于生成情感熱圖42的每個地點的情感值可以是基于具有與多個用戶的屬性(年齡、性別、職業(yè)、愛好/偏好等)相同屬性的人和地點之間的交互計算的情感值。例如,在圖8的左側(cè)所示的情感熱圖42中,多個用戶的屬性例如是成年(年齡:20歲或以上),并且使用基于具有與多個用戶的屬性(即,成人)相同屬性的人和每個站點(通過生成環(huán)境信息圖來提取的站點400、401和402)之間發(fā)生的交互計算的情感值。因此,可能根據(jù)情感值的等級來檢測具有與提供引導(dǎo)信息的用戶相似的屬性的人可以愉悅地和舒適地停留的地點。
可以從情感服務(wù)器3獲取每個地點的情感值。具體來說,情感熱圖生成單元10d從地點信息服務(wù)器4獲取每個地點的對象id(例如,餐館“○○○○”和酒吧“◇◇◇◇”),將獲取的對象id和多個用戶的屬性信息一起傳輸?shù)角楦蟹?wù)器3,并且請求獲取情感值。在情感服務(wù)器3側(cè),情感值計算單元30e使用關(guān)于根據(jù)來自引導(dǎo)服務(wù)器1的請求指定的對象id和具有指定屬性的人之間發(fā)生的交互的先前交互歷史來計算情感值,并且將計算的情感值傳輸?shù)揭龑?dǎo)服務(wù)器1。
具體來說,情感值計算單元30e首先參考存儲在對象db32中的詳細(xì)對象信息來提取具有指定屬性的人的對象id。在圖9中圖示詳細(xì)對象信息的實例。如圖9中所示,詳細(xì)對象信息包括對象id、對象名稱(名稱、商店名稱、產(chǎn)品名稱等)、對象類型(人、餐館、酒吧等)和屬性信息(年齡、性別、職業(yè)、愛好/偏好、商店類別、商店營業(yè)時間、商店位置等)。當(dāng)從引導(dǎo)服務(wù)器1指定的屬性是“成人(年齡:20歲或以上)”時,情感值計算單元30e將人aaa(對象id:384)、人bbb(對象id:465)和人ccc(對象id:679)設(shè)置為具有相應(yīng)屬性的對象。然后,情感值計算單元30e從情感信息db34中僅提取人的提取對象id和從引導(dǎo)服務(wù)器1請求的對象id(地點的對象id)之間發(fā)生的先前交互的信息?;蛘?,情感值計算單元30e可以通過提取被檢測為與地點的對象id進(jìn)行交互的人并且在人中提取具有指定屬性的人,來提取具有預(yù)定屬性的人和地點之間生成的先前交互信息。此外,引導(dǎo)服務(wù)器1側(cè)可以具備搜索與預(yù)定地點進(jìn)行交互的具有預(yù)定屬性的人的功能,并且情感服務(wù)器3側(cè)可以執(zhí)行提取從引導(dǎo)服務(wù)器1指定的人和預(yù)定地點之間的交互信息的處理。圖10圖示從情感信息db34提取的交互信息的實例。如圖10中所示,提取作為具有預(yù)定屬性(這里是成人(年齡:20歲或以上)作為實例)的人的對象和作為指定地點的對象(在這種情況下,提供或消費食物/酒精的動作)之間交互的評估值。情感值計算單元30e基于提取的交互信息計算每個地點的情感值。計算情感值的方法沒有特別限定,并且例如可以使用交互評估值的平均值來計算情感值,或可以根據(jù)執(zhí)行交互的日期和時間來執(zhí)行加權(quán),使得最新交互的影響增加。
情感熱圖生成單元10d使用上述每個地點的情感值來生成如圖8的左側(cè)所示的情感熱圖42。在圖8的左側(cè)所示的情感熱圖42中,指示地點(地點400、401和402)的情感值,使得具有較高情感值的地點具有較淺的顏色。換句話說,地點402的情感值最高,地點401的情感值次高,并且地點400的情感值最低。
此外,除了使用上述每個地點的情感值的情感熱圖42之外,根據(jù)本實施方案的情感熱圖生成單元10d也可以使用在周圍區(qū)域中執(zhí)行動作的人的情感值來生成情感熱圖43,如圖8的右側(cè)所示。引導(dǎo)信息生成單元10c參考情感熱圖43來檢測情感值高的區(qū)域(即,聚集有良好背景的人的區(qū)域)和情感值低的區(qū)域(即,聚集有不好背景的人的區(qū)域),并且選擇適合于多個用戶的中途停留點。
使用基于與基本路線的周圍區(qū)域相關(guān)聯(lián)的交互評估計算的情感值來生成圖8的右側(cè)所示的情感熱圖43。具體來說,情感熱圖生成單元10d將基本路線的周圍區(qū)域的指定提供給情感服務(wù)器3,并且請求情感服務(wù)器提供情感值。情感服務(wù)器3的情感值計算單元30e根據(jù)來自引導(dǎo)服務(wù)器1的請求僅從情感信息db34中提取在指定區(qū)域中執(zhí)行的交互評估,并且計算在該區(qū)域中執(zhí)行動作的人的情感值。圖11圖示從情感信息db34提取的交互信息的實例。如圖11中所示,交互信息包括指示執(zhí)行(接收)交互的對象的對象id,執(zhí)行交互的日期和時間,以及指示接收(執(zhí)行)交互的對象的關(guān)聯(lián)對象id,交互類型,細(xì)節(jié)和評估值。如上所述,由于交互信息包括指示交互的位置的信息,所以情感值計算單元30e可以提取關(guān)于在指定區(qū)域中執(zhí)行的交互的信息。此外,情感值計算單元30e基于提取的交互的評估值來計算預(yù)定區(qū)域的情感值(其可以是在預(yù)定區(qū)域中執(zhí)行動作的人的情感值)。計算情感值的方法沒有特別限定,并且例如可以使用交互評估值的平均值來計算情感值。此外,可以根據(jù)執(zhí)行交互的日期和時間來執(zhí)行加權(quán),使得最新交互的影響增加。
情感熱圖生成單元10d使用通過情感服務(wù)器3的情感值計算單元30e計算的在預(yù)定區(qū)域中執(zhí)行動作的人的情感值,生成圖8的右側(cè)所示的情感熱圖43。在圖8的右側(cè)所示的情感熱圖43中,指示情感值,使得具有較高情感值的區(qū)域具有較淺的顏色。換句話說,區(qū)域410的情感值最高,區(qū)域411的情感值次高,并且區(qū)域412的情感值最低。
上面已經(jīng)詳細(xì)描述了由情感熱圖生成單元10d生成情感熱圖。情感熱圖不限于由引導(dǎo)服務(wù)器1的情感熱圖生成單元10d生成的情感熱圖,而是可以經(jīng)由網(wǎng)絡(luò)從外部信息提供服務(wù)器(未圖示)獲取。
然后,返回參考圖6中所示的流程圖,在步驟s124中,引導(dǎo)信息生成單元10c獲取將環(huán)境信息圖和情感熱圖集成在一起的集成熱圖。將參考圖12描述根據(jù)本實施方案的集成熱圖。
圖12是圖示根據(jù)本實施方案的集成熱圖的實例的圖解。通過合成圖7中所示的環(huán)境信息圖40、圖8的左側(cè)所示的情感熱圖42和圖8的右側(cè)所示的情感熱圖43,生成圖12中所示的集成熱圖45。引導(dǎo)信息生成單元10c可以參考集成熱圖45來檢測作為適合于沿著基本路線的一定范圍內(nèi)的多個用戶的關(guān)系的中途停留點候選的每個地點的位置,每個地點的情感值的等級,以及周圍區(qū)域的情感值的等級。例如,在圖12中所示的實例中,在作為適合于多個用戶的關(guān)系的中途停留點候選的地點400、401和402中的地點401的情感值高于地點400的情感值,但是周圍區(qū)域412的情感值較低,因此應(yīng)理解,即使是具有良好的氣氛、良好的食物等的商店在公共安全方面也可能是壞的。根據(jù)本實施方案的集成熱圖可以通過將情感熱圖42和情感熱圖43合成來生成,或可以通過將環(huán)境信息圖40和情感熱圖42或情感熱圖43合成來生成。
然后,在步驟s127中,引導(dǎo)信息生成單元10c在集成熱圖中提取總分等于或大于預(yù)定閾值的地點。例如,當(dāng)?shù)攸c匹配生成環(huán)境信息圖40時使用的過濾條件時,基于情感熱圖42中指示的地點的情感值和情感熱圖43中指示的站點的周圍區(qū)域的情感值來計算地點的總分。具體來說,例如,通過考慮除了地點的情感值之外,周圍區(qū)域412的情感值低,計算圖12中所示的集成熱圖45的地點401的總分。
然后,在步驟s130中,引導(dǎo)信息生成單元10c通過以地點的總分的降序?qū)Φ攸c進(jìn)行排序來生成中途停留點候選列表。
然后,在步驟s133中,引導(dǎo)信息生成單元10c獲取生成的中途停留點候選列表中具有最高總分的地點。
然后,在步驟s136中,引導(dǎo)信息生成單元10c確定獲取的地點的類別是否與多個用戶在一段時間內(nèi)停止的站點的類別(餐館、酒吧、動物園等)相同??梢詮牡攸c信息服務(wù)器4獲取地點的類別。
然后,當(dāng)獲取的地點的類別與多個用戶在一段時間內(nèi)停止的站點的類別相同(s136中的“是”)時,在步驟s139中,引導(dǎo)信息生成單元10c從中途停留點候選列表中刪除獲取的地點。
然后,在步驟s142中,引導(dǎo)信息生成單元10c確定其他地點是否保留在中途停留點候選列表中。
然后,當(dāng)其他地點保留(s142中的“是”)時,處理返回到s133,并且從剩余的中途停留點候選列表中再次獲取總分最高的地點。因此,可能防止用戶再次被引導(dǎo)到與用戶在一段時間內(nèi)停止的地點相同類別的地點。
另一方面,當(dāng)沒有其他地點保留(s142中的“否”)時,在步驟s145中,引導(dǎo)信息生成單元10c將用于提取地點的預(yù)定閾值減少預(yù)定值,然后處理返回到s127,并且使用新的閾值提取地點。
當(dāng)獲取的地點的類別與用戶在一段時間內(nèi)停止的站點的類別不相同(s136中的“是”)時,在步驟s148中,引導(dǎo)信息生成單元10c生成將獲取的地點設(shè)置為中途停留點的引導(dǎo)信息。具體來說,引導(dǎo)信息生成單元10c生成用于在經(jīng)由中途停留點到達(dá)目的地的路線上提供引導(dǎo)的引導(dǎo)信息?;蛘?,引導(dǎo)信息生成單元10c可以生成用于呈現(xiàn)中途停留點的詳細(xì)信息并且允許用戶選擇路線是否改變的引導(dǎo)信息,或可以生成用于呈現(xiàn)作為中途停留點候選的多個地點并且允許用戶選擇中途停留點的引導(dǎo)信息。此外,當(dāng)用戶指定所需的目的地到達(dá)時間時,引導(dǎo)信息生成單元10c可以生成包括從剩余時間和行駛時間獲得的中途停留點的最大停留時間的引導(dǎo)信息。
然后,在步驟s151中,引導(dǎo)服務(wù)器1將生成的引導(dǎo)信息傳輸?shù)杰囕v2a。在車輛2a中,引導(dǎo)信息被顯示在顯示單元26上或以語音輸出方式從揚聲器(未圖示)輸出。即使用戶不在中途停留點處停止,當(dāng)用戶在游覽點或感興趣的地點附近旅行時,車輛2a可以通過音頻或視頻向用戶通知與該地點相關(guān)的信息。此外,當(dāng)車輛2a是自主巡航車輛時,可以執(zhí)行根據(jù)引導(dǎo)信息(經(jīng)由中途停留點到達(dá)目的地的路線的信息)的自主巡航。
上面已經(jīng)描述了根據(jù)本實施方案的生成包括中途停留點的引導(dǎo)信息的處理。接著,將參考圖13詳細(xì)描述在s106中描述的估計多個用戶的關(guān)系的處理。
圖13是圖示根據(jù)本實施方案的估計多個用戶的關(guān)系的處理的細(xì)節(jié)的流程圖。如圖13中所示,首先,在步驟s203中,引導(dǎo)服務(wù)器1的用戶指定單元10a確定人是否乘坐車輛2a。具體來說,乘坐車輛2a的人的面部被車輛2a的車載攝像頭23拍攝,并且從車輛2a傳輸捕獲圖像,因此用戶指定單元10a基于捕獲圖像通過面部識別來確定人是否乘坐車輛。此外,用戶指定單元10a也可以除了基于從車輛2a傳輸?shù)牟东@圖像之外,還基于從車輛2a傳輸?shù)某丝偷囊纛l數(shù)據(jù)或生物信息的分析來確定人是否乘坐車輛。
然后,當(dāng)人乘坐車輛2a(s203中的“是”)時,在步驟s208中,用戶指定單元10a執(zhí)行該人的個體識別。具體來說,用戶指定單元10a參考捕獲的面部圖像的分析結(jié)果和先前登記在個人db服務(wù)器6中的個人信息來執(zhí)行乘客的個體識別?;蛘?,用戶指定單元10a可以參考乘客的語音識別結(jié)果,生物信息的分析結(jié)果以及登記在個人db服務(wù)器6中的個人信息來執(zhí)行個體識別。
然后,當(dāng)能夠執(zhí)行乘客的個體識別(s206中的“是”)時,在步驟s209中,關(guān)系估計單元10b從個人db服務(wù)器6獲取識別的人的屬性。在個人db服務(wù)器6中登記的人的屬性的實例包括年齡、性別、職業(yè)、愛好/偏好、對象id等。
然后,在步驟s212中,關(guān)系估計單元10b基于識別的乘客之間(多個用戶之間)的交互評估從情感服務(wù)器3獲取情感值。
另一方面,當(dāng)無法執(zhí)行乘客的個體識別(s206中的“否”)時,在步驟s215中,關(guān)系估計單元10b確定乘客是否輸入(或改變)目的地。
然后,當(dāng)輸入目的地(s215中的“是”)時,在步驟s218中,關(guān)系估計單元10b估計乘客的旅行目的。例如,當(dāng)目的地是游覽點時,乘客的旅行目的估計是“休閑”;當(dāng)目的地是與公司或業(yè)務(wù)相關(guān)的地方時,乘客的旅行目的估計是“業(yè)務(wù)”;當(dāng)目的地是超市或商店時,乘客的旅行目的估計是“購物”;以及當(dāng)目的地是諸如公寓或寓所的個人住所時,乘客的旅行目的估計是“樂趣/差事”。關(guān)系估計單元10b可以參考一周中的一天和時間進(jìn)一步增加旅行目的的估計精度。
另一方面,當(dāng)沒有輸入目的地(s215中的“否”)時,在步驟s221中,用戶指定單元10a獲取由車輛2a的車載攝像頭23、麥克風(fēng)24、生物傳感器27等檢測的與用戶相關(guān)的信息(捕獲圖像、音頻數(shù)據(jù)、生物信息等)。
然后,在步驟s224中,即使當(dāng)使用與獲取的用戶相關(guān)的信息通過面部識別、語音分析和生物信息分析無法執(zhí)行個體識別時,用戶指定單元10a也可以指定乘客的性別和年齡。此外,當(dāng)在車輛2a中安裝深度傳感器(未圖示)時,可能使用通過深度傳感器檢測的傳感器值來獲取乘客的體型數(shù)據(jù),并且增加性別或年齡的估計精度。
然后,在步驟s227中,當(dāng)能夠執(zhí)行個體識別時,關(guān)系估計單元10b使用基于人的屬性或多個用戶之間的交互評估的情感值來估計乘坐車輛2a的多個用戶的關(guān)系,并且當(dāng)無法執(zhí)行個體識別時,使用估計的旅行目的或乘客的性別/年齡來估計乘坐車輛2a的多個用戶的關(guān)系。
例如,在通過個體識別將坐在駕駛員座椅中的人識別為預(yù)先登記為車主的人的情況下,獲取人的屬性“28歲男性”,并且通過面部識別將一個人估計為20多歲的女性,盡管考慮到無法執(zhí)行坐在乘客座椅中的人的個體識別。在這種情況下,關(guān)系估計單元10b將多個用戶的關(guān)系縮小為諸如夫婦、朋友、公司的老板和下屬以及家人的候選者。此外,關(guān)系估計單元10b可以根據(jù)日期和時間、目的地、旅行目的等,在假期前往觀光景點時估計夫婦關(guān)系,并且在工作日前往業(yè)務(wù)相關(guān)的地方時估計業(yè)務(wù)關(guān)系。關(guān)系估計單元10b可以根據(jù)從音頻數(shù)據(jù)識別的對話內(nèi)容來估計多個用戶的關(guān)系。
此外,多個用戶的關(guān)系的估計不限于使用屬性、情感值、旅行目的或性別/年齡的估計,并且例如可以根據(jù)基于由相機、麥克風(fēng)、生物傳感器、語音聲調(diào)、車內(nèi)的氣氛或親密度檢測的數(shù)據(jù)的對話內(nèi)容來執(zhí)行多個用戶的關(guān)系的估計。
然后,在步驟s230中,引導(dǎo)信息生成單元10c確定是否更新關(guān)系。連續(xù)執(zhí)行乘坐車輛2a的多個用戶的關(guān)系的估計,并且當(dāng)新人上車時,當(dāng)目的地改變時,當(dāng)車內(nèi)的氣氛改變時等,估計多個用戶的關(guān)系。當(dāng)關(guān)系估計單元10b新估計多個用戶的關(guān)系時,引導(dǎo)信息生成單元10c確定已更新關(guān)系。
然后,當(dāng)更新關(guān)系(s230中的“是”)時,在步驟s233中,引導(dǎo)信息生成單元10c生成(更新)包括中途停留點的引導(dǎo)信息。在引導(dǎo)信息生成處理中,主要執(zhí)行圖6中的s109至s151的處理。
然后,在步驟s236中,引導(dǎo)服務(wù)器1確定車輛2a是否到達(dá)目的地,并且重復(fù)s203至s233的處理,直到車輛2a到達(dá)目的地。
上面已經(jīng)描述了根據(jù)本實施方案的估計多個用戶的關(guān)系的更具體的處理。本實施方案不限于上述處理,并且例如,由于用戶不想在出差旅行時停留,所以預(yù)先準(zhǔn)備“中途停留許可模式”,并且當(dāng)用戶選擇該模式時,引導(dǎo)服務(wù)器1的控制單元10可以執(zhí)行根據(jù)本實施方案的引導(dǎo)信息生成處理。
此外,引導(dǎo)服務(wù)器1的控制單元10確定用戶是否實際上停留在他或她被引導(dǎo)到的中途停留點,并且當(dāng)用戶實際上停留在他或她被引導(dǎo)到的中途停留點時,引導(dǎo)服務(wù)器1的控制單元10基于停留時間、返回到車輛2a后的微笑程度、對話量的變化等來確定估計關(guān)系或用戶被引導(dǎo)到的中途停留點的選擇是否正確。此外,當(dāng)需要根據(jù)其結(jié)果重新估計關(guān)系時,關(guān)系估計單元10b重新估計多個用戶的關(guān)系。
此外,當(dāng)能夠執(zhí)行個體識別時,引導(dǎo)信息生成單元10c能夠基于sns的歷史或郵件內(nèi)容來檢測個人的愛好/偏好或個性,并且建議更優(yōu)化的中途停留點。具體來說,引導(dǎo)信息生成單元10c提供當(dāng)將生成環(huán)境信息圖的指令提供給環(huán)境信息圖生成單元10e時反映個人的愛好/偏好或個性的過濾條件。
此外,由于可能基于乘客之間的先前交互從情感服務(wù)器3獲取情感值并且估計更詳細(xì)的關(guān)系(諸如“夫婦正在爭吵”),所以可能使用詳細(xì)的關(guān)系來選擇中途停留點。例如,當(dāng)估計諸如“夫婦正在爭吵”的關(guān)系時,由于提供非凡體驗的地方(諸如游樂園)更適合和解,所以當(dāng)將生成環(huán)境信息圖的指令提供給環(huán)境信息圖生成單元10e時,引導(dǎo)信息生成單元10c提供“非凡體驗”的過濾條件。
<<4.結(jié)論>>
如上所述,在根據(jù)本公開的實施方案的信息處理系統(tǒng)中,可能根據(jù)多個用戶的關(guān)系生成更優(yōu)化的引導(dǎo)信息。具體來說,在本實施方案的信息處理系統(tǒng)中,根據(jù)多個用戶的關(guān)系提取到目的地的基本路線附近的地點(中途停留點),并且生成包括中途停留點的引導(dǎo)信息。
上面已經(jīng)參考附圖描述了本公開的優(yōu)選實施方案,而本公開不限于上述實例。本領(lǐng)域技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)發(fā)現(xiàn)各種改變和修改,并且應(yīng)當(dāng)理解,這些改變和修改將自然地落入本公開的技術(shù)范圍內(nèi)。
例如,可能創(chuàng)建計算機程序,其使安裝在引導(dǎo)服務(wù)器1、車輛2a、智能電話2b或情感服務(wù)器3中的諸如cpu、rom和ram的硬件執(zhí)行引導(dǎo)服務(wù)器1、車輛2a、智能電話2b或情感服務(wù)器3的功能。此外,也提供其中存儲有計算機程序的計算機可讀存儲介質(zhì)。
此外,本說明書中描述的效果僅僅是說明性或示例性的效果,并且不是限制性的。即,使用或代替上述效果,根據(jù)本公開的技術(shù)可以實現(xiàn)本領(lǐng)域技術(shù)人員從本說明書的描述中清楚的其他效果。
另外,本技術(shù)也可以被配置如下。
(1)
一種信息處理系統(tǒng),包括:
用戶指定單元,其被配置成指定一起執(zhí)行動作的多個用戶;
估計單元,其被配置成估計所述多個指定用戶的關(guān)系;以及
生成單元,其被配置成根據(jù)所述估計的所述多個用戶的關(guān)系生成所述多個用戶的引導(dǎo)信息。
(2)
根據(jù)(1)所述的信息處理系統(tǒng),
其中所述用戶指定單元基于由傳感器檢測的與所述用戶相關(guān)的信息指定一起執(zhí)行動作的所述多個用戶。
(3)
根據(jù)(1)或(2)所述的信息處理系統(tǒng),
其中所述估計單元根據(jù)基于由傳感器檢測的與所述用戶相關(guān)的信息獲取的每個所述用戶的性別或年齡來估計所述多個用戶的所述關(guān)系。
(4)
根據(jù)(1)至(3)中任一項所述的信息處理系統(tǒng),
其中所述估計單元根據(jù)基于由傳感器檢測的與所述用戶相關(guān)的信息獲取的氣氛來估計所述多個用戶的所述關(guān)系。
(5)
根據(jù)(2)至(4)中任一項所述的信息處理系統(tǒng),
其中由所述傳感器檢測的與所述用戶相關(guān)的所述信息是捕獲圖像、音頻數(shù)據(jù)、生物信息和終端間通信數(shù)據(jù)中的至少一個。
(6)
根據(jù)(1)至(5)中任一項所述的信息處理系統(tǒng),
其中所述估計單元根據(jù)與所述用戶的情感相關(guān)的信息來估計所述多個用戶的所述關(guān)系。
(7)
根據(jù)(6)所述的信息處理系統(tǒng),
其中基于由傳感器檢測的與所述用戶相關(guān)的信息生成與所述用戶的所述情感相關(guān)的所述信息。
(8)
根據(jù)(7)所述的信息處理系統(tǒng),
其中使用基于所述用戶的面部的面部圖像的面部表情分析,基于音頻數(shù)據(jù)的對話內(nèi)容的分析,語音聲調(diào),以及基于生物信息的心率、排汗量、腦電波或體動中的至少一個,生成與所述用戶的所述情感相關(guān)的所述信息。
(9)
根據(jù)(6)所述的信息處理系統(tǒng),
其中所述估計單元從通過積累對象之間的交互的評估值建構(gòu)的情感值數(shù)據(jù)庫獲取基于對應(yīng)于所述多個用戶的對象之間的交互評估值計算的情感值,作為與所述用戶的所述情感相關(guān)的所述信息,并且基于所述情感值估計所述多個用戶的所述關(guān)系。
(10)
根據(jù)(1)至(9)中任一項所述的信息處理系統(tǒng),
其中所述估計單元根據(jù)所述多個用戶的屬性來估計所述多個用戶的所述關(guān)系。
(11)
根據(jù)(1)至(10)中任一項所述的信息處理系統(tǒng),
其中所述生成單元根據(jù)由所述估計單元估計的所述多個用戶的所述關(guān)系來決定要包括在所述引導(dǎo)信息中的中途停留點。
(12)
根據(jù)(1)至(9)中任一項所述的信息處理系統(tǒng),
其中所述生成單元使用其中與情感相關(guān)的信息與地圖形式的位置相關(guān)聯(lián)的情感熱圖來生成所述引導(dǎo)信息。
(13)
根據(jù)(12)所述的信息處理系統(tǒng),
其中所述生成單元使用其中與環(huán)境相關(guān)的信息與地圖形式的位置相關(guān)聯(lián)的環(huán)境信息圖以及所述情感熱圖來生成所述引導(dǎo)信息。
(14)
根據(jù)(13)所述的信息處理系統(tǒng),
其中與所述環(huán)境相關(guān)的所述信息是地點信息。
(15)
根據(jù)(1)至(14)中任一項所述的信息處理系統(tǒng),進(jìn)一步包括
傳輸單元,其被配置成將所述生成的引導(dǎo)信息傳輸?shù)阶灾餮埠杰囕v,
其中所述自主巡航車輛根據(jù)作為所述引導(dǎo)信息的到目的地的路線的信息來執(zhí)行自主巡航控制。
(16)
根據(jù)(15)所述的信息處理系統(tǒng),
其中所述路線的信息包括到達(dá)目的地的途中的中途停留點。
(17)
根據(jù)(1)至(16)中任一項所述的信息處理系統(tǒng),進(jìn)一步包括
傳輸單元,其被配置成將所述生成的引導(dǎo)信息傳輸?shù)叫畔⑻幚斫K端,
其中所述信息處理終端向所述用戶呈現(xiàn)所述引導(dǎo)信息。
(18)
一種控制方法,包括:
通過指定單元指定一起執(zhí)行動作的多個用戶;
通過估計單元估計所述多個指定用戶的關(guān)系;以及
通過生成單元根據(jù)所述估計的所述多個用戶的關(guān)系,生成所述多個用戶的引導(dǎo)信息。
參考符號列表
1引導(dǎo)服務(wù)器
10控制單元
10a用戶指定單元
10b關(guān)系估計單元
10c引導(dǎo)信息生成單元
10d情感熱圖生成單元
10e環(huán)境信息圖生成單元
11通信單元
12存儲單元
2a車輛
20控制單元
21通信單元
22車輛位置獲取單元
23車載攝像頭
24麥克風(fēng)
25操作輸入單元
26顯示單元
27生物傳感器
28自主巡航控制單元
29存儲單元
2b智能電話
3情感服務(wù)器
4地點信息服務(wù)器
5sns服務(wù)器
6個人db服務(wù)器
7互聯(lián)網(wǎng)
40環(huán)境信息圖
42、43情感熱圖
45集成熱圖
400-402地點。