專利名稱：用于使用聲音提供增強(qiáng)現(xiàn)實(shí)服務(wù)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及移動通信終端，且更具體地，涉及一種在移動通信終端中用于使用聲音提供增強(qiáng)現(xiàn)實(shí)服務(wù)的裝置和方法。
背景技術(shù)：
在用于移動通信終端的各種服務(wù)和附加功能的成長增多時(shí)，已經(jīng)開發(fā)了向用戶提供各種類型的信息的各種服務(wù)系統(tǒng)。例如，最近引入的系統(tǒng)能夠在期望知道他的當(dāng)前位置的移動通信終端的用戶使用他隨身攜帶的移動通信終端請求他的位置信息(也即，關(guān)于移動通信終端的當(dāng)前位置的信息)時(shí)提供移動通信終端的基本位置信息。在增強(qiáng)現(xiàn)實(shí)領(lǐng)域中用于提供此類位置信息的傳統(tǒng)技術(shù)之一可以利用全球定位系統(tǒng)(GPQ和陀螺儀檢測用戶的位置，并且在透過型頭戴式顯示器(HMD)上提供合并其附加信息的真實(shí)圖像給用戶。這是最新的技術(shù)，其能夠通過將真實(shí)世界和計(jì)算機(jī)創(chuàng)建的計(jì)算機(jī)世界(cyber world)混合來提供關(guān)于在真實(shí)世界中不可能的虛擬表示和信息提供的更有用的信息。該技術(shù)廣泛熟知為增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)，例如，其能夠用來向觀光旅游者提供包括關(guān)于附近吸引人的事物的信息的各種信息。如上所述，傳統(tǒng)AR技術(shù)可以提供與當(dāng)前位置的真實(shí)圖像關(guān)聯(lián)的附加信息?？墒?， 當(dāng)真實(shí)圖像由于某些原因無法獲得時(shí)可能不會提供在當(dāng)前位置的附加信息。因此，如果即使在真實(shí)圖像無法獲得或它們的特征無法檢測的位置中也可以提供AR服務(wù)，則可以增強(qiáng)其利用。

發(fā)明內(nèi)容
本發(fā)明的一方面基本上解決至少以上的問題和/或不足并且提供至少以下的優(yōu)點(diǎn)。因此，本發(fā)明的一方面提供一種裝置和方法，用于即使在真實(shí)圖像無法獲得的位置中也提供增強(qiáng)現(xiàn)實(shí)(AR)服務(wù)。本發(fā)明的另一方面提供一種用于使用聲音替代真實(shí)圖像提供AR服務(wù)的裝置和方法。本發(fā)明的另一方面提供一種用于提供基于AR的附加信息的裝置和方法。根據(jù)本發(fā)明的一方面，提供一種用于在移動通信終端中提供增強(qiáng)現(xiàn)實(shí)(AR)服務(wù)的方法，該方法包括接收聲音信號，在聲音信號上攜帶了關(guān)于AR服務(wù)的附加信息；從聲音信號提取該附加信息；基于提取的附加信息獲得用于提供AR服務(wù)的數(shù)據(jù)；以及基于獲得的數(shù)據(jù)顯示AR服務(wù)屏幕。根據(jù)本發(fā)明的另一方面，提供一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)服務(wù)的裝置，該裝置包括麥克風(fēng)，用于接收攜帶了與AR服務(wù)關(guān)聯(lián)的附加信息的聲音信號；控制器，用于從經(jīng)過麥克風(fēng)接收的聲音信號提取該附加信息，基于提取的附加信息獲得用于提供AR服務(wù)的數(shù)據(jù)， 以及基于獲得的數(shù)據(jù)配置AR服務(wù)屏幕；和顯示單元，用于顯示AR服務(wù)屏幕。


通過結(jié)合附圖的以下詳細(xì)描述，本發(fā)明的以上和其它方面、特征和優(yōu)點(diǎn)將變得更明了，其中圖1是說明根據(jù)本發(fā)明的實(shí)施例的用于提供AR服務(wù)的系統(tǒng)的配置的圖。圖2是根據(jù)本發(fā)明的實(shí)施例的用于提供AR服務(wù)的移動通信終端的框圖。圖3是說明根據(jù)本發(fā)明的實(shí)施例的AR服務(wù)的示例的圖；和圖4是說明根據(jù)本發(fā)明的實(shí)施例的用于提供AR服務(wù)的方法的流程圖。
具體實(shí)施例方式下面將參考附圖在此描述本發(fā)明的實(shí)施例。貫穿附圖，相似的參考數(shù)字和符號用來表示相似的組件。在以下說明中，公知的功能或結(jié)構(gòu)沒有詳細(xì)說明，因?yàn)樗鼈儠诓槐匾募?xì)節(jié)上模糊本發(fā)明。這里描述用于使用聲音提供增強(qiáng)現(xiàn)實(shí)(AR)服務(wù)的裝置和方法。為了完成它們， 本發(fā)明包括如果用戶啟動在移動通信終端中提供AR服務(wù)的功能，則接收聲音信號，分析接收的聲音信號，確定該聲音信號是否攜帶附加信息，如果在聲音信號上攜帶附加信息則提取附加信息，獲得與提取的附加信息關(guān)聯(lián)的數(shù)據(jù)，并且使用獲得的數(shù)據(jù)提供AR服務(wù)。因此，本發(fā)明不僅能夠提供在當(dāng)前位置的各種類型的附加信息而且提供不受位置限制的AR 服務(wù)?，F(xiàn)在將參考圖1描述根據(jù)本發(fā)明的實(shí)施例的用于提供AR服務(wù)的系統(tǒng)配置。參考圖1，用于提供AR服務(wù)的系統(tǒng)可以包括用于提供聲音信號的聲音源設(shè)備110， 和用于接收該聲音信號的移動通信終端100。聲音源設(shè)備110可以根據(jù)預(yù)設(shè)的編碼方案將附加信息插入聲音信號并且發(fā)送該聲音信號。聲音源設(shè)備110可以經(jīng)過揚(yáng)聲器120廣播其上攜帶附加信息的該聲音信號。聲音源設(shè)備110可以是在預(yù)定位置安裝的任何設(shè)備，諸如地鐵車站和建筑物。聲音信號可以是在用戶能夠聽到的可聽頻帶的信號，而在聲音信號上攜帶的附加信息可以是在用戶無法聽到的不可聽頻帶的非聲音信號從而附加信息不被用戶作為噪聲聽到。因此，即使在聲音信號上攜帶附加信息，當(dāng)用戶聽到對應(yīng)于該聲音信號的聲音時(shí)，用戶也不會識別同正常聲音的任何區(qū)別。移動通信終端100可以在用戶激活A(yù)R服務(wù)功能時(shí)開始通過麥克風(fēng)接收該聲音信號。移動通信終端100可以確定附加信息是否攜帶在聲音信號上，并且如果附加信息攜帶在聲音信號上，則移動通信終端100可以解碼和提取在聲音信號上攜帶的附加信息。在通過解碼提取附加信息之后，移動通信終端100可以通過將附加信息與存儲在其數(shù)據(jù)庫的信息進(jìn)行比較來搜索與附加信息關(guān)聯(lián)的數(shù)據(jù)。之后，移動通信終端100可以基于搜索的數(shù)據(jù)配置AR服務(wù)屏幕并且顯示該屏幕。移動通信終端100可以通過其揚(yáng)聲器輸出語音以使用搜索的數(shù)據(jù)提供AR服務(wù)。替換地，移動通信終端100可以將從聲音信號提取的附加信息發(fā)送到服務(wù)器(未示出)，從該服務(wù)器接收對應(yīng)于附加信息的AR數(shù)據(jù)，并且使用該AR數(shù)據(jù)配置AR服務(wù)。與附加信息關(guān)聯(lián)的數(shù)據(jù)可以包括在當(dāng)前位置的信息，諸如關(guān)聯(lián)的圖像、地圖、以及在當(dāng)前位置的本地區(qū)域信息，且如果該聲音信號對應(yīng)于音樂，則與附加信息關(guān)聯(lián)的數(shù)據(jù)可以包括與音樂關(guān)聯(lián)的信息。如上描述的，附加信息可以是在接收聲音信號的當(dāng)前位置的關(guān)聯(lián)信息，或是與聲源關(guān)聯(lián)的附加信息。另一方面，移動通信終端100可以使用外部服務(wù)器的數(shù)據(jù)庫來搜索與附加信息關(guān)聯(lián)的數(shù)據(jù)以提供信息。現(xiàn)在將參考圖2詳細(xì)描述在上述系統(tǒng)中移動通信終端100的操作和組件。在圖2 中，移動通信終端100可以包括聲音信號處理器200、麥克風(fēng)(MIC)210、揚(yáng)聲器(SPK) 220、控制器230、顯示單元240和存儲器250。移動通信終端100還可以包括用于捕捉真實(shí)圖像來提供AR服務(wù)的照相機(jī)(未示出)，其中通過使用在聲音信號上攜帶的附加信息將附加信息添加到真實(shí)圖像上，以及包括通信單元(未示出)，用于發(fā)送從聲音信號提取的附加信息到外部服務(wù)器并且從外部服務(wù)器接收對應(yīng)于發(fā)送的附加信息的AR數(shù)據(jù)。聲音信號處理器200可以經(jīng)過麥克風(fēng)210接收聲音信號，放大聲音信號，并且傳遞放大的聲音信號到控制器230。當(dāng)用戶啟動AR服務(wù)功能時(shí)可以激活麥克風(fēng)210來接收聲音信號。聲音信號處理器200可以連接到揚(yáng)聲器220從而將自控制器230輸出的關(guān)于AR服務(wù)的聲音信號輸出到外部。顯示單元240通常可以在控制器230的控制下顯示移動通信終端100的操作狀態(tài)和多條信息。當(dāng)用戶設(shè)置或激活必需的功能時(shí)，顯示單元240可以在控制器230的控制下允許用戶識別一設(shè)置或激活的狀態(tài)。顯示單元240可以顯示AR服務(wù)屏幕。如此，顯示單元 240可以使用圖形技術(shù)顯示在用戶所處的位置中與附加信息關(guān)聯(lián)的數(shù)據(jù)。例如，用戶可以觀看在當(dāng)前位置的圖像，其根據(jù)在接收的聲音信號上攜帶的附加信息而動態(tài)改變，以及觀看與附加信息關(guān)聯(lián)的數(shù)據(jù)，并且如果聲音信號對應(yīng)于音樂，則用戶可以瀏覽關(guān)于音樂的詳細(xì) fn息ο在當(dāng)前位置的圖像可以是在附加信息中包括的圖像或由照相機(jī)捕捉的真實(shí)圖像。 如果該圖像是由照相機(jī)捕捉的真實(shí)圖像，則移動通信終端100可以使用GPS和陀螺儀確定當(dāng)前位置和當(dāng)前承載，并且基于在聲音信號上攜帶的附加信息(如，餐廳的菜單信息)和真實(shí)圖像顯示關(guān)于周圍的信息。存儲器250可以包括只讀存儲器(ROM)和隨機(jī)存取存儲器(RAM)以存儲多個(gè)程序和數(shù)據(jù)。存儲器250可以存儲與從聲音信號提取的附加信息關(guān)聯(lián)的數(shù)據(jù)。換句話說，存儲器250可以包括用于存儲提供AR服務(wù)的數(shù)據(jù)的數(shù)據(jù)庫。控制器230可以控制移動通信終端100的整個(gè)操作。根據(jù)本發(fā)明的實(shí)施例，控制器230可以確定是否接收在聲音信號攜帶的附加信息，并且在數(shù)據(jù)庫中搜索對應(yīng)于附加信息的數(shù)據(jù)。然后，控制器230可以基于搜索的數(shù)據(jù)配置AR服務(wù)屏幕，并且輸出配置的AR服務(wù)屏幕?？梢圆迦胩卣鞯铰曇粜盘栆允沟每梢栽诼曇粜盘栔凶R別附加信息的位置。特征可以按照特定代碼或空白的形式插入。因此，控制器230可以檢測在聲音信號中插入的特征并且提取在檢測的特征之間的附加信息。根據(jù)本發(fā)明，附加信息可以具有如下格式。附加信息可以是元數(shù)據(jù)或具有鏈接信息格式，用于在數(shù)據(jù)庫中搜索關(guān)聯(lián)數(shù)據(jù)的位置。如果附加信息是元數(shù)據(jù)格式，則控制器230 可以僅利用該元數(shù)據(jù)提供AR服務(wù)并且通過在數(shù)據(jù)庫搜索與元數(shù)據(jù)關(guān)聯(lián)的內(nèi)容來輸出詳細(xì)的信息。如上所述的，元數(shù)據(jù)可以用來結(jié)合數(shù)據(jù)庫提供關(guān)于接收的聲音信號的各種類型的信息。例如，當(dāng)接收聲音信號時(shí)，在其上攜帶作為附加信息的與音樂關(guān)聯(lián)的各種類型的信息，諸如類別、歌詞和銷售信息之類，控制器230可以通過分析該聲音信號獲得對提供AR服務(wù)有用的信息。現(xiàn)在將參考圖3描述提供AR服務(wù)的過程。本發(fā)明可以包括從其上攜帶附加信息的聲音信號300中提取附加信息，從數(shù)據(jù)庫310中搜索與提取的附加信息關(guān)聯(lián)的數(shù)據(jù)320， 并且基于搜索的數(shù)據(jù)提供AR服務(wù)。如圖3所示，將通過以上所述的過程實(shí)現(xiàn)的AR服務(wù)屏幕提供給用戶。參考圖3， 當(dāng)移動通信終端的用戶在地鐵火車中時(shí)該移動通信終端接收地鐵通知時(shí)，可以在顯示單元 240上提供AR服務(wù)屏幕。例如，當(dāng)用戶在聽到地鐵通知的同時(shí)希望接收在當(dāng)前位置的AR服務(wù)時(shí)，用戶可以激活移動通信終端100的AR服務(wù)功能。在這種情況下，移動通信終端100可以通過麥克風(fēng)210接收該地鐵通知。依據(jù)本發(fā)明的實(shí)施例，對應(yīng)于聲音信號的地鐵通知可以是其上攜帶附加信息的通知。因此，當(dāng)用戶接收其上攜帶附加信息的此類地鐵通知時(shí)，移動通信終端 100可以顯示各種類型的信息，諸如出口信息和周圍的餐廳信息，以及顯示在當(dāng)前位置的關(guān)聯(lián)圖像。雖然在圖3中，當(dāng)選擇出口信息時(shí)該出口信息被添加到當(dāng)前位置的關(guān)聯(lián)圖像中， 但是當(dāng)選擇周圍的餐廳信息時(shí)，可以將餐廳位置信息添加到關(guān)聯(lián)圖像中。也即，可以在AR 服務(wù)屏幕中做出各種改變。如上所述，關(guān)于AR服務(wù)的屏幕的內(nèi)容可以按各種形式提供。雖然在圖3中示出涉及諸如地鐵火車的公共交通的AR服務(wù)，但是這僅是示例而本發(fā)明的主題不局限于此。例如，當(dāng)用戶期望獲得關(guān)于在路上行走聽到的音樂的進(jìn)一步信息時(shí)，移動通信終端100可以獲得關(guān)于該音樂的附加信息并且顯示與音樂關(guān)聯(lián)的數(shù)據(jù)。類似地，移動通信終端100可以從音樂售賣機(jī)器接收聲源并且向用戶顯示關(guān)于該聲源的附加信息。即使用戶沒有獲得與完整音樂關(guān)聯(lián)的整個(gè)聲源，用戶也可以足以僅利用部分的聲源獲得期望的附加信息。另外，根據(jù)本發(fā)明的實(shí)施例，移動通信終端100可以通過僅在特定位置 (如，商店)接收通知而提供關(guān)于產(chǎn)品的詳細(xì)信息給用戶。如上所述，取決于服務(wù)提供商做出的選擇可以在各種聲音信號上攜帶附加信息。圖4是說明根據(jù)本發(fā)明的實(shí)施例的在移動通信終端100中用于使用聲音信號提供 AR服務(wù)的方法的流程圖。雖然在以下說明中將示出通過搜索特征而提取附加信息的方法， 根據(jù)本發(fā)明的實(shí)施例的提取附加信息的方法不局限于此。參考圖4，當(dāng)開始AR服務(wù)功能時(shí)，在步驟400中移動通信終端100通過麥克風(fēng)210 接收聲音信號。在步驟410中移動通信終端100確定該聲音信號是否攜帶附加信息。如果聲音信號正攜帶附加信息，則在步驟420中移動通信終端100通過根據(jù)預(yù)設(shè)的解碼方案解碼該聲音信號而檢測用于從聲音信號中提取附加信息的特征。檢測的特征可以用于識別在其上攜帶附加信息的聲音信號的邊界。因此，在步驟430中，移動通信終端100基于檢測的特征從聲音信號中提取附加信息。在步驟440中移動通信終端100在數(shù)據(jù)庫中搜索對應(yīng)于提取的附加信息的數(shù)據(jù)并且獲得搜索的數(shù)據(jù)。在步驟450中移動通信終端100基于獲得的數(shù)據(jù)提供AR服務(wù)。如上所述，在聲音信號上攜帶的附加信息使得與聲音信號關(guān)聯(lián)的內(nèi)容被輸出。因此，用戶可以實(shí)時(shí)接收按照各種形式(諸如圖像、圖形和語音)的各種類型的信息，該信息與在當(dāng)前位置聽到的聲音關(guān)聯(lián)。如前述說明中顯然的，本發(fā)明可以使用聲音替換真實(shí)圖像來提供基于AR的附加信息，使得即便在諸如地鐵火車和建筑物之類的、沒有檢測到特定的特征，或由于拍攝困難而無法獲得真實(shí)圖像的位置中也可以提供各種類型的附加信息。另外，本發(fā)明可以從當(dāng)前位置接收的聲音中提取附加信息，由此提供在當(dāng)前位置的地圖和旅游信息并且有助于于在使用各種附加服務(wù)時(shí)增加期望。 盡管已經(jīng)參考本發(fā)明的具體實(shí)施例示出和描述本發(fā)明，但是本領(lǐng)域技術(shù)人員將理解在不背離由以下所附權(quán)利要求及其等價(jià)物限定的本發(fā)明的精神和范圍的情況下，這里可以在形式和細(xì)節(jié)上進(jìn)行各種改變。
權(quán)利要求
1.一種在移動通信終端用于提供增強(qiáng)現(xiàn)實(shí)(AR)服務(wù)的方法，該方法包括 接收聲音信號，在聲音信號上攜帶了關(guān)于AR服務(wù)的附加信息；從聲音信號提取該附加信息；基于提取的附加信息獲得用于提供AR服務(wù)的數(shù)據(jù)；以及基于獲得的數(shù)據(jù)顯示AR服務(wù)屏幕。
2.根據(jù)權(quán)利要求1所述的方法，其中從聲音信號提取該附加信息的步驟包括 根據(jù)預(yù)設(shè)的解碼方案解碼聲音信號；以及從解碼的聲音信號提取該附加信息。
3.根據(jù)權(quán)利要求1或2所述的方法，其中獲得的數(shù)據(jù)包括以下的至少一個(gè)在接收聲音信號的位置中的關(guān)聯(lián)圖像、地圖和周圍的信息。
4.根據(jù)權(quán)利要求1到3之一所述的方法，其中獲得的數(shù)據(jù)包括 當(dāng)聲音信號對應(yīng)于音樂時(shí)的音樂關(guān)聯(lián)信息。
5.根據(jù)權(quán)利要求1到4之一所述的方法，其中獲得用于提供AR服務(wù)的數(shù)據(jù)的步驟包括在數(shù)據(jù)庫中搜索與提取的附加信息關(guān)聯(lián)的數(shù)據(jù)。
6.根據(jù)權(quán)利要求1到5之一所述的方法，其中獲得用于提供AR服務(wù)的數(shù)據(jù)的步驟包括發(fā)送提取的附加信息到服務(wù)器；以及從服務(wù)器接收對應(yīng)于發(fā)送的附加信息的數(shù)據(jù)，該數(shù)據(jù)是配置AR服務(wù)屏幕所需要的。
7.根據(jù)權(quán)利要求1所述的方法，其中與AR服務(wù)關(guān)聯(lián)的附加信息是非聲音信號。
8.根據(jù)權(quán)利要求1所述的方法，其中接收聲音信號包括當(dāng)用戶激活A(yù)R服務(wù)功能時(shí)激活麥克風(fēng)。
9.一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)服務(wù)的裝置，該裝置包括 麥克風(fēng)，用于接收攜帶了與AR服務(wù)關(guān)聯(lián)的附加信息的聲音信號；控制器，用于從經(jīng)過麥克風(fēng)接收的聲音信號提取該附加信息，基于提取的附加信息獲得用于提供AR服務(wù)的數(shù)據(jù)，以及基于獲得的數(shù)據(jù)配置AR服務(wù)屏幕；和顯示單元，用于顯示AR服務(wù)屏幕。
10.根據(jù)權(quán)利要求9所述的裝置，其中控制器根據(jù)預(yù)設(shè)的解碼方案解碼攜帶該附加信息的聲音信號，以及從解碼的聲音信號提取該附加信息。
11.根據(jù)權(quán)利要求9或10所述的裝置，其中獲得的數(shù)據(jù)包括以下的至少一個(gè)在接收聲音信號的位置中的關(guān)聯(lián)圖像、地圖和周圍的信息。
12.根據(jù)權(quán)利要求9到11之一所述的裝置，其中獲得的數(shù)據(jù)包括 當(dāng)聲音信號對應(yīng)于音樂時(shí)的音樂關(guān)聯(lián)信息。
13.根據(jù)權(quán)利要求9到12之一所述的裝置，還包括數(shù)據(jù)庫，用于存儲提供AR服務(wù)的數(shù)據(jù)。
14.根據(jù)權(quán)利要求9到13之一所述的裝置，其中控制器發(fā)送提取的附加信息到服務(wù)器， 從服務(wù)器接收對應(yīng)于發(fā)送的附加信息的數(shù)據(jù)，以及基于接收的數(shù)據(jù)配置AR服務(wù)屏幕。
15.根據(jù)權(quán)利要求9到14之一所述的裝置，其中與AR服務(wù)關(guān)聯(lián)的附加信息是非聲音信
全文摘要
一種使用聲音提供增強(qiáng)現(xiàn)實(shí)服務(wù)的裝置和方法。當(dāng)用戶在移動通信終端開始AR服務(wù)提供功能時(shí)，接收聲音信號，通過分析聲音信號，確定該聲音信號是否攜帶附加信息，如果在聲音信號上攜帶附加信息，則提取附加信息，獲得與提取的附加信息關(guān)聯(lián)的數(shù)據(jù)，并且使用獲得的數(shù)據(jù)提供AR服務(wù)。因此，可以提供各種類型的附加信息，而且可以提供AR服務(wù)。
文檔編號H04W4/00GK102348014SQ201110207359
公開日2012年2月8日 申請日期2011年7月22日 優(yōu)先權(quán)日2010年7月22日
發(fā)明者權(quán)東旭, 鄭熙遠(yuǎn), 高俊豪 申請人:三星電子株式會社