圖2及3中呈現(xiàn)的那些話語氣泡。每一話語氣泡可懸浮在文本所歸于的人員的頭部上。在其它實(shí)施例中，文本可疊加在說出對應(yīng)話語的人員的面部上，由此當(dāng)用戶閱讀文本時(shí)，存在于用戶附近的人員看起來用戶正與說出對應(yīng)于所述文本的話語的人員進(jìn)行眼神接觸。在用戶附近的人員說出額外話語時(shí)，呈現(xiàn)文本的虛擬對象可經(jīng)更新以包含對應(yīng)于所述新話語的文本。對于第二 AR裝置在場時(shí)的此類話語，可通過第二 AR裝置而非經(jīng)由第一 AR裝置直接執(zhí)行對話語的俘獲轉(zhuǎn)錄。
[0069]圖5說明用于使用AR裝置提供語言轉(zhuǎn)譯服務(wù)的方法500的實(shí)施例。在方法500中，轉(zhuǎn)譯服務(wù)可由說話者的AR裝置或傾聽者的AR裝置執(zhí)行，哪一者被確定更有效(例如，基于功率消耗及/或處理的總量)則由哪一者執(zhí)行。方法500可涉及由用戶使用AR裝置，所述AR裝置可包含圖1的系統(tǒng)100。用于執(zhí)行方法500的裝置包含具有HMD的多個(gè)AR裝置。用于執(zhí)行方法500的裝置進(jìn)一步包含以下各者的實(shí)例:音頻俘獲及定位模塊，其可包含一或多個(gè)麥克風(fēng)；圖像俘獲模塊，其可包含一或多個(gè)相機(jī)；面部識別及跟蹤模塊；面部疊加模塊；用戶偏好模塊，其可包含計(jì)算機(jī)可讀存儲媒體；顯示模塊，其可包含頭戴式顯示器(HMD)，運(yùn)動/焦點(diǎn)跟蹤模塊，其可包含一或多個(gè)相機(jī)；用戶接口模塊；通信模塊；以及音頻處理引擎。各種模塊及引擎中的至少一些可由一或多個(gè)處理器執(zhí)行。更一般地說，方法500的步驟可由例如計(jì)算機(jī)系統(tǒng)等計(jì)算機(jī)化裝置執(zhí)行。
[0070]當(dāng)兩個(gè)人員正進(jìn)行一對一對話時(shí)，使人員中的一者的AR裝置而非與另一人員相關(guān)聯(lián)的AR裝置執(zhí)行所有語言轉(zhuǎn)譯服務(wù)可能沒有效率增益。然而，在較大群組中，情況可能并非如此。舉例來說，如果說話者以第一語言說話，而多個(gè)傾聽者中的每一者都是更喜歡第二語言，則使說話者的AR裝置處置轉(zhuǎn)譯服務(wù)且將文本提供到每一其它AR裝置(而非使傾聽者的每一 AR裝置個(gè)別地執(zhí)行轉(zhuǎn)譯服務(wù))可能更為有效。因此，可執(zhí)行分析以確定使說話者的AR裝置執(zhí)行語言轉(zhuǎn)譯服務(wù)更為有效還是使傾聽者的AR裝置執(zhí)行語言轉(zhuǎn)譯服務(wù)更為有效。作為一實(shí)例，如果說話者正進(jìn)行演講或作報(bào)告，則使說話者的AR裝置執(zhí)行轉(zhuǎn)譯服務(wù)比使每一聽眾成員的AR裝置執(zhí)行轉(zhuǎn)譯服務(wù)可能更為有效。
[0071 ] 在步驟505處，可通過第一用戶的AR裝置從預(yù)定義距離內(nèi)、通信范圍內(nèi)及/或面對第一用戶的其它用戶的AR裝置接收偏好語言的指示。基于這些指示，第一用戶的AR裝置可能夠確定需要多少轉(zhuǎn)譯及轉(zhuǎn)譯成哪些語言?？山?jīng)由直接通信協(xié)議(例如，藍(lán)牙、WiFi直連)或經(jīng)由網(wǎng)絡(luò)(例如，WIFI網(wǎng)絡(luò))接收所述指示。
[0072]在步驟510處，可基于預(yù)定義準(zhǔn)則做出關(guān)于第一用戶的AR裝置應(yīng)處置至少一些轉(zhuǎn)譯服務(wù)還是其它用戶的AR裝置應(yīng)處置轉(zhuǎn)譯服務(wù)的確定。預(yù)定準(zhǔn)則可指定如果特定數(shù)目的AR裝置(例如，2個(gè)、3個(gè)、4個(gè)，或4個(gè)以上)與相同偏好語言相關(guān)聯(lián)，則第一用戶的AR裝置應(yīng)處置轉(zhuǎn)譯服務(wù)并將文本提供到其它用戶的AR裝置中的至少一些。額外或替代準(zhǔn)則可用以確定哪一 AR裝置應(yīng)執(zhí)行(或管理)語言轉(zhuǎn)譯服務(wù)。每一 AR裝置的電池電量可作為考慮因素。如果其它用戶的AR裝置中的一或多者的電池電量低(例如，小于10%)，則為了省電，第一用戶的AR裝置可執(zhí)行轉(zhuǎn)譯服務(wù)并將文本提供到其它用戶的AR裝置(或至少具有低電池電量的AR裝置)。而且，使說話者的AR裝置執(zhí)行轉(zhuǎn)譯服務(wù)可能更準(zhǔn)確，因?yàn)橛烧f話者擁有的AR裝置的麥克風(fēng)可能夠更準(zhǔn)確地俘獲說話者的話語。由此，在一些實(shí)施例中，說話者的AR裝置(正在說話的任何人的AR裝置)執(zhí)行或管理轉(zhuǎn)譯服務(wù)。
[0073]步驟510可涉及用戶的AR裝置與一或多個(gè)其它用戶的AR裝置之間的通信以傳達(dá)哪一(些)裝置將執(zhí)行語言轉(zhuǎn)譯服務(wù)(此類確定稱為轉(zhuǎn)譯方案)。如果第一用戶的AR裝置將執(zhí)行語言轉(zhuǎn)譯服務(wù)，則其它用戶的AR裝置可接收此類通知，其可觸發(fā)其它用戶的AR裝置不執(zhí)行語言轉(zhuǎn)譯服務(wù)，而是等待接收文本以進(jìn)行顯示。另外，可在AR裝置之間交換電池電量信息以供用于基于可用功率確定哪一(些)裝置最適合執(zhí)行語言轉(zhuǎn)譯服務(wù)?？稍诓襟E520處使用例如網(wǎng)絡(luò)可用性(例如，第一用戶的AR裝置可接入無線網(wǎng)絡(luò)，而其它用戶的AR裝置不能)等其它因素以確定轉(zhuǎn)譯方案。另外，如果其它用戶中的多者具有不同偏好語言，則第一用戶的AR裝置可執(zhí)行到最常見偏好語言的語言轉(zhuǎn)譯服務(wù)，而與其它偏好語言相關(guān)聯(lián)的AR裝置可執(zhí)行單獨(dú)轉(zhuǎn)譯(從所俘獲音頻，或從第一用戶的AR裝置提供的文本)。
[0074]在步驟510之后，可能確定使第一用戶的AR裝置執(zhí)行語言轉(zhuǎn)譯服務(wù)中的至少一些更為有效。由此，假定第一用戶正說話，則轉(zhuǎn)譯方案可涉及通過方法500繼續(xù)到步驟515而由在話語的發(fā)起地點(diǎn)處的第一用戶的AR裝置處置轉(zhuǎn)譯服務(wù)。在步驟515處，可由第一 AR裝置(其可由第一用戶佩戴或以其它方式擁有)俘獲第一用戶說出的話語。存在于第一 AR裝置上的一或多個(gè)麥克風(fēng)可用以俘獲來自第一用戶的話語。在一些實(shí)施例中，第一 AR裝置俘獲的話語存儲在本地。在其它實(shí)施例中，將話語的數(shù)字表示發(fā)射到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)進(jìn)行存儲及/或轉(zhuǎn)錄。
[0075]在步驟520處，可將在步驟515處俘獲的話語轉(zhuǎn)譯并轉(zhuǎn)錄成文本。轉(zhuǎn)譯的語言可基于在步驟505處接收的偏好語言的指示(例如，多個(gè)AR裝置當(dāng)中最風(fēng)行的偏好語言。此步驟可由第一 AR裝置執(zhí)行，或可將在步驟515處俘獲的話語發(fā)射到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)，所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可接著執(zhí)行話語到文本的轉(zhuǎn)譯及/或轉(zhuǎn)錄。
[0076]在步驟525處，假定第一 AR裝置的用戶已提供權(quán)限，可將對應(yīng)于在步驟515處俘獲的話語的經(jīng)轉(zhuǎn)譯文本的數(shù)據(jù)發(fā)射到與所述話語轉(zhuǎn)譯成的語言相關(guān)聯(lián)的其它AR裝置。此類發(fā)射可為直接的:從第一 AR裝置到第二 AR裝置。此類發(fā)射還可為間接的:含有文本的數(shù)據(jù)可通過其它AR裝置從遠(yuǎn)程計(jì)算機(jī)系統(tǒng)接收，所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)已存儲所述文本。除話語的文本之外，在步驟525處發(fā)射的數(shù)據(jù)還可含有說出對應(yīng)于所述文本的話語的人員的指示。由此，可將文本歸于說出對應(yīng)話語的適當(dāng)人員。在一些實(shí)施例中，可使用例如序列號或IP地址等識別符來指示由說出對應(yīng)于所述文本的話語的用戶所佩戴的第一 AR裝置。
[0077]在步驟530處，可以一或多個(gè)虛擬對象的形式將所述文本呈現(xiàn)給所述其它AR裝置的用戶。其它AR裝置可使用其HMD將文本疊加在現(xiàn)實(shí)世界場景上而呈現(xiàn)給相關(guān)聯(lián)用戶。由此，如果其它用戶正注視說出在步驟515處俘獲的話語的第一用戶，則對應(yīng)于由此些人員說出的話語的文本中的至少一些可由HMD顯示為疊加于現(xiàn)實(shí)世界場景上。因?yàn)镠MD用以將文本呈現(xiàn)給每一用戶，因此僅佩戴HMD的用戶可能夠檢視文本。存在于用戶附近的其他人員可能不知道此類文本正呈現(xiàn)給用戶。呈現(xiàn)給用戶的虛擬對象可包含一或多個(gè)話語氣泡，例如在圖2及3中呈現(xiàn)的那些話語氣泡。每一話語氣泡可懸浮在文本所歸于的人員的頭部上。在其它實(shí)施例中，文本可疊加在說出對應(yīng)話語的人員的面部上，由此當(dāng)用戶閱讀文本時(shí)，存在于用戶附近的人員看起來用戶正與說出對應(yīng)于所述文本的話語的人員進(jìn)行眼神接觸。在用戶附近的人員說出額外話語時(shí)，呈現(xiàn)文本的虛擬對象可經(jīng)更新以包含對應(yīng)于所述新話語的文本。
[0078]返回到步驟510，如果轉(zhuǎn)譯服務(wù)將由不同于第一 AR裝置的AR裝置執(zhí)行，則方法500可繼續(xù)進(jìn)行到步驟535。在步驟535處，可撤銷激活由第一 AR裝置執(zhí)行的轉(zhuǎn)譯服務(wù)。然而，在一些實(shí)施例中，步驟510的起源地及目的地選項(xiàng)兩者可由不同AR裝置遵循。舉例來說，第一 AR裝置可執(zhí)行到最常見偏好語言的轉(zhuǎn)譯，而到特定AR裝置的用戶所偏好的語言的轉(zhuǎn)譯在目的地AR裝置處執(zhí)行。舉例來說，
[0079]在步驟540處，可使用一或多個(gè)其它用戶(其為目的地)的AR裝置俘獲第一 AR裝置的第一用戶的話語。此話語可能是由AR裝置的用戶檢視的現(xiàn)實(shí)世界場景中的第一用戶說出。參考圖1的系統(tǒng)100，話語可由一或多個(gè)其它用戶佩戴或以其它方式擁有的AR裝置中的音頻俘獲及定位模塊130俘獲。此話語可通過音頻處理引擎135數(shù)字化成適于進(jìn)行分析及/或發(fā)射(以進(jìn)行分析)到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)的格式。
[0080]在步驟545處，可將在步驟540處俘獲的話語轉(zhuǎn)譯及/或轉(zhuǎn)錄成文本。轉(zhuǎn)譯的語言可基于在步驟540處俘獲話語的AR裝置的每一用戶的偏好語言。轉(zhuǎn)錄與轉(zhuǎn)譯可由在步驟540處俘獲話語的多個(gè)AR裝置中的每一者執(zhí)行，或可將話語發(fā)射到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)，所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可接著執(zhí)行話語到文本的轉(zhuǎn)譯及/或轉(zhuǎn)錄。已由AR裝置中的一者轉(zhuǎn)譯及/或轉(zhuǎn)錄的文本可與其它AR裝置(例如，具有相同偏好語言的AR裝置)共享。
[0081 ] 在步驟550處，可以一或多個(gè)虛擬對象的形式將所述文本呈現(xiàn)給所述其它AR裝置的用戶。其它裝置可使用其HMD來將文本疊加在現(xiàn)實(shí)世界場景上而呈現(xiàn)給相關(guān)聯(lián)用戶。由此，如果其它用戶正注視說出在步驟540處俘獲的話語的第一用戶，則對應(yīng)于由此些人員說出的話語的文本中的至少一些可由HMD顯示為疊加于現(xiàn)實(shí)世界場景上。因?yàn)镠MD用以將文本呈現(xiàn)給每一用戶，因此僅佩戴HMD的用戶可能夠檢視文本。存在于用戶附近的其他人員可能不知道此類文本正呈現(xiàn)給用戶。呈現(xiàn)給每一用戶的虛擬對象可包含一或多個(gè)話語氣泡，例如在圖2及3中呈現(xiàn)的那些話語氣泡。每一話語氣泡可懸浮在文本所歸于的人員的頭部上。在其它實(shí)施例中，文本可疊加在說出對應(yīng)話語的人員的面部上，由此當(dāng)用戶閱讀文本時(shí)，存在于用戶附近的人員看起來用戶正與說出對應(yīng)于所述文本的話語的人員進(jìn)行眼神接觸。在用戶附近的人員說出額外話語時(shí)，呈現(xiàn)文本的虛擬對象可經(jīng)更新以包含對應(yīng)于所述新話語的文本。對于用戶，步驟530與550可相同或接近相同，差異為哪一 AR裝置負(fù)責(zé)進(jìn)行/管理轉(zhuǎn)譯及轉(zhuǎn)錄。
[0082]圖6說明使用AR裝置提供語言轉(zhuǎn)譯服務(wù)的方法的實(shí)施例。方法600可涉及由用戶使用AR裝置，所述AR裝置可包含圖1的系統(tǒng)100。用于執(zhí)行方法600的裝置包含具有HMD的AR裝置。用于執(zhí)行方法600的裝置進(jìn)一步包含:音頻俘獲及定位模塊，其可包含一或多個(gè)麥克風(fēng)；圖像俘獲模塊，其可包含一或多個(gè)相機(jī)；面部識別及跟蹤模塊；面部疊加模塊；用戶偏好模塊，其可包含計(jì)算機(jī)可讀存儲媒體；顯示模塊，其可包含頭戴式顯示器(HMD)，運(yùn)動/焦點(diǎn)跟蹤模塊，其可包含一或多個(gè)相機(jī)；用戶接口模塊；通信模塊；以及音頻處理引擎。各種模塊及引擎中的至少一些可由一或多個(gè)處理器執(zhí)行。更一般地說，方法600的步驟可由例如計(jì)算機(jī)系統(tǒng)等計(jì)算機(jī)化裝置執(zhí)行。
[0083]在步驟610處，可使用AR裝置俘獲呈外語形式的話語。此話語可在由AR裝置的用戶檢視的現(xiàn)實(shí)世界場景中說出。參考圖1的系統(tǒng)100，話語可由音頻俘獲及定位模塊130俘獲。此話語可通過音頻處理引擎135數(shù)字化成適于進(jìn)行分析及/或發(fā)射(以進(jìn)行分析)到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)的格式。
[0084]可在AR裝置處分析話語以確定話語是否呈用戶的偏好語言(例如，母語)形式。此分析可基于用戶的偏好語言所典型的聲音模式。如果話語呈用戶的偏好語言形式，則可不執(zhí)行語言轉(zhuǎn)譯或轉(zhuǎn)錄服務(wù)。在一些實(shí)施例中，可僅執(zhí)行轉(zhuǎn)錄服務(wù)。
[0085]在步驟620處，可確定所俘獲的話語的位置。在多個(gè)人員存在于由AR裝置的用戶檢視的現(xiàn)實(shí)世界場景內(nèi)的情況下，此可尤其有用。通過確定所俘獲音頻的位置，可將所俘獲話語歸于適當(dāng)人員。飛行時(shí)間分析及多個(gè)麥克風(fēng)可用以確定話語發(fā)起于何處。在其它實(shí)施例中，可使用其它布置來確定話語的來源。舉例來說，說話者佩戴的AR裝置可發(fā)射說話者為正說話的人員的指示。
[0086]在步驟630處，可將呈外語形式的話語的數(shù)字表示發(fā)射到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)以進(jìn)行遠(yuǎn)程處理。參考圖1的系統(tǒng)100，通信模塊140可經(jīng)配置以將話語的數(shù)字表示發(fā)射到遠(yuǎn)程服務(wù)器進(jìn)行轉(zhuǎn)譯及/或轉(zhuǎn)錄。在一些實(shí)施例中，話語可在本地進(jìn)行分析，且不必將話語的數(shù)字表示發(fā)射到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)。
[0087]如果發(fā)射了，則遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可接收話語的數(shù)字表示(可能隨用戶的母語或偏好語言的指示一起)、將話語轉(zhuǎn)錄成文本，并將所述文本轉(zhuǎn)譯成呈用戶的母語(或偏好語言)形式的文本。在一些實(shí)施例中，話語轉(zhuǎn)譯成用戶的母語(或偏好語言)，且接著轉(zhuǎn)錄成文本。經(jīng)由用戶輸入到用戶的AR裝置的用戶偏好，可由用戶指定所需的譯入語。話語將轉(zhuǎn)譯成的語言的指示可連同話語的數(shù)字表示一起發(fā)射到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)。所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可識別待顯示給用戶的文本內(nèi)需強(qiáng)調(diào)的關(guān)鍵詞。此分析可基于可能重要的詞語的所存儲數(shù)據(jù)庫，所述詞語例如姓名、地點(diǎn)、時(shí)間、日期，等。遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可將呈用戶的母語或偏好語言形式的文本發(fā)射回到用戶使用的AR裝置的系統(tǒng)。在一些實(shí)施例中，轉(zhuǎn)譯及轉(zhuǎn)錄由執(zhí)行方法600的系統(tǒng)在本地執(zhí)行。轉(zhuǎn)譯及轉(zhuǎn)錄服務(wù)還可由AR裝置執(zhí)行。
[0088]在步驟640處，如果將話語的數(shù)字表示發(fā)射到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)進(jìn)行轉(zhuǎn)譯及/或轉(zhuǎn)錄，則可從遠(yuǎn)程服務(wù)器接收呈用戶的母語或偏好語言形式的文本?？呻S文本一起包含關(guān)于文本應(yīng)歸于現(xiàn)實(shí)世界場景中的哪一人員的指示。如果由執(zhí)行方法600的系統(tǒng)在本地執(zhí)行處理，則此步驟可為不必要的。
[0089]在步驟650處，可通過AR裝置俘獲由用戶檢視的場景的圖像。此場景可包含說出在步驟610處俘獲的話語的人員。基于確定發(fā)起話語的位置，可確定場景內(nèi)的哪一人員說出了步驟610的話語。
[0090]在步驟660處，可將在步驟640處接收的文本疊加到用戶對現(xiàn)實(shí)世界場景的視圖上。由此，用戶可直接檢視現(xiàn)實(shí)世界場景，同時(shí)含有在步驟640處接收的文本的虛擬對象可經(jīng)由頭戴式顯示器疊加于現(xiàn)實(shí)世界場景上。在步驟660處顯示的文本可顯示為話語氣泡的部分。話語氣泡可以圖形方式顯示以指示說出文本的人員，例如在圖3中?；谠捳Z氣泡指向哪一人員或在哪一人員附近，用戶可確定希望將文本歸于那一人員。在一些實(shí)施例中，并非使用話語氣泡來顯示文本，可將文本疊加在說出文本的人員上，例如疊加在所述人員的面部上。由此，用戶可能夠至少維持在閱讀文本的同時(shí)進(jìn)行眼神接觸的觀感。如果用戶的眼睛聚焦于人員的面部上，則可使正由AR裝置經(jīng)由HMD顯示給用戶的文本部分或完全透明、模糊或隱藏。如果用戶的眼睛聚焦于文本上，則可使文本較為不透明、清晰或較明顯地顯不O
[0091]在所述人員或場景中的另一人員說出額外話語時(shí)，方法600可重復(fù)以向用戶提供經(jīng)轉(zhuǎn)譯文本。在新文本變得可用時(shí)，與先前話語相關(guān)聯(lián)的文本可滾動出話語氣泡的視圖。
[0092]方法400、500及600的方面可經(jīng)組合以提供語言轉(zhuǎn)譯服務(wù)及對應(yīng)于人員不在場