用于實時語言翻譯的用戶界面的制作方法
【技術領域】
[0001] 本說明書描述與語言翻譯相關的技術。
【背景技術】
[0002] 翻譯可不止設及單個用戶翻譯符號、菜單、消息或短語的活動。通過移動技術和可 下載的語言應用，翻譯活動可包含兩個或更多人之間的交流。

【發(fā)明內容】

[0003] -些語言翻譯交流可設及主要用戶使用第一語言在客戶端裝置處說出短語，并且 一個或多個參與用戶W其它語言提供響應。在一些翻譯應用中，主要用戶手動點擊客戶端 裝置的顯示器上的圖標或按鈕W切換語言。然而，在客戶端裝置上點擊可對于主要用戶與 另一用戶的響應同步來說是棘手和/或困難的。此外，另一用戶可因控制或查看語言選擇機 制的需要而分屯、或困擾。對于在主要用戶維持客戶端裝置的控制時順楊且準確地實時發(fā)生 的交流來說，客戶端裝置檢測姿勢（例如，裝置的旋轉)且當客戶端裝置正被主要用戶查看 或向參與用戶展示時在適當語言之間動態(tài)地切換。此外，客戶端裝置可向參與用戶展示已 從主要用戶的話音、鍵盤或另一輸入翻譯的文本的全屏或大文本表示。
[0004] 總的來說，本主題的一個方面包含W下動作:接收指示第一用戶進行的客戶端裝 置的移動的數(shù)據(jù)。所述動作還包含確定客戶端裝置的移動是用于在第一模式與第二模式之 間切換的分隔符運動，其中，在所述第一模式中，所述客戶端裝置被配置成（i)提供用于說 第一語言的第一用戶的第一界面并且（ii)執(zhí)行所述第一語言的語音辨識，并且在所述第二 模式中，所述客戶端裝置被配置成（i)提供用于說第二語言的第二用戶的第二界面并且 (ii)執(zhí)行所述第二語言的語音辨識，所述第二界面不同于所述第一界面。接著，基于確定該 移動是分隔符運動，所述動作包含在所述第一模式與所述第二模式之間切換而所述第二用 戶不在物理上與所述客戶端裝置交互。
[0005] 在一些實施方案中，第一用戶進行的客戶端裝置的移動是所述第一用戶進行的所 述客戶端裝置的旋轉。
[0006] 在一些實施方案中，用于第一用戶的第一界面是所述第一用戶的話語的寫錄 (transcription)和所述話語到所述第二語言的翻譯。在一些實施方案中，用于第二用戶的 第二界面是第一用戶的話語到第二語言的全屏翻譯。
[0007] 當客戶端裝置處于第一模式中時，一些實施方案包含W下動作:接收第一用戶W 第一語言的話語并且輸出將所述話語到第二語言的翻譯編碼的音頻信號。此外，運些實施 方案可包含在客戶端裝置處將第一用戶的話語翻譯為第二語言。
[000引當客戶端裝置處于第二模式中時，一些實施方案可設及:接收第二用戶W第二語 言的話語并且輸出將所述話語到第一語言的翻譯編碼的音頻信號。
[0009]本說明書所述的主題的一個或多個實施例的細節(jié)闡述在附圖和下文描述中。本主 題的其它潛在特征、方面和優(yōu)點將從描述和附圖W及權利要求書變得顯而易見。
[0010] -些實施方案可有利地使跨語言交流中的參與者溝通而不需要觸摸客戶端裝置 的屏幕。
【附圖說明】
[0011] 圖1到圖8圖示說明促進說第一語言的主要用戶與說第二語言的參與用戶之間的 交流的示例客戶端裝置。
[0012] 圖9是圖示說明在語言之間翻譯的過程的示例的流程圖。
[0013] 各圖中的類似參考數(shù)字和標記指示類似元素。
【具體實施方式】
[0014] 客戶端裝置上的應用可檢測用戶手勢W選擇適當語言翻譯模型且實時改變客戶 端裝置上的顯示。在示例情形下，主要用戶（例如，客戶端裝置的所有者)希望與說與主要用 戶的語言不同的語言的參與用戶溝通。舉例來說，主要用戶可在不同國家中旅行且需要問 路。主要用戶在W縱向取向握持客戶端裝置的同時說話，或使用諸如鍵盤、相機或手寫等替 代方法，且接著將客戶端裝置旋轉到橫向取向W向參與用戶呈現(xiàn)。當客戶端裝置處于縱向 取向中時，客戶端裝置可確定主要用戶正說話且查看顯示器。結果，客戶端裝置可選擇針對 主要用戶的語言的語言翻譯模型，且將主要用戶的語音的寫錄與到另一語言的翻譯一起實 時顯示。當客戶端裝置旋轉到橫向取向中時，客戶端裝置可確定主要用戶正向參與用戶呈 現(xiàn)客戶端裝置。因而，客戶端裝置可選擇針對參與用戶的語言的語言翻譯模型，且顯示主要 用戶的語音的全屏翻譯。
[0015] 運些應用可提供某些優(yōu)點。舉例來說，實施方案可不需要與參與用戶的響應同步 來觸摸客戶端裝置或與客戶端裝置交互，而與參與用戶的響應同步來觸摸客戶端裝置或與 客戶端裝置交互原本對于主要用戶來說可成問題。此外，主要用戶可能不想讓參與用戶觸 摸其客戶端裝置。此外，參與用戶可能不愿意或不明白裝置需要他們來觸摸，或可能對于在 觸摸另一人的客戶端裝置上進行該行動感到不舒服。運些應用可因此允許參與用戶W較自 然的方式說出響應。
[0016] 圖1到圖8圖示說明促進說第一語言的主要用戶與說第二語言的參與用戶之間的 交流的示例客戶端裝置10。雖然關于一個主要用戶和一個參與用戶來描述圖1到圖8中的交 互，但在實施方案中，可設及兩個或多個參與用戶?？蛻舳搜b置10可例如是臺式計算機、膝 上型計算機、平板計算機、可穿戴計算機、蜂窩電話、智能電話、音樂播放器、電子書閱讀器、 導航系統(tǒng)或任何其它適當計算裝置。
[0017] 在圖1中，客戶端裝置10顯示用于發(fā)起主要用戶與參與用戶之間的交流的樣本用 戶界面100。在操作中，主要用戶通過話音或觸摸屏輸入而在客戶端裝置10上執(zhí)行語言翻譯 應用。在執(zhí)行時，語言翻譯應用可提供輸入屏幕，諸如，圖1所示的輸入屏幕。就運來說，圖1 包含用于選擇語言的輸入部分。主要用戶可使用輸入框110來選擇第一語言，且使用輸入框 120來選擇第二語言。舉例來說，主要用戶可在輸入框110中選擇化glish(英語），且在輸入 框120中選擇Spanish(西班牙語）。在此上下文中，第一語言通常是主要用戶的語言，且第二 語言通常是參與用戶的語言。話音或觸摸屏輸入可用于進行選擇?；蛘呋蛄硗?，語言翻譯應 用可選擇默認語言作為第一語言。運默認語言可基于客戶端裝置10的當前語言設置。語言 翻譯應用還可選擇默認語言作為第二語言，該第二語言可為客戶端裝置10的當前地理位置 中所說的語言。舉例來說，如果客戶端裝置10當前位于西班牙，那么默認第二語言可為西班 牙語。
[0018] 用戶可接著選擇用于輸入待被翻譯的語音或文本的模式。舉例來說，用戶可將文 本鍵入或粘貼到文本框130中，選擇相機圖標140W用禪接到客戶端裝置的相機拍攝文本的 照片，選擇麥克風圖標150W發(fā)起語音辨識，或選擇手寫圖標160W發(fā)起手寫辨識。對于語音 辨識來說，用戶可例如在說話之前選擇麥克風圖標150且接著說出話語?？蛻舳搜b置10將話 語編碼為可例如為一段相對高質量的音頻(諸如，1化化無損音頻)的音頻信號，且如下所述 發(fā)起經(jīng)編碼的話語的語音辨識。對于手寫辨識來說，用戶可例如選擇手寫圖標160且接著使 用手指或觸筆而在輸入?yún)^(qū)域130書寫?？蛻舳搜b置10接著對所輸入的書寫執(zhí)行手寫辨識。
[0019] 在圖2中，客戶端裝置10顯示用于由主要用戶發(fā)起的語音辨識會話的樣本用戶界 面200。樣本用戶界面200包含指示客戶端裝置正等待來自主要用戶的語音輸入的說明 "listening(收聽)"210。用戶界面200還包含客戶端裝置10當前正從英語翻譯為西班牙語 的圖形指示。在此示例中，"英語"圖標220被突出顯示，而"西班牙語"圖標230未被突出顯 /J、- O
[0020] 在操作中，客戶端裝置10接收主要用戶的語音且將該語音轉換為音頻數(shù)據(jù)。語言 翻譯應用獲得音頻數(shù)據(jù)且發(fā)起該音頻數(shù)據(jù)的語音辨識。
[0021] 語音辨識設及將音頻數(shù)據(jù)轉換為W用戶的本±語言表示語音的文本。語音辨識器 可包含用于辨識字詞、詞類等的子例程。舉例來說，語音辨識器可包含用于將聲音劃分為子 部分且使用運些子部分來識別字詞的語音分割例程、用于識別字詞的含義的字詞解疑例 程、用于識別句式結構、詞類等的句法詞典W及用W補償用戶的語言的地區(qū)口音或外地口 音的例程。由語音辨識器輸出的文本可為含有自描述計算語言的文本的文件，所述自描述 計算語言諸如，可擴展標記語言（XML) JavaScript對象表示法(JSON)或任何其它適當格 式。在此上下文中，自描述計算語言可為有用的，運是因為自描述計算語言W對于其它計算 機程序來說可辨識的方式來實現(xiàn)字詞、句子、段落和語法特征的標記。因此，另一計算機程 序，諸如，如下所述的語言翻譯器，可讀取文本文件，識別例如字詞、句子、段落和語法特征， 且在需要時使用該信息。
[0022] 語音辨識可例如由客戶端裝置10、服務器或兩者的組合執(zhí)行。舉例來說，客戶端裝 置10可包含從音頻數(shù)據(jù)生成主要用戶語音的寫錄的語音辨識模塊。或者或另外，客戶端裝 置10可經(jīng)由網(wǎng)絡將音頻數(shù)據(jù)發(fā)送到服務器處的語音辨識程序。網(wǎng)絡可為有線或無線的或兩 者的組合，且可包含因特網(wǎng)。在一些實施方案中，對應于第一語