本申請是向中國知識產(chǎn)權(quán)局提交的申請日為2014年3月5日的標題為“便攜式終端、助聽器以及在便攜式終端中指示聲源的位置的方法”的第201480018987.8號申請的分案申請。

本公開涉及一種便攜式終端、助聽器以及指示聲源的位置的方法。

背景技術(shù)：

諸如智能電話、便攜式電話和平板個人計算機(pc)的終端近來已提供了各種各樣的服務(wù)和附加功能。根據(jù)現(xiàn)有技術(shù)，終端配備有相機、麥克風、揚聲器、顯示器、無線通信模塊和傳感器。因此，終端提供許多功能以便滿足各種用戶的需求。

具體地講，終端可利用顯示器提供各種圖形用戶界面(gui)。如果聲源可在顯示器上可視化并被控制，則普通用戶以及聽力障礙者將受益于終端。

例如，如果終端提供檢測鄰近聲源并且顯示聲源的位置的功能，則普通用戶以及聽力障礙者可更方便地使用終端。

呈現(xiàn)上述信息作為背景信息僅用于幫助理解本公開。關(guān)于以上任何信息是否可作為關(guān)于本公開的現(xiàn)有技術(shù)來應(yīng)用尚未被確定和聲明。

技術(shù)實現(xiàn)要素：

技術(shù)問題

本公開的各方面旨在至少解決上述問題和/或缺點并且至少提供下述優(yōu)點。因此，本公開的一方面旨在提供一種檢測鄰近聲源并且指示聲源的位置的便攜式終端、助聽器以及指示聲源的位置的方法。

本公開的另一方面旨在提供一種使得用戶能夠檢測聲源的位置并且選擇性地聆聽預(yù)期聲源的便攜式終端、助聽器以及指示聲源的位置的方法。

本公開的另一方面旨在提供一種使得用戶能夠通過各種手勢選擇預(yù)期聲源的方向、范圍、距離或位置并且輸出所選擇的聲源的聲音的便攜式終端、助聽器以及指示聲源的位置的方法。

問題的解決方案

依據(jù)本公開的一方面，提供一種在具有觸摸屏的便攜式終端中指示聲源的位置的方法。該方法包括：接收多個聲源的聲音信號；基于所接收的所述多個聲源的聲音信號來確定所述多個聲源與便攜式終端之間的相應(yīng)距離以及所述多個聲源相對于便攜式終端的相應(yīng)方向；基于所確定的所述多個聲源的距離和方向來確定所述多個聲源在觸摸屏上的位置；以及在觸摸屏上顯示所確定的所述多個聲源的位置。

依據(jù)本公開的另一方面，提供一種在助聽器中輸出聲音的方法。該方法包括：從便攜式終端接收聲源的聲音信號，其中，所述聲源是響應(yīng)于便攜式終端的觸摸屏上的用戶手勢而被選擇并具有被控制的音量；以及根據(jù)所述被控制的音量輸出所接收的被選擇的聲源的聲音信號。

依據(jù)本公開的另一方面，提供一種具有觸摸屏的便攜式終端。該便攜式終端包括：觸摸屏，被配置為顯示多個聲源的位置；以及控制器，被配置為基于所接收的所述多個聲源的聲音信號來確定所述多個聲源與便攜式終端之間的相應(yīng)距離以及所述多個聲源相對于便攜式終端的相應(yīng)方向，基于所確定的所述多個聲源的距離和方向來確定所述多個聲源在觸摸屏上的位置，并且控制在觸摸屏上顯示所確定的所述多個聲源的位置。

依據(jù)本公開的另一方面，提供一種助聽器。該助聽器包括：無線單元，被配置為從便攜式終端接收聲源的聲音信號，其中，所述聲源是響應(yīng)于便攜式終端的觸摸屏的用戶手勢而被選擇并具有被控制的音量；輸出單元，被配置為根據(jù)所述被控制的音量輸出所接收的被選擇的聲源的聲音信號。

對于本領(lǐng)域技術(shù)人員而言，本公開的其它方面、優(yōu)點和顯著特征將從以下結(jié)合附圖進行的公開了本公開的各種實施例的詳細描述而變得明顯。

本發(fā)明的有益效果

如從本公開的各種實施例的以上描述而明顯的，用戶可利用終端100的顯示器來定位用戶周圍的聲源。

根據(jù)本公開的各種實施例，用戶可(選擇性地)僅聆聽從聲源當中選擇的預(yù)期聲源的聲音并且逐步控制聲音的音量。

根據(jù)本公開的各種實施例，如果聽力較差的人使用助聽器300，則該人可通過與助聽器300結(jié)合來操作的終端100來定位聲源并且通過助聽器300聆聽預(yù)期聲源的聲音。

由于用戶可通過各種手勢來聆聽預(yù)期聲源的聲音，所以向用戶提供方便的ui。

附圖說明

通過下面結(jié)合附圖進行的描述，本公開的特定實施例的上述和其它方面、特征和優(yōu)點將更加明顯，其中：

圖1示出根據(jù)本公開的實施例的終端和聲音輸出裝置的操作；

圖2是根據(jù)本公開的實施例的終端的框圖；

圖3是示出根據(jù)本公開的實施例的在終端中顯示至少一個鄰近聲源的操作的流程圖；

圖4示出根據(jù)本公開的實施例的顯示終端周圍的聲源的雷達屏幕；

圖5示出根據(jù)本公開的實施例的顯示終端周圍的聲源的聲源位置指示屏幕；

圖6是示出根據(jù)本公開的實施例的在終端中輸出聲源的聲音的操作的流程圖；

圖7示出根據(jù)本公開的實施例的顯示終端周圍的聲源的終端的屏幕；

圖8是示出根據(jù)本公開的實施例的在終端中根據(jù)所識別的用戶手勢選擇聲源的操作的流程圖；

圖9示出根據(jù)本公開的實施例的指示聲源選擇方向的用戶手勢輸入；

圖10a和圖10b示出根據(jù)本公開的實施例的指示聲源選擇范圍的用戶手勢輸入；

圖11示出根據(jù)本公開的實施例的指示聲源選擇距離的用戶手勢輸入；

圖12示出根據(jù)本公開的實施例的指示聲源選擇位置的用戶手勢輸入；

圖13是根據(jù)本公開的實施例的助聽器的框圖；以及

圖14是示出根據(jù)本公開的實施例的助聽器的操作的流程圖。

貫穿附圖，相似的標號將被理解為指代相似的部件、組件和結(jié)構(gòu)。

具體實施方式

提供以下參照附圖的描述來幫助全面理解由權(quán)利要求及其等同物限定的本公開的各種實施例。以下描述包括幫助理解的各種具體細節(jié)，但是這些將被視為僅是示例性的。因此，本領(lǐng)域普通技術(shù)人員將認識到，在不脫離本公開的范圍和精神的情況下，可對本文所述的實施例進行各種改變和修改。另外，為了清晰和簡潔，公知功能和構(gòu)造的描述可被省略。

以下描述和權(quán)利要求書中所使用的術(shù)語和詞匯不限于文獻含義，而是僅由發(fā)明人用來實現(xiàn)對本公開的清晰和一致的理解。因此，對于本領(lǐng)域技術(shù)人員而言應(yīng)該明顯的是，提供以下對本公開的各種實施例的描述僅是為了示例性目的，而非限制本公開，本公開由所附權(quán)利要求及其等同物限定。

應(yīng)該理解，除非上下文明確另外指示，否則單數(shù)形式也包括復(fù)數(shù)指代。因此，例如，對一組件表面的引用包括對一個或更多個這樣的表面的引用。

術(shù)語基本上意指所列舉的特性、參數(shù)或值無需被精確地實現(xiàn)，而是量可發(fā)生偏差或變化(包括例如公差、測量誤差、測量精度限制以及本領(lǐng)域技術(shù)人員已知的其它因素)，其不排除特性預(yù)期將提供的效果。

將提供本公開的各種實施例以實現(xiàn)本公開的上述技術(shù)方面。在實現(xiàn)中，所定義的實體可具有相同的名稱，本公開不限于此。因此，本公開的各種實施例可利用具有相似技術(shù)背景的系統(tǒng)中的相同或易得的修改來實現(xiàn)。

貫穿說明書，“用戶手勢輸入”對應(yīng)于用戶通過在觸摸屏上做手勢而創(chuàng)建的輸入(例如，為了控制終端)。例如，用戶手勢輸入可包括觸摸、觸摸并保持、拖動、輕拂、保持等。

“觸摸”對應(yīng)于利用手指或者觸摸輸入單元(例如，手寫筆、筆等)觸摸屏幕的手勢。具體地講，觸摸具有預(yù)設(shè)觸摸時間，其被定義為手指或觸摸輸入單元觸摸屏幕時的觸摸開始時間與手指或觸摸輸入單元從屏幕移開時的觸摸結(jié)束時間之差。

“觸摸并保持”對應(yīng)于包括利用手指或觸摸輸入單元觸摸屏幕并且保持觸摸屏幕達預(yù)定的閾值時間或更長時間的手勢。觸摸并保持具有等于或大于閾值的時間差。例如，如果觸摸開始時間與觸摸結(jié)束時間之差大于或等于閾值，則手勢被確定為對應(yīng)于觸摸并保持。為了指示觸摸輸入是觸摸還是觸摸并保持，如果觸摸輸入被保持達閾值時間或更長，則可向用戶提供視覺或聽覺反饋信號。

“拖動”對應(yīng)于利用手指或觸摸輸入單元觸摸屏幕并且在不使手指或觸摸輸入脫離屏幕的情況下將觸摸移至屏幕的另一位置的手勢。

“輕拂”對應(yīng)于在屏幕上快速地拖動手指或觸摸輸入單元的手勢。拖動和輕拂可根據(jù)用戶是否按照閾值速度或更快的速度移動手指或觸摸輸入單元來彼此區(qū)分。

“保持”對應(yīng)于在不使手指或觸摸輸入單元脫離屏幕的情況下將手指或觸摸輸入單元在屏幕的特定點處的觸摸保持閾值時間或更長時間的手勢。保持手勢在特定點處在觸摸開始時間與觸摸結(jié)束時間之間持續(xù)閾值時間或更長時間。

圖1示出根據(jù)本公開的實施例的終端和聲音輸出裝置的操作。

參照圖1，終端100可以是便攜式終端。終端100可定位終端100(或用戶)周圍的一個或更多個聲源，并且顯示表示終端100的終端圖像10以及表示在聲源相對于終端100的對應(yīng)位置處的聲源的聲源圖像11至17。

聲源是指發(fā)出聲音的源或其等同物。例如，聲源可包括說話的人、演奏音樂的播放器、輸出音樂的揚聲器、響鈴的電話等。此外，輸出聲音的任何其它源可以是聲源。

終端100可從聲源圖像11至17當中根據(jù)用戶手勢輸入來選擇發(fā)出聲音的聲源的聲源圖像，并且可輸出所選擇的聲源的聲音。另外，終端100可將所選擇的聲源的聲音提供給聲音輸出裝置300(例如，助聽器、耳塞式傳聲器、頭戴式耳機等)。

終端100可根據(jù)用戶手勢輸入從多個預(yù)設(shè)音量等級當中選擇聲源的至少一個音量等級，并且按照所選擇的音量等級來輸出聲源的聲音。終端100還可按照所選擇的音量等級將所選擇的聲源的聲音輸出給聲音輸出裝置300。

聲音輸出裝置300可以是輸出聲音的裝置，例如助聽器、耳塞式傳聲器、頭戴式耳機等。作為示例，將在助聽器用作聲音輸出裝置300的背景下描述本公開的各種實施例。助聽器300可通過麥克風接收一個或更多個聲源的聲音信號，放大聲音信號，并且通過揚聲器將放大的聲音信號可聽地輸出給用戶。

助聽器300可無線地或有線地與終端100通信，并且可從終端100接收從一個或更多個聲源當中選擇的聲源的聲音，并且輸出所接收的聲音。助聽器300可接收音量被控制為終端100所選擇的音量等級的聲源的聲音，并且輸出所接收的音量被控制的聲音。

圖2是根據(jù)本公開的實施例的終端的框圖。

參照圖2，終端100可包括反射波收發(fā)器103、聲源距離計算器105、聲源方向計算器107和控制器110。終端100還可包括移動通信模塊120、子通信模塊130、多媒體模塊140、相機模塊150、全球定位服務(wù)(gps)模塊157、輸入/輸出(i/o)模塊160、傳感器模塊170、存儲器175和電源180。另外，終端100可包括至少一個觸摸屏190和至少一個觸摸屏控制器195。

控制器110可包括中央處理單元(cpu)111、存儲用于控制終端100的控制程序的只讀存儲器(rom)112以及存儲外部輸入信號或數(shù)據(jù)或者用作終端100的操作的存儲空間的隨機存取存儲器(ram)113。cpu111可包括各種數(shù)量的核。例如，cpu111可包括單核、雙核、三核、四核等。cpu111、rom112和ram113可通過內(nèi)部總線彼此連接?？刂破?10可控制反射波收發(fā)器103、聲源距離計算器105、聲源方向計算器107、移動通信模塊120、子通信模塊130、多媒體模塊140、相機模塊150、gps模塊157、i/o模塊160、傳感器模塊170、存儲器175、電源180、觸摸屏190和觸摸屏控制器195。

反射波收發(fā)器103可在控制器110的控制下在所有方向上發(fā)送電磁波信號并且接收由于電磁波信號被對象反射而導(dǎo)致的反射波信號?？刂破?10可使用從反射波收發(fā)器103接收的反射波信號來檢測終端100周圍的對象。

聲源距離計算器105通過第一麥克風162-1至第n麥克風162-n接收來自聲源的語音或聲音，識別一個或更多個聲源，并且計算終端100與各個聲源之間的距離。具體地講，聲源距離計算器105對通過第一麥克風162-1至第n麥克風162-n當中的至少兩個麥克風從聲源接收的語音或聲音進行組合來產(chǎn)生多個麥克風輸出信號，并且基于多個麥克風輸出信號相對于距離的聲音衰減率來計算到各個聲源的距離。

聲源方向計算器107在控制器110的控制下通過第一麥克風162-1至第n麥克風162-n從聲源接收語音或聲音，識別一個或更多個聲源，并且計算各個聲源的方向。具體地講，聲源方向計算器107基于通過第一麥克風162-1至第n麥克風162-n當中的至少兩個麥克風從聲源接收到的語音或聲音之間的時間延遲來計算各個聲源的方向。關(guān)于各個聲源的方向的信息被提供給控制器110。

控制器110可利用從反射波收發(fā)器103接收的反射波來定位終端100(或用戶)周圍的至少一個對象。

控制器110可通過第一麥克風162-1至第n麥克風162-n來從聲源接收語音或聲音，從而識別至少一個聲源。然后，控制器110分析所述至少一個聲源的頻率分量，并且將所分析的頻率分量與預(yù)定頻率分量進行比較，從而確定所述至少一個聲源的類型。例如，控制器110可確定來自至少一個聲源的語音或聲音是不是人的語音、來自動物的聲音、電話鈴聲、來自車輛的聲音等。

控制器110還可計算來自各個聲源的聲音的強度，從聲源距離計算器105接收關(guān)于從終端100到各個聲源的距離的信息，并且從聲源方向計算器107接收關(guān)于各個聲源的方向的信息。

根據(jù)本公開的各種實施例，控制器110可從助聽器300接收通過助聽器300的多個麥克風(而非第一麥克風162-1至第n麥克風162-n)接收的聲源的語音或聲音。隨后，控制器110可識別至少一個聲源，并且計算各個聲源的聲強、方向以及距終端100的距離。例如，助聽器300可包括至少兩個麥克風，并且通過通信將通過所述至少兩個麥克風接收的聲源的語音或聲音發(fā)送給終端100。

控制器110基于所檢測的對象的位置、來自聲源的聲音的強度、聲源的方向以及聲源與終端100之間的距離來控制表示終端100的終端圖像和表示聲源的聲源圖像在觸摸屏190上的顯示。例如，控制器110可將終端圖像以及表示所檢測的聲源的聲源圖像連同終端100與各個聲源之間的距離、各個聲源的方位角以及來自各個聲源的聲音的強度中的至少一個一起顯示在雷達屏幕上。

如果聲源是人的語音，則控制器110可檢測人的位置，從類似通信服務(wù)提供商的外部實體接收與聲源對應(yīng)的人的信息，并且將聲源連同與聲源對應(yīng)的人的信息一起顯示。例如，控制器110可顯示與聲源對應(yīng)的人的電話號碼、姓名和/或類似信息。

聲源的距離和方向可相對于終端100顯示在雷達屏幕上。聲源圖像可采取圖形、字符等的形式。根據(jù)聲源的聲強和距離，表示聲源的聲源圖像的顏色或尺寸可不同。

例如，如果聲源發(fā)出響亮的聲音，則與表示發(fā)出弱的聲音的聲源的聲源圖像相比，表示該聲源的聲源圖像可顯示得更大或者以更深的顏色來顯示。如果聲源靠近終端100，則與表示遠處的聲源的聲源圖像相比，表示該聲源的聲源圖像可顯示得更大或者以更深的顏色來顯示。聲源的聲源圖像的形狀、尺寸和顏色可根據(jù)聲源的聲強和距離來選擇性地改變。

另選地，控制器110可控制終端圖像和聲源圖像顯示在具有預(yù)定背景的聲源位置指示屏幕(而非雷達屏幕)上。

作為示例，在終端圖像和至少一個聲源圖像顯示在觸摸屏190上的同時，控制器110監(jiān)測通過手指或觸摸輸入單元168(例如，電子筆)所作出的用戶手勢輸入的接收。當用戶利用手指或輸入單元168在觸摸屏上作出手勢時，控制器110可檢測所得的用戶手勢輸入。在本公開的實施例中，用戶手勢輸入可以是觸摸、觸摸并保持、輕拂和保持中的至少一個。此外，許多其它用戶手勢輸入也是可用的。

控制器110可從一個或更多個聲源圖像當中根據(jù)用戶手勢輸入來選擇將輸出聲音的聲源的聲音圖像，并且可控制通過揚聲器163輸出來自所選擇的聲源的聲音。

在響應(yīng)于用戶手勢輸入為聲源圖像選擇多個預(yù)定音量等級中的至少一個時，控制器110可控制揚聲器163按照所選擇的音量等級來輸出與聲源圖像對應(yīng)的聲源的聲音。

根據(jù)本公開的各種實施例，控制器110可根據(jù)用戶手勢輸入來從一個或更多個聲源圖像當中選擇將輸出聲音的聲源的聲源圖像，并且可控制將所選擇的聲源的聲音發(fā)送給助聽器300以使得助聽器300可輸出所選擇的聲源的聲音。

在響應(yīng)于用戶手勢輸入為聲源圖像選擇多個預(yù)定音量等級中的至少一個時，控制器110可控制將基于所選擇的音量等級控制了音量的與聲源圖像對應(yīng)的聲源的聲音發(fā)送給助聽器300，以使得助聽器300可輸出所選擇的聲源的音量被控制的聲音。

移動通信模塊120在控制器110的控制下經(jīng)一個或更多個天線(未示出)通過移動通信將終端100連接到外部裝置。移動通信模塊120向便攜式電話(未示出)、智能電話(未示出)、平板pc(未示出)或者電話號碼將被輸入到終端100的其它裝置(未示出)發(fā)送無線信號或者從其接收無線信號，以進行語音呼叫、視頻呼叫、短消息服務(wù)(sms)或者多媒體信使服務(wù)(mms)。

子通信模塊130可包括無線局域網(wǎng)(wlan)模塊131和短距離通信模塊132中的至少一個。例如，子通信模塊130可單獨地或組合地包括wlan模塊131或者短距離通信模塊132。

wlan模塊131可在安裝有無線接入點(ap)(未示出)的地點在控制器110的控制下連接到互聯(lián)網(wǎng)。wlan模塊131支持wlan標準、電氣和電子工程師協(xié)會(ieee)802.11x。短距離通信模塊132可在控制器110的控制下在終端100與圖像形成裝置(未示出)之間進行短距離無線通信。短距離通信可遵循藍牙、紅外數(shù)據(jù)協(xié)會(irda)、無線保真(wi-fi)直連、近場通信(nfc)等。

終端100可通過移動通信模塊120和子通信模塊130中的至少一個來與助聽器300通信。另外，終端100可通過移動通信模塊120和子通信模塊130中的至少一個將聲源的聲音發(fā)送給助聽器300。例如，終端100可通過移動通信模塊120和子通信模塊130中的至少一個來將用戶所選擇的聲源的聲音發(fā)送給助聽器300。終端100還可通過移動通信模塊120和子通信模塊130中的至少一個來將基于用戶所選擇的音量等級控制了音量的聲源的聲音發(fā)送給助聽器300。

終端100可根據(jù)終端100的能力包括移動通信模塊120、wlan模塊131和短距離通信模塊132中的至少一個。例如，終端100可根據(jù)終端100的能力包括移動通信模塊120、wlan模塊131和短距離通信模塊132的組合。在本公開中，移動通信模塊120、wlan模塊131和短距離通信模塊132中的一個或更多個被統(tǒng)稱為收發(fā)器，這不應(yīng)被解釋為限制本公開的范圍。

多媒體模塊140可包括廣播通信模塊141、音頻播放模塊142或視頻播放模塊143。廣播通信模塊141可在控制器110的控制下通過廣播通信天線(未示出)從廣播站接收廣播信號(例如，tv廣播信號、無線電廣播信號、數(shù)據(jù)廣播信號等)和附加廣播信息(例如，電子節(jié)目指南(epg)、電子服務(wù)指南(esg)等。音頻播放模塊142可在控制器110的控制下打開存儲或接收的數(shù)字音頻文件(例如，具有諸如mp3、wma、ogg、wav等的擴展名的文件)。視頻播放模塊142可在控制器110的控制下打開存儲或接收的數(shù)字視頻文件(例如，具有諸如mpeg、mpg、mp4、avi、mov、mkv等的擴展名的文件)。視頻播放模塊143也可打開數(shù)字音頻文件。

根據(jù)本公開的各種實施例，多媒體模塊140可包括廣播通信模塊141、音頻播放模塊142和視頻播放模塊143的任何組合。例如，多媒體模塊140可包括音頻播放模塊142和視頻播放模塊143，而不包括廣播通信模塊141。

根據(jù)本公開的各種實施例，多媒體模塊140的音頻播放模塊142或視頻播放模塊143可被并入控制器110中。

相機模塊150可包括第一相機151和第二相機152中的至少一個，以在控制器110的控制下捕獲靜止圖像或視頻。另外，第一相機151或第二相機152可包括在捕獲對象時相對于對象拉近或拉遠鏡頭的鏡頭筒155、控制鏡頭筒155的移動的電機154以及提供用于捕獲圖像的輔助光源的閃光燈153中的至少一個。第一相機151可設(shè)置在終端100的前表面上，第二相機152可設(shè)置在終端100的后表面上。另選地，第一相機151和第二相機152可彼此靠近地布置(例如，第一相機151與第二相機152之間的距離可介于1cm和8cm之間)以便捕獲三維靜止圖像或視頻。相機模塊150將所捕獲的畫面或圖像發(fā)送給控制器110。

第一相機151和第二相機152中的每一個可包括鏡頭系統(tǒng)和圖像傳感器。第一相機151和第二相機152中的每一個可將在鏡頭系統(tǒng)處接收(或捕獲)的光學信號轉(zhuǎn)換為電圖像信號，并且將電圖像信號輸出給控制器110。因此，用戶可利用第一相機151和第二相機152來捕獲視頻或靜止圖像。

gps模塊157可從地球軌道中的多個gps衛(wèi)星(未示出)接收信號波，并且基于衛(wèi)星信號從gps衛(wèi)星到終端100的到達時間(toa)來計算終端100的位置。

i/o模塊160可包括多個按鈕161、第一麥克風162-1至第n麥克風162-n、揚聲器163、振動電機164、連接器165、鍵區(qū)166、耳機連接插孔167、輸入單元168等中的至少一個。然而，i/o模塊160不限于這些組件，可提供光標控制以與控制器110通信并且通過鼠標、軌跡球、操縱桿、光標方向鍵等來控制觸摸屏190上的光標移動。

按鈕161可形成在終端100的殼體的前表面、側(cè)表面或后表面上，并且可包括電源/鎖定按鈕(未示出)、音量按鈕(未示出)、菜單按鈕、主按鈕、后退按鈕、搜索按鈕(未示出)等中的至少一個。

第一麥克風162-1至第n麥克風162-n在控制器110的控制下從聲源接收語音或聲音并且將所接收的語音或聲音轉(zhuǎn)換為電信號。例如，第一麥克風162-1至第n麥克風162-n可從終端100周圍的聲源接收語音或聲音，例如由播放器播放的音樂、來自人的言語、電話響鈴聲、來自揚聲器的言語等。

揚聲器163可將與從移動通信模塊120、子通信模塊130、多媒體模塊140和相機模塊150接收的各種信號(例如，無線信號、廣播信號、數(shù)字音頻文件、數(shù)字視頻文件、照片等)對應(yīng)的聲音輸出到終端100的外部。根據(jù)本公開的各種實施例，揚聲器163可在控制器110的控制下放大用戶從終端100周圍的聲源當中選擇的聲源的聲音并且將放大后的聲音輸出到外部。聲源的聲音的音量可根據(jù)用戶手勢輸入來控制。一個或更多個揚聲器163可設(shè)置在終端100的殼體的適當位置處。

振動電機164可在控制器110的控制下將電信號轉(zhuǎn)換為機械振動。例如，當終端100在振動模式下從另一裝置(未示出)接收到來語音呼叫時，振動電機164操作。一個或更多個振動電機164可安裝在終端100的殼體的內(nèi)部。振動電機164可響應(yīng)于用戶在觸摸屏190上的觸摸以及觸摸在觸摸屏190上的連續(xù)移動而操作。

連接器165可用作將終端100連接到外部裝置(未示出)或電源(未示出)的接口。終端100可在控制器110的控制下經(jīng)由連接到連接器165的線纜來將存儲在存儲器175中的數(shù)據(jù)發(fā)送給外部裝置，或者可經(jīng)由所述線纜從外部裝置接收數(shù)據(jù)。終端100可經(jīng)由連接到連接器165的線纜來從電源接收電力或者對電池(未示出)進行充電。

鍵區(qū)166可從用戶接收鍵輸入以控制終端100。鍵區(qū)166包括形成在終端100中的物理鍵區(qū)(未示出)或者顯示在觸摸屏190上的虛擬鍵區(qū)(未示出)。根據(jù)本公開的各種實施例，根據(jù)終端100的能力或配置可不設(shè)置物理鍵區(qū)。

耳機(未示出)可被插入耳機連接插孔167中，因此連接到終端100。

輸入單元168可被插入終端100中。當使用輸入單元168時，輸入單元168可從終端100延伸或脫離。在終端100的插入輸入單元168的區(qū)域處設(shè)置插入和移除檢測開關(guān)(未示出)，以便根據(jù)輸入單元168的插入和移除來操作并且向控制器110提供指示輸入單元168的插入或移除的信號。插入和移除開關(guān)被配置為當輸入單元168被插入時在輸入單元168的插入?yún)^(qū)域中直接或間接地接觸輸入單元168。因此，插入和移除開關(guān)生成指示輸入單元168的插入或移除的信號并且將所生成的信號提供給控制器110。

傳感器模塊170包括至少一個傳感器以檢測終端100的狀態(tài)。例如，傳感器模塊170可包括：接近傳感器，檢測用戶是否靠近終端100；照度傳感器(未示出)，檢測終端100周圍的環(huán)境光的量；運動傳感器(未示出)，檢測終端100的運動(例如，終端100的旋轉(zhuǎn)、加速度或振動)；地磁傳感器172，利用地球的磁場來檢測羅經(jīng)點；重力傳感器(未示出)，檢測重力的方向；以及高度計(未示出)，通過測量氣壓來檢測海拔。至少一個傳感器可檢測終端100的狀態(tài)，生成與所檢測的狀態(tài)對應(yīng)的信號，并且將所生成的信號發(fā)送給控制器110?？筛鶕?jù)終端100的能力向傳感器模塊170增加傳感器或者從傳感器模塊170移除傳感器。

存儲器175可在控制器110的控制下依據(jù)移動通信模塊120、子通信模塊130、多媒體模塊140、相機模塊150、gps模塊157、i/o模塊160、傳感器模塊170和觸摸屏190的操作存儲輸入/輸出信號或數(shù)據(jù)。存儲器175可存儲控制終端100或控制器110的多個程序以及多個應(yīng)用。

術(shù)語“存儲器”涵蓋控制器110內(nèi)的存儲器175、rom112和ram113或者安裝到終端100的存儲卡(未示出)(例如，安全數(shù)字(sd)卡、記憶棒等)。存儲器可包括非易失性存儲器、易失性存儲器、硬盤驅(qū)動器(hdd)或者固態(tài)驅(qū)動器(ssd)。

存儲器175可存儲具有諸如導(dǎo)航、視頻呼叫、游戲和基于時間的鬧鐘應(yīng)用的各種功能的應(yīng)用、用于提供與應(yīng)用有關(guān)的gui的圖像、用戶信息、文本、數(shù)據(jù)庫或者與處理觸摸輸入的方法有關(guān)的數(shù)據(jù)、背景圖像(例如，菜單屏幕、等待屏幕、雷達屏幕、聲源位置指示屏幕等)或者操作終端100所需的操作程序以及由相機模塊150捕獲的靜止圖像和照片。存儲器175是非暫時性機器可讀介質(zhì)(例如，非暫時性計算機可讀介質(zhì))。非暫時性機器可讀介質(zhì)可被定義為向機器提供數(shù)據(jù)以使得該機器可執(zhí)行特定功能的介質(zhì)。非暫時性機器可讀介質(zhì)可以是存儲介質(zhì)。存儲器175可包括易失性介質(zhì)和非易失性介質(zhì)。介質(zhì)應(yīng)該是將可由讀取命令的物理裝置檢測的命令傳送給機器的一種介質(zhì)。

根據(jù)本公開的各種實施例，非暫時性機器可讀介質(zhì)包括軟盤、柔性盤、硬盤、磁帶、致密盤只讀存儲器(cd-rom)、光盤、打孔卡片、紙帶、ram、可編程rom(prom)、可擦除prom(eprom)、閃速eprim等中的至少一個。

電源180可在控制器110的控制下向安裝在終端100的殼體中的一個或更多個電池(未示出)供電。所述一個或更多個電池向終端100供電。另外，電源180可經(jīng)由連接到連接器165的線纜將從外部電源(未示出)接收的電力供應(yīng)給終端100。電源180還可經(jīng)由無線充電技術(shù)將無線地從外部電源接收的電力供應(yīng)給終端100。

根據(jù)本公開的各種實施例，終端100可包括至少一個觸摸屏以提供與各種服務(wù)(例如，呼叫、數(shù)據(jù)傳輸、廣播、照片拍攝和聲源位置指示)對應(yīng)的用戶界面(ui)。各個觸摸屏可將與ui上的至少一個觸摸對應(yīng)的模擬信號發(fā)送給與該觸摸屏對應(yīng)的觸摸屏控制器?？稍O(shè)置與觸摸屏一樣多的觸摸屏控制器以從觸摸屏接收模擬信號。根據(jù)本公開的各種實施例，終端100可包括至少一個觸摸屏。為了描述方便，將描述使用單個觸摸屏的情況。

觸摸屏190可通過用戶的身體(例如，包括食指在內(nèi)的手指)或觸摸輸入單元168(例如，手寫筆、電子筆等)接收至少一個用戶手勢輸入。觸摸屏190包括筆識別面板(未示出)以從手寫筆或電子筆識別用戶手勢輸入。筆識別面板可通過磁場來識別筆與觸摸屏190之間的距離。另外，觸摸屏190可接收至少一個連續(xù)觸摸的連續(xù)移動作為用戶手勢輸入。根據(jù)本公開的各種實施例，觸摸屏190可將與用戶手勢輸入對應(yīng)的模擬信號提供給觸摸屏控制器195。

觸摸屏190可被配置成例如電阻型、電容型、紅外型、聲波型等。

為了順序地或同時地從用戶的身體或觸摸輸入單元168接收手勢輸入，觸摸屏190可包括至少兩個觸摸屏面板(未示出)以分別檢測用戶的身體和觸摸輸入單元168的觸摸或接近。所述至少兩個觸摸屏面板向觸摸屏控制器195提供不同的輸出值。觸摸屏控制器195將從所述至少兩個觸摸屏面板接收的值彼此區(qū)分開，并且確定來自觸摸屏190的輸入值是從用戶的身體的手勢輸入產(chǎn)生的還是從觸摸輸入單元168產(chǎn)生的。

更具體地講，觸摸屏190可包括通過所感生的電力的變化來檢測來自手指或輸入單元168的輸入的面板與檢測來自手指或輸入單元168的觸摸的面板的疊堆。這兩個面板空間上彼此間隔開或者接觸。觸摸屏190包括大量像素并且在所述像素處顯示圖像。根據(jù)本公開的各種實施例，觸摸屏190可被配置成液晶顯示器(lcd)、有機發(fā)光二極管(oled)顯示器、led顯示器等。

圖3是示出根據(jù)本公開的實施例的顯示終端100周圍的至少一個聲源的操作的流程圖。

參照圖3，在操作310，終端100可利用地磁傳感器172來確定相對于終端100的位置的東西南北方位。具體地講，終端100可利用gps模塊157來檢測終端100的位置，并且可利用地磁傳感器172來確定相對于終端100的位置的東西南北方位。

在操作320，終端100可利用反射波來檢測終端100周圍的對象并且定位所檢測的對象。例如，終端100可通過反射波收發(fā)器113在所有方向上發(fā)送電磁波信號并且接收被對象發(fā)射的與所發(fā)送的電磁波信號對應(yīng)的反射波信號。終端100可檢測終端100的位置周圍的一個或更多個對象，并且可利用所接收的反射波信號來定位所述一個或更多個對象。

在操作330，終端100可通過分析通過多個麥克風接收的聲音來將一個或更多個聲源彼此區(qū)分開。例如，終端100可通過分析通過第一麥克風162-1至第n麥克風162-n從聲源接收的語音或聲音來區(qū)分一個或更多個聲源。根據(jù)本公開的各種實施例，終端100可從助聽器300接收助聽器300通過多個麥克風從聲源接收的語音或聲音，并且可將一個或更多個聲源彼此區(qū)分開。例如，不是通過第一麥克風162-1至第n麥克風162-n來接收語音或聲音，終端100可接收助聽器300通過包括在助聽器300中的多個麥克風從聲源接收的語音或聲音。隨后，終端100可在發(fā)起(或發(fā)出)語音或聲音的一個或更多個聲源當中進行區(qū)分。

在操作340，終端100計算每個所區(qū)分的聲源的聲強、方向和距離。例如，終端100可經(jīng)第一麥克風162-1至第n麥克風162-n通過分析聲源的語音或聲音來計算各個聲源的聲強。另外，控制器110可通過聲源距離計算器103來計算終端100與各個聲源之間的距離，并且可通過聲源方向計算器105來計算各個聲源的方向。

在操作350，終端100基于所檢測的對象的位置、所計算的聲源的聲強、方向和距離來顯示終端100以及終端100周圍的一個或更多個聲源。例如，終端100可顯示終端100周圍的一個或更多個聲源的相對位置。

例如，終端100從終端100周圍的一個或更多個聲源當中選擇將要顯示在觸摸屏190上的至少一個聲源，并且確定所選擇的聲源將要顯示在觸摸屏190上的位置。隨后，終端100將所述至少一個聲源顯示在觸摸屏190的所確定的位置處。

具體地講，終端100可從終端100周圍的一個或更多個聲源當中選擇在距終端100預(yù)定距離內(nèi)的至少一個聲源或者聲強等于或大于預(yù)定(或所選擇的)等級的至少一個聲源，以使得所選擇的至少一個聲源可顯示在觸摸屏190上。

所選擇的至少一個聲源的顯示位置可考慮觸摸屏190的尺寸以及終端100與所述至少一個聲源之間的距離來確定。

例如，觸摸屏190的中心點可被設(shè)定為終端100的位置，至少一個聲源的顯示位置可基于終端100與至少一個聲源之間的距離在考慮觸摸屏190的尺寸的情況下相對于觸摸屏190的中心點來確定。例如，終端100可根據(jù)觸摸屏190的尺寸基于縮放來顯示終端的位置以及的至少一個聲源的相對位置。

終端100可將表示終端100的終端圖像顯示在觸摸屏190上的終端100的位置處，并且將表示至少一個聲源的至少一個聲源圖像顯示在觸摸屏190上所確定的所述至少一個聲源的位置處。

終端100可將終端圖像和至少一個聲源圖像顯示在預(yù)定類型的屏幕上，并且可另外將至少一個聲源的距離、方位角和類型中的至少一個顯示在該屏幕上。

聲源圖像可采取表示聲源的圖形、字符等的形式。聲源圖像可根據(jù)聲源的聲強和距離按照不同的顏色或尺寸來顯示。例如，如果聲源發(fā)出響亮的聲音，則與表示發(fā)出弱的聲音的聲源的聲源圖像相比，表示該聲源的聲源圖像可顯示得更大或者以更深的顏色來顯示。作為另一示例，如果聲源靠近終端100，則與表示遠處的聲源的聲源圖像相比，表示該聲源的聲源圖像可顯示得更大或者以更深的顏色來顯示。與聲源對應(yīng)的聲源圖像的形狀、尺寸和顏色可根據(jù)聲源的聲強和距離來選擇性地改變。聲源圖像可被形成為與聲源的類型匹配的形狀。例如，聲源圖像可被形成為表示聲源的類型對應(yīng)于人、電話或儀器等的形狀。

如果聲源的類型是人的語音，則終端100可檢測人的位置，從類似通信服務(wù)提供商的外部實體接收與聲源對應(yīng)的人的信息(例如，電話號碼和姓名)，并且將聲源連同與聲源對應(yīng)的人的信息一起顯示。根據(jù)本公開的各種實施例，終端100可確定聲音從其接收的人對應(yīng)于存儲在終端100中的聯(lián)系人。結(jié)果，終端100可檢索并顯示與該人關(guān)聯(lián)的聯(lián)系人信息(例如，電話號碼、姓名和/或類似信息)。

終端100和終端100周圍的聲源可按照預(yù)定指示方案來顯示，例如雷達顯示方案、雷達顯示方案以外的聲源位置指示方案或者其它未提及的方案。

首先將描述本公開的以雷達顯示方案來顯示終端100和終端100周圍的聲源的實施例。

圖4示出根據(jù)本公開的實施例的顯示終端周圍的聲源的雷達屏幕。

參照圖4，可在雷達屏幕上相對于終端100顯示聲源的距離和方向。在雷達屏幕上利用n、w、s和e來標記北西南東方位。表示終端100的終端圖像40以及分別表示聲源的一個或更多個聲源圖像41至44可顯示在雷達屏幕上。雷達屏幕還可顯示終端100與各個聲源之間的距離以及聲源的聲強47和方位角49。例如，如果選擇源圖像41至44中的源圖像，則終端100可顯示關(guān)于該聲源和/或?qū)?yīng)聲音的詳細信息。例如，終端100可顯示終端與所選擇的聲源之間的距離、來自所選擇的聲源的聲音的聲強、與所選擇的聲源的特性有關(guān)的聯(lián)系人信息或其它信息等。

圖5示出根據(jù)本公開的實施例的顯示終端周圍的聲源的位置的屏幕。

參照圖5，聲源位置指示屏幕可顯示表示終端100的終端圖像50以及表示聲源的一個或更多個聲源圖像51至55。如果聲源輸出響亮的聲音，則該聲源的聲源圖像可按照比輸出弱的聲音的聲源的聲源圖像深的顏色來顯示。聲源的聲源圖像可指示聲源的類型是人的語音(話語)還是電話鈴聲。根據(jù)本公開的各種實施例，聲源的聲源圖像可指示聲源的其它類型(例如，常見類型)。

通過以上述方式在屏幕上顯示終端100周圍的聲源，終端100可根據(jù)用戶手勢輸入選擇聲源，輸出所選擇的聲源的聲音。并且控制輸出聲音的音量。

圖6是示出根據(jù)本公開的實施例的在終端中輸出聲源的聲音的操作的流程圖。圖7示出根據(jù)本公開的實施例的顯示終端周圍的聲源的終端的屏幕。

參照圖6和圖7，在操作610，終端100可確定用戶是否觸摸了屏幕上的聲源圖像，其中，屏幕上顯示有終端圖像70以及表示終端100周圍的聲源的聲源圖像71至75。用戶可利用手指或輸入單元168(例如，觸摸筆或手寫筆)來觸摸屏幕上的聲源圖像。

如果在操作610，終端100確定用戶沒有觸摸屏幕上的聲源圖像，則終端100可繼續(xù)對聲源圖像上的用戶觸摸進行輪詢(例如，直至終端100基于用戶輸入或其它操作被中斷以執(zhí)行另一對應(yīng)功能)。

相比之下，如果在操作610，終端100確定用戶觸摸了屏幕上的聲源圖像，則在檢測到聲源圖像上的觸摸時，終端前進至操作620，在該操作620，終端100可輸出與所觸摸的聲源圖像對應(yīng)的聲源的聲音。例如，當如圖7(a)所示觸摸與話語3對應(yīng)的聲源圖像71時，終端100可輸出與所觸摸的聲源圖像71對應(yīng)的聲源的聲音。

根據(jù)本公開的各種實施例，終端100可將與所觸摸的聲源圖像對應(yīng)的聲源的聲音發(fā)送給助聽器300。例如，終端100可將與所觸摸(例如，所選擇)的聲源圖像對應(yīng)的聲源的聲音發(fā)送給助聽器300，以使得助聽器300可輸出聲源的聲音。

當如圖7(a)所示觸摸與話語3對應(yīng)的聲源圖像71時，如圖7(b)所示，所觸摸的聲源圖像71可按照與其它聲源圖像72至75不同的方式來顯示，以指示所觸摸的聲源圖像71。例如，所觸摸的聲源圖像71可被顯示為具有實線輪廓，而其它聲源圖像72至75可被顯示為具有虛線輪廓。根據(jù)本公開的各種實施例，可使用其它標記來標識所觸摸的聲源圖像(例如，陰影、加粗等)。

根據(jù)本公開的各種實施例，如果多個聲源圖像被觸摸，則與所觸摸(例如，所選擇)的多個聲源圖像對應(yīng)的聲源的聲音可被輸出，并且所觸摸的聲源圖像可與其它聲源圖像不同地顯示以使得所觸摸的聲源圖像可被識別。

在操作630，終端100確定用戶是否選擇了音量等級。例如，可根據(jù)用戶手勢輸入選擇高等級、標準等級和靜音等級中的一個。高等級可以是最高音量等級，標準等級可以是中等音量等級，靜音等級可以是靜音。音量等級還可包括將所選擇的聲源的音量增大至高于其它聲源的音量的等級或者將所選擇的聲源的音量減小至低于其它聲源的音量的等級。

根據(jù)本公開的各種實施例，可定義各種數(shù)量的音量等級(例如，除了這三種音量等級以外)。根據(jù)本公開的各種實施例，可通過在靜音位置和與最大音量對應(yīng)的位置之間設(shè)定音量條來設(shè)定音量等級。高等級、標準等級和靜音等級的音量可由用戶或開發(fā)者來設(shè)定。

如果終端100確定用戶選擇了高等級，則終端100可前進至操作632，在該操作632，終端100可按照與高等級對應(yīng)的音量來輸出聲源的聲音。

如果終端100確定用戶選擇了標準等級，則終端100可前進至操作634，在該操作634，終端100可按照與標準等級對應(yīng)的音量來輸出聲源的聲音。

如果終端100確定用戶選擇了靜音等級，則終端100可前進至操作636，在該操作636，終端100可將聲源的聲音靜音。

根據(jù)本公開的各種實施例，終端100可將音量被控制為所選擇的音量等級的聲源的聲音發(fā)送給助聽器300，以使得助聽器300可輸出音量被控制的聲音。

相比之下，如果在操作630，終端100確定在輸出聲源的聲音期間沒有選擇音量等級，則終端100前進至操作640，在該操作640，終端100監(jiān)測與正在輸出聲音的聲源對應(yīng)的聲源圖像上的觸摸。例如，在操作640，終端100確定用戶是否觸摸了與正輸出聲音的聲源對應(yīng)的聲源圖像。

如果終端100確定與正輸出聲音的聲源對應(yīng)的聲源圖像被觸摸，則終端100前進至操作650，在該操作650，終端100終止該聲源的聲音的輸出。

如果終端100確定與正輸出聲音的聲源對應(yīng)的聲源圖像未被觸摸，則終端100可前進至操作630。

根據(jù)本公開的各種實施例，如果終端100正在將聲源的聲音輸出給助聽器300，則終端100可終止將聲源的聲音輸出給助聽器300。

如上所述，通過在屏幕上顯示終端100周圍的聲源，用戶可在屏幕上選擇聲源，并且終端100或助聽器300可輸出所選擇的聲源的聲音。另外，用戶可調(diào)節(jié)聲源的聲音的音量。因此，聽力障礙者可聆聽預(yù)期聲源。

盡管在本公開的上述實施例中描述了在用戶手勢輸入是觸摸的情況下終端100選擇將要輸出聲音的聲源，但是終端100可通過識別觸摸以外的許多用戶手勢輸入來選擇用戶預(yù)期的聲源。

圖8是示出根據(jù)本公開的實施例的在終端中根據(jù)所識別的用戶手勢來選擇聲源的操作的流程圖。

參照圖8，在操作810，終端100識別(例如，檢測)用戶手勢。用戶手勢輸入可以是單個手勢輸入或者多個用戶手勢的連續(xù)輸入。

例如，用戶手勢輸入可以是拖動輸入。用戶手勢輸入可以是觸摸并保持輸入之后的輕拂輸入。用戶手勢輸入可以是在觸摸并保持輸入之后的輕拂然后保持輸入。用戶手勢輸入可以是在觸摸并保持輸入之后，在由輕拂輸入限定半徑的圓周上的特定點處的保持輸入。根據(jù)本公開的各種實施例，用戶手勢可以是語音輸入。

在操作820，終端100確定用戶手勢輸入是否指示聲源選擇方向。例如，指示聲源選擇方向的用戶手勢輸入可以是在選擇終端圖像之后在預(yù)期聲音輸出方向上的拖動輸入。

圖9示出根據(jù)本公開的實施例的指示聲源選擇方向的用戶手勢輸入。

參照圖9，在表示終端100周圍的一個或更多個聲源的聲源圖像91至95顯示在屏幕上的同時，在接收到從終端圖像90朝著與話語3對應(yīng)的聲源圖像92的拖動輸入時，終端100基于該拖動輸入確定聲源選擇方向。

如果在操作820，終端100確定用戶手勢輸入指示聲源選擇方向，則在確定聲源選擇方向時，終端100前進至操作822，在該操作822，終端100選擇聲源選擇方向上的聲源并且輸出所選擇的聲源的聲音。

相比之下，如果在操作820，終端100確定用戶手勢輸入沒有指示聲源選擇方向，則終端100前進至操作830，在該操作830，終端100確定用戶手勢輸入是否指示聲源選擇范圍。例如，指示聲源選擇范圍的用戶手勢輸入可以是在對終端圖像的觸摸并保持輸入之后對特定范圍的輕拂輸入。

圖10a和圖10b示出根據(jù)本公開的實施例的指示聲源選擇范圍的用戶手勢輸入。

參照圖10a和圖10b，在終端圖像1000和表示終端100周圍的一個或更多個聲源的聲源圖像1001至1005顯示在屏幕上的同時，在接收到如圖10a所示對終端圖像1000的觸摸并保持輸入，然后接收到如圖10b所示與特定范圍(例如，5m范圍)對應(yīng)的輕拂輸入時，終端100根據(jù)所接收的輸入來確定聲源選擇范圍。終端100可根據(jù)觸摸并保持輸入來顯示被觸摸并保持的點，然后根據(jù)輕拂輸入的長度來確定特定范圍。根據(jù)本公開的各種實施例，可利用另一輸入或通過菜單選擇來配置源選擇范圍。

如果在操作830，終端100確定用戶手勢輸入指示聲源選擇范圍，則終端100前進至操作832，在該操作832，終端100選擇所指示的范圍內(nèi)的至少一個聲源并且輸出所選擇的至少一個聲源的聲音。

相比之下，如果在操作830，終端100確定用戶手勢輸入沒有指示聲源選擇范圍，則終端100前進至操作840，在該操作840，終端100確定用戶手勢輸入是否指示聲源選擇距離。例如，指示聲源選擇距離的用戶手勢輸入可以是在觸摸并保持輸入之后的輕拂輸入然后保持輸入。

圖11示出根據(jù)本公開的實施例的指示聲源選擇距離的用戶手勢輸入。

參照圖11，在表示終端100的終端圖像1110以及表示終端100周圍的一個或更多個聲源的聲源圖像1111至1115顯示在屏幕上的同時，在接收到如圖11(a)所示對終端圖像1110的觸摸并保持輸入，然后接收到如圖11(b)所示與特定距離(例如，5m)對應(yīng)的輕拂輸入時，終端100根據(jù)所接收的輸入來確定聲源選擇距離。如圖11(c)所示，終端100顯示與距終端100的聲源選擇距離對應(yīng)的半徑。在如圖11(c)所示繼輕拂輸入之后，接收到半徑指示聲源選擇距離的圓周上的維持達預(yù)定時間的保持輸入時，終端100將該半徑確定為聲源選擇距離。

如果在操作840，終端100確定用戶手勢輸入指示聲源距離，則一旦聲源選擇距離被確定，終端100就前進至操作842，在該操作842，終端100可選擇聲源選擇距離內(nèi)的聲源并且輸出所選擇的聲源的聲音。

相比之下，如果在操作840，終端100確定用戶手勢輸入沒有指示聲源距離，則終端100前進至操作850，在該操作850，終端100確定用戶手勢輸入是否指示聲源選擇位置。例如，指示聲源選擇位置的用戶手勢輸入可以是在觸摸并保持輸入之后在半徑由輕拂輸入限定的圓周上的特定點處的保持輸入。

圖12示出根據(jù)本公開的實施例的指示聲源選擇位置的用戶手勢輸入。

參照圖12，在表示終端100的終端圖像1140以及表示終端100周圍的一個或更多個聲源的聲源圖像1141、1143、1145、1147和1147顯示在屏幕上的同時，在接收到如圖12(a)所示對終端圖像1140的觸摸并保持輸入，然后接收到如圖12(b)所示與特定距離(例如，5m)對應(yīng)的輕拂輸入時，終端100可如圖12(c)所示從終端圖像1140顯示與聲源選擇距離對應(yīng)的半徑。在如圖12(d)所示繼輕拂輸入之后，接收到在半徑指示距終端100的距離的圓周上的維持達預(yù)定時間的保持輸入時，終端100可將具有該半徑的圓周上的位置確定為聲源選擇位置。

一旦在操作850終端100確定了聲源選擇位置，終端100就前進至操作852，在該操作852，終端100可選擇聲源選擇位置處的聲源并且輸出所選擇的聲源的聲音。

根據(jù)如上所述本公開的各種實施例，終端100區(qū)分終端100周圍的鄰近聲源并且分別顯示這些聲源。終端100可輸出用戶所選擇的聲源的聲音或者控制輸出聲音的音量。

終端100可從助聽器300接收鄰近聲源的聲音信號并且顯示聲源。在用戶選擇聲源時，終端100可將所選擇的聲源的聲音發(fā)送給助聽器300，以使得助聽器300可輸出所選擇的聲源的聲音。

如果用戶選擇聲源的聲音的音量等級，則終端100按照與所選擇的音量等級對應(yīng)的音量將聲源的聲音發(fā)送給助聽器300，以使得助聽器300可輸出聲源的音量被控制的聲音。

將描述根據(jù)本公開的實施例的助聽器300的配置和操作。

圖13是根據(jù)本公開的實施例的助聽器的框圖。

參照圖13，助聽器300可包括助聽器控制器310、麥克風單元320、轉(zhuǎn)換器330、放大器340、輸出單元350、無線單元360、存儲器370和電源380。

助聽器控制器310提供對助聽器300的總體控制，并控制麥克風單元320、轉(zhuǎn)換器330、放大器340、輸出單元350、無線單元360、存儲器370和電源380的操作。

麥克風單元320可包括至少兩個麥克風并且可檢測和接收鄰近聲音。例如，所述至少兩個麥克風可設(shè)置在助聽器300外部，在用戶的耳中從鄰近聲源接收模擬聲音信號，并且在助聽器控制器310的控制下將所述模擬聲音信號發(fā)送給轉(zhuǎn)換器330。

轉(zhuǎn)換器330可將從麥克風單元320接收的模擬聲音信號轉(zhuǎn)換為數(shù)字聲音信號，并且可將放大的數(shù)字聲音信號轉(zhuǎn)換為模擬聲音信號。例如，轉(zhuǎn)換器330可將從麥克風單元320接收的模擬聲音信號轉(zhuǎn)換為數(shù)字聲音信號并且將所述數(shù)字聲音信號提供給助聽器控制器310。

助聽器控制器310對從轉(zhuǎn)換器330接收的數(shù)字聲音信號執(zhí)行數(shù)字信號處理，例如不必要的噪聲的消除、反饋控制、放大增益控制、非線性放大等。隨后，助聽器控制器310將所處理的數(shù)字聲音信號提供給轉(zhuǎn)換器330。

放大器340基于從助聽器控制器310接收的放大增益來放大從轉(zhuǎn)換器330接收的數(shù)字聲音信號，并將所放大的聲音信號提供給助聽器控制器310。

轉(zhuǎn)換器330將從助聽器控制器310接收的處理的數(shù)字聲音信號轉(zhuǎn)換為模擬聲音信號，并且將所述模擬聲音信號提供給輸出單元350。

輸出單元350輸出所接收的模擬聲音信號。

無線單元360可包括移動通信模塊(未示出)、wlan模塊(未示出)、短距離通信模塊(未示出)等中的一個，并且可與終端100無線地通信。短距離通信模塊可包括紅外通信模塊、藍牙通信模塊和/或類似模塊。無線單元360在助聽器控制器310的控制下與終端100無線地通信。無線單元360從終端100接收所選擇的聲源的聲音信號或者所選擇的聲源的音量被控制的聲音信號，或者將通過麥克風單元320收集的聲源的聲音信號發(fā)送給終端100。

存儲器370存儲從終端100接收的所選擇的聲源的聲音信號或者所選擇的聲源的音量被控制的聲音信號，或者存儲通過麥克風單元320收集的聲源的聲音信號。

電源380向助聽器300的各個組件供電。

根據(jù)本公開的各種實施例，如上所述配置的助聽器300可通過麥克風單元320接收聲源的聲音信號并且將所接收的聲音信號發(fā)送給終端100。另外，助聽器300可從終端100接收用戶所選擇的聲源的聲音信號或者聲源的聲音信號當中用戶所選擇的聲源的音量被控制的聲音信號，并且輸出所接收的聲音信號。

圖14是示出根據(jù)本公開的實施例的助聽器的操作的流程圖。

參照圖14，在操作1410，助聽器300可通過麥克風單元320接收鄰近聲源的聲音信號。具體地講，助聽器300可通過至少兩個麥克風(可設(shè)置在助聽器300的外部，用戶的耳中)從鄰近聲源接收模擬聲音信號。

在操作1420，助聽器300可將所接收的聲源的聲音信號發(fā)送給終端100。例如，助聽器300可通過無線單元360與終端100無線地通信，并且通過無線通信將聲源的聲音信號發(fā)送給終端100。終端100可從助聽器300接收聲源的聲音信號，基于所接收的聲源的聲音信號區(qū)分一個或更多個聲源，計算各個聲源的聲強、方向和距離，并且將所述一個或更多個聲源顯示在終端100的屏幕上。

在用戶從所顯示的聲源當中選擇聲源時，終端100可將所選擇的聲源的聲音信號發(fā)送給助聽器300。在用戶選擇聲源的聲音信號的音量等級時，終端100可將聲源的音量被控制的聲音信號發(fā)送給助聽器300。根據(jù)本公開的各種實施例，終端100可將所選擇的聲源的聲音信號發(fā)送給助聽器300，并且終端100可發(fā)送所選擇的聲源的聲音信號的所選擇的音量等級的指示。

在操作1430，助聽器300可通過無線單元360從終端100接收所選擇的聲源的聲音信號或者音量被控制的聲音信號。

在操作1440，助聽器300將所接收的所選擇的聲源的聲音信號或者音量被控制的聲音信號輸出給輸出單元350。

盡管上面描述了助聽器300將通過麥克風單元320接收的聲源的聲音信號發(fā)送給終端100，但是助聽器300可從終端100接收終端100通過第一麥克風162-1至第n麥克風162-n接收的所選擇的聲源的聲音信號或者音量被控制的聲音信號，然后輸出所接收的聲音信號，而非通過無線單元360將通過麥克風單元320接收的聲源的聲音信號發(fā)送給終端100。

從本公開的各種實施例的以上描述明顯的是，用戶可利用終端100的顯示器來定位用戶周圍的聲源。

根據(jù)本公開的各種實施例，用戶可(選擇性地)僅聆聽從聲源當中選擇的預(yù)期聲源的聲音并且逐步控制聲音的音量。

根據(jù)本公開的各種實施例，如果聽力障礙者使用助聽器300，則該人可通過與助聽器300結(jié)合操作的終端100來定位聲源，并且通過助聽器300聆聽預(yù)期聲源的聲音。

由于用戶可通過各種手勢來聆聽預(yù)期聲源的聲音，所以向用戶提供方便的ui。

就這一點，應(yīng)該注意的是，如上所述的本公開的各種實施例通常在一定程度上涉及輸入數(shù)據(jù)的處理和輸出數(shù)據(jù)的生成。此輸入數(shù)據(jù)處理和輸出數(shù)據(jù)生成可在硬件或者與硬件組合的軟件中實現(xiàn)。例如，可在移動裝置或者相似或相關(guān)的電路中采用特定電子組件以用于實現(xiàn)與如上所述本公開的各種實施例關(guān)聯(lián)的功能。另選地，依據(jù)所存儲的指令來操作的一個或更多個處理器可實現(xiàn)與如上所述本公開的各種實施例關(guān)聯(lián)的功能。如果是這樣，則這些指令可被存儲在一個或更多個非暫時性處理器可讀介質(zhì)上在本公開的范圍內(nèi)。非暫時性處理器可讀介質(zhì)的示例包括只讀存儲器(rom)、隨機存取存儲器(ram)、cd-rom、磁帶、軟盤和光學數(shù)據(jù)存儲裝置。非暫時性處理器可讀介質(zhì)還可分布于聯(lián)網(wǎng)的計算機系統(tǒng)上以使得指令以分布式方式被存儲和執(zhí)行。另外，用于實現(xiàn)本公開的功能計算機程序、指令和指令段可由本公開所屬領(lǐng)域的程序員容易地解釋。

盡管已參照其各種實施例示出并描述了本公開，但是本領(lǐng)域技術(shù)人員將理解，在不脫離由所附權(quán)利要求及其等同物限定的本公開的精神和范圍的情況下，可對其進行形式和細節(jié)上的各種改變。