感測觸摸聲音作為用戶手勢輸入的計(jì)算設(shè)備及方法
【專利摘要】本發(fā)明涉及感測觸摸聲音作為用戶手勢輸入的技術(shù)領(lǐng)域，具體公開了一種感測觸摸聲音作為用戶手勢輸入的計(jì)算設(shè)備，其包括：處理器和至少一個聲波傳感器；所述至少一個聲波傳感器與所述處理器通信，并被配置為將感測到的與手勢對應(yīng)的觸摸聲音轉(zhuǎn)換為電信號；所述處理器根據(jù)所述電信號確定電信號的波形特征，通過分析所述電信號的波形特征識別出用戶的手勢作為用戶手勢輸入。本發(fā)明提供的是一種基于固體傳遞的聲音的感測方案，即使不直接觸摸設(shè)備，也能感測間接觸摸其它物體的聲音。本發(fā)明感測的聲音不依賴空氣傳遞，不易受環(huán)境噪音的干擾。在某些不方便直接觸碰設(shè)備的場合，本發(fā)明能為設(shè)備控制提供更大的靈活性。
【專利說明】
感測觸摸聲音作為用戶手勢輸入的計(jì)算設(shè)備及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算設(shè)備技術(shù)領(lǐng)域，尤其涉及感測觸摸聲音作為用戶手勢輸入的技術(shù) 領(lǐng)域。
【背景技術(shù)】
[0002] 計(jì)算設(shè)備都需要各種輸入設(shè)備提供輸入，比如鍵盤、鼠標(biāo)、軌跡球、操縱桿、觸摸 屏、按鈕等輸入設(shè)備。其中，觸摸屏是較常用的輸入設(shè)備。觸摸屏允許用戶使用手指、觸筆或 其他物體在由顯示設(shè)備正在顯示的用戶界面所指示的位置處通過觸摸傳感器面板來向計(jì) 算設(shè)備提供各種類型的輸入。一般來講，觸摸屏可識別觸摸事件和觸摸事件在觸摸傳感器 面板上的位置，并且計(jì)算系統(tǒng)然后可根據(jù)觸摸事件發(fā)生時出現(xiàn)的顯示內(nèi)容來解釋觸摸事 件，并且然后可基于觸摸事件來執(zhí)行一個或多個動作。觸摸傳感器面板一般被配置為采用 電容性輸入檢測來自用戶的手指的觸摸。這種觸摸屏只能接受觸摸屏感測區(qū)域內(nèi)的觸摸。
[0003] 現(xiàn)有技術(shù)中，還有一種輸入設(shè)備，當(dāng)觸控表面連接壓力傳感器后，可以通過力感測 來檢測手勢和觸摸屏輸入。當(dāng)用戶以特定手勢進(jìn)行按壓時，分布的壓力傳感器對此進(jìn)行探 測。根據(jù)每個壓力傳感器獲得的不同壓力數(shù)值，可通過計(jì)算確定"壓力中心"。壓力中心可與 觸控輸入配合使用，但壓力傳感區(qū)域不一定與電容觸控區(qū)域安裝在一起。當(dāng)壓力傳感器位 于活躍的觸控輸入?yún)^(qū)域之外，能使某些用戶界面輸入移至觸摸屏感測區(qū)域外進(jìn)行。
[0004] 顯然，上述觸摸屏一類的輸入設(shè)備，需要用戶直接接觸計(jì)算設(shè)備。但在一些情況 下，可能用戶不方便直接接觸計(jì)算設(shè)備，如清晨想關(guān)閉桌上的手機(jī)鬧鈴、或者洗水果時需要 接聽手機(jī)來電等等。
[0005] 對于可穿戴電子設(shè)備，體積太小可能沒有觸屏。語音輸入是一種比較理想的輸入 方式。語音輸入被認(rèn)為是最簡便、最易用的輸入方法之一，不需要用戶與計(jì)算設(shè)備進(jìn)行接 觸。語音輸入是借助麥克風(fēng)將人聲轉(zhuǎn)為語音信號，由計(jì)算系統(tǒng)進(jìn)行識別，解釋語音事件，并 向計(jì)算設(shè)備提供輸入。但是，由于人類語音向外界通過空氣傳遞聲波，麥克風(fēng)采集語音信 號，易受空氣介質(zhì)傳遞的其它噪音干擾。當(dāng)環(huán)境噪音太大，可能導(dǎo)致語音識別出現(xiàn)錯誤。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明要解決的技術(shù)問題在于提供一種感測觸摸聲音作為用戶手勢輸入的計(jì)算 設(shè)備及方法，即使在用戶不直接接觸計(jì)算設(shè)備的情況下，也能使計(jì)算設(shè)備能通過感測觸摸 聲音的方式獲得用戶手勢輸入，同時還能克服識別人類語音輸入易受干擾的缺陷。
[0007] 為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：
[0008] -種感測觸摸聲音作為用戶手勢輸入的計(jì)算設(shè)備，包括:處理器、傳聲界面和至少 一個聲波傳感器；
[0009] 所述傳聲界面與所述至少一個聲波傳感器連接，被配置為傳遞與手勢對應(yīng)的觸摸 聲音至所述至少一個聲波傳感器；
[0010] 所述至少一個聲波傳感器與所述處理器通信，并被配置為將感測到的與手勢對應(yīng) 的觸摸聲音轉(zhuǎn)換為電信號；
[0011] 所述處理器根據(jù)所述電信號確定電信號的波形特征，通過所述電信號的波形特征 識別出用戶的手勢作為用戶手勢輸入。
[0012] 優(yōu)選的，所述傳聲界面是所述聲波傳感器的一部分，或者所述傳聲界面是所述計(jì) 算設(shè)備的殼體的一部分。
[0013] 優(yōu)選的，所述傳聲界面被配置為所述傳聲界面接觸其它物體時，傳聲界面能傳遞 用戶觸摸其它物體時發(fā)出的聲音，和/或用戶直接觸摸所述傳聲界面表面時所述傳聲界面 能發(fā)出聲音。
[0014] 優(yōu)選的，所述傳聲界面設(shè)有一個或若干個突起/凹陷結(jié)構(gòu)和/或所述計(jì)算設(shè)備的殼 體表面設(shè)有一個或若干個突起/凹陷結(jié)構(gòu)。
[0015] 優(yōu)選的，所述至少一個聲波傳感器為測量振動加速度的加速度傳感器或者壓電薄 膜傳感器。
[0016] 為解決上述技術(shù)問題，本發(fā)明采用的另一個技術(shù)方案是：
[0017] -種感測觸摸聲音作為用戶手勢輸入的方法，包括如下步驟：
[0018] 步驟1，配置計(jì)算設(shè)備，使其包括:處理器和至少一個聲波傳感器；
[0019] 步驟2,由所述至少一個聲波傳感器來感測觸摸聲音并將感測到的所述觸摸聲音 轉(zhuǎn)換為電信號；
[0020] 步驟3,由所述處理器根據(jù)所述至少一個聲波傳感器傳來的電信號，確定電信號的 波形特征，通過所述電信號的波形特征識別出用戶的手勢作為所述計(jì)算設(shè)備的用戶手勢輸 入。
[0021] 優(yōu)選的，所述用戶的手勢及相應(yīng)的觸摸聲音采用二進(jìn)制編碼方式劃分為手勢/聲 音編碼，所述手勢/聲音編碼包括:普通指令編碼、緊急指令編碼和特殊指令編碼；
[0022] 在步驟3之后還包括以下步驟，由所述處理器確定手勢/聲音編碼的分類；
[0023]如果是普通指令編碼，則確定普通指令輸入狀態(tài)是否激活，如果檢測到已經(jīng)激活 普通指令輸入狀態(tài)則執(zhí)行該普通指令，如果檢測到未激活普通指令輸入狀態(tài)則結(jié)束；
[0024]如果是緊急指令編碼則執(zhí)行該緊急指令；
[0025] 如果是特殊功能指令編碼，則確定是否得到特殊功能指令輸入的授權(quán)，如果檢測 到已授權(quán)特殊功能指令輸入則執(zhí)行該特殊功能指令，如果檢測到未授權(quán)特殊功能指令輸入 則結(jié)束。
[0026] 優(yōu)選的，在所述執(zhí)行步驟3之前、期間或之后，還包括以下步驟：
[0027]所述計(jì)算設(shè)備檢測是否還有觸摸屏輸入，如果有觸摸屏輸入，所述處理器優(yōu)先處 理觸摸屏輸入信號。
[0028]為解決上述技術(shù)問題，本發(fā)明采用的再一個技術(shù)方案是：
[0029] 一種感測觸摸聲音作為用戶手勢輸入的移動計(jì)算機(jī)，包括:處理器、與處理器通信 的觸摸屏，以及與處理器通信的至少一個聲波傳感器；
[0030] 所述觸摸屏被配置為感測用戶手指接近或接觸觸摸屏的觸摸動作，并將感測到的 所述觸摸動作轉(zhuǎn)換為觸摸屏輸入信號；
[0031] 所述至少一個聲波傳感器被配置為感測與手勢對應(yīng)的觸摸聲音，并將感測到的所 述觸摸聲音轉(zhuǎn)換為電信號；
[0032] 所述處理器根據(jù)所述觸摸屏輸入信號執(zhí)行觸摸動作對應(yīng)的指令；
[0033] 所述處理器根據(jù)所述電信號確定電信號的波形特征，通過所述電信號的波形特征 識別出用戶的手勢作為用戶手勢輸入，并執(zhí)行用戶手勢對應(yīng)的指令。
[0034] 優(yōu)選的，所述移動計(jì)算機(jī)還包括:傳聲界面；
[0035] 所述傳聲界面與所述至少一個聲波傳感器連接，被配置為傳遞與手勢對應(yīng)的觸摸 聲音至所述至少一個聲波傳感器。
[0036] 本發(fā)明提供的是一種基于固體傳遞的聲音的感測方法，即使不直接觸摸設(shè)備，也 能感測間接觸摸其它物體的聲音。
[0037] 本發(fā)明采用的聲波傳感器，采用接觸的方法檢出聲波信號，并將固體中傳播的振 動轉(zhuǎn)換成電信號。
[0038] 本發(fā)明感測的聲音不依賴空氣傳遞，不易受環(huán)境噪音的干擾。在某些不方便直接 觸碰設(shè)備的場合，本發(fā)明能為設(shè)備控制提供更大的靈活性。
【附圖說明】
[0039]圖1是本發(fā)明感測觸摸聲音作為用戶手勢輸入的計(jì)算設(shè)備的頂部及底部平面圖。 [0040]圖2是圖1的計(jì)算設(shè)備的簡化框圖。
[0041]圖3是沿圖1中的線S-S截取的計(jì)算設(shè)備的簡化橫截面圖。
[0042]圖4A是用戶向計(jì)算設(shè)備輸入間接觸摸聲音的示意圖。
[0043]圖4B是對應(yīng)于圖4A的計(jì)算設(shè)備圖。
[0044]圖4C是間接觸摸聲音輸入示意圖。
[0045] 圖5A是點(diǎn)擊觸摸手勢示意圖。
[0046] 圖5B是滑動觸摸手勢示意圖。
[0047]圖6A另一種點(diǎn)擊觸摸手勢示意圖。
[0048] 圖6B調(diào)節(jié)手勢示意圖。
[0049]圖7是從觸摸屏輸入信號的計(jì)算設(shè)備的頂部平面圖。
[0050]圖8是用于使用聲波傳感器來檢測用戶手勢輸入的方法的流程圖。
[0051 ]圖9是穿戴型計(jì)算設(shè)備的觸摸聲音輸入示意圖。
【具體實(shí)施方式】
[0052]聲音是由物體振動產(chǎn)生的聲波，聲波是機(jī)械波。聲音以波的形式通過介質(zhì)（空氣、 固體或液體)振動傳播。人耳聽到的聲音，通常都來自于空氣傳遞的聲波。因此，人們通常很 少直接聽到物體傳遞的聲波。其實(shí)當(dāng)我們觸碰物體時，即使是輕微的觸摸，也會因振動產(chǎn)生 聲音，這類聲波會在我們觸碰的物體中傳遞，并且能夠被感測到，比如用耳朵貼近被觸碰的 物體表面時。而且，人的皮膚和身體也會因觸碰產(chǎn)生聲音并傳遞聲波。
[0053]本發(fā)明利用觸碰物體會產(chǎn)生聲音和物體能傳遞聲波的原理(物體包括常見的固體 物質(zhì)和人的身體及皮膚，但不限于此），通過感測觸摸聲音，分析信號的波形特征，確定手 勢。一般，聲波在固體中的傳播速度快于空氣，接觸的物體之間能互相傳遞聲波。本發(fā)明提 供的是一種基于固體傳遞的聲音的感測方案，即使不直接觸摸設(shè)備，也能感測間接觸摸其 它物體的聲音。本發(fā)明感測的聲音不依賴空氣傳遞，不易受環(huán)境噪音的干擾。在某些不方便 直接觸碰設(shè)備的場合，本發(fā)明能為設(shè)備控制提供更大的靈活性。
[0054] 現(xiàn)在轉(zhuǎn)向附圖，將更詳細(xì)地論述包括觸摸屏的計(jì)算設(shè)備。圖1是包括傳聲界面102 和聲波傳感器110的計(jì)算設(shè)備100的頂部和底部視圖。計(jì)算設(shè)備100可以是包括觸摸屏輸入 機(jī)構(gòu)諸如觸摸屏104或其它觸摸按鍵和相關(guān)聯(lián)的部件的基本上任何類型的電子設(shè)備。例如， 計(jì)算設(shè)備100可以是膝上型計(jì)算機(jī)、平板電腦、智能電話、數(shù)字音樂播放器、便攜式游戲機(jī)、 可穿戴智能設(shè)備等。
[0055] 計(jì)算設(shè)備100可包括傳聲界面102、至少部分圍繞聲波傳感器110的外殼106,觸摸 屏104和/或一個或多個輸入按鈕108。外殼106包封計(jì)算設(shè)備100的一個或多個部件，還可圍 繞聲波傳感器110的一部分和/或?qū)⒙暡▊鞲衅?10的一部分固定到計(jì)算設(shè)備100。一個或多 個輸入按鈕108可向計(jì)算設(shè)備100提供輸入功能。例如，輸入按鈕108可調(diào)節(jié)計(jì)算設(shè)備100的 音量，打開或關(guān)閉計(jì)算設(shè)備100,或者可為計(jì)算設(shè)備100提供其他輸入。此外，計(jì)算設(shè)備100還 可包括一個或多個接收端口（未示出）。接收端口可接收一個或多個插頭或連接器，諸如但 不限于通用串行總線(USB)、電纜連接器等。傳聲界面102可以是聲波傳感器的一部分，也可 以是計(jì)算設(shè)備外殼106或其它部件的一部分。
[0056] 聲波傳感器110被配置為感測可能施加于傳聲界面102和/或與傳聲界面接觸的其 他物體表面的觸摸聲音，將感測到的觸摸聲音轉(zhuǎn)換為電信號。應(yīng)當(dāng)指出的是，聲波傳感器可 以可操作地連接到計(jì)算設(shè)備內(nèi)的可傳遞觸摸聲音的多種不同表面或元件。因此，對針對聲 波傳感器的任何具體實(shí)施例的論述僅意在是示例性的，而非意在進(jìn)行限制。
[0057]繼續(xù)參考圖1，在另一個實(shí)施例中，聲波傳感器110與計(jì)算設(shè)備100的背部殼體106 連接，聲波傳感器直接連接計(jì)算設(shè)備的殼體，感測可能施加于計(jì)算設(shè)備的殼體和/或與計(jì)算 設(shè)備的殼體接觸的其他物體表面的觸摸聲音。
[0058]在一個具體實(shí)例中，聲波傳感器106可以是電磁變換類的，如電磁型；也可以是靜 電變換類的，如壓電型;或是電阻變換類的，如阻抗變換型;或是光電變換類的，如光量變化 型。聲波傳感器可采用測量振動加速度的加速度傳感器，能檢測物體的振動或沖擊，并輸出 相應(yīng)的信號。
[0059]另一種壓電薄膜傳感器，采用新型高分子壓電材料（如聚偏氟乙烯PVDF)，結(jié)構(gòu)簡 單、靈敏度高、頻帶寬，對"動態(tài)應(yīng)力"非常敏感，能測量微弱的信號。其聲阻抗與人體組織聲 阻抗十分接近，更適合作為穿戴設(shè)備感測聲音或振動的傳感器，可用于采集微弱的觸摸聲 音信號。而且，根據(jù)需要，壓電薄膜傳感器可采硬質(zhì)襯底和中空等不同的結(jié)構(gòu)設(shè)計(jì)。
[0060] 聲波傳感器是感測振動的傳感器，聲波傳感器應(yīng)根據(jù)檢測需要進(jìn)行選取。無論采 用哪一種聲波傳感器，采集的信號都可以被用來確定振動的幅度、波形和頻率。具體的，聲 波傳感器可以采用上述傳感器，但不限于這些傳感器。
[0061] 計(jì)算設(shè)備100可包括可彼此通信的一個或多個部件。圖2是計(jì)算設(shè)備100的簡化框 圖。參考圖2,計(jì)算設(shè)備100還可包括電源120、輸入/輸出接口 122、處理器124、一個或多個存 儲器部件126和/或一個或多個傳感器128。
[0062]處理器124可以是能夠處理、接收和/或傳輸指令的基本上任何電子設(shè)備。例如，處 理器124可以是微處理器或微型計(jì)算機(jī)。如本文所述，術(shù)語"處理器"意在涵蓋單個處理器或 處理單元、多個處理器或多個處理單元或其他適當(dāng)配置的計(jì)算元件。例如，電子設(shè)備100的 選擇部件可由第一處理器控制并且電子設(shè)備100的其他部件可由第二處理器控制，其中第 一處理器和第二處理器可或不可彼此通信。
[0063] 存儲器126可存儲可由電子設(shè)備100利用的電子數(shù)據(jù)。例如，存儲器126可存儲對應(yīng) 于各種應(yīng)用程序的電氣數(shù)據(jù)或內(nèi)容，例如音頻文件、視頻文件、文檔文件等。
[0064] 除了被配置為感測觸摸聲音的聲波傳感器110之外，電子設(shè)備100還可包括一個或 多個傳感器128。傳感器128可將基本上任何類型的輸入提供至電子設(shè)備100。例如，傳感器 128可以是一個或多個加速度計(jì)、陀螺儀、光傳感器、圖像傳感器、力傳感器、或是感測語音 的麥克風(fēng)等。
[0065]電源120可以是能夠向計(jì)算設(shè)備100提供能量的基本上任何設(shè)備。例如，電源120可 以是電池。
[0066]輸入/輸出接口 122可被配置為提供與計(jì)算設(shè)備100的往復(fù)通信。例如，輸入/輸出 接口 122可有利于由計(jì)算設(shè)備進(jìn)行的與多種設(shè)備/源的往復(fù)通信。例如，輸入/輸出接口 122 可從用戶、計(jì)算設(shè)備100上的控制按鈕等接收數(shù)據(jù)。另外，輸入/輸出接口 122還可從外部驅(qū) 動接收數(shù)據(jù)和向外部驅(qū)動傳輸數(shù)據(jù)，該數(shù)據(jù)例如通用串行總線(USB)或其他視頻/音頻/數(shù) 據(jù)輸入。
[0067] 應(yīng)當(dāng)指出的是，圖1和圖2僅是示例性的。在其他實(shí)例中，電子設(shè)備可包括比圖1和 圖2中所示的那些部件更少或更多的部件。另外，示出的電子設(shè)備僅僅是結(jié)合了傳聲界面 102和聲波傳感器110的計(jì)算設(shè)備的一個實(shí)例。
[0068] 現(xiàn)在將更詳細(xì)地論述傳聲界面102和聲波傳感器110。圖3是圖1中截取的計(jì)算設(shè)備 100的S-S橫截面圖。如圖3所示，觸摸屏104和外殼106接觸，觸摸屏104上的觸摸聲音可以通 過外殼106傳遞至傳聲界面102和聲波傳感器110。
[0069] 如圖3所示，聲波傳感器110可以可操作地連接到基板或電路板132和/或與基板或 電路板132通信?；寤螂娐钒?32可提供聲波傳感器110與計(jì)算設(shè)備100的一個或多個部件 之間的通信，該一個或多個部件諸如但不限于處理器124、存儲器126和電源120。
[0070] 傳聲界面102被配置為可以產(chǎn)生觸摸聲音(例如，基于用戶手指的直接觸摸)或可 以從其它物體接收聲音輸入(例如，用戶手指觸摸與傳聲界面接觸的物體或來自輸入設(shè)備 的觸摸聲音)并向聲波傳感器110傳遞觸摸聲音。
[0071] 觸摸屏104可包括顯示屏。顯示屏被配置為顯示用于計(jì)算設(shè)備100的一個或多個輸 出圖像和/或視頻。顯示屏可以是基本上任何類型的顯示機(jī)構(gòu)，諸如液晶顯示器(LCD)、等離 子體顯示器等。
[0072]感測間接觸摸聲音作為用戶手勢輸入的計(jì)算設(shè)備，如圖4A所示，計(jì)算設(shè)備100放置 在桌面152上，靠近的桌面152的一側(cè)，傳聲界面102與桌面152接觸。用戶在桌面152的另一 偵I不能直接觸碰計(jì)算設(shè)備100,但是能觸摸桌面152。
[0073]計(jì)算設(shè)備設(shè)置了鬧鐘。參考圖4B，到了鬧鐘設(shè)定的時間，鬧鈴響起，計(jì)算設(shè)備100的 觸摸屏104顯示需要用戶輸入"關(guān)閉"或"延遲"指令，觸摸屏104準(zhǔn)備檢測手指172的觸摸屏 輸入信號。
[0074]當(dāng)鬧鈴啟動時，與計(jì)算設(shè)備殼體106連接的聲波傳感器110準(zhǔn)備檢測觸摸聲音。參 考圖4C，用戶在桌面的另一側(cè)以手勢觸摸桌面152,與處理器124通信的聲波傳感器110感測 到與手勢對應(yīng)的觸摸聲音，聲波傳感器110將感測到的觸摸聲音轉(zhuǎn)換為電信號，處理器124 根據(jù)接收到的電信號確定電信號的波形特征，進(jìn)而識別出用戶手勢。如果確定的一個或多 個手勢代表"關(guān)閉"指令，則確定手勢輸入了 "關(guān)閉"指令。如果確定的一個或多個手勢代表 "延遲"指令，則確定手勢輸入了 "延遲"指令，指令參見手勢/聲音編碼。
[0075]通過感測觸摸聲音作為用戶手勢輸入的方法，實(shí)質(zhì)上就是通過聲波傳感器來采集 電信號，根據(jù)與手勢相應(yīng)的電信號的波形特征來識別出不同的手勢/聲音，進(jìn)而檢測到輸入 計(jì)算設(shè)備的用戶手勢。
[0076]觸摸手勢/聲音識別計(jì)算：
[0077]聲波傳感器準(zhǔn)備檢測觸摸聲音輸入，用戶以直接或間接觸摸方式進(jìn)行手勢輸入操 作。在所述處理器側(cè)，接收所述聲波傳感器在所述手勢操作時采集到電信號。無論是點(diǎn)擊觸 摸還是滑動觸摸，兩種手勢產(chǎn)生的振動信號都是動態(tài)隨機(jī)信號。但是點(diǎn)擊觸摸手勢產(chǎn)生的 是瞬態(tài)振動信號，滑動觸摸手勢產(chǎn)生的是近似平穩(wěn)的隨機(jī)振動信號。
[0078]整個計(jì)算主要包括三個步驟:信號端點(diǎn)檢測、信號預(yù)處理、特征提取和識別。
[0079]第一個步驟:信號端點(diǎn)檢測
[0080] 信號端點(diǎn)檢測的目的是為了提取有效的信號數(shù)據(jù)，本實(shí)施例借鑒語音信號端點(diǎn)檢 測的處理方法，采用短時能量和短時過零率的雙門限端點(diǎn)檢測方法。
[0081] 設(shè)置一個較高的平均能量門限!^，用來確定觸摸聲音的開始，然后根據(jù)背景噪聲 來確定一個稍低的門限T2,用來確定第一級觸摸聲音的結(jié)束點(diǎn)。其中T 2 = aEn，En為背景噪聲 段的能量平均值，完成第一級判決。同樣，根據(jù)噪聲的平均過零率Z n設(shè)置一個門限T3 = bZn， 用來判斷觸摸聲音開始和結(jié)束。式中的系數(shù)a、b的值可根據(jù)試驗(yàn)統(tǒng)計(jì)分析得到合理取值。 [0082]第二個步驟:信號預(yù)處理
[0083]確定了信號的端點(diǎn)之后，提取相應(yīng)時段的聲波傳感器的信號數(shù)據(jù)，進(jìn)行信號預(yù)處 理。
[0084]計(jì)算均方根值RMS，計(jì)算公式為：
[0086] 為了便于分析，將數(shù)據(jù)進(jìn)行差分變換，差分值計(jì)算公式為：
[0087] Δ yi= | yi+i-yi
[0088] 上述兩個公式中:yi為傳感器在第i個采樣點(diǎn)上的輸出數(shù)據(jù)，N為采樣數(shù)據(jù)的個數(shù)。
[0089] 由于以觸摸手勢進(jìn)行聲音輸入時，可能存在各種背景噪音的干擾，傳感器所采集 到的信號不單為手指點(diǎn)擊/滑動動作的信號，而是各種信號的疊加。因此為能夠有效提取信 號特征，就需要先對采集到的信號進(jìn)行濾波、平滑預(yù)處理。
[0090] 濾波的方法有很多種，如中值濾波算法、滑動窗口算法、卡爾曼濾波算法等，可根 據(jù)需要采用任意一種，或其它濾波算法。
[0091] 第三個步驟:特征提取和識別
[0092] 通常，用手指以不同手勢觸摸同一個物體的某個部位時，滑動觸摸的振動能量會 低于點(diǎn)擊觸摸的振動能量，這是由手指的運(yùn)動方式?jīng)Q定。而且滑動觸摸的時間會長于點(diǎn)擊 觸摸的時間，這是由手指與物體接觸的時間決定。
[0093] 為了防止環(huán)境/背景噪聲的干擾而出現(xiàn)的誤判斷，本實(shí)施例需要通過判斷環(huán)境/背 景噪聲的變化情況，即通過統(tǒng)計(jì)靜止?fàn)顟B(tài)下信號數(shù)據(jù)的變化狀態(tài)，并依此設(shè)置過濾閾值的 范圍，來確定是否屬于有效的識別動作。
[0094]但是，觸摸不同的物體，例如觸摸桌面或觸摸皮膚，閾值的設(shè)置可能會因物體的不 同而不同。因此，用戶應(yīng)該通過試驗(yàn)統(tǒng)計(jì)分析設(shè)定恰當(dāng)?shù)拈撝?。如果需要，可以采用分類?對手勢進(jìn)行分類識別。
[0095]滑動聲音的識別：
[0096]用均方根值RMS作為特征參數(shù)，是因?yàn)榫礁礡MS可代表采樣時段的振動能量。 [0097]通過試驗(yàn)統(tǒng)計(jì)分析可設(shè)定閾值!^，如果滿足閾值條件RMS<Tg，可判定為滑動，否則 為非滑動。
[0098]通過試驗(yàn)統(tǒng)計(jì)分析可設(shè)定有效的采樣點(diǎn)數(shù)Ns，如果提取信號相應(yīng)時段的振動信號 的采樣點(diǎn)數(shù)N>Ns，可判定為有效滑動，否則為無效滑動。
[0099]本實(shí)施例中，當(dāng)采樣頻率為100Hz時，Ns定為50。即滑動聲音的時間閾值設(shè)置為 0.5S，有效滑動聲音持續(xù)時間長度應(yīng)大于0.5S。
[0100] 點(diǎn)擊聲音的識別：
[0101] 用差分值作為檢測單個點(diǎn)擊聲音峰值信號的量值。
[0102] 通過試驗(yàn)統(tǒng)計(jì)分析可設(shè)定恰當(dāng)?shù)姆逯禉z測閾值上限值A(chǔ)ph和閾值下限值Δρ1，便 可實(shí)現(xiàn)對點(diǎn)擊信號的峰值A(chǔ) Υχ進(jìn)行檢測。
[0103] 如果滿足閾值條件Α ρ1< Δ γχ< Δ ph，可判定Δ γχ為峰值；
[0104] 如果Δ γχ< Δ ρι，可判定Δ γχ為非峰值；
[0105] 如果Α Υχ> Δ ph，可判定Δ Υχ為干擾信號。
[0106] 通過試驗(yàn)統(tǒng)計(jì)分析可設(shè)定采樣點(diǎn)數(shù)Nmin和Nmax，如果有效峰值取樣區(qū)的取樣數(shù)Ν滿 足條件N min<N<Nmax，可判定為有效峰值，否則為無效峰值。
[0107] 通過試驗(yàn)統(tǒng)計(jì)分析可設(shè)定2個相鄰峰值之間的時間寬度閾值Tt，當(dāng)判定存在2個或 3個有效峰值時，如果所有相鄰2個峰值的時間寬度Μ多T t，則可判定為點(diǎn)擊的雙擊或點(diǎn)擊的 三連擊。如果任意一個相鄰2個峰值的時間寬度M< Tt，則可判定為無效點(diǎn)擊。
[0108] 本實(shí)施例中，Tt可定為200ms。即連續(xù)點(diǎn)擊動作的時間閾值設(shè)置為0.2S，有效的連 續(xù)點(diǎn)擊動作時間間隔應(yīng)大于〇. 2S。
[0109] 最終手勢/聲音識別：
[0110]某時段提取的信號經(jīng)分析，判定為有效滑動，且不存在有效峰值，最終確認(rèn)為滑動 觸摸手勢/聲音。 某時段提取的信號經(jīng)分析，判定存在1個有效峰值，最終確認(rèn)為單個點(diǎn)擊觸摸手 勢/聲音(與滑動判定結(jié)果無關(guān)）。
[0112]某時段提取的信號經(jīng)分析，判定存在2個有效峰值，且判定為點(diǎn)擊的雙擊，最終確 認(rèn)為2個點(diǎn)擊觸摸手勢/聲音。
[0113]某時段提取的信號經(jīng)分析，判定存在3個有效峰值，且判定為點(diǎn)擊的三連擊，最終 確認(rèn)為3個點(diǎn)擊手勢/聲音。
[0114]某時段提取的信號經(jīng)分析，當(dāng)判定存在4個或4個以上的η個有效峰值時，如果所有 相鄰2個峰值的時間寬度MK<Tt，最終確認(rèn)為調(diào)節(jié)手勢/聲音。峰值的時間寬度Μκ的變化趨勢 代表調(diào)節(jié)趨勢，k的取值1到η-1。如峰值的時間寬度Μκ變長，代表調(diào)節(jié)趨勢"從小變大"或"從 暗變亮"。
[0115] 參考圖5A，手指172以從上至下的動作S1點(diǎn)擊物體表面154,相應(yīng)的是短暫觸摸聲 音，產(chǎn)生的瞬態(tài)振動信號，必然存在一個有效峰值。識別的結(jié)果應(yīng)是單個點(diǎn)擊觸摸手勢/聲 音。
[0116] 參考圖5B，手指172以水平移動的動作S2在物體表面154滑動，相應(yīng)的是時間稍長 的觸摸聲音。產(chǎn)生的隨機(jī)振動信號，不存在有效峰值。識別的結(jié)果應(yīng)是滑動觸摸手勢/聲音。
[0117] 觸摸聲音與手指172的動作有關(guān)，也與物體154表面的紋理結(jié)構(gòu)有關(guān)。另一種可能 的"點(diǎn)擊觸摸"手勢/聲音，參考圖6A。借助物體表面結(jié)構(gòu)/紋理的變化，手指172在物體154表 面以動作S2滑動的過程，碰到一個突起/凹陷結(jié)構(gòu)192,信號就會產(chǎn)生一個峰值。而只要判定 存在1個有效峰值，識別的結(jié)果就是單個點(diǎn)擊觸摸手勢/聲音。
[0118] 手勢/聲音根據(jù)電信號的波形特征進(jìn)行識別，但不限于某個具體的手勢或動作。其 它可能的點(diǎn)擊觸摸手勢/聲音，可以通過兩手指的快速觸碰實(shí)現(xiàn)(如拇指與食指）；而其他可 能的滑動觸摸手勢/聲音，則可以通過兩手指的滑動摩擦實(shí)現(xiàn)。
[0119] 參考圖6B，手指172在物體154表面以動作S2滑動的過程，碰到多個突起/凹陷結(jié)構(gòu) 192,電信號連續(xù)產(chǎn)生多個有效峰值，相鄰2個峰值的時間寬度與滑動速度有關(guān)。如果相鄰2 個峰值的時間寬度滿足閾值條件，識別的結(jié)果應(yīng)是調(diào)節(jié)手勢/聲音。
[0120] 這種突起/凹陷結(jié)構(gòu)可以根據(jù)需要，設(shè)置在需要觸摸物體的表面上，比如傳聲界面 上或者計(jì)算設(shè)備的殼體表面上。
[0121] 手勢/聲音編碼：
[0122] 具體的，觸摸手勢及相應(yīng)的觸摸聲音可采用二進(jìn)制編碼方式，以增加輸入的可靠 性。每個編碼由若干個觸摸手勢/聲音組成，編碼位數(shù)由用戶決定。
[0123] 點(diǎn)擊觸摸手勢/聲音以代表;滑動觸摸手勢/聲音以代表。以下是手勢/聲音 編碼及其所代表的指令示意：
[0124] 第I類，普通指令編碼：
[0125] 切換"一"，可用于翻頁、切換；
[0126] 暫?？捎糜谝魳?、視頻、游戲、閱讀、延遲鬧鈴；
[0127] 關(guān)閉可用于音樂、視頻、游戲、閱讀、鬧鈴、通話；
[0128] 打開"一一"，可用于免提接聽來電、拍照、開燈；
[0129] 第II類，緊急指令編碼：
[0130] 摩爾斯碼S0S"…·---· · ·"，撥通報(bào)警求助電話。
[0131] 第III類，特殊指令編碼：
[0132]進(jìn)入某新聞程序，語音播放新聞"一.一；
[0133] 進(jìn)入音樂程序，播放音樂.一一"；
[0134] 進(jìn)入錄首程序，開始錄首"一..一"；
[0135] 進(jìn)入(燈)設(shè)備控制程序，打開(燈）一.一；
[0136] 上述二進(jìn)制編碼方法僅為示意性的，而非限制編碼方式。例如，如果借助輔助發(fā)聲 裝置按不同音調(diào)輸入聲音，進(jìn)行音頻信號識別，可以采取更復(fù)雜的編碼方法。
[0137] 如圖7所示，移動計(jì)算機(jī)被配置為檢測至少兩種類型的用戶輸入。計(jì)算設(shè)備100設(shè) 置了鬧鐘。到了鬧鐘設(shè)定的時間，鬧鈴響起，計(jì)算設(shè)備的觸摸屏104顯示需要用戶輸入"關(guān) 閉"或"延遲"指令，觸摸屏104準(zhǔn)備檢測手指的觸摸屏輸入信號。
[0138] 當(dāng)鬧鈴啟動時，與計(jì)算設(shè)備殼體106連接的聲波傳感器110準(zhǔn)備感測觸摸聲音。參 考圖7,用戶以手指174點(diǎn)擊觸摸屏104的"關(guān)閉"按鈕，觸摸屏104感測到觸摸屏輸入信號。同 時，手指174點(diǎn)擊觸摸屏104的手勢產(chǎn)生對應(yīng)的觸摸聲音，由于觸摸屏104與外殼106接觸，與 處理器124通信的聲波傳感器110能感測外殼106傳遞的觸摸聲音。計(jì)算設(shè)備100確定是否有 電容性輸入，如果有電容性輸入，按照觸摸屏輸入優(yōu)先的原則處理。若觸摸屏104處于休眠 狀態(tài)，可以從觸摸屏104輸入觸摸聲音。
[0139] 現(xiàn)在論述一種用于使用聲波傳感器110來檢測至計(jì)算設(shè)備100輸入的方法。圖8示 出了用于使用計(jì)算設(shè)備100的聲波傳感器的方法200的流程圖。方法200可開始于操作202并 且聲波傳感器110可感測到觸摸聲音。例如，當(dāng)用戶點(diǎn)擊觸摸外殼106時，可由聲波傳感器 110感測到觸摸聲音。聲波傳感器110可將感測到的觸摸聲音轉(zhuǎn)換為電信號。
[0140] 一旦檢測到觸摸聲音的輸入，該方法就可繼續(xù)進(jìn)行到操作204并且由處理器124確 定手勢/聲音編碼，手勢/聲音編碼是對用戶的手勢及相應(yīng)的觸摸聲音采用二進(jìn)制編碼方式 或其他編碼方式劃分而成的。確定手勢/聲音編碼的步驟具體包括根據(jù)所述至少一個聲波 傳感器傳來的電信號，確定電信號的波形特征，通過所述電信號的波形特征識別出用戶的 手勢作為所述計(jì)算設(shè)備的用戶手勢輸入。
[0141] 在確定手勢/聲音編碼之時、期間或之后，方法200可繼續(xù)進(jìn)行到操作206,并且計(jì) 算設(shè)備100可確定是否還有電容性輸入。換句話講，計(jì)算設(shè)備100可確定除觸摸聲音輸入之 外是否有所感測到的觸摸屏輸入。如果用戶向設(shè)備100的觸摸屏104上提供了輸入，則計(jì)算 設(shè)備100可檢測到電容性輸入。
[0142] 如果檢測到電容性輸入，則方法200可繼續(xù)進(jìn)行到操作208，處理觸摸屏輸入信號。 例如，如圖7所示，觸摸可以是由于手指172點(diǎn)擊觸摸屏產(chǎn)生的。在操作208之后，方法200可 繼續(xù)進(jìn)行到結(jié)束狀態(tài)222。
[0143] 如果未檢測到電容性輸入，則方法200可繼續(xù)進(jìn)行到操作210。在確定手勢/聲音編 碼之后，由處理器124確定手勢/聲音編碼的分類。
[0144] 對于第I類，如普通指令編碼，則方法200可繼續(xù)進(jìn)行到操作214。計(jì)算設(shè)備100可確 定普通指令輸入狀態(tài)是否激活。計(jì)算設(shè)備100可設(shè)定為，當(dāng)某程序運(yùn)行時，在需要用戶輸入 指令時，激活普通指令輸入狀態(tài)，這樣以拒絕可能是意外的觸摸聲音輸入。例如，參考圖4B， 當(dāng)?shù)搅唆[鈴設(shè)定時間，鬧鈴想起，同時激活普通指令輸入狀態(tài)，與計(jì)算設(shè)備100傳聲界面連 接的聲波傳感器準(zhǔn)備檢測觸摸聲音。
[0145] 如果檢測到已經(jīng)激活普通指令輸入狀態(tài)，則方法200可繼續(xù)進(jìn)行到操作218。計(jì)算 設(shè)備100立即執(zhí)行相應(yīng)指令。如果檢測到未激活普通指令輸入狀態(tài)，方法200可繼續(xù)進(jìn)行到 結(jié)束狀態(tài)222。
[0146] 對于第II類，如緊急指令編碼，則方法200可繼續(xù)進(jìn)行到操作218。計(jì)算設(shè)備100立 即執(zhí)行相應(yīng)編碼指令。例如，與計(jì)算設(shè)備100傳聲界面連接的聲波傳感器檢測到S0S編碼的 觸摸聲音，立即撥通報(bào)警救助電話，即使屏幕處于休眠狀態(tài)。
[0147] 對于第III類，如特殊功能指令編碼，則方法200可繼續(xù)進(jìn)行到操作216。計(jì)算設(shè)備 100可確定是否得到特殊功能指令輸入的授權(quán)。計(jì)算設(shè)備100可設(shè)定為，允許用戶在輸入重 要的手勢/聲音編碼之前進(jìn)行授權(quán)設(shè)置，這樣以拒絕可能是意外的觸摸聲音輸入，提高輸入 的安全性。例如，參考圖9，對于穿戴型計(jì)算設(shè)備的觸摸聲音輸入示意300，在輸入特殊功能 指令之前，可以先從指紋識別/按鈕308進(jìn)行授權(quán)，再以手指172通過觸摸計(jì)算設(shè)備的殼體 306、屏幕304或部件311或手背176的皮膚輸入手勢/聲音編碼及指令。
[0148] 如果檢測到已授權(quán)特殊功能指令輸入，則方法200可繼續(xù)進(jìn)行到操作218。計(jì)算設(shè) 備100立即執(zhí)行相應(yīng)編碼指令。如果檢測到未授權(quán)特殊功能指令輸入，方法200可繼續(xù)進(jìn)行 到結(jié)束狀態(tài)222。
[0149] 在操作218之后，方法200可繼續(xù)進(jìn)行到結(jié)束狀態(tài)222。
[0150] 本發(fā)明應(yīng)用前景廣泛，例如：
[0151] 1.(人未起床，手機(jī)在柜子上)通過在柜體表面點(diǎn)擊/滑動觸摸，關(guān)閉手機(jī)鬧鈴；
[0152] 2.(手機(jī)擱在桌上看視頻或聽音樂)通過在桌面點(diǎn)擊/滑動觸摸，暫?；蚶^續(xù)播放；
[0153] 3.(人在泡澡，手機(jī)放在浴缸旁)通過在浴缸壁點(diǎn)擊/滑動觸摸，接聽手機(jī)來電；
[0154] 4.(手機(jī)通話中）通過在手機(jī)殼體點(diǎn)擊/滑動觸摸，結(jié)束通話或進(jìn)入免提模式；
[0155] 5.(手機(jī)屏幕休眠)通過點(diǎn)擊/滑動觸摸，輸入指令，調(diào)用某項(xiàng)程序/功能；
[0156] 6.(智能穿戴設(shè)備)通過點(diǎn)擊/滑動觸摸，輸入設(shè)備控制指令，如:開燈/關(guān)燈；
[0157] 7.(碰到歹徒時)通過隱蔽的手勢點(diǎn)擊/滑動觸摸，輸入緊急求救指令。
[0158] 上述描述具有廣泛的應(yīng)用。例如，盡管本文公開的實(shí)例可集中于具有觸摸屏的計(jì) 算設(shè)備，但應(yīng)當(dāng)理解，本文所公開的設(shè)想同樣可應(yīng)用于基本上任何其他類型的通信設(shè)備。因 此，對任何實(shí)施例的討論僅旨在為示例性的，并非意在建議包括僅限于這些實(shí)例的權(quán)利要 求的本公開的范圍。
【主權(quán)項(xiàng)】
1. 一種感測觸摸聲音作為用戶手勢輸入的計(jì)算設(shè)備，其特征在于，其包括:處理器、傳 聲界面和至少一個聲波傳感器； 所述傳聲界面與所述至少一個聲波傳感器連接，被配置為傳遞與手勢對應(yīng)的觸摸聲音 至所述至少一個聲波傳感器； 所述至少一個聲波傳感器與所述處理器通信，并被配置為將感測到的與手勢對應(yīng)的觸 摸聲音轉(zhuǎn)換為電信號； 所述處理器根據(jù)所述電信號確定電信號的波形特征，通過所述電信號的波形特征識別 出用戶的手勢作為用戶手勢輸入。2. 根據(jù)權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述傳聲界面是所述聲波傳感器的一 部分，或者所述傳聲界面是所述計(jì)算設(shè)備的殼體的一部分。3. 根據(jù)權(quán)利要求1或2所述的計(jì)算設(shè)備，其特征在于，所述傳聲界面被配置為所述傳聲 界面接觸其它物體時，傳聲界面能傳遞用戶觸摸其它物體時發(fā)出的聲音，和/或用戶直接觸 摸所述傳聲界面表面時所述傳聲界面能發(fā)出聲音。4. 根據(jù)權(quán)利要求1或2所述的計(jì)算設(shè)備，其特征在于，所述傳聲界面設(shè)有一個或若干個 突起/凹陷結(jié)構(gòu)和/或所述計(jì)算設(shè)備的殼體表面設(shè)有一個或若干個突起/凹陷結(jié)構(gòu)。5. 根據(jù)權(quán)利要求1或2所述的計(jì)算設(shè)備，其特征在于，所述至少一個聲波傳感器為測量 振動加速度的加速度傳感器或者壓電薄膜傳感器。6. -種感測觸摸聲音作為用戶手勢輸入的方法，其特征在于，其包括如下步驟： 步驟1，配置計(jì)算設(shè)備，使其包括:處理器和至少一個聲波傳感器； 步驟2,由所述至少一個聲波傳感器來感測觸摸聲音并將感測到的所述觸摸聲音轉(zhuǎn)換 為電信號； 步驟3,由所述處理器根據(jù)所述至少一個聲波傳感器傳來的電信號，確定電信號的波形 特征，通過所述電信號的波形特征識別出用戶的手勢作為所述計(jì)算設(shè)備的用戶手勢輸入。7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述用戶的手勢及相應(yīng)的觸摸聲音采用二 進(jìn)制編碼方式劃分為手勢/聲音編碼，所述手勢/聲音編碼包括:普通指令編碼、緊急指令編 碼和特殊指令編碼； 在步驟3之后還包括以下步驟，由所述處理器確定手勢/聲音編碼的分類； 如果是普通指令編碼，則確定普通指令輸入狀態(tài)是否激活，如果檢測到已經(jīng)激活普通 指令輸入狀態(tài)則執(zhí)行該普通指令，如果檢測到未激活普通指令輸入狀態(tài)則結(jié)束； 如果是緊急指令編碼則執(zhí)行該緊急指令； 如果是特殊功能指令編碼，則確定是否得到特殊功能指令輸入的授權(quán)，如果檢測到已 授權(quán)特殊功能指令輸入則執(zhí)行該特殊功能指令，如果檢測到未授權(quán)特殊功能指令輸入則結(jié) 束。8. 根據(jù)權(quán)利要求6或7所述的方法，其特征在于，在所述執(zhí)行步驟3之前、期間或之后，還 包括以下步驟： 所述計(jì)算設(shè)備檢測是否還有觸摸屏輸入，如果有觸摸屏輸入，所述處理器優(yōu)先處理觸 摸屏輸入信號。9. 一種感測觸摸聲音作為用戶手勢輸入的移動計(jì)算機(jī)，其特征在于，其包括:處理器、 與處理器通信的觸摸屏，以及與處理器通信的至少一個聲波傳感器； 所述觸摸屏被配置為感測用戶手指接近或接觸觸摸屏的觸摸動作，并將感測到的所述 觸摸動作轉(zhuǎn)換為觸摸屏輸入信號； 所述至少一個聲波傳感器被配置為感測與手勢對應(yīng)的觸摸聲音，并將感測到的所述觸 摸聲音轉(zhuǎn)換為電信號； 所述處理器根據(jù)所述觸摸屏輸入信號執(zhí)行觸摸動作對應(yīng)的指令； 所述處理器根據(jù)所述電信號確定電信號的波形特征，通過所述電信號的波形特征識別 出用戶的手勢作為用戶手勢輸入，并執(zhí)行用戶手勢對應(yīng)的指令。10.根據(jù)權(quán)利要求9所述的移動計(jì)算機(jī)，其特征在于，其還包括:傳聲界面； 所述傳聲界面與所述至少一個聲波傳感器連接，被配置為傳遞與手勢對應(yīng)的觸摸聲音 至所述至少一個聲波傳感器。
【文檔編號】G06F3/043GK106095203SQ201610578907
【公開日】2016年11月9日
【申請日】2016年7月21日 公開號201610578907.5, CN 106095203 A, CN 106095203A, CN 201610578907, CN-A-106095203, CN106095203 A, CN106095203A, CN201610578907, CN201610578907.5
【發(fā)明人】范小剛, 范思慧
【申請人】范小剛