值化單元11獲取進(jìn)行完二值化處理的手勢圖像中的手輪廓,例如,將手勢圖像 中相鄰8個相鄰像素點(diǎn)全部為白點(diǎn)的像素點(diǎn)設(shè)為背景點(diǎn),反之則設(shè)為輪廓點(diǎn),提取所有輪 廓點(diǎn)即為手輪廓。二值化單元11獲取手勢圖像中的手輪廓后,重心確定單元12確定手輪 廓的重心,即確定手輪廓的重心在坐標(biāo)系中的坐標(biāo)值。重心確定單元12確定手輪廓的重心 的方法包括:在手輪廓上設(shè)置若干個虛擬點(diǎn),計(jì)算手輪廓區(qū)域內(nèi)所有點(diǎn)與手輪廓上每一個 虛擬點(diǎn)的距離和,確定手輪廓區(qū)域內(nèi)所有點(diǎn)與手輪廓上每一個虛擬點(diǎn)的距離和最小的點(diǎn)為 重心。
[0134] 重心確定單元12在確定了每一幀手勢圖像的手輪廓的重心后,獲取單元13獲取 手輪廓上與手輪廓的重心距離最遠(yuǎn)的點(diǎn),將該點(diǎn)設(shè)為指尖的位置。
[0135] 本實(shí)施例二值化單元11將每一幀手勢圖像進(jìn)行二值化處理,且獲取手勢圖像中 的手輪廓使手勢圖像呈現(xiàn)黑白效果,再確定手輪廓的重心,因此重心確定單元12能準(zhǔn)確的 確定手輪廓的重心位置;另外,獲取單元13獲取手輪廓上與手輪廓的重心距離最遠(yuǎn)的點(diǎn)并 將該點(diǎn)設(shè)為指尖的位置,因此能準(zhǔn)確的定位指尖的位置,也能使生成的書寫軌跡更精準(zhǔn)。
[0136] 請?jiān)俅螀⒄請D5,本發(fā)明一優(yōu)選實(shí)施例中,所述生成模塊02包括:
[0137] 生成單元(圖中未示出),用于以第二幀手勢圖像中指尖的位置為起始點(diǎn),每獲取 一幀手勢圖像中指尖的位置,將所述指尖的位置所在的點(diǎn)與前一幀手勢圖像中指尖的位置 所在的點(diǎn)相連。
[0138] 將手勢圖像中每一幀按照采集的時間先后順序進(jìn)行排序,生成單元在獲取了第一 幀和第二幀手勢圖像中指尖的位置之后,開始同步生產(chǎn)書寫軌跡,首先將第二幀手勢圖像 中指尖在坐標(biāo)系中的點(diǎn)與第一幀手勢圖像中指尖在坐標(biāo)系中的點(diǎn)連接,生成一段直線或者 曲線,在每獲取一幀手勢圖像中的指尖位置后,將該指尖的位置所在的點(diǎn)與前一幀手勢圖 像中指尖的位置所在的點(diǎn)相連,最后,生成由多段直線或曲線組成的書寫軌跡。本實(shí)施例優(yōu) 選生成單元將所述由多段直線或曲線組成的書寫軌跡進(jìn)行擬合,使最后得到的書寫軌跡平 滑。
[0139] 本實(shí)施例在獲取模塊01獲取手勢圖像中指尖的位置的同時,生成單元同步生成 書寫軌跡,這有利于提高識別手勢輸入文字的效率,用戶在結(jié)束手勢輸入后可以很快的識 別出輸入的文字。
[0140] 請?jiān)俅螀⒄請D5,本發(fā)明一優(yōu)選實(shí)施例中,所述獲取模塊01包括:預(yù)處理單元(圖 中未示出),用于對每一幀手勢圖像進(jìn)行預(yù)處理。
[0141] 所述預(yù)處理包括:對手勢圖像進(jìn)行光照校正和降噪處理。
[0142] 光照校正處理主要是對手勢圖像中夾雜的變化信息(如光照變化、角度變化等) 的處理,可采用的方法包括:Gamma校正(伽馬校正)、圖像亮度非線性變換、直方圖均衡化、 最高亮度點(diǎn)光照補(bǔ)償?shù)?。其中?&_&校正和圖像亮度非線性變換通過對手勢圖像像素點(diǎn) 的非線性調(diào)整,能去除原始手勢圖像中的一些無關(guān)的變化信息;直方圖均衡化和最高亮度 點(diǎn)光照補(bǔ)償是一種針對圖像對比度調(diào)整的方法,能增強(qiáng)圖像局部對比度。
[0143] 降噪處理主要是對原始圖像中的噪聲信息進(jìn)行濾除,手勢圖像中典型的噪聲有高 斯噪聲、椒鹽噪聲、加性噪聲等,可采用的方法包括:均值濾波、中值濾波和高斯濾波等。
[0144] 本實(shí)施例通過預(yù)處理單元對手勢圖像進(jìn)行預(yù)處理,從而提高手勢圖像的信噪比、 抑制手勢圖像的背景噪聲,能夠最真實(shí)的還原手勢圖像的原始圖像信息,排除采集設(shè)備及 背景等對手勢圖像的影響。
[0145] 請?jiān)俅螀⒄請D5,本發(fā)明一優(yōu)選實(shí)施例中,所述獲取模塊01包括:
[0146] 色度空間轉(zhuǎn)換單元(圖中未示出),用于對每一幀手勢圖像進(jìn)行高斯模糊處理,并 將手勢圖像從RGB (Red、Green、Blue,紅、綠、藍(lán))色度空間轉(zhuǎn)換為HSV (Hue、Saturation、 Value,色調(diào)、飽和度、亮度)色度空間。
[0147] 本實(shí)施例色度空間轉(zhuǎn)換單元對手勢圖像進(jìn)行高斯模糊能減少手勢圖像的圖像噪 聲以及降低手勢圖像的細(xì)節(jié)層次。本實(shí)施例色度空間轉(zhuǎn)換單元將手勢圖像從RGB色度空間 轉(zhuǎn)換為HSV色度空間,有利于進(jìn)行手勢圖像的二值化處理時,對手勢圖像的色度的調(diào)整。
[0148] 請?jiān)俅螀⒄請D5,本發(fā)明一優(yōu)選實(shí)施例中,所述獲取模塊01包括:
[0149] 形態(tài)學(xué)單元(圖中未示出):用于所述形態(tài)學(xué)處理是對手勢圖像進(jìn)行膨脹和腐蝕, 其中膨脹能夠填補(bǔ)一些凹洞,腐蝕可以消除一些凸起,最終讓手勢圖像中線條的邊緣更加 平滑。
[0150] 本實(shí)施例形態(tài)學(xué)單元將手勢圖像進(jìn)行形態(tài)學(xué)處理使手勢圖像中線條的邊緣更加 平滑,有利于識別和提取手勢圖像中的手輪廓。
[0151] 參照圖6,圖6為本發(fā)明空中手勢輸入裝置第三實(shí)施例的功能模塊示意圖。
[0152] 本實(shí)施例與第一實(shí)施例及第二實(shí)施例的區(qū)別在于,本實(shí)施例在第一實(shí)施例和第二 實(shí)施例的基礎(chǔ)上,所述裝置還包括:
[0153] 采集模塊04,用于采集第一幀用戶命令手勢和第二幀用戶命令手勢;
[0154] 判斷模塊05,用于根據(jù)存儲的單手張開的樣本圖像和單手握拳的樣本圖像判斷所 述第一幀用戶命令手勢和第二幀用戶命令手勢的類型;
[0155] 觸發(fā)模塊06,用于根據(jù)所述第一幀用戶命令手勢和第二幀用戶命令手勢的類型, 觸發(fā)開始書寫命令。
[0156] 采集模塊04可提供單獨(dú)的命令手勢懸浮輸入框供用戶輸入命令手勢,即采集模 塊04提供兩個懸浮輸入框分別供用戶輸入命令手勢和手勢圖像;采集模塊04也可以僅提 供一個懸浮輸入框既供用戶輸入命令手勢和也供用戶輸入手勢圖像。
[0157] 采集模塊04采集用戶兩幀命令手勢,分別為第一幀用戶命令手勢和第二幀用戶 命令手勢。判斷模塊05根據(jù)存儲的單手張開的樣本圖像和單手握拳的樣本圖像判斷所述 第一幀用戶命令手勢和第二幀用戶命令手勢的類型,其中,所述單手張開的樣本和單手握 拳的樣本均是在用戶初次使用該手勢輸入方法時采集并保存在裝置中的,判斷模塊05分 別將第一幀用戶命令手勢和第二種用戶命令手勢和所述單手張開的樣本圖像和單手握拳 的樣本圖像進(jìn)行對比,分別判斷第一幀用戶命令手勢和第二幀用戶命令手勢的類型,即判 斷第一幀用戶命令手勢和第二幀用戶命令手勢是單手張開還是單手握拳。觸發(fā)模塊06根 據(jù)所述第一幀用戶命令手勢和第二幀用戶命令手勢的類型,觸發(fā)開始書寫命令,即用戶僅 需使用手勢就能控制觸發(fā)開始書寫命令。
[0158] 在一些實(shí)施例中,判斷模塊05也可以根據(jù)所述第一幀用戶命令手勢和第二幀用 戶命令手勢的類型,觸發(fā)結(jié)束書寫命令,即用戶僅需使用手勢就能控制觸發(fā)結(jié)束書寫命令。
[0159] 在一些實(shí)施例中,觸發(fā)模塊06可以提供語音識別器供用戶通過語音控制觸發(fā)開 始書寫命令和結(jié)束書寫命令,裝置也可以提供控制按鍵供用戶通過按鍵控制觸發(fā)開始書寫 命令和結(jié)束書寫命令。
[0160] 本實(shí)施例采集模塊04采集第一幀用戶命令手勢和第二幀用戶命令手勢;判斷模 塊05根據(jù)存儲的單手張開的樣本圖像和單手握拳的樣本圖像判斷所述第一幀用戶命令手 勢和第二幀用戶命令手勢的類型;觸發(fā)模塊06根據(jù)所述第一幀用戶命令手勢和第二幀用 戶命令手勢的類型,觸發(fā)開始書寫命令。相較于現(xiàn)有技術(shù),本實(shí)施例可供用戶用手勢控制觸 發(fā)開始書寫命令,方便了用戶使用。
[0161] 參照圖7,圖7為圖6空中手勢輸入裝置中判斷模塊05的功能單元示意圖。
[0162] 本發(fā)明一優(yōu)選實(shí)施例中,所述判斷模塊05包括:
[0163] 第一計(jì)算單元51,用于計(jì)算所述第一幀用戶命令手勢與所述單手張開的樣本圖像 的第一相似性值,并計(jì)算所述第一幀用戶命令手勢與所述單手握拳的樣本圖像的第二相似 性值,根據(jù)所述第一相似性值和所述第二相似性值判斷所述第一幀用戶命令手勢是單手張 開還是單手握拳;
[0164] 第二計(jì)算單元52,用于計(jì)算所述第二幀用戶命令手勢與所述單手張開的樣本圖像 的第三相似性值,并計(jì)算所述第二幀用戶命令手勢與所述單手握拳的樣本圖像的第四相似 性值,基于所述第三相似性值和所述第四相似性值判斷所述第二幀用戶命令手勢是單手張 開還是單手握拳。
[0165] 第一計(jì)算單元51根據(jù)下面公式計(jì)算第一幀用戶命令手勢與單手張開的樣本圖像 的第一相似性值:
[0167] 其中,Dl為第一相似性值,A(x,y)表示第一幀用戶命令手勢中手輪廓在坐標(biāo)系中 的曲線方程,F(xiàn)l (X,y)表示單手張開的樣本圖像中手輪廓在坐標(biāo)系中的曲線方程,m和η分 別為第一幀用戶命令手勢的圖像的寬和高,第一幀用戶命令手勢的圖像和單手張開的樣本 圖像的寬和高相同。
[0168]