操作對象辨識和操作對象深度信息建立方法及電子裝置制造方法
【專利摘要】一種操作對象辨識和操作對象深度信息建立方法及電子裝置。操作對象辨識方法利用一電子裝置執(zhí)行，該方法包括：（A）讀取二分別來自兩相間隔的攝像機在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象；（B）將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像；（C）根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖，其中位移量越大表示深度越淺；（D）根據(jù)該低階深度圖決定出一操作對象范圍；（E）根據(jù)該操作對象范圍自其一原始圖像中找出對應的一局部高階圖像，藉此從該原始圖像中辨識出該操作對象。本發(fā)明可維持精確度且大幅降低運算量。
【專利說明】操作對象辨識和操作對象深度信息建立方法及電子裝置
【技術領域】
[0001]本發(fā)明是有關于一種辨識方法,特別是指一種操作對象(operating object)辨識和操作對象深度信息建立方法及電子裝置。
【背景技術】
[0002]目前電子裝置的輸入裝置中，較普遍的有鼠標、鍵盤，以及也作為輸出界面的觸控式屏幕。為了使人機互動可以更加不受限制，于是有了依據(jù)聲音、圖像等辨識結果作為輸入指令的技術。而以圖像辨識肢體動作或手勢來進行操作的方法也被不斷地改良、加速演算，這方面技術從需要穿戴可供辨識的衣服或手套，演變成直接從圖像中就能找出人體或手部的位置，進而辨識肢體動作或手勢。
[0003]現(xiàn)有一種技術是根據(jù)深度圖產(chǎn)生立體像素，如此就能找出人體并將人體后方的背景移除，再進一步辨識人的肢體骨架，并依據(jù)一連串肢體圖像辨識肢體動作而作為輸入指令。
[0004]現(xiàn)有一種產(chǎn)生深度圖的方法，是使用一部傳統(tǒng)的攝像機搭配一部深度攝像機拍攝。
[0005]所述深度攝像機是使用Time of flight (光線飛行時間，ToF)的原理,藉由計算打出的紅外光打中物體反射后的時間，計算物體與攝像機的距離。
[0006]另有一種深度攝像機，例如微軟公司的游戲控制器所使用，是利用光編碼(LightCoding)技術。光編碼技術理論是利用連續(xù)光(近紅外線)對測量空間進行編碼，經(jīng)感應器讀取編碼的光線，交由芯片運算進行譯碼后，產(chǎn)生成一張具有深度的圖像。光編碼技術的關鍵是激光散斑，當激光照射到粗糙物體、或者是穿透毛玻璃后，會形成隨機的反射斑點，稱之為散斑。散斑具有高度隨機性，也會隨著距離而變換圖案，空間中任何兩處的散斑都會是不同的圖案，等于是將整個空間加上了標記，所以任何物體進入該空間、以及移動時，都可確切記錄物體的位置。光編碼技術發(fā)出激光對測量空間進行編碼，就是指產(chǎn)生散斑。
[0007]然而目前深度攝像機尚未能普及，而且取得的深度圖不夠精細，僅適合用于辨識肢體，如果想要運用前述的深度圖以辨識手勢，距離稍遠，就無法辨識出各只手指，因此也難為手部辨識提供一個好的解決方案。
[0008]因此，需要提供一種操作對象辨識和操作對象深度信息建立方法及電子裝置以解決上述問題。

【發(fā)明內(nèi)容】

[0009]因此，本發(fā)明的目的，即在于提供一種維持精確度且大幅降低運算量的操作對象辨識方法。
[0010]于是，本發(fā)明操作對象辨識方法，利用一電子裝置執(zhí)行，該方法包括:(A)讀取二分別來自兩相間隔的攝像機在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象；(B)將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像；(C)根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖，其中位移量越大表示深度越淺；(D)根據(jù)該低階深度圖決定出一操作對象范圍；以及(E)根據(jù)該操作對象范圍自其一原始圖像中找出對應的一局部高階圖像，藉此從該原始圖像辨識出該操作對象。
[0011]較佳地，步驟(B)后還包含:
[0012](BI)根據(jù)其一降階圖像與一預設的載有臉部特征的臉部模板進行比對，辨識出一臉部范圍；且
[0013]步驟(D)是根據(jù)該辨識出的臉部范圍計算出與該臉部范圍鄰近的該操作對象范圍。
[0014]較佳地，步驟(D)中若辨識出多個臉部范圍，是尋找該深度最淺的臉部范圍附近，深度與該臉部范圍相近且較淺的范圍視為該操作對象范圍。
[0015]較佳地,該操作對象為一手部,該操作對象范圍為一手部范圍。
[0016]本發(fā)明的另一目的，在于提供一種維持精確度且大幅降低運算量的操作對象深度信息建立方法。
[0017]于是，本發(fā)明操作對象深度信息建立方法，利用一電子裝置執(zhí)行，該方法包括:(a)讀取二分別來自兩相間隔的攝像機在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象；(b)將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像；(C)根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖，其中位移量越大表示深度越淺；(d)根據(jù)該低階深度圖決定出一操作對象范圍；(e)根據(jù)該操作對象范圍自該二原始圖像中找出對應的二局部高階圖像；以及(f)根據(jù)該二局部高階圖像計算其中多個具有相似特征的像素的位移量，得出一局部高階深度圖，其中位移量越大表示深度越淺，藉此從該等原始圖像建立出操作對象深度信息。
[0018]較佳地，步驟(b)后還包含:
[0019](bl)根據(jù)其一降階圖像與一預設的載有臉部特征的臉部模板進行比對，辨識出一臉部范圍。
[0020]步驟(d)是根據(jù)該辨識出的臉部范圍計算出與該臉部范圍鄰近的該操作對象范圍。
[0021]較佳地，步驟(d)中若辨識出多個臉部范圍，是尋找該深度最淺的臉部范圍附近，深度與該臉部范圍相近且較淺的范圍視為該操作對象范圍。
[0022]較佳地,該操作對象為一手部,該操作對象范圍為一手部范圍。
[0023]本發(fā)明的再一目的，是在于提供一種執(zhí)行前述方法的電子裝置，包括一輸入單元、一儲存單元以及一處理器；該輸入單元與兩相間隔的攝像機連接；該儲存單元儲存一與操作對象辨識方法、操作對象深度信息建立方法相關的程序代碼；該處理器與該輸入單元及該儲存單元連接，讀取該與操作對象辨識方法、操作對象深度信息建立方法相關的程序代碼并執(zhí)行以下步驟:(i)經(jīng)由該輸入單元讀取二分別來自該二攝像機在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象；(ii)將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像；(iii)根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖，其中位移量越大表示深度越淺；(iv)根據(jù)該低階深度圖決定出一操作對象范圍；以及(V)根據(jù)該操作對象范圍自其一原始圖像中找出對應的一局部高階圖像，并儲存于該儲存單元，藉此從該原始圖像辨識出該操作對象。
[0024]較佳地，步驟(V)還根據(jù)該操作對象范圍自另一原始圖像中找出對應的另一局部高階圖像，并儲存于該儲存單元；該處理器還執(zhí)行步驟(vi)，根據(jù)該二局部高階圖像計算其中多個具有相似特征的像素的位移量，得出一局部高階深度圖，并儲存于該儲存單元，其中位移量越大表示深度越淺，藉此從該等原始圖像建立出操作對象深度信息。
[0025]較佳地，步驟(ii )后還包含:
[0026](i1-Ι)根據(jù)其一降階圖像與一預設的載有臉部特征的臉部模板進行比對，辨識出一臉部范圍。
[0027]步驟(iv)還根據(jù)該辨識出的臉部范圍計算出與該臉部范圍鄰近的該操作對象范圍。
[0028]較佳地，步驟(iv)中若辨識出多個臉部范圍，是尋找該深度最淺的臉部范圍附近，深度與該臉部范圍相近且較淺的范圍視為該操作對象范圍。
[0029]較佳地,該操作對象為一手部,該操作對象范圍為一手部范圍。
[0030]本發(fā)明的功效在于:通過先將該二原始圖像降低其分辨率再找出操作對象范圍及對應的其一局部高階圖像，與直接使用該二原始圖像找出操作對象相比能節(jié)省大量時間，該局部高階圖像可供后續(xù)辨識該操作對象姿態(tài)時使用，整體而言節(jié)省時間又不失精確。
【專利附圖】

【附圖說明】
[0031]圖1是一方框圖，說明本發(fā)明操作對象辨識方法、操作對象深度信息建立方法及電子裝置的實施例；
[0032]圖2是一流程圖，說明該實施例；
[0033]圖3是二降階圖像；
[0034]圖4是其一降階圖像，說明一臉部范圍的辨識；
[0035]圖5是一低階深度圖；以及
[0036]圖6是該低階深度圖，說明一操作對象范圍的辨識。
[0037]主要組件符號說明:
[0038]I電子裝置2攝像機
[0039]11處理器31臉部范圍
[0040]12輸入單元32操作對象范圍
[0041]13儲存單元SI至S7步驟
【具體實施方式】
[0042]有關本發(fā)明的前述及其他技術內(nèi)容、特點與功效，在以下配合參考附圖的實施例的詳細說明中，將可清楚地呈現(xiàn)。
[0043]參閱圖1與圖2，本發(fā)明操作對象辨識方法、操作對象深度信息建立方法及電子裝置的實施例，可供結合應用于一利用一操作對象姿態(tài)控制的游戲機，但本發(fā)明不以此為限。該操作對象可以是使用者的一手部，該操作對象姿態(tài)可以是該手部的一手勢，也可以是其他欲用來被辨識其輪廓的對象的姿態(tài)。該操作對象辨識方法、操作對象深度信息建立方法利用一電子裝置I執(zhí)行，該電子裝置I具有相連接的一處理器11、一輸入單元12及一儲存單元13。該輸入單元12是一組與一數(shù)組式攝像單元連接的傳輸端口。本實施例中,數(shù)組式攝像單元包括二左右間隔設置的攝像機2。儲存單元13是一儲存一與操作對象辨識方法、操作對象深度信息建立方法相關的程序代碼以及計算結果的存儲器或緩存器。
[0044]處理器11讀取該與操作對象辨識方法、操作對象深度信息建立方法相關的程序代碼并執(zhí)行以下步驟:
[0045]步驟SI—經(jīng)由該輸入單元12讀取二分別來自該二攝像機2在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象。
[0046]本實施例中該伸出的操作對象是使用者所伸出的手部，且是預設圖像中的使用者是將操作對象(例如手部)自然地朝前伸出，而非放在背后或頭上等等位置。
[0047]步驟S2—將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像(如圖3)。其中降低分辨率的方法很多，例如將各該原始圖像中每兩個相鄰像素取出一個，即可合成1/2*1/2倍像素的降階圖像，或者是根據(jù)所需的倍率分配降階后像素的位置，而對原始圖像重新取樣。
[0048]步驟S3—根據(jù)其一降階圖像與一預設的載有臉部特征的臉部模板進行比對，辨識出一臉部范圍31 (如圖4)。在本實例中是使用該左方攝像機的降階圖像，但不以此為限，也可以用該右方攝像機的降階圖像。
[0049]步驟S4—根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖(如圖5 )，其中位移量越大表示深度越淺。
[0050]比較相似特征的方法是，將其一降階圖像(例如左邊的降階圖像)切割成多個區(qū)塊(本實施例是使用大小相等的區(qū)塊)，并將左圖的各該區(qū)塊與另一降階圖像(例如右邊的降階圖像)比較。比較時，對該另一降階圖像的每一像素定義出以該像素為左上角且尺寸與該區(qū)塊相同的區(qū)域，并找出各該區(qū)域中圖像差異最小的一對應的區(qū)域，則各該區(qū)塊及各該區(qū)塊所對應的各該區(qū)域即為所謂的“相似特征”。
[0051]而關于圖像差異大小的比較，舉例來說，欲比較一第一區(qū)塊與一第一區(qū)域的圖像差異大小，是將該第一區(qū)塊的各像素的像素值分別與該第一區(qū)域中一相對位置相同(例如，都是第一列、第一行)的像素的像素值相減所得的各像素的差值相加，得到一差值總和，該差值總和大小越小，表示圖像差異越小。因此如果是灰階圖像，可得一灰階值的差值總和，如果是彩色圖像，則是先對每一彩色頻道(color channel)(如紅、綠、藍三個彩色頻道)計算該單一彩色頻道的差值總和，再全部相加，得到全部彩色頻道的差值總和，即可比較大小，決定出圖像差異大小。
[0052]本步驟中，因為是使用該二降階圖像來進行初步的深度圖計算，而非使用該二原始圖像計算，如此可大幅減少深度圖的計算時間。
[0053]步驟S5根據(jù)該低階深度圖決定出一操作對象范圍32 (如圖6)。決定的方法是根據(jù)步驟S3中該辨識出的臉部范圍31在該低階深度圖中計算出該臉部范圍31(如圖6左邊的方框所標示)附近，深度與該臉部范圍31相近且較淺的范圍視為該操作對象范圍32 (如圖6右邊的方框所標示)。若步驟S3中辨識出多個臉部范圍，本步驟則是尋找該深度最淺的臉部范圍再據(jù)以進行操作對象范圍的計算。在本實施例中，該操作對象范圍即是一手部范圍。
[0054]步驟S6—根據(jù)該操作對象范圍32自該二原始圖像中找出對應的二局部高階圖像，并儲存于儲存單元13。在本步驟中，已可借著從其一原始圖像所找出的其一局部高階圖像，辨識出該操作對象。辨識出該操作對象后，即可依據(jù)輪廓進一步進行操作對象姿態(tài)辨識，也可在后續(xù)步驟中得到操作對象深度信息之后，整體進行較精細的操作對象姿態(tài)辨識。
[0055]步驟S7—根據(jù)該二局部高階圖像計算其中多個具有相似特征的像素的位移量，得出一局部高階深度圖，并儲存于儲存單元13，其中位移量越大表示深度越淺，藉此從該等原始圖像建立出操作對象深度信息。在本步驟中，因為是根據(jù)局部高階圖像來進行局部的深度圖計算，可在大幅減少深度圖的計算時間的同時，兼顧了操作對象深度信息的分辨率。
[0056]本步驟對該二局部高階圖像中再計算該局部高階深度圖的理由是，若要供進一步做操作對象姿態(tài)辨識時，在該低階深度圖中，由于分辨率不足，無法用來辨識操作對象中相鄰近的細微結構(例如手指)，而在該局部高階深度圖中則可以辨識較微小的間距。當深度圖中能辨識出微小的間距，便能辨識深度圖中的操作對象姿態(tài)等特征，進而根據(jù)操作對象姿態(tài)執(zhí)行不同動作。
[0057]綜上所述，通過先將該二原始圖像降低其分辨率再找出操作對象范圍32及對應的該二局部高階圖像，與直接使用該二原始圖像找出操作對象相比能節(jié)省大量時間，接著產(chǎn)生局部高階深度圖而建立出高階的操作對象深度信息，以供后續(xù)辨識該操作對象姿態(tài)時使用，整體而言節(jié)省時間又不失精確，故確實能達到本發(fā)明的目的。
[0058]惟以上所述者，僅為本發(fā)明的實施例而已，應當不能以此限定本發(fā)明實施的范圍，即凡是根據(jù)本發(fā)明權利要求書的范圍及發(fā)明說明書內(nèi)容所作的簡單的等同變化與修飾，皆仍屬本發(fā)明專利涵蓋的范圍內(nèi)。
【權利要求】
1.一種操作對象辨識方法，利用一電子裝置執(zhí)行，該方法包括: (A)讀取二分別來自兩相間隔的攝像機在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象； (B)將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像； (C)根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖，其中位移量越大表示深度越淺； (D)根據(jù)該低階深度圖決定出一操作對象范圍；以及 (E)根據(jù)該操作對象范圍自其一原始圖像中找出對應的一局部高階圖像，藉此從該原始圖像辨識出該操作對象。
2.根據(jù)權利要求1所述操作對象辨識方法，其中，步驟(B)后還包括: (BI)根據(jù)其一降階圖像與一預設的載有臉部特征的臉部模板進行比對，辨識出一臉部范圍；且 步驟(D)是根據(jù)該辨識出的臉部范圍計算出與該臉部范圍鄰近的該操作對象范圍。
3.根據(jù)權利要求2所述操作對象辨識方法，其中，步驟(D)中若辨識出多個臉部范圍，是尋找該深度最淺的臉部范圍附近，深度與該臉部范圍相近且較淺的范圍視為該操作對象范圍。
4.根據(jù)權利要求1所述操作對象辨識方法，其中，該操作對象為一手部，該操作對象范圍為一手部范圍。
5.一種操作對象深度信息建立方法，利用一電子裝置執(zhí)行，該方法包括: (a)讀取二分別來自兩相間隔的攝像機在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象； (b)將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像； (C)根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖，其中位移量越大表示深度越淺； (d)根據(jù)該低階深度圖決定出一操作對象范圍； (e)根據(jù)該操作對象范圍自該二原始圖像中找出對應的二局部高階圖像；以及 (f)根據(jù)該二局部高階圖像計算其中多個具有相似特征的像素的位移量，得出一局部高階深度圖，其中位移量越大表示深度越淺，藉此從該等原始圖像建立出操作對象深度信肩、O
6.根據(jù)權利要求5所述操作對象深度信息建立方法，其中，步驟(b)后還包括: (bl)根據(jù)其一降階圖像與一預設的載有臉部特征的臉部模板進行比對，辨識出一臉部范圍；且 步驟(d)是根據(jù)該辨識出的臉部范圍計算出與該臉部范圍鄰近的該操作對象范圍。
7.根據(jù)權利要求6所述操作對象深度信息建立方法，其中，步驟(d)中若辨識出多個臉部范圍，是尋找該深度最淺的臉部范圍附近，深度與該臉部范圍相近且較淺的范圍視為該操作對象范圍。
8.根據(jù) 權利要求5所述操作對象深度信息建立方法，其中，該操作對象為一手部，該操作對象范圍為一手部范圍。
9.一種電子裝置，該電子裝置包括:一輸入單元，該輸入單元與兩相間隔的攝像機連接； 一儲存單元，該儲存單元儲存一與操作對象辨識方法、操作對象深度信息建立方法相關的程序代碼；以及 一處理器，該處理器與該輸入單元及該儲存單元連接，讀取該與操作對象辨識方法、操作對象深度信息建立方法相關的程序代碼并執(zhí)行以下步驟: (i)經(jīng)由該輸入單元讀取二分別來自該二攝像機在同一時間擷取的原始圖像，該二原始圖像的拍攝范圍至少部分重疊，且各該原始圖像的重疊部分的內(nèi)容包括一伸出的操作對象； (ii)將該二原始圖像分別降低其分辨率，產(chǎn)生二降階圖像； (iii)根據(jù)該二降階圖像計算其中多個具有相似特征的像素的位移量，得出一低階深度圖，其中位移量越大表示深度越淺； (iv)根據(jù)該低階深度圖決定出一操作對象范圍；以及 (V)根據(jù)該操作對象范圍自其一原始圖像中找出對應的一局部高階圖像，并儲存于該儲存單元，藉此從該原始圖像辨識出該操作對象。
10.根據(jù)權利要求9所述電子裝置，其中，步驟(V)還根據(jù)該操作對象范圍自另一原始圖像中找出對應的另一局部高階圖像，并儲存于該儲存單元；該處理器還執(zhí)行步驟(vi)，根據(jù)該二局部高階圖像計算其中多個具有相似特征的像素的位移量，得出一局部高階深度圖，并儲存于該儲存單元，其中位移量越大表示深度越淺，藉此從該等原始圖像建立出操作對象深度信息。
11.根據(jù)權利要求9所述電子裝置，其中，步驟(ii)后還包括: (i1-Ι)根據(jù)其一降階圖像與一預設的載有臉部特征的臉部模板進行比對，辨識出一臉部范圍；且 步驟(iv)是根據(jù)該辨識出的臉部范圍計算出與該臉部范圍鄰近的該操作對象范圍。
12.根據(jù)權利要求11所述電子裝置，其中，步驟(iv)中若辨識出多個臉部范圍，是尋找該深度最淺的臉部范圍附近，深度與該臉部范圍相近且較淺的范圍視為該操作對象范圍。
13.根據(jù)權利要求9所述電子裝置，其中，該操作對象為一手部，該操作對象范圍為一手部范圍。
【文檔編號】G06K9/00GK103530597SQ201210256506
【公開日】2014年1月22日 申請日期:2012年7月23日 優(yōu)先權日:2012年7月3日
【發(fā)明者】周家德, 魏守德, 李芷萱 申請人:緯創(chuàng)資通股份有限公司