手檢測(cè)方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種手檢測(cè)方法和裝置。其中，該手檢測(cè)方法包括：利用前一膚色圖像和當(dāng)前膚色圖像計(jì)算當(dāng)前膚色差分圖像；利用當(dāng)前膚色圖像計(jì)算第一閾值，利用當(dāng)前膚色差分圖像計(jì)算第四閾值，并利用第一和第四閾值計(jì)算第二和第三閾值；利用計(jì)算出的第一至第四閾值從當(dāng)前膚色差分圖像中分割出前景圖像；以及以所分割出的前景圖像為搜索范圍執(zhí)行手檢測(cè)。在根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置中，通過(guò)前景分割縮小了手檢測(cè)處理的搜索范圍，從而減少了進(jìn)行手檢測(cè)所需的循環(huán)數(shù)目。
【專(zhuān)利說(shuō)明】手檢測(cè)方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種手檢測(cè)方法和裝置。
【背景技術(shù)】
[0002]手檢測(cè)處理是諸如手勢(shì)識(shí)別系統(tǒng)之類(lèi)的應(yīng)用的非常關(guān)鍵的處理步驟。圖1示出了用于遠(yuǎn)程控制的手勢(shì)識(shí)別系統(tǒng)的框圖。在圖1所示的手勢(shì)識(shí)別系統(tǒng)中，首先使用攝像機(jī)獲取視頻幀；然后將所獲取的視頻幀輸入處理單元以進(jìn)行手勢(shì)識(shí)別；一旦手勢(shì)被識(shí)別為預(yù)先定義的手勢(shì)之一，則該手勢(shì)將成為對(duì)于計(jì)算機(jī)/便攜設(shè)備上的軟件/應(yīng)用的操作指令觸發(fā)器。
[0003]手檢測(cè)處理是手勢(shì)識(shí)別處理的第一步。通常，使用已經(jīng)在線(xiàn)下訓(xùn)練好的基于局部二值模式(Local Binary Patterns,LBP)的級(jí)聯(lián)分類(lèi)器來(lái)進(jìn)行手檢測(cè)。傳統(tǒng)的基于LBP的手檢測(cè)方法可以在當(dāng)前的個(gè)人計(jì)算機(jī)上很好地實(shí)時(shí)運(yùn)行，但是該方法的處理對(duì)于低功率設(shè)備來(lái)說(shuō)是很大的負(fù)擔(dān)。

【發(fā)明內(nèi)容】

[0004]鑒于以上所述的問(wèn)題，本發(fā)明提供了一種新穎的手檢測(cè)方法和裝置。
[0005]根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法包括:利用前一膚色圖像和當(dāng)前膚色圖像計(jì)算當(dāng)前膚色差分圖像；利用當(dāng)前膚色圖像計(jì)算第一閾值，利用當(dāng)前膚色差分圖像計(jì)算第四閾值，并利用第一和第四閾值計(jì)算第二和第三閾值；利用計(jì)算出的第一至第四閾值從當(dāng)前膚色差分圖像中分割出前景圖像；以及以所分割出的前景圖像為搜索范圍執(zhí)行手檢測(cè)。
[0006]根據(jù)本發(fā)明實(shí)施例的手檢測(cè)裝置包括:差分獲取單元，用于利用前一膚色圖像和當(dāng)前膚色圖像計(jì)算當(dāng)前膚色差分圖像；閾值計(jì)算單元，用于利用當(dāng)前膚色圖像計(jì)算第一閾值，利用當(dāng)前膚色差分圖像計(jì)算第四閾值，并利用第一和第四閾值計(jì)算第二和第三閾值；前景分割單元，用于利用計(jì)算出的第一至第四閾值從當(dāng)前膚色差分圖像中分割出前景圖像；以及檢測(cè)執(zhí)行單元，用于以所分割出的前景圖像為搜索范圍執(zhí)行手檢測(cè)。
[0007]在根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置中，通過(guò)前景分割縮小了手檢測(cè)處理的搜索范圍，從而減少了進(jìn)行手檢測(cè)所需的循環(huán)數(shù)目。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0008]從下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】的描述中可以更好地理解本發(fā)明，其中:
[0009]圖1示出了傳統(tǒng)的用于遠(yuǎn)程控制的手勢(shì)識(shí)別系統(tǒng)的框圖；
[0010]圖2示出了根據(jù)本發(fā)明實(shí)施例的手檢測(cè)裝置的框圖；
[0011]圖3示出了根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法的流程圖；
[0012]圖4示出了利用圖3所示的手檢測(cè)方法實(shí)現(xiàn)的手檢測(cè)過(guò)程的流程圖；
[0013]圖5a至5d示出了利用閾值O (ThresholdO)至閾值4 (Threshold4)實(shí)現(xiàn)前景分割的情形(情形a至情形d)；
[0014]圖6示出了情形a至情形d的多種組合的示意圖；以及
[0015]圖7示出了根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法中的拓展操作的示意圖。
【具體實(shí)施方式】
[0016]下面將詳細(xì)描述本發(fā)明各個(gè)方面的特征和示例性實(shí)施例。下面的描述涵蓋了許多具體細(xì)節(jié)，以便提供對(duì)本發(fā)明的全面理解。但是，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)顯而易見(jiàn)的是，本發(fā)明可以在不需要這些具體細(xì)節(jié)中的一些細(xì)節(jié)的情況下實(shí)施。下面對(duì)實(shí)施例的描述僅僅是為了通過(guò)示出本發(fā)明的示例來(lái)提供對(duì)本發(fā)明更清楚的理解。本發(fā)明絕不限于下面所提出的任何具體配置和算法，而是在不脫離本發(fā)明的精神的前提下覆蓋了相關(guān)元素、部件和算法的任何修改、替換和改進(jìn)。
[0017]本發(fā)明提出了一種能夠在超低功率的設(shè)備上運(yùn)行的手檢測(cè)方法和裝置(超低功率的設(shè)備意味著處理能力非常有限)。具體地，根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置通過(guò)找出整個(gè)圖像的前景來(lái)降低手檢測(cè)處理的復(fù)雜性。目前，存在很多種前景分割方法，但是沒(méi)有一種前景分割方法適用于低功耗設(shè)備上的手檢測(cè)處理。例如，現(xiàn)有的“背景差分法”需要通過(guò)一段時(shí)間進(jìn)行背景建模，對(duì)于光照度的變化并不魯棒，并且不適用于檢測(cè)人體；微軟提出的“直播視頻的雙層分割法”計(jì)算復(fù)雜度非常高，也不適用于低功耗設(shè)備。
[0018]圖2示出了根據(jù)本發(fā)明實(shí)施例的手檢測(cè)裝置的框圖。圖3示出了根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法的流程圖。下面結(jié)合圖2和圖3，詳細(xì)說(shuō)明根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置。
[0019]如圖2所示，根據(jù)本發(fā)明實(shí)施例的手檢測(cè)裝置包括差分獲取單元202、閾值計(jì)算單元204、前景分割單元206、以及檢測(cè)執(zhí)行單元208。其中，差分獲取單元202用于利用前一膚色圖像和當(dāng)前膚色圖像計(jì)算當(dāng)前膚色差分圖像(即，執(zhí)行步驟S302);閾值計(jì)算單元204用于利用當(dāng)前膚色圖像計(jì)算第一閾值，利用當(dāng)前膚色差分圖像計(jì)算第四閾值，并利用第一和第四閾值計(jì)算第二和第三閾值(即，執(zhí)行步驟S304);前景分割單元206用于利用計(jì)算出的第一至第四閾值從當(dāng)前膚色差分圖像中分割出前景圖像(即，執(zhí)行步驟S306);檢測(cè)執(zhí)行單元208用于以分割出的前景圖像為搜索范圍執(zhí)行手檢測(cè)(即，執(zhí)行步驟S308)。
[0020]在傳統(tǒng)的基于LBP的手檢測(cè)方法中，只有灰度圖像和級(jí)聯(lián)分類(lèi)器被使用，并且需要在整個(gè)圖像中進(jìn)行手檢測(cè)，所以計(jì)算復(fù)雜度很高。一些人提出，不需要檢測(cè)圖像中的所有像素，圖像中的顏色為膚色或者類(lèi)似于膚色的像素才有可能是手的檢測(cè)中心。根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法試圖通過(guò)分割前景來(lái)縮小用于進(jìn)行手檢測(cè)的搜索范圍。圖4示出了利用圖3所示的手檢測(cè)方法實(shí)現(xiàn)的手檢測(cè)過(guò)程的流程圖(其中，用帶圓圈的數(shù)字標(biāo)識(shí)出了原始圖像(即，RGB圖像)以及諸如膚色圖像、灰度圖像、掩模圖像、膚色差分圖像、搜索范圍圖像、前景圖像之類(lèi)的相應(yīng)的變換圖像)。如圖4所示，在具體的手檢測(cè)過(guò)程中，首先使用等式(I)至(3)將RGB圖像轉(zhuǎn)換為膚色圖像和灰度圖像；然后利用大津(otsu)分割自適應(yīng)地將膚色圖像分割為類(lèi)似膚色的區(qū)域和不類(lèi)似膚色的區(qū)域(即，利用大津分割將膚色圖像轉(zhuǎn)換為掩模圖像)；同時(shí)通過(guò)減法運(yùn)算利用當(dāng)前膚色圖像和前一膚色圖像得出當(dāng)前膚色差分圖像，并且從當(dāng)前膚色差分圖像中分割出前景圖像；接著將掩模圖像與前景圖像進(jìn)行邏輯與運(yùn)算，得到進(jìn)行手檢測(cè)的搜索范圍；最后利用搜索范圍在灰度圖像上進(jìn)行手檢測(cè)處理以得到手檢測(cè)結(jié)果。
[0021]Temp = r- ((g+b) >> 1) (1)
[0022]Temp = MAX (0, Temp)(2)
[0023]s = Temp > 140 ? 0:Temp (3)
[0024]在等式(I)至(3)中，s表示膚色圖像中的像素值，r、g、b表示RGB圖像中的像素的紅色、藍(lán)色、和綠色分量值。
[0025]具體地，從圖4中的圖④可以看出，掩模圖像中的所有白色像素都被分割為膚色區(qū)域，但是由于膚色分割不太精確，所以其他部分也被分割為了膚色區(qū)域。同時(shí)由于分割出的區(qū)域依然較大，對(duì)于低功耗平臺(tái)來(lái)說(shuō)處理負(fù)擔(dān)依然較重。所以，需要對(duì)圖④進(jìn)行進(jìn)一步的修正，以找出最終的進(jìn)行手檢測(cè)的搜索區(qū)域。根據(jù)經(jīng)驗(yàn)可知，手僅可能存在于前景圖像中，所以將搜索范圍局限于前景圖像中將是合理且有效的。根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置可以精確且高效地找出前景圖像。從圖4中的圖⑦可以看出，最終的進(jìn)行手檢測(cè)的搜索范圍遠(yuǎn)小于圖4中的圖④所示的搜索范圍，這意味著使用根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置的具體手檢測(cè)過(guò)程的計(jì)算復(fù)雜度將降低。圖4中的圖⑧示出手已經(jīng)被精確定位的情況。
[0026]下面詳細(xì)說(shuō)明根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置。在以前的手檢測(cè)方法和裝置中，已經(jīng)研究前景分割處理很長(zhǎng)時(shí)間。大多數(shù)以前的工作都已經(jīng)被證明是有效的。但是，根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法和裝置更有效且更適用于低功耗設(shè)備。下面，詳細(xì)說(shuō)明根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法的所有步驟。
[0027]S302，利用當(dāng)前膚色圖像和前一膚色圖像計(jì)算當(dāng)前膚色差分圖像。
[0028]在將所捕捉的每一幀圖像從RGB圖像轉(zhuǎn)換為膚色圖像之后，計(jì)算所獲取的一系列膚色圖像中的相鄰膚色圖像之間的膚色差分圖像(即，根據(jù)等式(4)計(jì)算當(dāng)前膚色圖像中每個(gè)位置的像素值和前一膚色圖像中相應(yīng)位置的像素值的絕對(duì)差值，并將前一膚色圖像與當(dāng)前膚色圖像中相同位置的像素的絕對(duì)像素差值組成的圖像作為當(dāng)前膚色差分圖像)。
[0029]DiffSkin (x，y) = | PREV.Skin (x，y) -Skin (x，y) | (4)
[0030]其中，DiffSkin (x, y)表示當(dāng)前膚色差分圖像中的像素(x，y)的像素值，PREV.Skin (X, y)表示前一膚色圖像中的像素(x, y)的像素值，并且Skin (x, y)表示當(dāng)前膚色圖像中的像素(x，y)的像素值。
[0031]S304，利用當(dāng)前膚色圖像計(jì)算第一閾值，利用當(dāng)前膚色差分圖像計(jì)算第四閾值，并利用第一和第四閾值計(jì)算第二和第三閾值。
[0032]根據(jù)本發(fā)明實(shí)施例的手檢測(cè)方法設(shè)置四個(gè)閾值來(lái)自適應(yīng)地在當(dāng)前膚色差分圖像中定位適當(dāng)前景(即，分割前景圖像)。具體地，首先根據(jù)等式(5)和(6)利用當(dāng)前膚色圖像中的每個(gè)像素值計(jì)算出第一閾值ThresholdO，根據(jù)等式(7)將應(yīng)用大津法對(duì)當(dāng)前膚色差分圖像進(jìn)行分割的閾值設(shè)置成第四閾值Threshold3，然后根據(jù)等式(8)至(9)利用第一閾值和第四閾值計(jì)算第二閾值Thresholdl和第三閾值ThreshoId2。
【權(quán)利要求】
1.一種手檢測(cè)方法,包括: 利用前一膚色圖像和當(dāng)前膚色圖像計(jì)算當(dāng)前膚色差分圖像； 利用所述當(dāng)前膚色圖像計(jì)算第一閾值，利用所述當(dāng)前膚色差分圖像計(jì)算第四閾值，并利用所述第一和第四閾值計(jì)算第二和第三閾值； 利用所述第一至第四閾值從所述當(dāng)前膚色差分圖像中分割出前景圖像；以及 以從所述當(dāng)前膚色差分圖像中分割出的前景圖像為搜索范圍執(zhí)行手檢測(cè)。
2.根據(jù)權(quán)利要求1所述的手檢測(cè)方法，其特征在于，將所述前一膚色圖像與所述當(dāng)前膚色圖像中相同位置的像素的絕對(duì)像素差值組成的圖像作為所述當(dāng)前膚色差分圖像。
3.根據(jù)權(quán)利要求1所述的手檢測(cè)方法，其特征在于，計(jì)算所述第一閾值的處理包括: 計(jì)算所述當(dāng)前膚色圖像中所有像素的平均像素值； 找出所述當(dāng)前膚色圖像中像素值大于所述平均像素值的像素； 將所述當(dāng)前膚色圖像中像素值大于所述平均像素值的像素的平均像素值作為所述第一閾值。
4.根據(jù)權(quán)利要求1所述的手檢測(cè)方法，其特征在于，將應(yīng)用大津法對(duì)所述當(dāng)前膚色差分圖像進(jìn)行分割的閾值設(shè)置為所述第四閾值。
5.根據(jù)權(quán)利要求1所述的手檢測(cè)方法，其特征在于，當(dāng)利用所述第一至第四閾值中的一個(gè)或多個(gè)閾值在所述當(dāng)前膚色差分圖像中劃分出了尺寸介于20x20和45x45之間的一個(gè)或多個(gè)前景圖像時(shí)，將所述一個(gè) 或多個(gè)前景圖像中的任意一個(gè)前景圖像作為所述當(dāng)前膚色差分圖像中的前景圖像。
6.根據(jù)權(quán)利要求1所述的手檢測(cè)方法，其特征在于，當(dāng)利用所述第一至第四閾值中的一個(gè)或多個(gè)閾值無(wú)法在所述當(dāng)前膚色差分圖像中劃分出前景圖像并且利用所述第一至第四閾值中剩余的閾值在所述當(dāng)前膚色差分圖像中劃分出了尺寸小于20x20的前景圖像時(shí)，如果前一膚色差分圖像中存在前景圖像，則使用所述前一膚色差分圖像中的前景圖像作為所述當(dāng)前膚色差分圖像中的前景圖像，否則認(rèn)為所述當(dāng)前膚色差分圖像中不存在前景圖像。
7.根據(jù)權(quán)利要求1所述的手檢測(cè)方法，當(dāng)利用所述第一至第四閾值中的一個(gè)或多個(gè)閾值從所述當(dāng)前膚色差分圖像中劃分出了尺寸大于45x45的前景圖像并且利用所述第一至第四閾值中的剩余閾值無(wú)法從所述當(dāng)前膚色差分圖像中劃分出前景圖像時(shí)，認(rèn)為所述當(dāng)前膚色差分圖像中不存在前景圖像。
8.根據(jù)權(quán)利要求1所述的手檢測(cè)方法，其特征在于，當(dāng)利用所述第一至第四閾值中的一個(gè)或多個(gè)閾值從所述當(dāng)前膚色差分圖像中劃分出了尺寸大于45x45的前景圖像并且利用所述第一至第四閾值中的剩余閾值從所述當(dāng)前膚色差分圖像中劃分出了尺寸小于20x20的前景圖像時(shí)，首先對(duì)所述尺寸小于20x20的任意一個(gè)前景圖像進(jìn)行拓展，然后將拓展后的前景圖像作為所述當(dāng)前膚色差分圖像中的前景圖像。
9.一種手檢測(cè)裝置，包括: 差分獲取單元，用于利用前一膚色圖像和當(dāng)前膚色圖像計(jì)算當(dāng)前膚色差分圖像； 閾值計(jì)算單元，用于利用所述當(dāng)前膚色圖像計(jì)算第一閾值，利用所述當(dāng)前膚色差分圖像計(jì)算第四閾值，并利用所述第一和第四閾值計(jì)算第二和第三閾值； 前景分割單元，用于利用所述第一至第四閾值從所述當(dāng)前膚色差分圖像中分割出前景圖像；以及 檢測(cè)執(zhí)行單元，用于以從所述當(dāng)前膚色差分圖像中分割出的前景圖像為搜索范圍執(zhí)行手檢測(cè)。
10.根據(jù)權(quán)利要求9所述的手檢測(cè)裝置，其特征在于，所述差分獲取單元將所述前一膚色圖像與所述當(dāng)前膚色圖像中相同位置的像素的絕對(duì)像素差值組成的圖像作為所述當(dāng)前膚色差分圖像。
11.根據(jù)權(quán)利要求9所述的手檢測(cè)裝置，其特征在于，所述閾值計(jì)算單元通過(guò)以下處理來(lái)計(jì)算所述第一閾值: 計(jì)算所述當(dāng)前膚色圖像中所有像素的平均像素值； 找出所述當(dāng)前膚色圖像中像素值大于所述平均像素值的像素； 將所述當(dāng)前膚色圖像中像素值大于所述平均像素值的像素的平均像素值作為所述第一閾值。
12.根據(jù)權(quán)利要求9所述的手檢測(cè)裝置，其特征在于，所述閾值計(jì)算單元將應(yīng)用大津法對(duì)所述當(dāng)前膚色差分圖像進(jìn)行分割的閾值設(shè)置成所述第四閾值。
13.根據(jù)權(quán)利要求9所述的手檢測(cè)裝置，其特征在于，所述前景分割單元在利用所述第一至第四閾值中的一個(gè)或多個(gè)閾值在所述當(dāng)前膚色差分圖像中劃分出了尺寸介于20x20和45x45之間的一個(gè)或多個(gè)前景圖像時(shí)，將所述一個(gè)或多個(gè)前景圖像中的任意一個(gè)前景圖像作為所述當(dāng)前膚色差分圖像中的前景圖像。
14.根據(jù)權(quán)利要求9所述的手檢測(cè)裝置，其特征在于，所述前景分割單元在利用所述第一至第四閾值中的一個(gè)`或多個(gè)閾值無(wú)法在所述當(dāng)前膚色差分圖像中劃分出前景圖像并且利用所述第一至第四閾值中剩余的閾值在所述當(dāng)前膚色差分圖像中劃分出了尺寸小于20x20的前景圖像時(shí)，如果前一膚色差分圖像中存在前景圖像，則使用所述前一膚色圖像中的前景圖像作為所述當(dāng)前膚色差分圖像中的前景圖像，否則認(rèn)為所述當(dāng)前膚色差分圖像中不存在前景圖像。
15.根據(jù)權(quán)利要求9所述的手檢測(cè)裝置，所述前景分割單元在利用所述第一至第四閾值中的一個(gè)或多個(gè)閾值從所述當(dāng)前膚色差分圖像中劃分出了尺寸大于45x45的前景圖像并且利用所述第一至第四閾值中的剩余閾值無(wú)法從所述當(dāng)前膚色差分圖像中劃分出前景圖像時(shí)，認(rèn)為所述當(dāng)前膚色差分圖像中不存在前景圖像。
16.根據(jù)權(quán)利要求9所述的手檢測(cè)裝置，其特征在于，所述前景分割單元在利用所述第一至第四閾值中的一個(gè)或多個(gè)閾值從所述當(dāng)前膚色差分圖像中劃分出了尺寸大于45x45的前景圖像并且利用所述第一至第四閾值中的剩余閾值從所述當(dāng)前膚色差分圖像中劃分出了尺寸小于20x20的前景圖像時(shí)，首先對(duì)所找出的尺寸小于20x20的任意一個(gè)前景圖像進(jìn)行拓展，然后將拓展后的前景圖像作為所述當(dāng)前膚色差分圖像中的前景圖像。
【文檔編號(hào)】G06T7/40GK103514435SQ201210236446
【公開(kāi)日】2014年1月15日 申請(qǐng)日期:2012年6月29日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】冷杰, 王 琦 申請(qǐng)人:富士通株式會(huì)社