本發(fā)明涉及雙目相機(jī)，具體地，涉及一種手部深度計(jì)算雙目相機(jī)及電子設(shè)備。

背景技術(shù)：

1、在手勢(shì)識(shí)別中，深度信息對(duì)于提升手勢(shì)識(shí)別的性能是非常有益的，它可以提供更多的空間上下文，減少二維圖像的歧義，并提高算法在各種環(huán)境條件下的魯棒性。

2、深度信息的主要作用在于：

3、1、增加空間信息：深度數(shù)據(jù)為手勢(shì)添加了一個(gè)額外的維度，幫助算法理解手勢(shì)在空間中的形狀和運(yùn)動(dòng)。

4、2、提高魯棒性：在復(fù)雜背景或光照變化的環(huán)境中，深度信息可以幫助算法更好地區(qū)分手部和背景。

5、3、減少歧義：在僅有二維信息時(shí)，某些手勢(shì)可能看起來(lái)相似。深度數(shù)據(jù)可以幫助解決這種視覺(jué)歧義，提高手勢(shì)識(shí)別的準(zhǔn)確性。

6、4、處理遮擋：在手勢(shì)中常見(jiàn)的自遮擋(例如一個(gè)手指遮擋另一個(gè)手指)在3d空間中更容易分辨和處理。

7、雙目相機(jī)可以通過(guò)雙目立體匹配得到稠密深度，雙目相機(jī)與tof或是單目結(jié)構(gòu)光深度相機(jī)不同，其硬件除了兩個(gè)相機(jī)不再需要特殊的硬件，因而其硬件成本相對(duì)較低，并且具有良好的自主性和靈活性，從而適用范圍很廣。但其缺點(diǎn)也很明顯，雙目立體匹配算法屬于計(jì)算密集型，在計(jì)算時(shí)需要大量的計(jì)算資源，因而在實(shí)際使用中一般需要專(zhuān)用的asic芯片或是專(zhuān)用硬件進(jìn)行深度計(jì)算，使得成本增加。

8、以上背景技術(shù)內(nèi)容的公開(kāi)僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本專(zhuān)利申請(qǐng)的現(xiàn)有技術(shù)，在沒(méi)有明確的證據(jù)表明上述內(nèi)容在本專(zhuān)利申請(qǐng)的申請(qǐng)日已經(jīng)公開(kāi)的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評(píng)價(jià)本申請(qǐng)的新穎性和創(chuàng)造性。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明通過(guò)對(duì)手部區(qū)域進(jìn)行識(shí)別，并對(duì)手部區(qū)域進(jìn)行縮小，通過(guò)計(jì)算視差獲得手部區(qū)域的深度值，大大減小了搜索和重建的計(jì)算量，無(wú)需使用專(zhuān)用asic芯片或是專(zhuān)用硬件，實(shí)時(shí)計(jì)算手部的深度，為后續(xù)手勢(shì)識(shí)別提供幫助。

2、第一方面，本發(fā)明提供一種手部深度計(jì)算雙目相機(jī)，其特征在于，包括：

3、第一接收器，用于接收手掌的第一信號(hào)，生成第一圖像；

4、第二接收器，用于接收所述手掌的第二信號(hào)，生成第二圖像；

5、處理器，用于在所述第一圖像上檢測(cè)第一手部區(qū)域，將所述第一手部區(qū)域以第一倍率縮小至預(yù)設(shè)尺寸，將所述第二圖像以所述第一倍率進(jìn)行縮小，并對(duì)縮小后的所述第二圖像進(jìn)行手掌檢測(cè)，得到第二手部區(qū)域，再對(duì)所述第一手部區(qū)域和所述第二手部區(qū)域進(jìn)行深度計(jì)算。

6、可選地，所述的一種刷掌雙目相機(jī)，其特征在于，還包括：

7、光源，用于根據(jù)所述第一圖像的亮度照射所述手掌。

8、可選地，所述的一種刷掌雙目相機(jī)，其特征在于，所述處理器包括：

9、檢測(cè)模塊，用于在所述第一圖像上檢測(cè)第一手部區(qū)域；

10、第一縮小模塊，用于將所述第一手部區(qū)域以第一倍率縮小至預(yù)設(shè)尺寸；

11、第二縮小模塊，用于將所述第二圖像以所述第一倍率進(jìn)行縮小，再對(duì)縮小后的所述第二圖像進(jìn)行手掌檢測(cè)，得到第二手部區(qū)域；

12、深度計(jì)算模塊，用于對(duì)所述第一手部區(qū)域和所述第二手部區(qū)域進(jìn)行深度計(jì)算。

13、可選地，所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述第二縮小模塊包括：

14、第一縮小單元，用于將所述第二圖像以所述第一倍率進(jìn)行縮小，得到第三圖像；

15、估計(jì)區(qū)域單元，用于根據(jù)所述第一倍率、所述第一手部區(qū)域在所述第一圖像的位置及對(duì)極約束，得到所述第三圖像上相應(yīng)的估計(jì)區(qū)域；

16、手部區(qū)域單元，用于在所述估計(jì)區(qū)域進(jìn)行手掌檢測(cè)，得到第二手部區(qū)域。

17、可選地，所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述深度計(jì)算模塊包括：

18、手掌單元，用于在所述第一手部區(qū)域中獲得第一手掌區(qū)域，在所述第二手部區(qū)域中獲得第二手掌區(qū)域；

19、第一視差單元，用于根據(jù)所述第一手掌區(qū)域或所述第二手掌區(qū)域的大小估算搜索范圍，并對(duì)所述第一手掌區(qū)域和所述第二手掌區(qū)域計(jì)算視差；

20、第一深度單元，用于根據(jù)所述視差和所述雙目相機(jī)的參數(shù)計(jì)算所述第一手掌區(qū)域中每個(gè)像素點(diǎn)的深度值。

21、可選地，所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述深度計(jì)算模塊包括：

22、手指單元，用于在所述第一手部區(qū)域中獲得第一手指區(qū)域，在所述第二手部區(qū)域中獲得第二手指區(qū)域；

23、第二視差單元，用于確定所述第一手指區(qū)域和所述第二手指區(qū)域中每根手指的編號(hào)，并對(duì)相同編號(hào)的手指計(jì)算視差；

24、第二深度單元，用于根據(jù)所述視差和所述雙目相機(jī)的參數(shù)計(jì)算所述第一手指區(qū)域中每個(gè)像素點(diǎn)的深度值。

25、可選地，所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述第二視差單元根據(jù)每根手指的寬度分別計(jì)算每根手指的搜索范圍，再進(jìn)行匹配，計(jì)算得到視差。

26、可選地，所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述第二視差根據(jù)所述手指的最大寬度計(jì)算搜索范圍，再進(jìn)行匹配，計(jì)算得到視差。

27、可選地，所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述深度計(jì)算模塊根據(jù)所述第一手部區(qū)域的形狀和所述第一倍率確定搜索范圍，再對(duì)所述第一手部區(qū)域和所述第二手部區(qū)域進(jìn)行匹配，計(jì)算視差與深度值。

28、第二方面，本發(fā)明提供一種電子設(shè)備，其特征在于，包括前述任意一項(xiàng)所述的一種手部深度計(jì)算雙目相機(jī)。

29、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

30、本發(fā)明首先識(shí)別出手部區(qū)域，并在后續(xù)處理中僅對(duì)手部區(qū)域進(jìn)行處理，減小了數(shù)據(jù)處理量，提高了處理效率。

31、本發(fā)明先在第一圖像上識(shí)別出第一手部區(qū)域，并在縮小后的第二圖像上識(shí)別第二手部區(qū)域，使得在識(shí)別第二手部區(qū)域時(shí)的計(jì)算量大大減小，從而提高了效率，減少了對(duì)芯片處理能力的需求。

32、本發(fā)明在計(jì)算前對(duì)圖像進(jìn)行縮小，從而使得計(jì)算量恒定，避免了超出計(jì)算能力的問(wèn)題。同時(shí)，在計(jì)算深度時(shí)進(jìn)行數(shù)據(jù)換算，使得需計(jì)算的數(shù)據(jù)量大大減小。

33、本發(fā)明針對(duì)手部區(qū)域進(jìn)行優(yōu)化，并進(jìn)行縮小使得計(jì)算量大幅減少，通過(guò)計(jì)算視差獲得手部區(qū)域的深度值，大大減小了搜索和重建的計(jì)算量，無(wú)需使用專(zhuān)用asic芯片或是專(zhuān)用硬件，實(shí)時(shí)計(jì)算手部的深度，為后續(xù)手勢(shì)識(shí)別提供幫助，具有成本經(jīng)濟(jì)性。

技術(shù)特征：

1.一種手部深度計(jì)算雙目相機(jī)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種刷掌雙目相機(jī)，其特征在于，還包括：

3.根據(jù)權(quán)利要求1所述的一種刷掌雙目相機(jī)，其特征在于，所述處理器包括：

4.根據(jù)權(quán)利要求3所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述第二縮小模塊包括：

5.根據(jù)權(quán)利要求3所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述深度計(jì)算模塊包括：

6.根據(jù)權(quán)利要求3所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述深度計(jì)算模塊包括：

7.根據(jù)權(quán)利要求6所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述第二視差單元根據(jù)每根手指的寬度分別計(jì)算每根手指的搜索范圍，再進(jìn)行匹配，計(jì)算得到視差。

8.根據(jù)權(quán)利要求6所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述第二視差根據(jù)所述手指的最大寬度計(jì)算搜索范圍，再進(jìn)行匹配，計(jì)算得到視差。

9.根據(jù)權(quán)利要求3所述的一種手部深度計(jì)算雙目相機(jī)，其特征在于，所述深度計(jì)算模塊根據(jù)所述第一手部區(qū)域的形狀和所述第一倍率確定搜索范圍，再對(duì)所述第一手部區(qū)域和所述第二手部區(qū)域進(jìn)行匹配，計(jì)算視差與深度值。

10.一種電子設(shè)備，其特征在于，包括權(quán)利要求1至9中任意一項(xiàng)所述的一種手部深度計(jì)算雙目相機(jī)。

技術(shù)總結(jié)
一種手部深度計(jì)算雙目相機(jī)及電子設(shè)備，包括：第一接收器，用于接收手掌的第一信號(hào)，生成第一圖像；第二接收器，用于接收所述手掌的第二信號(hào)，生成第二圖像；處理器，用于在所述第一圖像上檢測(cè)第一手部區(qū)域，將所述第一手部區(qū)域以第一倍率縮小至預(yù)設(shè)尺寸，將所述第二圖像以所述第一倍率進(jìn)行縮小，并對(duì)縮小后的所述第二圖像進(jìn)行手掌檢測(cè)，得到第二手部區(qū)域，再對(duì)所述第一手部區(qū)域和所述第二手部區(qū)域進(jìn)行深度計(jì)算。本發(fā)明大大減小了搜索和重建的計(jì)算量，無(wú)需使用專(zhuān)用Asic芯片或是專(zhuān)用硬件，實(shí)時(shí)計(jì)算手部的深度，為后續(xù)手勢(shì)識(shí)別提供幫助。

技術(shù)研發(fā)人員：黃龍祥,姚想,周響南,侯俊峰,汪博,朱力,呂方璐
受保護(hù)的技術(shù)使用者：深圳市光鑒科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23