本發(fā)明屬于視障人士輔助技術(shù)、雙目視覺技術(shù)、三維環(huán)境感知技術(shù)、立體聲交互技術(shù)領(lǐng)域。本發(fā)明包含一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警眼鏡，涉及一種利用利用紅外投射器投射不可見的近紅外靜態(tài)散斑，利用兩個紅外相機(jī)和一個RGB相機(jī)采集圖像，小型處理器對采集的圖像進(jìn)行處理，獲取深度圖像，并對深度圖像進(jìn)行分塊，最后將分塊的深度信息，轉(zhuǎn)化為立體聲信號，最后利用骨傳導(dǎo)耳機(jī)傳遞給視障人士進(jìn)行輔助的障礙物預(yù)警眼鏡。

背景技術(shù)：

根據(jù)世界健康組織統(tǒng)計，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對顏色、形狀、距離、運(yùn)動的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。

傳統(tǒng)的視障人士輔助工具比如盲人手杖，視障人士需要反復(fù)移動手杖，才能獲知面前的情況，既費(fèi)時也費(fèi)力。盲人手杖的探測距離有限，只能檢測腳邊的障礙物，也無法反映遠(yuǎn)處和空中的狀況。導(dǎo)盲犬可以為視障人士提供幫助，但是導(dǎo)盲犬的訓(xùn)練和養(yǎng)護(hù)費(fèi)用是高昂的，普通家庭難以承擔(dān)。有些場合，導(dǎo)盲犬不能陪同盲人進(jìn)入，比如公交車和火車站，因此導(dǎo)盲犬的輔助是有局限性的。仿生眼可以幫助視障人士恢復(fù)部分視覺，但仿生眼的植入需要手術(shù)，費(fèi)用高昂。仿生眼只適用于視網(wǎng)膜色素變性或老年性黃斑變性導(dǎo)致失明的盲人。視覺神經(jīng)損壞的視障人士無法通過植入仿生眼來恢復(fù)部分視覺。

電子式的視障輔助工具主要運(yùn)用超聲波技術(shù)、激光測距技術(shù)、雙目視覺技術(shù)、激光散斑編碼技術(shù)、激光雷達(dá)技術(shù)、毫米波雷達(dá)技術(shù)、熱成像技術(shù)、全球定位系統(tǒng)(GPS)。基于超聲波技術(shù)和激光測距技術(shù)的測距范圍有限，只能實現(xiàn)單點(diǎn)測距，獲取的信息量太少，且耗電多，設(shè)備笨重，只能實現(xiàn)報警功能，容易受環(huán)境干擾?；陔p目視覺技術(shù)的輔助依賴于環(huán)境中特征點(diǎn)和紋理的豐富程度，對于一些紋理單一的場景失效，如室內(nèi)的白墻，光滑地面等。雙目視覺技術(shù)會受鏡面反射等特殊情形的欺騙，從而造成漏判或者誤判?；诩す馍呔幋a技術(shù)的輔助在室外失效，因為主動投射的結(jié)構(gòu)光被陽光淹沒，從而無法識別編碼的散斑。激光散斑編碼技術(shù)由于受到功率限制，存在最遠(yuǎn)距離，超過最遠(yuǎn)距離的物體無法對其測距。基于激光雷達(dá)技術(shù)的輔助成本高，通常采樣率低，對灰塵、霧霾、雨水敏感，而且無法獲取顏色和紋理信息。基于毫米波雷達(dá)的輔助分辨率低，信號處理過程難?；跓岢上窦夹g(shù)的輔助分辨率低，標(biāo)定過程復(fù)雜，且只能檢測人和動物等發(fā)熱物體?；贕PS的輔助精度低，會有信號損失，不能在室內(nèi)使用，而且無法獲取局部動態(tài)的障礙物信息。

傳統(tǒng)視障人士輔助的交互方式主要有語音提示、觸覺震動。語義提示通常播報障礙物的距離和方向，需要一定的時間播放，造成延遲和事故風(fēng)險，而且可傳遞的信息量少。觸覺震動通過震動腰帶或者震動背心為硬件，以震動來提示障礙物的方位，震動裝置可以解決延遲的問題，但給視障人士帶來負(fù)擔(dān)，不同人的穿戴感受不同。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警眼鏡。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警眼鏡，所述眼鏡包含眼鏡本體、一個紅外投射器，兩個相同的紅外相機(jī)，一個彩色相機(jī)，一個USB集線器，一個小型處理器，一個骨傳導(dǎo)耳機(jī)模塊，兩個骨傳導(dǎo)震動模塊，一個電池模塊。所述一個紅外投射器，兩個相同的紅外相機(jī)，一個彩色相機(jī)，一個USB集線器，一個小型處理器，一個骨傳導(dǎo)耳機(jī)模塊，兩個骨傳導(dǎo)震動模塊，一個電池模塊均固定在鏡架上，其中，兩個相同的紅外相機(jī)，一個彩色相機(jī)的光軸彼此平行，兩個相同的紅外相機(jī)分別固定在兩個鏡片的正上方，彩色相機(jī)和紅外投射器均安裝在兩個紅外相機(jī)之間；兩個骨傳導(dǎo)震動模位于兩個鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器和小型處理器嵌于一個鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個鏡腳內(nèi)；紅外投射器、兩個紅外相機(jī)、彩色相機(jī)通過USB集線器與小型處理器相連，電池模塊與小型處理器相連；兩個骨傳導(dǎo)震動模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連。彩色相機(jī)和紅外投射器位于兩個紅外相機(jī)之間。兩個紅外相機(jī)、彩色相機(jī)的光軸彼此平行。小型處理器控制紅外投射器向前方三維場景投射不可見的靜態(tài)近紅外散斑，兩個紅外相機(jī)實時地采集經(jīng)投射后的三維場景的兩幅紅外圖像，彩色相機(jī)實時地采集三維場景的彩色圖像。USB集線器將兩幅紅外圖像和一幅彩色圖像傳給小型處理器。小型處理器對獲取的兩幅紅外圖像、一幅彩色圖像進(jìn)行處理，獲取三維場景的深度圖像。小型處理器對深度圖像進(jìn)行分塊，并將分塊后的深度信息轉(zhuǎn)化為立體聲信號，并傳給骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號轉(zhuǎn)為骨傳導(dǎo)震動信號，傳給兩個骨傳導(dǎo)震動模塊。兩個骨傳導(dǎo)震動模塊，傳遞骨傳導(dǎo)震動信號給視障用戶，實現(xiàn)障礙物預(yù)警。

進(jìn)一步地，上述眼鏡通過以下方法實現(xiàn)障礙物預(yù)警：

(1)對兩個紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取兩個紅外相機(jī)的焦距f_IR，左紅外相機(jī)的主點(diǎn)位置(c_IR-x,c_IR-y)，兩個紅外相機(jī)的基線距離B_IR-IR。

(2)對彩色相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取彩色相機(jī)的焦距f_color，主點(diǎn)位置(c_COLOR-x,c_COLOR-y)。

(3)對彩色相機(jī)和左側(cè)的紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取左紅外相機(jī)與彩色相機(jī)的基線距離B_IR-COLOR。

(4)紅外投射器實時地投射不可見的靜態(tài)近紅外散斑到三維場景中。

(5)兩個紅外相機(jī)采集三維場景的兩張紅外圖像IR_left和IR_right。

(6)彩色相機(jī)三維場景的彩色圖像Color。

(7)USB集線器將兩幅紅外圖像IR_left和IR_right，一幅彩色圖像Color傳給小型處理器。

(8)小型處理器對兩張紅外圖像IR_left和IR_right提取Sobel邊緣，獲取兩張Sobel邊緣圖像Sobel_left和Sobel_right。

(9)以左Sobel邊緣圖像Sobel_left為基準(zhǔn)，對兩張Sobel邊緣圖像Sobel_left和Sobel_right進(jìn)行基于圖像塊的圖像匹配，獲取一系列匹配好的有效點(diǎn)E＝{e₁,e₂,e₃,...,e_M}。在左Sobel邊緣圖像Sobel_left中，每一個有效點(diǎn)為e＝(u,v,d)^T，u為橫坐標(biāo)像素值，v為縱坐標(biāo)像素值，d為視差值。

(10)以匹配好的有效點(diǎn)E為基準(zhǔn)，每三個有效點(diǎn)可構(gòu)成一個視差平面，第i個視差平面的方程為d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i為第i個視差平面的系數(shù)。

(11)在這些視差平面的基礎(chǔ)上，將未匹配的像素點(diǎn)(u',v',d')^T轉(zhuǎn)換為匹配的有效點(diǎn)(u,v,d)^T；具體為：該像素點(diǎn)(u',v',d')^T到第i視差平面的距離為設(shè)能量函數(shù)為其中ε，σ為常數(shù)。對該像素點(diǎn)，遍歷視差搜索范圍所有的視差值d'＝{d'_min,...,d'_max}，求出使得能量函數(shù)Energy(d')最小的視差值，當(dāng)成該像素點(diǎn)的視差值d。另外，u＝u'，v＝v'。

(12)遍歷所有未匹配的像素點(diǎn)，獲取每個未匹配的像素點(diǎn)的視差值，得到以左紅外相機(jī)為基準(zhǔn)的視差圖像Disparity_left。

(13)根據(jù)兩個紅外相機(jī)的焦距f_IR和基線距離B_IR-IR，遍歷視差圖像中的每一點(diǎn)(u,v,d)，其深度值為因此深度圖像Depth_left中每一點(diǎn)對應(yīng)為(u,v,depth)，從而獲得左紅外相機(jī)為基準(zhǔn)的深度圖像Depth_left。

(14)利用深度圖像Depth_left和彩色圖像Color，兩個紅外相機(jī)的焦距f_IR，左紅外相機(jī)的主點(diǎn)位置(c_IR-x,c_IR-y)，彩色相機(jī)的焦距f_color，主點(diǎn)位置(c_COLOR-x,c_COLOR-y)，以及左紅外相機(jī)和彩色相機(jī)的基線距離B_IR-COLOR，可對深度圖像和彩色圖像進(jìn)行對齊，獲取彩色相機(jī)視場的深度圖像Depth_color。

(15)將彩色相機(jī)視場的深度圖像Depth_color從左到右分成K塊，計算每一塊深度圖像Depth_K的平均深度depth_K。(K的取值一般在2至10之間)

(16)用不同音色的樂器的合奏來表示K塊深度圖像Depth_K:不同塊的深度圖像Depth_K用不同音色的樂器發(fā)聲。樂器聲音的響度Volume與每一塊圖像的平均深度depth_K成反比，即：障礙物越近，平均深度depth_K越小，響度Volume越大；障礙物越遠(yuǎn)，平均深度depth_K越大，響度Volume越小。每個方向的樂器聲都為立體聲。樂器可選鋼琴、小提琴、鑼、小號、木琴等有特別音色并悅耳的。

(17)小型處理器將立體聲信號傳給骨傳導(dǎo)耳機(jī)模塊。

(18)骨傳導(dǎo)耳機(jī)模塊將立體聲信號轉(zhuǎn)為骨傳導(dǎo)震動信號。

(19)骨傳導(dǎo)震動模塊將骨傳導(dǎo)震動信號傳遞給視障用戶。

本方法相比以往的視障人士輔助方法的優(yōu)勢主要在于：

1、環(huán)境適用性。由于使用紅外投射器和兩個紅外相機(jī)，該方法在室內(nèi)、室外環(huán)境都可以兼容使用。在室內(nèi)時，紅外投射器投射的靜態(tài)近紅外光斑給三維場景增加了紋理，有利于獲取稠密的深度圖像。在室外時，陽光的近紅外部分和三維場景結(jié)合，有利于獲取稠密的深度圖像。稠密的深度圖像可以保證分塊深度的準(zhǔn)確性和輔助交互的體驗效果。

2、白天黑夜適用性。由于使用紅外投射器和兩個紅外相機(jī)，該方法在白天、黑夜都可以兼容使用。在白天時，紅外投射器投射的靜態(tài)近紅外光斑和日光中的近紅外成分都可以給三維場景增加紋理，有利于稠密的深度圖像。在黑夜時，紅外投射器投射的靜態(tài)近紅外光斑給近處三維場景增加紋理，也可以獲取近處三維場景的深度圖像。該方法在白天黑夜都可以獲取可靠的深度圖像，從而保證分塊深度的準(zhǔn)確性和輔助交互的體驗效果。

3、可檢測空中的障礙物。傳統(tǒng)的盲人手杖只能探測腳邊的路況，不能照顧前方空中的情況，該方法可以預(yù)警空中的障礙物，從而防止視障用戶碰撞空中的樹枝或門梁等物體。

4、不占用雙耳。本方法采用骨傳導(dǎo)耳機(jī)傳遞信號給視障用戶，不妨礙用戶聽取外界的聲音。視障人士大多都依賴外界的聲音來進(jìn)行一些判讀，如根據(jù)車流聲音判斷馬路的朝向等。

5、不占用雙手。本方法的輔助裝置可穿戴，小型處理器便攜，可以放在口袋或者小包里，既不會給視障帶來很大的負(fù)擔(dān)，也無需視障人士用手拿輔助工具。

6、不會煩擾用戶。本方法的立體聲交互方式，使用悅耳的樂器發(fā)聲，不會給視障用戶造成煩擾，讓視障用戶在使用時聽著悅耳的音樂就能避障通行。

7、反饋充分的信息量。相比語義式的語音播報，立體聲的交互反饋利用不同響度，不同音色的樂器表示障礙物的遠(yuǎn)近，可以同時地、充分地傳遞前方不同方向的路況，預(yù)警障礙物的存在。

8、易學(xué)性和易理解性。相比復(fù)雜形式的聲音編碼，本發(fā)明中立體聲的交互基于深度圖的分塊，分塊處理后的深度信息不會非常冗雜，視障用戶可以迅速學(xué)習(xí)并理解立體聲信號的含義，并根據(jù)立體聲信號避開障礙物。

9、及時的反饋。相比語義式的語音播報，立體聲的交互反饋是及時的，沒有延遲。從而視障人士可以及時的避開障礙物，保證了該方法的安全性。

10、對近處的障礙物有很好的預(yù)警作用。當(dāng)靠近障礙物時，對應(yīng)方向的平均深度小，因此對應(yīng)樂器的響度大，可以幫助視障用戶很好的預(yù)知障礙物的迫近，從而避開緊急的障礙物。

11、可檢測到細(xì)小的障礙物。當(dāng)出現(xiàn)細(xì)小障礙物時，對應(yīng)方向的平均深度有變化，因此對應(yīng)樂器的響度大，可以幫助視障用戶很好的預(yù)知細(xì)小障礙物的存在，從而避免細(xì)小的障礙物。

附圖說明

圖1為視障人士障礙物預(yù)警系統(tǒng)的模塊連接示意圖；

圖2為視障人士障礙物預(yù)警系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為彩色圖像Color與彩色相機(jī)視場的深度圖像Depth_color，深度圖像用偽彩色表示，顏色越藍(lán)，深度越大，顏色越紅，深度越小。

圖4為K塊深度圖像Depth_K，每一塊的顏色表示每一塊深度圖像Depth_K的平均深度depth_K，平均深度越大，顏色越藍(lán)，平均深度越近，顏色越紅。

圖5為樂器立體聲合奏表示障礙物的示意圖。

具體實施方式

如同2所示，一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警眼鏡，所述眼鏡包含眼鏡本體、一個紅外投射器，兩個相同的紅外相機(jī)，一個彩色相機(jī)，一個USB集線器，一個小型處理器，一個骨傳導(dǎo)耳機(jī)模塊，兩個骨傳導(dǎo)震動模塊，一個電池模塊。所述一個紅外投射器，兩個相同的紅外相機(jī)，一個彩色相機(jī)，一個USB集線器，一個小型處理器，一個骨傳導(dǎo)耳機(jī)模塊，兩個骨傳導(dǎo)震動模塊，一個電池模塊均固定在鏡架上，其中，兩個相同的紅外相機(jī)，一個彩色相機(jī)的光軸彼此平行，兩個相同的紅外相機(jī)分別固定在兩個鏡片的正上方，彩色相機(jī)和紅外投射器均安裝在兩個紅外相機(jī)之間；兩個骨傳導(dǎo)震動模位于兩個鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器和小型處理器嵌于一個鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個鏡腳內(nèi)；

如圖1所示，紅外投射器、兩個紅外相機(jī)、彩色相機(jī)通過USB集線器與小型處理器相連，電池模塊與小型處理器相連；兩個骨傳導(dǎo)震動模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連。彩色相機(jī)和紅外投射器位于兩個紅外相機(jī)之間。小型處理器控制紅外投射器向前方三維場景投射不可見的靜態(tài)近紅外散斑，兩個紅外相機(jī)實時地采集經(jīng)投射后的三維場景的兩幅紅外圖像，彩色相機(jī)實時地采集三維場景的彩色圖像。USB集線器將兩幅紅外圖像和一幅彩色圖像傳給小型處理器。小型處理器對獲取的兩幅紅外圖像、一幅彩色圖像進(jìn)行處理，獲取三維場景的深度圖像。小型處理器對深度圖像進(jìn)行分塊，并將分塊后的深度信息轉(zhuǎn)化為立體聲信號，并傳給骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號轉(zhuǎn)為骨傳導(dǎo)震動信號，傳給兩個骨傳導(dǎo)震動模塊。兩個骨傳導(dǎo)震動模塊，傳遞骨傳導(dǎo)震動信號給視障用戶，實現(xiàn)障礙物預(yù)警。

上述系統(tǒng)的預(yù)警方法包括以下步驟：

(1)對兩個紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取兩個紅外相機(jī)的焦距f_IR，左紅外相機(jī)的主點(diǎn)位置(c_IR-x,c_IR-y)，兩個紅外相機(jī)的基線距離B_IR-IR。

(2)對彩色相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取彩色相機(jī)的焦距f_color，主點(diǎn)位置(c_COLOR-x,c_COLOR-y)。

(3)對彩色相機(jī)和左側(cè)的紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取左紅外相機(jī)與彩色相機(jī)的基線距離B_IR-COLOR。

(4)紅外投射器實時地投射不可見的靜態(tài)近紅外散斑到三維場景中。

(5)兩個紅外相機(jī)采集三維場景的兩張紅外圖像IR_left和IR_right。

(6)彩色相機(jī)三維場景的彩色圖像Color。

(7)USB集線器將兩幅紅外圖像IR_left和IR_right，一幅彩色圖像Color傳給小型處理器。

(8)小型處理器對兩張紅外圖像IR_left和IR_right提取Sobel邊緣，獲取兩張Sobel邊緣圖像Sobel_left和Sobel_right。

(9)以左Sobel邊緣圖像Sobel_left為基準(zhǔn)，對兩張Sobel邊緣圖像Sobel_left和Sobel_right進(jìn)行基于圖像塊的圖像匹配，獲取一系列匹配好的有效點(diǎn)E＝{e₁,e₂,e₃,...,e_M}。在左Sobel邊緣圖像Sobel_left中，每一個有效點(diǎn)為e＝(u,v,d)^T，u為橫坐標(biāo)像素值，v為縱坐標(biāo)像素值，d為視差值。

(10)以匹配好的有效點(diǎn)E為基準(zhǔn)，每三個有效點(diǎn)可構(gòu)成一個視差平面，第i個視差平面的方程為d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i為第i個視差平面的系數(shù)。

(11)在這些視差平面的基礎(chǔ)上，將未匹配的像素點(diǎn)(u',v',d')^T轉(zhuǎn)換為匹配的有效點(diǎn)(u,v,d)^T；具體為：該像素點(diǎn)(u',v',d')^T到第i視差平面的距離為設(shè)能量函數(shù)為其中ε，σ為常數(shù)。對該像素點(diǎn)，遍歷視差搜索范圍所有的視差值d'＝{d'_min,...,d'_max}，求出使得能量函數(shù)Energy(d')最小的視差值，當(dāng)成該像素點(diǎn)的視差值d。另外，u＝u'，v＝v'。

(12)遍歷所有未匹配的像素點(diǎn)，獲取每個未匹配的像素點(diǎn)的視差值，得到以左紅外相機(jī)為基準(zhǔn)的視差圖像Disparity_left。

(13)根據(jù)兩個紅外相機(jī)的焦距f_IR和基線距離B_IR-IR，遍歷視差圖像中的每一點(diǎn)(u,v,d)，其深度值為因此深度圖像Depth_left中每一點(diǎn)對應(yīng)為(u,v,depth)，從而獲得左紅外相機(jī)為基準(zhǔn)的深度圖像Depth_left。

(14)利用深度圖像Depth_left和彩色圖像Color，兩個紅外相機(jī)的焦距f_IR，左紅外相機(jī)的主點(diǎn)位置(c_IR-x,c_IR-y)，彩色相機(jī)的焦距f_color，主點(diǎn)位置(c_COLOR-x,c_COLOR-y)，以及左紅外相機(jī)和彩色相機(jī)的基線距離B_IR-COLOR，可對深度圖像和彩色圖像進(jìn)行對齊，獲取彩色相機(jī)視場的深度圖像Depth_color。

(15)將彩色相機(jī)視場的深度圖像Depth_color從左到右分成K塊，計算每一塊深度圖像Depth_K的平均深度depth_K。(K的取值一般在2至10之間)

(16)用不同音色的樂器的合奏來表示K塊深度圖像Depth_K:不同塊的深度圖像Depth_K用不同音色的樂器發(fā)聲。樂器聲音的響度Volume與每一塊圖像的平均深度depth_K成反比，即：障礙物越近，平均深度depth_K越小，響度Volume越大；障礙物越遠(yuǎn)，平均深度depth_K越大，響度Volume越小。每個方向的樂器聲都為立體聲。樂器可選鋼琴、小提琴、鑼、小號、木琴等有特別音色并悅耳的。

(17)小型處理器將立體聲信號傳給骨傳導(dǎo)耳機(jī)模塊。

(18)骨傳導(dǎo)耳機(jī)模塊將立體聲信號轉(zhuǎn)為骨傳導(dǎo)震動信號。

(19)骨傳導(dǎo)震動模塊將骨傳導(dǎo)震動信號傳遞給視障用戶。