本發(fā)明涉及用于獲得3D(3維)圖像的方法和裝置，更具體而言，涉及通過使用紅外線連同可見光來獲得3D圖像的方法和裝置。

背景技術(shù)：
最近，已經(jīng)開發(fā)了從識(shí)別的目標(biāo)獲得3D圖像的各種技術(shù)和產(chǎn)品。例如，TOF(飛行時(shí)間)系統(tǒng)根據(jù)相機(jī)與識(shí)別的目標(biāo)之間的距離或深度獲得3D圖像，其使用到識(shí)別的目標(biāo)的照射光的光發(fā)射時(shí)間與從識(shí)別的目標(biāo)反射的光的光接收時(shí)間之間的時(shí)間差來測(cè)量相機(jī)與識(shí)別的目標(biāo)之間的距離或深度。同樣，結(jié)構(gòu)光系統(tǒng)根據(jù)識(shí)別的目標(biāo)的深度獲得3D圖像，其通過向識(shí)別的目標(biāo)發(fā)射圖案化的紅外結(jié)構(gòu)光并分析從識(shí)別的目標(biāo)接收的紅外線的圖案來測(cè)量識(shí)別的目標(biāo)的深度。就此而言，盡管可以使用兩個(gè)或更多可見光來獲得3D深度信息，但是最近使用了使用可見光圖像連同紅外線圖像作為有源光源的系統(tǒng)。而且，在該系統(tǒng)中，一般而言，連同紅外線傳感器(IR傳感器)，設(shè)置了用于拍攝可見光的分開的傳感器(RGB傳感器)。另外，已經(jīng)研發(fā)了這樣的相機(jī)結(jié)構(gòu)，其通過將用于拍攝可見光的傳感器像素中的一個(gè)修改為用于獲得紅外線的像素來從RGB-IR傳感器獲得可見光圖像和紅外線圖像。

技術(shù)實(shí)現(xiàn)要素：
技術(shù)問題RGB-IR單一傳感器還沒有被應(yīng)用到用于獲得3D圖像的紅外結(jié)構(gòu)光系統(tǒng)，并且由于相關(guān)研究和研發(fā)開沒有公開，設(shè)計(jì)集成的產(chǎn)品存在著困難。而且，在RGB-IR傳感器被用作用于獲得3D圖像的裝置的情況下，下述問題出現(xiàn)了。即，如果從像RGB-IR傳感器這樣的一個(gè)傳感器獲得紅外線圖像和可見光圖像，則在可見光區(qū)域與紅外線區(qū)域之間一般會(huì)出現(xiàn)干擾。下文中，將對(duì)上述干擾進(jìn)行更具體的描述。紅外光照應(yīng)當(dāng)被持續(xù)激活以便獲得紅外圖像。而且，持續(xù)激活的紅外光照影響可見光圖像，并且這被稱為紅外線與可見光之間的干擾。如果出現(xiàn)干擾，則在獲得的可見光圖像和紅外圖像中會(huì)出現(xiàn)噪聲。結(jié)果，出現(xiàn)了下述問題：由于干擾而獲得了不正確的3D圖像。已經(jīng)構(gòu)思了本發(fā)明以解決上述問題，本發(fā)明的目標(biāo)是提供通過將單一RGB-IR傳感器應(yīng)用到紅外結(jié)構(gòu)光系統(tǒng)來有效獲得3D圖像的裝置和方法。本發(fā)明的另一目標(biāo)是提供通過在使用RGB-IR傳感器時(shí)去除可見光區(qū)域與紅外區(qū)域之間的干擾來有效獲得3D圖像的裝置和方法。例如，作為本發(fā)明的實(shí)施例，意圖提供通過將用于拍攝可見光的時(shí)間段與用于拍攝紅外線的時(shí)間段分開來去除干擾的方法和裝置。本發(fā)明的另一目標(biāo)是提供通過使用從用于拍攝可見光的時(shí)間段和用于拍攝紅外線的時(shí)間段分別獲得的紅外圖像獲得的紅外差分圖像來有效獲得3D圖像的裝置和方法。本發(fā)明的另一目標(biāo)是提供通過根據(jù)環(huán)境光的亮度控制紅外線發(fā)射時(shí)段來獲得3D圖像的裝置和方法。例如，作為本發(fā)明的實(shí)施例，意圖提供通過適應(yīng)性地響應(yīng)環(huán)境光來控制用于拍攝可見光區(qū)域和紅外區(qū)域的時(shí)段的方法和裝置。本發(fā)明的另一目標(biāo)是提供通過使用上述通過去除干擾來獲得3D圖像的方法來顯示3D圖像的裝置。技術(shù)方案為實(shí)現(xiàn)上述目標(biāo)，根據(jù)本發(fā)明的一個(gè)實(shí)施例，用于獲得3D圖像的裝置包括：光發(fā)送單元，光發(fā)送單元用于向識(shí)別的目標(biāo)發(fā)射紅外線(IR)結(jié)構(gòu)光；光接收單元，光接收單元包括用于接收從識(shí)別的目標(biāo)反射的紅外線和可見光的RGB-IR傳感器；處理器，處理器用于通過使用由光接收單元接收的紅外線和可見光中的每一個(gè)來獲得3D圖像信息，3D圖像信息包括識(shí)別的目標(biāo)的深度信息和可見光圖像；以及光照單元，光照單元用于控制紅外線(IR)結(jié)構(gòu)光的光照周期。而且，該裝置進(jìn)一步包括圖像恢復(fù)單元和顯示單元，圖像恢復(fù)單元通過使用由處理器獲得的3D圖像信息來恢復(fù)識(shí)別的目標(biāo)的3D圖像，顯示單元用于在可視屏幕上提供恢復(fù)的3D圖像。而且，光照單元控制紅外線(IR)結(jié)構(gòu)光的光照周期，以通過將可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2彼此分開來去除可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2之間的干擾。而且，光照單元控制紅外線(IR)結(jié)構(gòu)光的光照周期，以在環(huán)境光的亮度超過預(yù)定常規(guī)參考值Th2時(shí)通過考慮環(huán)境光的亮度來以相同的時(shí)段重復(fù)可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2。而且，處理器通過從在紅外測(cè)量時(shí)間段T2獲得的紅外圖像減去在可見光測(cè)量時(shí)間段T1獲得的紅外圖像來獲得紅外差分圖像。而且，處理器通過使用獲得的紅外差分圖像來測(cè)量識(shí)別的目標(biāo)的深度。而且，光照單元控制紅外線(IR)結(jié)構(gòu)光的光照周期，以便如果環(huán)境光的亮度小于預(yù)定常規(guī)參考值Th2，則使得可見光測(cè)量時(shí)間段T1比紅外測(cè)量時(shí)間段T2長。而且，光照單元控制紅外線(IR)結(jié)構(gòu)光的光照周期，以便如果環(huán)境光的亮度小于預(yù)定最小參考值Th1，則僅允許紅外測(cè)量時(shí)間段T2而沒有可見光測(cè)量時(shí)間段T1。而且，包括光接收單元的RGB-IR傳感器確定R、G、B和IR像素的排列，使得IR像素不以等間距排列。根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于獲得3D圖像的方法包括下述步驟：向識(shí)別的目標(biāo)發(fā)射紅外線(IR)結(jié)構(gòu)光，并且接收從識(shí)別的目標(biāo)反射的紅外線和可見光；以及通過使用接收的紅外線和可見光中的每一個(gè)來獲得3D圖像信息，3D圖像信息包括識(shí)別的目標(biāo)的深度信息和可見光圖像，其中，紅外線(IR)結(jié)構(gòu)光的光照周期被控制為，在紅外線(IR)結(jié)構(gòu)光被發(fā)射到識(shí)別的目標(biāo)時(shí)，通過將可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2彼此分開來去除可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2之間的干擾。而且，紅外線(IR)結(jié)構(gòu)光的光照周期被控制為，如果環(huán)境光的亮度小于預(yù)定最小參考值Th1，則僅允許紅外測(cè)量時(shí)間段T2而沒有可見光測(cè)量時(shí)間段T1。而且，紅外線(IR)結(jié)構(gòu)光的光照周期被控制為，如果環(huán)境光的亮度在最小參考值Th1與常規(guī)參考值Th2之間，則使得可見光測(cè)量時(shí)間段T1比紅外測(cè)量時(shí)間段T2長。而且，紅外線(IR)結(jié)構(gòu)光的光照周期被控制為，如果環(huán)境光的亮度超過常規(guī)參考值Th2，則以相同的時(shí)段重復(fù)可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2。而且，該方法進(jìn)一步包括下述步驟，通過從在紅外測(cè)量時(shí)間段T2獲得的紅外圖像減去在可見光測(cè)量時(shí)間段T1獲得的紅外圖像來獲得紅外差分圖像。而且，通過使用獲得的紅外差分圖像來測(cè)量識(shí)別的目標(biāo)的深度。根據(jù)本發(fā)明的另一實(shí)施例，一種用于通過向識(shí)別的目標(biāo)發(fā)射紅外線(IR)結(jié)構(gòu)光并且通過使用從識(shí)別的目標(biāo)反射的紅外線和可見光來獲得識(shí)別的目標(biāo)的3D圖像信息的獲得3D圖像的方法包括下述步驟：測(cè)量環(huán)境光；將測(cè)量的環(huán)境光與預(yù)定參考值比較；控制紅外線(IR)結(jié)構(gòu)光的光照周期，以通過將可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2彼此分開來去除可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2之間的干擾。本發(fā)明的其他目標(biāo)、特征和益處將通過參考所附附圖描述的實(shí)施例的具體描述而變得明顯。有益效果根據(jù)本發(fā)明，可以去除用以獲得3D圖像的RGB-IR傳感器的干擾。而且，因?yàn)槿コ烁蓴_，所以可以獲得更清楚和精確的3D圖像。而且，可以通過適應(yīng)性地響應(yīng)環(huán)境可見光的亮度來去除RGB-IR傳感器的干擾。因此，不管拍攝圖像的時(shí)間或地點(diǎn)，諸如夜晚、日間、暗處或明處，可以獲得更精確的3D圖像。另外，通過根據(jù)本發(fā)明的用于獲得3D圖像的裝置，可以顯示更清楚和精確的3D圖像。附圖說明圖1是示出根據(jù)本發(fā)明的實(shí)施例的用于獲得3D圖像的裝置的框圖；圖2是示出根據(jù)本發(fā)明的實(shí)施例的用于獲得3D圖像的裝置100與顯示裝置200彼此分開的示意圖；圖3是示出根據(jù)本發(fā)明的實(shí)施例的用于獲得3D圖像的裝置100與顯示裝置200彼此集成的示意圖；圖4是示出根據(jù)現(xiàn)有技術(shù)的RGB-IR傳感器的像素排列順序的示意圖；圖5是示出根據(jù)本發(fā)明的實(shí)施例的RGB-IR傳感器的像素排列順序的示意圖；圖6是示出根據(jù)本發(fā)明的實(shí)施例的RGB-IR傳感器的像素排列順序的另一示意圖；圖7是示出根據(jù)本發(fā)明的實(shí)施例的控制RGB-IR傳感器的紅外光照的方法的圖；圖8是示出根據(jù)本發(fā)明的實(shí)施例的在控制RGB-IR傳感器的紅外光照的方法中環(huán)境光的亮度很暗的圖；圖9是示出根據(jù)本發(fā)明的實(shí)施例的在控制RGB-IR傳感器的紅外光照的方法中環(huán)境光幾乎不存在的圖；圖10是示出根據(jù)本發(fā)明的實(shí)施例的控制RGB-IR傳感器的紅外光照的方法的流程圖；以及圖11是示出環(huán)境光的亮度與可見光相機(jī)和紅外相機(jī)的條件之間的關(guān)系的圖。具體實(shí)施方式下文中，將參考所附附圖具體描述上述目標(biāo)可以通過其實(shí)現(xiàn)的本發(fā)明的優(yōu)選實(shí)施例。盡管本發(fā)明中使用的術(shù)語在考慮其在本發(fā)明中的功能時(shí)是選自廣為人知和使用的術(shù)語，但是顯然，術(shù)語可以依據(jù)本領(lǐng)域技術(shù)人員的意圖、實(shí)踐或新技術(shù)的出現(xiàn)而修改。同樣，在特殊情況下，在本發(fā)明的描述中提及的術(shù)語可以由申請(qǐng)人按他或她的自行決定來選擇，其具體含義在本文描述的相關(guān)部分描述。因此，本文使用的術(shù)語不應(yīng)當(dāng)僅通過實(shí)際術(shù)語進(jìn)行理解，而是應(yīng)當(dāng)通過其中所含含義以及本文公開的描述進(jìn)行理解。更具體而言，盡管本發(fā)明中諸如“第一”和/或“第二”的術(shù)語可以用于描述各種元件，但是應(yīng)當(dāng)理解為這些元件不被這樣的術(shù)語限制。同樣，術(shù)語可以用于相對(duì)于另一元件識(shí)別出一個(gè)元件。例如，在不偏離根據(jù)本說明書的概念的范圍的程度內(nèi)，第一元件可以被稱為第二元件，反之亦然。同樣，本說明書中公開的根據(jù)本發(fā)明的概念的實(shí)施例的特定結(jié)構(gòu)性或功能性描述示例性地意圖描述根據(jù)本發(fā)明的概念的實(shí)施例。在根據(jù)本發(fā)明的概念的實(shí)施例中可以做出各種修改，因此實(shí)施例應(yīng)當(dāng)在所有的方面中被理解為示意性的而非限制性的。因此，應(yīng)當(dāng)理解為，本說明書中的公開包括本發(fā)明的精神和技術(shù)范圍包括的所有修改、等同形式或替換。圖1是示出根據(jù)本發(fā)明的實(shí)施例的用于獲得3D圖像的裝置的框圖。參考圖1，附圖標(biāo)記100描繪了狹義的用于獲得3D圖像的裝置，而附圖標(biāo)記200描繪了顯示裝置，其通過從用于獲得3D圖像的裝置接收3D圖像并將3D圖像恢復(fù)到原始圖像來顯示3D圖像。在廣義上，用于獲得3D圖像的裝置指的是顯示裝置200。圖1中，根據(jù)本發(fā)明的實(shí)施例的用于獲得3D圖像的裝置100可以包括光發(fā)送單元10、光接收單元20、處理器40、光照單元30、以及用于控制上述單元的控制器50。而且，顯示裝置200包括3D圖像恢復(fù)單元60和顯示單元70，圖像恢復(fù)單元60用于從用于獲得3D圖像的裝置100接收有關(guān)3D圖像的信息(例如，彩色圖像信息、深度信息等)并且將有關(guān)3D圖像的信息恢復(fù)，顯示單元70用于可視化地提供所恢復(fù)的圖像。而且，顯示裝置200可以通過圖1所示的用于獲得3D圖像的裝置內(nèi)的控制器50對(duì)3D圖像恢復(fù)單元60和顯示單元70進(jìn)行控制。另一方面，盡管未顯示，但是顯然，如果用于獲得3D圖像的裝置100和顯示裝置200如圖2所示地彼此分開地設(shè)置，則可以設(shè)置分開的控制器(未顯示)。具體而言，意圖是例如參考使用結(jié)構(gòu)光來獲得3D圖像的情況來描述圖1的實(shí)施例。然而，如上所述，本發(fā)明的一些概念可以應(yīng)用到其他使用紅外線獲得3D圖像的系統(tǒng)(例如，TOF系統(tǒng))，而不僅限于結(jié)構(gòu)光系統(tǒng)。本說明書中，將省略公知的結(jié)構(gòu)光系統(tǒng)以及TOF系統(tǒng)的具體描述。光發(fā)送單元10向識(shí)別的目標(biāo)80發(fā)射紅外光(IR)以獲得識(shí)別的目標(biāo)80的深度信息。例如，對(duì)于結(jié)構(gòu)光系統(tǒng)的應(yīng)用，紅外光可以包括特定圖案。該情況下，光發(fā)送單元10可以是用于發(fā)射紅外結(jié)構(gòu)光的結(jié)構(gòu)光單元。而且，光接收單元20包括用于接收從識(shí)別的目標(biāo)反射的紅外線和可見光的傳感器。在本發(fā)明中，特征在于，光接收單元20包括RGB-IR單一傳感器，其可以在相同的軸上并且在相同的空間處獲得紅外光和可見光。在該方面，稍后將參考圖4至圖6具體描述構(gòu)成光接收單元20的RGB-IR單一傳感器的像素排列結(jié)構(gòu)。而且，處理器40通過使用由光接收單元20接收的紅外線來獲得識(shí)別的目標(biāo)的深度信息，并且通過使用由光接收單元20接收的可見光來生成彩色圖像信息。處理器獲得的深度信息和彩色圖像信息被稱為識(shí)別的目標(biāo)的3D圖像信息。而且，處理器40獲得的3D圖像信息被提供給圖像恢復(fù)單元60并用于3D圖像的恢復(fù)。這就是說，圖像恢復(fù)單元60通過向彩色圖像信息應(yīng)用深度信息來恢復(fù)3D圖像。而且，光照單元30的特征在于，在控制器50的控制下，控制紅外光照時(shí)段，以防止光發(fā)送單元10內(nèi)的紅外線與可見光出現(xiàn)干擾。具體而言，本發(fā)明的特征還在于，光照單元30在紅外光照時(shí)段的控制中考慮了環(huán)境光的亮度。在該方面，將參考圖7至圖11具體描述對(duì)控制器50和光照單元30的光照時(shí)段進(jìn)行控制的方法。而且，在圖1中，為了方便描述，光照單元30和光發(fā)送單元10彼此分開。但是，圖1的描述僅是示例性的。因此，在實(shí)際的產(chǎn)品應(yīng)用中，光照單元30可以包括在光發(fā)送單元10中用作光照源的透鏡，并且可以設(shè)置為與光發(fā)送單元10集成的部分。在這方面，圖2是示出根據(jù)本發(fā)明的實(shí)施例的用于獲得3D圖像的裝置100與顯示裝置200彼此分開的示意圖。如圖2所示，如果兩個(gè)裝置100和200彼此分開，則可以通過信號(hào)連接線300將從用于獲得3D圖像的裝置100內(nèi)的處理器40獲得的3D有關(guān)信息傳送到顯示裝置200內(nèi)的圖像恢復(fù)單元60。而且，信號(hào)連接線300可以設(shè)置為有線線路或無線線路。例如，盡管信號(hào)連接線300可以具有諸如線纜線路的物理形狀，但是信號(hào)連接線300也可以設(shè)置為無線網(wǎng)絡(luò)(例如，藍(lán)牙、NFC、WiFi等)。如果將無線網(wǎng)絡(luò)用作信號(hào)連接線300，則顯然在用于獲得3D圖像的設(shè)備100以及顯示裝置200中可以額外設(shè)置用于支持通過無線網(wǎng)絡(luò)的數(shù)據(jù)發(fā)送和接收的無線網(wǎng)絡(luò)模塊。在這方面，可以在用于獲得3D圖像的裝置100外的一側(cè)以可分辨的形狀設(shè)置光發(fā)送單元10和光接收單元20。而且，圖3是示出根據(jù)本發(fā)明的實(shí)施例的用于獲得3D圖像的裝置100與顯示裝置200彼此集成的示意圖。如圖3所示，如果兩個(gè)裝置100和200是集成的單一產(chǎn)品，則可以在用于獲得3D圖像的顯示裝置200外的一側(cè)以可分辨的形狀設(shè)置光發(fā)送單元10和光接收單元20。下文中，將參考圖4至圖6描述構(gòu)成光接收單元20的RGB-IR單一傳感器的像素排列結(jié)構(gòu)。這就是說，RGB-IR單一傳感器可以通過R(紅色)、G(綠色)和B(藍(lán)色)像素來獲得可見光區(qū)域的彩色圖像，也可以通過紅外線(IR)像素獲得紅外圖像。而且，為了獲得RGB彩色圖像和IR圖像，一般將各種插值方法應(yīng)用到每個(gè)像素獲得的分量。例如，去馬賽克方法廣泛用作插值方法。去馬賽克方法是一種彩色濾波插值方法，并且意味著用于恢復(fù)在像素排列中的全部像素的完整彩色值的處理算法。例如，將諸如平均加權(quán)值求和以及基于邊的加權(quán)值求和的適用于相應(yīng)目的的各種插值方法應(yīng)用于去馬賽克方法。因此，通過去馬賽克方法，每個(gè)像素可以恢復(fù)到具有全部分量(R、G、B、IR)。具體而言，在恢復(fù)IR像素中的結(jié)構(gòu)光圖像的情況下，如同分開恢復(fù)光點(diǎn)的方法那樣，取決于高斯特性的光點(diǎn)的中間點(diǎn)是否位于IR像素中，可以獲得不同的結(jié)果。這就是說，因?yàn)镮R結(jié)構(gòu)光的光點(diǎn)基本上具有高斯格式，所以光點(diǎn)可以通過建?；謴?fù)。下文中，將描述根據(jù)本發(fā)明的實(shí)施例的構(gòu)成RGB-IR單一傳感器的各種像素排列。首先，圖4是示出根據(jù)現(xiàn)有技術(shù)的RGB-IR傳感器的像素排列順序的示意圖。更具體而言，圖4為示出了將一般RGB傳感器(廣為人知的“拜耳傳感器結(jié)構(gòu)”)中的一個(gè)G像素修改為IR像素的示例圖，一般RGB傳感器包括一個(gè)R像素、一個(gè)B像素以及兩個(gè)G像素。因此，圖4中的現(xiàn)有技術(shù)的RGB-IR傳感器的像素排列順序配置為下述方式：像素基本單元結(jié)構(gòu)201以等間距相等地重復(fù)。另一方面，圖5和圖6是示出根據(jù)本發(fā)明的實(shí)施例的RGB-IR傳感器的像素排列順序的示意圖。這就是說，RGB-IR傳感器具有如圖4所示的一個(gè)像素基本單元結(jié)構(gòu)201，而在圖5和圖6中，配置了至少兩個(gè)或更多個(gè)像素基本單元結(jié)構(gòu)202、203、204和205，并且特別地，用于優(yōu)先插值的IR像素并不維持在等間距。更具體而言，在圖5中，作為本發(fā)明的一個(gè)實(shí)施例，第一像素基本單元結(jié)構(gòu)202具有以從左上順時(shí)針R→G→B→IR順序的像素順序，而第二像素基本單元結(jié)構(gòu)203具有以從左上順時(shí)針I(yè)R→G→B→R順序的像素順序。因此，圖5示出了第一像素基本單元結(jié)構(gòu)202和第二像素基本單元結(jié)構(gòu)203在水平方向上重復(fù)排列的結(jié)構(gòu)。在這方面，從圖5的最終RGB-IR傳感器像素排列應(yīng)當(dāng)注意，不同地應(yīng)用了在特定IR像素中的鄰近IR像素的間隔。這就是說，至少一個(gè)或多個(gè)在位置上緊耦合的鄰近IR像素存在于要進(jìn)行插值的像素位置，從而其優(yōu)點(diǎn)在于插值信息的精度可以增加。例如，在如圖5所示排列的IR像素結(jié)構(gòu)中，將如下描述這樣的情況：上述插值方法應(yīng)用到特定IR像素211與鄰近IR像素212至217之間的鄰近像素區(qū)域(例如，附圖標(biāo)記221至228的像素)。這就是說，例如，如果要在像素221的位置對(duì)IR信號(hào)進(jìn)行插值，則使用鄰近IR像素的值。具體而言，如果在最短距離內(nèi)存在至少一個(gè)或多個(gè)緊耦合的IR像素，則應(yīng)當(dāng)注意到，獲得了更好的插值效率。根據(jù)上述示例，在用于插值的像素221的位置，在左側(cè)存在與像素221緊耦合的IR像素217，并且從IR像素217接收的IR信號(hào)可以用于插值。同樣，如果意圖在其他像素223、225和227的位置分別對(duì)IR信號(hào)進(jìn)行插值，則鄰近IR像素213、214和216每像素接收的IR信號(hào)可以用于插值。而且，在像素222的位置，如果意圖對(duì)IR信號(hào)進(jìn)行插值，則與像素222緊耦合的兩個(gè)鄰近IR像素211和212所接收的IR信號(hào)可以用于插值。同樣，在其他的像素226的位置，如果意圖對(duì)IR信號(hào)進(jìn)行插值，則與像素226緊耦合的兩個(gè)鄰近IR像素211和216所接收的IR信號(hào)可以用于插值。結(jié)果，根據(jù)圖5的RGB-IR傳感器排列，在用于優(yōu)先恢復(fù)的IR分量的插值期間，存在至少一個(gè)或更多個(gè)緊耦合的鄰近IR像素，從而可以更多地增加插值效率。在這方面，根據(jù)圖5的RGB-IR傳感器排列，可以根據(jù)設(shè)計(jì)者的選擇基于需要優(yōu)先恢復(fù)的分量(例如，IR分量)來排列像素。這就是說，全部的通道分量R、G、B、IR具有不同的間距。例如，應(yīng)當(dāng)注意到，在圖5的像素排列結(jié)構(gòu)中，IR分量和R分量以不同的間距排列，而G分量和B分量如同現(xiàn)有技術(shù)的圖4中所示的那樣以等間距排列。而且，在圖6中，作為本發(fā)明的另一個(gè)實(shí)施例，第三像素基本單元結(jié)構(gòu)204具有以從左上順時(shí)針R→IR→B→G順序的像素順序，而第四像素基本單元結(jié)構(gòu)205具有以從左上順時(shí)針R→B→IR→G順序的像素順序。因此，圖6示出了第三像素基本單元結(jié)構(gòu)204和第四像素基本單元結(jié)構(gòu)205在水平方向上重復(fù)排列的結(jié)構(gòu)。從圖6的最終RGB-IR傳感器像素排列應(yīng)當(dāng)注意，在特定IR像素中的鄰近IR像素的間隔被不同地應(yīng)用。這可以導(dǎo)致與圖5相同的插值效率。這就是說，至少一個(gè)或多個(gè)在位置上緊耦合的IR像素存在于要進(jìn)行插值的像素位置的最短距離內(nèi)，從而優(yōu)點(diǎn)在于插值信息的精度可以增加。在這方面，根據(jù)圖6的RGB-IR傳感器排列，應(yīng)當(dāng)注意到，在像素排列結(jié)構(gòu)中IR分量和B分量以不同的間距排列，而R分量和G分量如同圖4所示地以等間距排列。結(jié)果，從圖5和圖6注意到，取決于優(yōu)先恢復(fù)什么分量，可以做出彼此相似的或修改的各種RGB-IR像素排列。下文中，將參考圖7至圖11描述去除可能出現(xiàn)在RGB-IR傳感器中的干擾的控制光照的方法。圖7是示出根據(jù)本發(fā)明的實(shí)施例的控制RGB-IR傳感器的紅外光照的方法的圖。首先，圖7(c)示出了作為與本發(fā)明的實(shí)施例的比較的根據(jù)現(xiàn)有技術(shù)的一般的獲得可見光圖像C0至C5以及紅外線圖像I0至I5的示例。根據(jù)圖7(c)，在根據(jù)現(xiàn)有技術(shù)的獲得圖像的方法中，使用持續(xù)激活的紅外光照來獲得紅外圖像。因此，持續(xù)使用的紅外光照導(dǎo)致如上所述地影響可見光圖像的干擾。圖7(a)示出了根據(jù)本發(fā)明的控制紅外光照的方法的示例。參考圖7(a)，紅外測(cè)量時(shí)間段T2710和可見光測(cè)量時(shí)間段T1720在時(shí)間上彼此分開以控制紅外光照。這就是說，對(duì)于紅外測(cè)量時(shí)間段T2，使用RGB-IR傳感器的IR像素獲得紅外圖像i0、i1、i2、i3和i4。另一方面，對(duì)于可見光測(cè)量時(shí)間段T1，使用RGB-IR傳感器的RGB像素獲得可見光圖像c0、c1、c2、c3和c4。因此，測(cè)量時(shí)間段在時(shí)間上變化，以獲得適當(dāng)順序的紅外圖像i0至i4以及可見光圖像i0至i4，從而可以避免上述干擾。在這方面，盡管已經(jīng)示例性地描述了圖7(a)中的紅外測(cè)量時(shí)間段T2和可見光測(cè)量時(shí)間段T1對(duì)應(yīng)于相同時(shí)間段T1＝T2的控制光照的方法，但是顯然可以在測(cè)量時(shí)間段上做出各種修改。例如，考慮到環(huán)境光的亮度，紅外測(cè)量時(shí)間段T2和可見光測(cè)量時(shí)間段T1可以應(yīng)用為它們各自的時(shí)間段彼此不同。稍后將參考圖8和圖9對(duì)其進(jìn)行描述。而且，根據(jù)圖7(a)的控制光照的方法，其附帶的優(yōu)點(diǎn)在于：由于紅外光照僅僅在給定的紅外測(cè)量時(shí)間段T2激活，所以可以解決由根據(jù)現(xiàn)有技術(shù)的紅外光的持續(xù)激活導(dǎo)致的有關(guān)用戶視力下降的問題(其可以稱為“眼安全問題”)。圖7(b)示出了通過使用如圖7(a)所示的控制光照的方法中獲得的紅外圖像之間的差異來獲得高精度紅外圖像的方法。這就是說，圖7(b)示出了從在紅外光照被激活了紅外測(cè)量時(shí)間段T2的狀態(tài)下獲得的紅外圖像i0、i1、i2、i3和i4以及在紅外光照被停用了可見光測(cè)量時(shí)間段T1的狀態(tài)下獲得的紅外圖像d0、d1、d2、d3和d4獲得紅外差分圖像e0、e1、e2、e3和e4的方法。在這方面，在紅外光照被停用了可見光測(cè)量時(shí)間段T1的狀態(tài)下獲得的紅外圖像d0至d4指的是盡管紅外光照已被停用仍然從RGB-IR傳感器的IR像素獲得的紅外值獲得的圖像。因此，紅外圖像d0至d4可以被理解為無論紅外光照的激活如何而在對(duì)應(yīng)時(shí)間存在的噪聲值。因此，很有可能的是，甚至在紅外光照被激活了接近可見光測(cè)量時(shí)間段T1的紅外測(cè)量時(shí)間段T2的狀態(tài)下獲得的紅外圖像i0至i4中可以包括噪聲值。因此，使用從其去除了噪聲的紅外差分圖像e0至e4變?yōu)楂@得更高純度的紅外圖像的方法。例如，通過從第一紅外圖像i0減去第一噪聲紅外圖像d0，獲得第一紅外差分圖像e0。該過程被重復(fù)，從而可以等同地獲得其他紅外圖像e1至e4。這就是說，通過等式(e0＝i0–d0)、(e1＝i1–d1)、(e2＝i2–d2)、(e3＝i3–d3)和(e4＝i4–d4)，可以以適當(dāng)順序獲得紅外差分圖像e0至e4。在這方面，通過系統(tǒng)設(shè)計(jì)者的選擇可以自由確定是否將上述紅外圖像i0至i4或者紅外差分圖像e0至e4中的任意一個(gè)用作測(cè)量識(shí)別的目標(biāo)80的3D深度的信息。例如，如果需要簡(jiǎn)化系統(tǒng)，則可以使用在時(shí)間段T1獲得的紅外圖像i0至i4，但是如果需要復(fù)雜而高精度的系統(tǒng)，則可以使用紅外差分圖像e0至e4。圖8和圖9是示出根據(jù)本發(fā)明的實(shí)施例的在控制RGB-IR傳感器的紅外光照的方法中通過考慮環(huán)境光的亮度控制光照時(shí)間的方法的圖。在這方面，圖8是示出在控制RGB-IR傳感器的紅外光照的方法中環(huán)境光的亮度很暗的圖，圖9是示出在控制RGB-IR傳感器的紅外光照的方法中環(huán)境光幾乎不存在的圖。在這方面，如果環(huán)境光足夠亮，則可以使用圖7中的控制光照的方法。首先，將參考圖11描述基于環(huán)境光的亮度的可見光相機(jī)和紅外相機(jī)的圖像拍攝條件及其有關(guān)問題。為了解決上述干擾，可見光拍攝時(shí)間段(其可以對(duì)應(yīng)于例如上述“可見光測(cè)量時(shí)間段T2”)和紅外圖像拍攝時(shí)間段(其可以對(duì)應(yīng)于例如上述“紅外測(cè)量時(shí)間段T1”)可以經(jīng)受時(shí)間分割并與光照同步，從而可以去除干擾。然而，當(dāng)進(jìn)行同步時(shí)，可見光圖像拍攝和紅外圖像拍攝所需的相機(jī)特征是變化的。例如，如圖11所示，在可見光測(cè)量的情況下，如果環(huán)境光很亮，則短曝光、窄光圈口徑和低感光度是有利的，而如果環(huán)境光變暗(圖110)，則長曝光、寬光圈口徑和高感光度是有利的。另一方面，在紅外測(cè)量的情況下，相機(jī)的設(shè)置幾乎不受環(huán)境光影響(圖130)。然而，在紅外測(cè)量的情況下，當(dāng)環(huán)境光很亮?xí)r，需要更亮的光照以從環(huán)境光分辨出在環(huán)境光附近產(chǎn)生的紅外噪聲，而當(dāng)環(huán)境變暗時(shí)，可以使用暗光照(圖130)。當(dāng)使用一個(gè)相機(jī)設(shè)置值拍攝可見光和紅外線時(shí)，由于上述特征，可能出現(xiàn)低效的方面。主要的問題是圖像拍攝時(shí)間和圖像的噪聲水平。例如，如果使用用于可見光測(cè)量的設(shè)置來進(jìn)行測(cè)量，則在低光水平的情況(環(huán)境光很暗的情況)下需要長曝光時(shí)間，從而總的圖像拍攝時(shí)間變慢。而且，因?yàn)樾枰吒泄舛龋栽肼曀缴仙??？紤]上述環(huán)境光的亮度，圖8示出了當(dāng)環(huán)境光的亮度很暗時(shí)控制RGB-IR傳感器的紅外光照的方法，而圖9示出了當(dāng)環(huán)境光幾乎不存在時(shí)控制RGB-IR傳感器的紅外光照的方法。例如，當(dāng)環(huán)境光的亮度很暗時(shí)，如夜晚和暗處，優(yōu)選將可見光測(cè)量時(shí)間段T1810和紅外測(cè)量時(shí)間段T2820設(shè)定為這樣的方式，使得可見光測(cè)量時(shí)間段T1810比紅外測(cè)量時(shí)間段T2820更長(T1>T2)。因此，通過更長的曝光時(shí)間，在可見光測(cè)量時(shí)間段T1獲得的可見光圖像c0、c1、c2和c3可以獲得比常規(guī)情況更高的圖片質(zhì)量。而且，當(dāng)環(huán)境光的亮度很暗時(shí)，優(yōu)選的是控制在紅外測(cè)量時(shí)間段T2的產(chǎn)生的紅外光照，以維持比常規(guī)情況更低的輸出功率。而且，當(dāng)環(huán)境光幾乎不存在或可見光圖像拍攝作為特殊情況而被需要時(shí)，優(yōu)選的是可見光測(cè)量時(shí)間段T1維持在關(guān)閉狀態(tài)，而紅外測(cè)量時(shí)間段T2維持在打開狀態(tài)(T1＝關(guān)閉，T2＝打開)。因此，在紅外測(cè)量時(shí)間段T2的產(chǎn)生的紅外光照可以被控制為維持比常規(guī)情況更低的輸出功率，而且可以持續(xù)激活低輸出功率的紅外光照，從而可以在高速下進(jìn)行紅外圖像拍攝。圖10是示出根據(jù)本發(fā)明的實(shí)施例的控制RGB-IR傳感器的紅外光照的方法的流程圖。圖10所示的流程圖示出了根據(jù)環(huán)境光的亮度選擇圖7至圖9中的上述控制光照的方法中的任意一種的控制方法。首先，測(cè)量環(huán)境光L1的亮度(S110)。環(huán)境光的亮度可以通過設(shè)置在用于獲得3D圖像的裝置100或顯示裝置200的一側(cè)的分開的照明傳感器(未顯示)來分辨。替換地，可以使用之前的圖像拍攝統(tǒng)計(jì)數(shù)據(jù)。另外，環(huán)境光的亮度可以通過諸如考慮相比于日常日出/日落時(shí)間的當(dāng)前時(shí)間的各種方法來測(cè)量。環(huán)境光L1的測(cè)量的亮度為零(0)或與預(yù)定最小參考值Th1比較(S120)。作為步驟S120的比較結(jié)果，如果環(huán)境光L1小于最小參考值Th1(即，L1<Th1)，則使用與圖9相同或相似的光照控制模式C(S140)。這就是說，根據(jù)步驟S140的光照控制模式，可見光測(cè)量時(shí)間段T1維持在關(guān)閉狀態(tài)，而紅外測(cè)量時(shí)間段T2910持續(xù)維持在打開狀態(tài)，從而可以持續(xù)激活低輸出功率的紅外光照以便在高速下進(jìn)行紅外圖像拍攝。而且，作為步驟S120的比較結(jié)果，如果環(huán)境光L1高于最小參考值Th1(即，L1>Th1)，則將環(huán)境光L1與預(yù)定常規(guī)參考值Th2比較(S130)。作為步驟S130的比較結(jié)果，如果環(huán)境光L1小于常規(guī)參考值Th2(即，Th1<L1<Th2)，則使用與圖8相同或相似的光照控制模式B(S160)。這就是說，根據(jù)步驟S160的光照控制模式，將可見光測(cè)量時(shí)間段T1和紅外測(cè)量時(shí)間段T2設(shè)定為這樣的方式，使得可見光測(cè)量時(shí)間段T1比紅外測(cè)量時(shí)間段T2長(T1>T2)。因此，通過更長的曝光時(shí)間，在可見光測(cè)量時(shí)間段T1獲得的可見光圖像可以獲得比常規(guī)情況更高的圖片質(zhì)量。而且，當(dāng)環(huán)境光的亮度很暗時(shí)，優(yōu)選的是控制在紅外測(cè)量時(shí)間段T2的產(chǎn)生的紅外光照，以維持比常規(guī)情況更低的輸出功率。而且，作為步驟S130的比較結(jié)果，如果環(huán)境光L1高于常規(guī)參考值Th2(即，L1>Th2)，則使用與圖7相同或相似的光照控制模式A(S150)。這就是說，根據(jù)步驟S150的光照控制模式，將可見光測(cè)量時(shí)間段T1和紅外測(cè)量時(shí)間段T2設(shè)定為這樣的方式，使得可見光測(cè)量時(shí)間段T1與紅外測(cè)量時(shí)間段T2相同(T1＝T2)。而且，當(dāng)環(huán)境很亮?xí)r，對(duì)于可見光/紅外圖像拍攝使用彼此相同或相似的相機(jī)設(shè)置值，諸如曝光時(shí)間、感光度和光圈尺寸。然而，紅外光照被控制在高輸出功率，并且從光照停用時(shí)的紅外測(cè)量圖像(例如，圖7中的d0至d4)與光照激活時(shí)的紅外測(cè)量圖像(例如，圖7中的i0至i4)之間的關(guān)系獲得了高效率的紅外差分圖像(例如，圖7中的e0至e4)，從而獲得的紅外差分圖像可以用于3D測(cè)量計(jì)算。這就是說，根據(jù)本發(fā)明的實(shí)施例，應(yīng)當(dāng)注意到，系統(tǒng)可以根據(jù)環(huán)境光的亮度而適應(yīng)性地自動(dòng)變化光照控制模式。而且，顯然通過用戶的手動(dòng)操縱可以確定光照控制模式。因此，甚至在任何環(huán)境光條件下都可以穩(wěn)定獲得3D圖像。對(duì)于本領(lǐng)域技術(shù)人員顯然的是，本發(fā)明可以以其他特定形式實(shí)施，而不偏離本發(fā)明的精神和必要特征。從而，在所有方面，上述實(shí)施例應(yīng)當(dāng)被認(rèn)為是示意性的而非限制性的。本發(fā)明的范圍應(yīng)當(dāng)由所附權(quán)利要求的合理解釋確定，而且本發(fā)明的等同范圍內(nèi)的全部改變被包括在本發(fā)明的范圍中。實(shí)現(xiàn)本發(fā)明的模式如上所述，已經(jīng)以實(shí)現(xiàn)本發(fā)明的最佳模式描述了相關(guān)內(nèi)容。工業(yè)適用性如上所述，本發(fā)明可以應(yīng)用到需要3D圖像獲取的各種領(lǐng)域。例如，本發(fā)明可以應(yīng)用到通過用戶的姿勢(shì)識(shí)別來識(shí)別動(dòng)作信號(hào)的3D游戲機(jī)或基于用戶姿勢(shì)的各種遠(yuǎn)程控制器。