本領(lǐng)域的技術(shù)人員應(yīng)清楚，第一傳感器單元和第二傳感器單元(11和13)不限于CCD傳感器或CMOS傳感器，并且能夠執(zhí)行其類似功能的任何其他裝置可以用于第一傳感器單元和第二傳感器單元(11和13)。
[0036]在本公開的示例性實施例中，出于方便的緣故，在下文中針對下述情況提供說明:在該情況中，第一傳感器單元(11)獲得的圖像是左圖像，而第二傳感器單元(13)獲得的圖像是右圖像。然而，本公開不限于此。
[0037]IR發(fā)射單元(12)可以包括單個IR裝置或多個IR裝置，并且向目標發(fā)射IR。盡管在本公開的示例性實施例中IR發(fā)射裝置(12)可以包括IR裝置諸如LD (激光二極管)或LED (發(fā)光二極管)，但是IR裝置不限于此，并且應(yīng)清楚未排除能夠向目標發(fā)射IR的IR裝置的應(yīng)用。
[0038]盡管本公開的示例性實施例說明和示出了一個IR發(fā)射單元(12)，但是本公開不限于此。也就是說，隨著IR發(fā)射單元(12)的數(shù)量的增加，輸出也增加，這意味著IR發(fā)射單元(12)的數(shù)量的增加可以帶來在低亮度級別下能夠進行識別的IR識別范圍的增加并且還使其增加到遠程距離，以使得可以根據(jù)適當?shù)淖R別距離來確定IR發(fā)射單元(12)的數(shù)量。
[0039]同時，包括LD的IR發(fā)射單元(12)具有準直能力(straightability)，根據(jù)本公開的第一示例性實施例的圖像處理系統(tǒng)還可以包括布置在IR發(fā)射單元(12)的前端的硬件分光器，以使從IR發(fā)射單元(12)發(fā)射的IR以預(yù)定模式分散。
[0040]根據(jù)本公開的第一示例性實施例的第一傳感器單元和第二傳感器單元(11和13)可以同時獲得RGB圖像和通過從IR發(fā)射單元(12)發(fā)射的IR生成的IR圖像。
[0041]圖1的深度圖像生成單元⑵包括同步單元(21)、IR內(nèi)插單元(28)、對準單元
(22)和生成單元(23)ο
[0042]同步單元(21)可以從第一傳感器單元和第二傳感器單元(11和13)接收左RGB圖像和右RGB圖像以及IR圖像。同步單元(21)可以執(zhí)行所接收的左圖像和右圖像的同步。在本公開的示例性實施例中，術(shù)語同步意味著接收左圖像和右圖像的時間的相等對準。也就是說，同步單元(21)執(zhí)行在相等的時間內(nèi)接收左圖像和右圖像的對準。
[0043]同步單元(21)可以將同步的左圖像和右圖像之外的IR圖像傳送到IR內(nèi)插單元
(28)，并且將RGB圖像傳送到彩色圖像生成單元(4)的RGB內(nèi)插單元(41)，由此由每個內(nèi)插單元(28和41)對圖像進行內(nèi)插，并且同步單元(21)可以在其后端處包括分發(fā)單元(未視出)，由此分發(fā)單元可以將相關(guān)的RGB圖像和IR圖像分發(fā)給每個內(nèi)插單元(41和28)。
[0044]RGB內(nèi)插單元(41)可以從同步單元(21)接收RGB圖像，并且對RGB圖像進行內(nèi)插，而IR內(nèi)插單元(44)可以從同步單元(23)接收IR圖像，并且對IR圖像進行內(nèi)插。術(shù)語內(nèi)插通常意味著對周圍像素求平均以生成新像素，并且可以包括各種內(nèi)插方法，內(nèi)插的細節(jié)是本領(lǐng)域技術(shù)人員所公知的，因此在下文中予以省略。
[0045]盡管本公開的示例性實施例說明同步單元(21)將IR圖像傳送到IR內(nèi)插單元
(28)，而IR內(nèi)插單元(28)對IR圖像進行內(nèi)插，并且將RGB圖像傳送到彩色圖像生成單元
(4)的RGB內(nèi)插單元(41)，其中RGB內(nèi)插單元(41)對RGB圖像進行內(nèi)插，但是在第一傳感器單元和第二傳感器單元(11和13)執(zhí)行內(nèi)插的情況下，可以不單獨地包括RGB內(nèi)插單元
(41)和IR內(nèi)插單元(28)，在該情況下，可以將由第一傳感器單元和第二傳感器單元(11和13)內(nèi)插的圖像傳送到同步單元(21)，并且同步單元(21)可以直接地將內(nèi)插完成的RGB圖像和IR圖像直接分別地傳送到合成單元(42)和對準單元(22)。
[0046]對準單元(22)可以執(zhí)行校準，以使得輸入的左IR圖像和右IR圖像對準。在對準單元(22)的對準處理中，編碼器單元(3)可以從相機單元(I)的第一傳感器單元和第二傳感器單元(11和13)接收校準數(shù)據(jù)，將校準數(shù)據(jù)變換成對準參數(shù)并且傳送到對準單元(22)。對準單元(22)可以使用從編碼器單元(3)接收的對準參數(shù)來執(zhí)行對輸入圖像的校準。
[0047]生成單元(23)可以使用對準的左圖像和右圖像來生成深度圖像。通過生成單元
(23)生成深度圖像的方法可以使用立體匹配方法，但是本公開不限于此，而是可以采用其他各種深度圖像生成方法。
[0048]同時，根據(jù)圖1的本公開的第一示例性實施例的彩色圖像生成單元⑷可以包括RGB內(nèi)插單元(41)、合成單元(42)和會聚角控制器(43)。以上說明了 RGB內(nèi)插單元(41)的功能。
[0049]合成單元(42)可以以3D格式對左RGB圖像和右RGB圖像進行合成。合成方法已知包括并排方法和上下方法。在下文中，由合成單元(42)合成的圖像被稱為“彩色圖像”。
[0050]會聚角控制器(43)可以控制由合成單元(42)合成的彩色圖像的會聚角，以使得3D圖像的聚焦可以實現(xiàn)3D效果，而不搖擺或振蕩。合成單元(42)和會聚角控制器(43)的功能是本領(lǐng)域所公知的，因此在下文中將不提供更詳細的說明。
[0051]現(xiàn)在，將描述根據(jù)本公開的第一示例性實施例的圖像處理系統(tǒng)的操作。
[0052]在根據(jù)本公開的第一示例性實施例的圖像處理系統(tǒng)中，IR發(fā)射單元(12)總是處于打開狀態(tài)，并且向目標發(fā)射IR，而第一傳感器單元和第二傳感器單元(11和13)分別獲得RGB圖像以及IR圖像。
[0053]此后，同步單元(21)可以執(zhí)行左RGB圖像與右RGB圖像以及IR圖像的同步，并且將執(zhí)行的IR圖像傳送到IR內(nèi)插單元(28)以及將RGB圖像傳送到RGB內(nèi)插單元(41)。為此，可以將被配置成分發(fā)RGB圖像和IR圖像的分發(fā)單元布置在同步單元(21)的后端處，以上已說明了該配置。
[0054]IR內(nèi)插單元(28)對傳送的IR圖像執(zhí)行內(nèi)插，并且將內(nèi)插的IR圖像輸出到對準單元(22)。對準單元(22)可以對左圖像和右圖像(其為IR圖像)進行對準，生成單元(23)可以根據(jù)對準的左圖像和右圖像生成深度圖像。
[0055]同時，從同步單元(21)傳送到RGB內(nèi)插單元(41)的RGB圖像可以由RGB內(nèi)插單元(41)內(nèi)插，其中，內(nèi)插的圖像被提供給合成單元(42)，以成為彩色圖像，而會聚角控制器
(43)控制會聚角，由此彩色圖像可以被輸出?？梢詫⑤敵龅牟噬珗D像連同為生成單元(23)的輸出的深度圖像提供給編碼器單元(3)。
[0056]盡管本公開的第一示例性實施例說明了通過將IR圖像提供給深度圖像生成單元
(2)來生成深度圖像，但是可以通過同時提供RGB圖像和IR圖像來生成深度圖像。
[0057]根據(jù)本公開的第一示例性實施例，IR發(fā)射單元(12)發(fā)射IR，第一傳感器單元和第二傳感器單元(11和13)獲得RGB圖像以及IR圖像以使用獲得的RGB圖像和IR圖像來生成深度圖像和彩色圖像，由此，即使在低亮度級別下也可以提取精確的深度圖像，并且可以執(zhí)行精確的3D圖像處理。
[0058]本發(fā)明的方式
[0059]圖2是示出了根據(jù)本公開的第二示例性實施例的圖像處理系統(tǒng)的框圖。
[0060]參照圖2，根據(jù)本公開的第二示例性實施例的圖像處理系統(tǒng)可以包括相機單元
(1)、深度圖像生成單元(2)以及彩色圖像生成單元(4)，其中，可以將從深度圖像生成單元
(2)提取的立體圖像的深度圖像和從彩色圖像生成單元(4)輸出的彩色圖像提供給編碼器單元⑶。
[0061]根據(jù)本公開的第二示例性實施例的相機單元⑴可以包括第一傳感器單元(11)、IR發(fā)射單元(12)、光接收單元(14)和第二傳感器單元(13)。深度圖像生成單元(2)可以包括同步單元(21)、IR內(nèi)插單元(28)、復用器(multiplexer) (29，MUX)、對準單元(22)、生成單元(23)、控制器(24)和開關(guān)單元(25)。此外，彩色圖像生成單元(4)可以包括RGB內(nèi)插單元(41)、合成單元(42)和會聚角控制器(43)。
[0062]本公開的第二示例性實施例與本公開的第一示例性實施例不同之處在于相機單元(I)的光接收單元(14)以及深度圖像生成單元(2)的控制器(