專利名稱：圖像深度信息和圖像像素信息的獲取方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息采集和處理技術(shù)，特別涉及一種圖像深度信息獲取方 法、 一種圖像像素信息獲取方法、 一種圖像深度信息獲取裝置、 一種圖像像 素信息獲取裝置。
背景技術(shù)：
媒體發(fā)展經(jīng)歷了音頻、圖像、視頻三個階段。但隨著圖像顯示技術(shù)的飛速 發(fā)展，人們已經(jīng)不再滿足于僅僅能重現(xiàn)信息的視頻階段。因此，出現(xiàn)了作為第 四代々某體的表示物體空間位置的三維信息，通常包括二維平面位置信息和深度 信息，且三維信息的需求將會越來越廣泛?，F(xiàn)有技術(shù)中，如果需要實(shí)際采集獲取到真實(shí)的深度信息，可以通過一種基于雙目視覺的三維照相機(jī)來實(shí)現(xiàn)。該三維照相機(jī)具有兩個攝像頭活動攝像頭 和固定攝像頭，通過調(diào)節(jié)活動攝像頭來獲得不同視差的兩幅圖像，識別并匹配 活動攝像頭和固定攝像頭獲得的圖像的像素點(diǎn)，結(jié)合兩個攝像頭的已知參數(shù)， 然后用后處理的方法計(jì)算出深度信息。 但這種三維照相機(jī)具有如下缺陷1、 僅僅是從兩個平行視點(diǎn)分別記錄了兩個視場，而該三維照相機(jī)內(nèi)部不具 有信息處理功能，還需要經(jīng)過對該照相機(jī)獲取的信息進(jìn)行后續(xù)處理才能得到深 度信息；2、 在后續(xù)處理過程中，通常需要先對所有像素點(diǎn)進(jìn)行匹配，計(jì)算量大且實(shí) 現(xiàn)難度大；而且，如果固定攝像頭與活動攝像頭的拍攝方向不平行，即具有一 定的夾角，則在計(jì)算深度信息的過程中還需考慮該夾角，進(jìn)一步增加了匹配過 程中的計(jì)算量；3、 結(jié)構(gòu)上與現(xiàn)有的普通照相機(jī)相差較大，制造工藝實(shí)現(xiàn)困難較大；4、 由于照相機(jī)的成本主要集中在光學(xué)鏡頭上，而這種三維照相機(jī)具有兩個 攝像頭，使得相比于普通照相機(jī)需要很高的成本。可見，現(xiàn)有的照相機(jī)無法直接獲取深度信息，且間接獲取深度信息的計(jì)算 量較大、實(shí)現(xiàn)難度也較大、成本非常高。發(fā)明內(nèi)容有鑒于此，本發(fā)明實(shí)施例提供一種圖像深度信息獲取方法和裝置，能夠 直接獲取深度信息且減小獲取深度信息的計(jì)算量和難度。本發(fā)明實(shí)施例還提供一種圖像像素信息獲取方法和裝置，能夠直接獲取 包括了深度信息的像素信息，且減小獲取深度信息的計(jì)算量和難度。本發(fā)明實(shí)施例提供的 一種圖像深度信息獲取方法，包括根據(jù)預(yù)先設(shè)定的特征規(guī)則，從主成像和參考成像的像素點(diǎn)中抽取特征 點(diǎn)，其中，主成像和參考成像是在同一光軸上通過不同焦距成像得到的；匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)，得到特征點(diǎn)對；根據(jù)匹配得到的每一對特征點(diǎn)的像素坐標(biāo)信息，確定主成像中每一個像 素點(diǎn)對應(yīng)的深度信息。本發(fā)明實(shí)施例提供的一種圖像像素信息獲取方法，包括根據(jù)預(yù)先設(shè)定的特征規(guī)則，從主成像和參考成像的像素點(diǎn)中抽取特征 點(diǎn)，其中，主成像和參考成像是在同一光軸上通過不同焦距成像得到的；匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)，得到特征點(diǎn)對；根據(jù)匹配得到的每一對特征點(diǎn)的像素坐標(biāo)信息，確定主成像中每一個像 素點(diǎn)對應(yīng)的深度信息，并確定主成像中每一個像素點(diǎn)對應(yīng)的二維平面位置信 息，確定主成像中每個像素點(diǎn)的紋理信息；將每個像素點(diǎn)的深度信息、二維平面位置信息和紋理信息合并，作為像素信息。本發(fā)明實(shí)施例提供的一種圖像深度信息獲取裝置，包括特征抽取單元、 特征匹配單元和信息計(jì)算單元，所述特征抽取單元，接收在同 一光軸上通過不同焦距成像得到的主成像和參考成像；根據(jù)內(nèi)部存儲的預(yù)設(shè)特征規(guī)則，從主成像和參考成像的像素點(diǎn) 中抽取特征點(diǎn)，并將抽取的特征點(diǎn)輸出給特征匹配單元；所述特征匹配單元，匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特 征點(diǎn)，得到特征點(diǎn)對；將得到的每對特征點(diǎn)輸出給信息計(jì)算單元；所述信息計(jì)算單元，根據(jù)每一對特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成 像中每一個像素點(diǎn)對應(yīng)的深度信息。本發(fā)明實(shí)施例提供的一種圖像像素信息獲取裝置，包括特征抽取單元、 特征匹配單元、信息計(jì)算單元和信息合并單元；所述特征抽取單元，接收在同 一光軸上通過不同焦距成像得到的主成像 和參考成像；根據(jù)內(nèi)部存儲的預(yù)設(shè)特征規(guī)則，從主成像和參考成像的像素點(diǎn) 中抽取特征點(diǎn)，并將抽取的特征點(diǎn)輸出給特征匹配單元；所述特征匹配單元，匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特 征點(diǎn)，得到特征點(diǎn)對；將得到的每對特征點(diǎn)輸出給信息計(jì)算單元；所述信息計(jì)算單元，根據(jù)每一對特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成 像中每一個像素點(diǎn)對應(yīng)的深度信息，將計(jì)算得到的深度信息輸出給信息合并單元；所述信息合并單元，提取出每個像素點(diǎn)的紋理信息，將提取的每個像素 點(diǎn)的紋理信息與對應(yīng)的深度信息和二維平面位置信息合并，并存儲合并后的 信息。由上述技術(shù)方案可見，本實(shí)施例的技術(shù)方案具有如下有益效果 將在同 一光軸上進(jìn)行兩次不同聚焦成像得到的主成像和參考成像進(jìn)行 匹配，并根據(jù)匹配后的每一對像素點(diǎn)的像素坐標(biāo)信息，直接獲取了主成像中 每個位置的深度信息，而不需要后續(xù)處理；而且，在匹配過程中，抽取主成像和參考成像中的特征點(diǎn)，并將抽取的特征點(diǎn)進(jìn)行匹配，還減小了計(jì)算量和難度，并保證了匹配的精度；能夠根據(jù)獲取的深度信息獲得完整的三維信息， 并能夠?qū)⑷S信息與紋理信息合并，得到完整的像素信息，以便于恢復(fù)真實(shí) 的三維場景，具有較高的實(shí)用性。


圖1為本發(fā)明實(shí)施例中圖像深度信息獲取裝置的示例性結(jié)構(gòu)圖。圖2為本發(fā)明實(shí)施例中圖像深度信息獲取方法的示例性流程圖。圖3a和3b為本發(fā)明實(shí)施例中的成像示意圖。圖4為本發(fā)明實(shí)施例中的平面極坐標(biāo)系的示意圖。圖5a和5b為本發(fā)明實(shí)施例中圖像深度信息獲取裝置的結(jié)構(gòu)圖。圖6為本發(fā)明實(shí)施例中圖像深度信息獲取方法的流程圖。
具體實(shí)施方式
以下參照附圖并舉實(shí)施例，對本發(fā)明實(shí)施例進(jìn)一 步詳細(xì)說明。本發(fā)明的實(shí)施例將在同 一光軸上進(jìn)行兩次不同聚焦成像得到的大焦距成像和小焦距成像進(jìn)行匹配，即匹配大焦距成像中每一像素點(diǎn)與小焦距成像中的對應(yīng)像素點(diǎn)，然后根據(jù)匹配得到的每一對像素點(diǎn)的像素坐標(biāo)信息，獲取每個位置像素點(diǎn)的深度信息。其中，可選擇大焦距成像或小焦距成像作為主成像，而將另一個成像作為參考成像。圖1為本發(fā)明實(shí)施例中圖像深度信息獲取裝置的示例性結(jié)構(gòu)圖。如圖1 所示，本發(fā)明實(shí)施例中的圖像深度信息獲取裝置包括特征抽取單元、特征 匹配單元和信息計(jì)算單元。特征抽取單元，接收外界通過不同焦距成像得到的主成像和參考成像； 根據(jù)內(nèi)部存儲的預(yù)設(shè)特征規(guī)則，從主成像和參考成像的所有像素點(diǎn)中抽取特 征點(diǎn)，并將抽取的特征點(diǎn)輸出給特征匹配單元。其中，特征點(diǎn)是指圖像中符合預(yù)設(shè)的特征規(guī)則的像素點(diǎn)。例如，某一像 素點(diǎn)相對于其周圍的像素點(diǎn)，銳度值達(dá)到預(yù)設(shè)的閾值，則該像素點(diǎn)即可被確定 為特征點(diǎn)。特征規(guī)則可以為坎尼(Canny)邊檢測算法、哈里斯(Harrys)角 檢測算法等任意一種特征規(guī)則。特征匹配單元，沖艮據(jù)主成像中的特征點(diǎn)與參考成像中的特征點(diǎn)的匹配程 度，匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)，得到與主成像 中特征點(diǎn)數(shù)量相等的特征點(diǎn)對；將得到的每對特征點(diǎn)輸出給信息計(jì)算單元。其中，匹配程度可以通過像素點(diǎn)的亮度差和/或平滑度等參數(shù)來確定。信息計(jì)算單元，根據(jù)每一對特征點(diǎn)的像素坐標(biāo)信息，確定主成像中每一 個像素點(diǎn)對應(yīng)的深度信息。上述裝置中，特征抽取單元接收到的主成像和參考成像可以通過兩次拍 攝得到，但兩次拍攝基于同一光軸。特征抽取單元還可以將主成像和參考成 像中抽取后剩余的像素點(diǎn)作為非特征點(diǎn)輸出給特征匹配單元，由特征匹配單 元對非特征點(diǎn)進(jìn)行匹配，并輸出給信息計(jì)算單元；信息計(jì)算單元分別根據(jù)匹 配得到的每一對特征點(diǎn)和每一對非特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成像 中每一個特征點(diǎn)和非特征點(diǎn)對應(yīng)的深度信息。這樣，就獲取了成像中所有像素點(diǎn)的深度信息。或者由信息計(jì)算單元可以根據(jù)特征點(diǎn)的像素信息計(jì)算每一 個特征點(diǎn)對應(yīng)的深度信息，并根據(jù)特征點(diǎn)的深度信息估計(jì)出非特征點(diǎn)的深度信息，也可以實(shí)現(xiàn)對所有像素點(diǎn)的深度信息的獲取。如果在如圖l所示的裝置基礎(chǔ)上，再增加一個信息合并單元，接收并存儲信息計(jì)算單元輸出的深度信息；提取出每個像素點(diǎn)的紋理信息，將提取的 每個像素點(diǎn)的紋理信息與對應(yīng)的深度信息和二維平面位置信息合并，得到主 成像中每一個像素點(diǎn)的像素信息。這樣就構(gòu)成了本實(shí)施例中的圖像像素信息獲取裝置。圖2為本發(fā)明實(shí)施例中圖像深度信息獲取方法的示例性流程圖。如圖2 所示，本發(fā)明實(shí)施例中的圖像深度信息獲取方法包括以下步驟步驟201,從通過不同焦距成像得到的主成像和參考成像的所有像素點(diǎn)中，根據(jù)預(yù)先設(shè)定的特征規(guī)則抽取特征點(diǎn)。步驟202,根據(jù)主成像中的特征點(diǎn)與參考成像中的特征點(diǎn)的匹配程度，匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)，得到與主成像中特 征點(diǎn)數(shù)量相等的特征點(diǎn)對。兩次成像的光照等條件不可能完全一樣，而且由于成像是由多個離散的 像素點(diǎn)構(gòu)成的，從主成像中抽取的特征點(diǎn)很有可能對應(yīng)在參考成像中的兩個 特征點(diǎn)之間，因此，特征點(diǎn)匹配是找出匹配程度最大的對應(yīng)特征點(diǎn)。本步驟的同時或之后，還可以將抽取后剩余的像素點(diǎn)作為非特征點(diǎn)，并 4姿照相同的或其他任意方式進(jìn)行匹配。步驟203,根據(jù)匹配得到的每一對特征點(diǎn)的像素坐標(biāo)信息，確定主成像 中每一 個像素點(diǎn)對應(yīng)的深度信息。本步驟中，如果在本步驟之前進(jìn)行了非特征點(diǎn)的匹配，則可以根據(jù)匹配 得到的每一對非特征點(diǎn)的像素坐標(biāo)信息，這樣，得到主成像中每一個非特征 點(diǎn)對應(yīng)的深度信息，即可確定所有像素點(diǎn)的深度信息；如果本步驟之前不進(jìn) 行非特征點(diǎn)的匹配，還可以根據(jù)特征點(diǎn)的像素信息計(jì)算每一個特征點(diǎn)對應(yīng)的 深度信息，并根據(jù)特征點(diǎn)的深度信息估計(jì)出每一個非特征點(diǎn)對應(yīng)的深度信 息，也可以確定所有像素點(diǎn)的深度信息。上述流程中，主成像和參考成像可以是通過兩次拍攝得到的，例如可以 在第一次拍攝得到主成像后立即調(diào)整焦距，并在同一光軸上再次拍攝得到參 考成像；也可以不對非特征點(diǎn)進(jìn)行匹配，而是根據(jù)特征點(diǎn)的深度信息估計(jì)出 非特征點(diǎn)的深度信息，例如采用插值運(yùn)算等方法。在上述流程中步驟203之前、同時或之后，確定主成像中每一個像素點(diǎn) 對應(yīng)的二維平面位置信息，確定主成像中每個像素點(diǎn)的紋理信息，然后再將每個像素點(diǎn)的深度信息、二維平面位置信息和紋理信息合并，作為像素信息， 即實(shí)現(xiàn)了包括了深度信息的像素信息獲取，即構(gòu)成了本實(shí)施例中的圖像像素 信息獲取方法。將大焦距成像作為主成像，將小焦距成像作為參考成像時，匹配特征點(diǎn)的過程是根據(jù)低分辨率圖像中的像素點(diǎn)在高分辨率圖像中尋找匹配的像素 點(diǎn)，因而，相對于小焦距成像作為主成像、大焦距成像作為參考成像的情況， 匹配精度及后續(xù)得到的深度信息的精度會較高。以下以大焦距成像作為主成 像、小焦距成像作為參考成像為例進(jìn)行說明。圖3a和3b為本發(fā)明實(shí)施例中的成像示意圖。如圖3a和3b所示，本實(shí) 施例中通過兩次成像得到主成像和參考成像，在穿過拍攝鏡頭所構(gòu)成的圓柱 面軸心的某一截面內(nèi)，主成像中某個像素點(diǎn)M1 (特征點(diǎn)或非特征點(diǎn))的像 素坐標(biāo)信息可以表示為(-f\， r,)，參考成像中對應(yīng)的像素點(diǎn)M2的像素坐 標(biāo)信息可以表示為(Zo-f2， r2)。其中，f,和f2分別為主成像和參考成像的成像焦距；r,和r2分別為主成 像中的像素點(diǎn)Ml和參考成像中的像素點(diǎn)M2到光軸的距離，也可以表示為 極坐標(biāo)中的極徑p; zo為兩次成像的相機(jī)光學(xué)中心的距離，即針孔l與針孔 2的距離。fi和q具有如下關(guān)系f-貴 公式i f2和f2具有如下關(guān)系l = i 公式2Z - z0 /2其中，Z為深度信息、R表示為極坐標(biāo)的二維平面位置信息；R、 Z以 及如圖3a或3b所示的平面與水平面或垂直面的夾角，可表示Ml和M2對 應(yīng)的空間點(diǎn)M所處的位置。因此，&和&、 r,和f2、 Zo均可通過常用手段檢測或者計(jì)算得到，例如 r!和r2可以通過計(jì)算像素點(diǎn)在成像中相對于成像中心的橫向距離與縱向距離 的平方和的開方運(yùn)算結(jié)果來獲得。兩次成像可以分別通過兩個感光元件來實(shí)現(xiàn)，也可以通過一個帶有緩存 的感光元件來實(shí)現(xiàn)。如杲主成像和參考成像分別通過兩個感光元件來實(shí)現(xiàn)，則兩個感光元件可以處于不同位置，即如圖3a所示的與光軸垂直的實(shí)線和虛線，也可以處于相同位置，即重疊于如圖3b所示的與光軸垂直的實(shí)線。如果主成像和參考成像通過一個帶緩存的感光元件實(shí)現(xiàn)，即如圖3b所示的與光軸垂直的實(shí)線，則此時的zo可表示為z。=/2-/i 公式3 本實(shí)施例中，可以根據(jù)公式1和公式2得到每一個像素點(diǎn)對應(yīng)的深度信息的計(jì)算過程，該過程可表示為<formula>formula see original document page 16</formula>
其中，Z表示像素點(diǎn)的深度信息；f,和&分別為主成像和參考成像的成 像焦距；r,和r2分別為主成像中的像素點(diǎn)和參考成像中的像素點(diǎn)到光軸的距 離；zo為兩次成像的相機(jī)光學(xué)中心的距離，即針孔1與針孔2的距離。本實(shí)施例中，在獲取深度信息的同時，還可以計(jì)算出表示為極坐標(biāo)的二 維平面位置信息，該計(jì)算過程可以表示為W = Zo_!i^_ 公式5其中，R表示該像素點(diǎn)與光軸之間的距離。如果兩次成像的相機(jī)光學(xué)中心的距離zo滿足條件zQ=/2-乂，則上述 計(jì)算深度信息的公式4還可以表示為<formula>formula see original document page 16</formula>基于上述情況，在獲取深度信息的同時，計(jì)算表示為極坐標(biāo)的二維平面 位置信息的過程可以表示為<formula>formula see original document page 16</formula>如果在計(jì)算過程中，依次按照位于不同極角的像素點(diǎn)的z和R,則使得極角e為已知量，則z、 R和e的組合即可表示一個像素點(diǎn)的空間位置，即表示物體空間位置的完整三維信息。也可以由已知的每個像素點(diǎn)在圖像中的
位置坐標(biāo)，即x和y,與Z組合為完整的三維信息。
這樣，在如圖3b所示的情況下確定zo的計(jì)算過程，相對于如圖3a所示 的情況下要簡單，同時也簡化了獲取深度信息的處理過程。
對于本實(shí)施例中如圖1所示的圖像深度信息獲取裝置，像素坐標(biāo)信息中 的焦距可以被預(yù)先存儲在一個功能單元中，也可以由外部輸入；而像素點(diǎn)到 光軸的距離可以由任意一個功能單元根據(jù)每個像素點(diǎn)在成像中所處的位置 來確定；兩次成像的相機(jī)光學(xué)中心的距離可以預(yù)先存儲在一個功能單元中， 也可以計(jì)算獲得，還可以由外部輸入。同理，對于如圖2所示的圖像深度信 息獲取方法，也可以采用類似的原理獲取像素坐標(biāo)信息。
本實(shí)施例中，為了減少處理過程中的計(jì)算量和復(fù)雜程度，在進(jìn)行特征點(diǎn) 和非特征點(diǎn)的匹配時，可以依據(jù)各點(diǎn)在成像中對應(yīng)的極坐標(biāo)或直角坐標(biāo)進(jìn)行 匹配。
圖4為本發(fā)明實(shí)施例中的平面極坐標(biāo)系的示意圖。如圖4所示，以依據(jù) 各像素點(diǎn)在成像中對應(yīng)的極坐標(biāo)進(jìn)行匹配為例，左圖為主成像，右圖為參考 成像。由于成像中心始終對應(yīng)于相機(jī)光軸，而兩次成像的光軸并沒發(fā)生變化， 所以兩次成像得到的主成像和參考成像的中心就是相互對應(yīng)的像素點(diǎn)。以成 像中心為極點(diǎn)，分別在主成像和參考成像向右方向的水平軸為極軸建立平面 極坐標(biāo)系。如圖4所示的左右兩圖中的像素點(diǎn)至少存在以下規(guī)律
A、 主成像中的像素點(diǎn)與其在參考成像中對應(yīng)的像素點(diǎn)的極角相等；
B、 由于主成像的焦距大于參考成像的焦距，因此，主成像中的像素點(diǎn) 極徑p大于在參考成像中對應(yīng)的像素點(diǎn)的極徑p，；
C、 主成像極角相同的兩個像素點(diǎn)n ( n為正整數(shù))和n-l，如果有極徑 p n>p (n-l)，則它們在參考成像中對應(yīng)的像素點(diǎn)n，和(n-l)，,有p n' >p
(n-l)，。其中，pn為在當(dāng)前極角上的第n個特征點(diǎn)對應(yīng)于主成像的極徑； p(n-l)，和pn，分別為在當(dāng)前極角上的第n-l個和第n個特征點(diǎn)對應(yīng)于參
考成像的極徑。因此，如果只考慮主成像中極角為6的像素點(diǎn)，則從主成像中心向外的第n個像素點(diǎn)，即像素點(diǎn)n的極徑為pn,在參考成像中與像素點(diǎn)n對應(yīng)的 像素點(diǎn)n'的極角也為e,但其極徑pn，具有如下限制p (n-l)， < p n， < pm，，其中，pm，等于pn。即像素點(diǎn)n，必定在像素點(diǎn)(n-l)，與像素 點(diǎn)m'所連接的線段上。這樣，在匹配特征點(diǎn)或非特征點(diǎn)時，只需在如上所述的限定范圍內(nèi)進(jìn)行 匹配即可，而無需進(jìn)行所有特征點(diǎn)或非特征點(diǎn)的匹配運(yùn)算。以上是對本發(fā)明實(shí)施例中的圖像深度信息獲取裝置和方法的總體說明， 下面，對本發(fā)明實(shí)施例中的圖像深度信息獲取裝置和方法進(jìn)行詳細(xì)說明。圖5a和5b為本發(fā)明實(shí)施例中圖像深度信息獲取裝置的結(jié)構(gòu)圖。如圖 5a所示，以主成像和參考成像通過一個帶緩存的感光元件實(shí)現(xiàn)為例，本實(shí)施 例中的圖像深度信息獲取裝置1包括輸入單元、成像單元、緩存單元、采 集控制單元、特征抽取單元、特征匹配單元和信息計(jì)算單元。輸入單元，可以為帶焦距調(diào)整結(jié)構(gòu)的任意一種光學(xué)鏡頭，在采集控制單 元的控制下進(jìn)行焦距調(diào)整，并將光信號投影到成像單元。成像單元，將接收到的光信號轉(zhuǎn)換為圖像信號，即主成像和參考成像； 在采集控制單元的控制下，將主成像輸出給緩存單元，將參考成像輸出給特 征抽取單元。緩存單元，接收并存儲成像單元輸出的主成像，并在采集控制單元的控 制下輸出給特征抽取單元。實(shí)際應(yīng)用中，任意一種具有緩存的感光元件均可以實(shí)現(xiàn)成像單元和緩存 單元的組合，例如具有緩存的電荷耦合器件(Charged Coupled Device, CCD) 或互4卜'f生氧4b金屬半導(dǎo)體(Complementary Metal-Oxide Semiconductor ， CMOS)。采集控制單元，向輸入單元輸出焦距調(diào)整信號，當(dāng)輸出的焦距調(diào)整信號 為縮小焦距時，即表示需要獲取參考成像，向成像單元輸出緩存信號，控制 成像單元將得到的主成像輸出給緩存單元；當(dāng)輸出的焦距調(diào)整信號為放大焦距時，即表示需要獲取主成像，向成像單元和緩存單元輸出控制信號，控制 成像單元將得到的參考成像輸出給特征抽取單元，控制緩存單元將存儲的主 成像輸出給特征抽取單元。
實(shí)際應(yīng)用中，采集控制單元可以根據(jù)預(yù)先設(shè)定的時間間隔，輸出各控制 信號。例如，在完成主成像拍攝后的時間間隔tl之后，輸出縮小焦距的焦 距調(diào)整信號，并在完成參考成像拍攝后的時間間隔t2之后，輸出放大焦距 的焦距調(diào)整信號。如果兩次拍攝中，先拍攝主成像，則為了保證主成像和參 考成像中的所有特征點(diǎn)盡可能相同，應(yīng)當(dāng)盡可能地將tl設(shè)定為很小的值，
使得兩次聚焦成像的時間間隔盡可能地短；同理，如果先拍攝參考成像，則 應(yīng)當(dāng)盡可能地將t2設(shè)定為很小的值，此時，需要控制成像單元得到的參考 成像經(jīng)由緩存單元進(jìn)行緩存，而主成像直接輸出給特征抽取單元。
特征抽取單元，接收成像單元和緩存單元輸出的主成像和參考成像；根
據(jù)內(nèi)部存儲的預(yù)設(shè)特征規(guī)則，抽取主成像和參考成像中對應(yīng)位置的特征點(diǎn)， 并將抽取的特征點(diǎn)輸出給特征匹配單元；將抽取后剩余的像素點(diǎn)作為非特征 點(diǎn)輸出給特征匹配單元。
特征匹配單元，依據(jù)各特征點(diǎn)在成像中對應(yīng)的極坐標(biāo)或直角坐標(biāo)，計(jì)算 主成像中的特征點(diǎn)與參考成像中的特征點(diǎn)的匹配程度；依據(jù)各非特征點(diǎn)在成 像中對應(yīng)的極坐標(biāo)或直角坐標(biāo)，計(jì)算主成像中的非特征點(diǎn)與參考成像中的非 特征點(diǎn)的匹配程度；根據(jù)計(jì)算得到的匹配程度，并按照動態(tài)規(guī)劃法，計(jì)算每 一個特征點(diǎn)和非特征點(diǎn)的最高匹配程度，分別確定參考成像中與主成像中每 一個特征點(diǎn)和非特征點(diǎn)對應(yīng)的特征點(diǎn)和非特征點(diǎn)，得到與主成像中特征點(diǎn)數(shù) 量相等的特征點(diǎn)對、與主成像中非特征點(diǎn)數(shù)量相等的非特征點(diǎn)對；將匹配得 到的每一對特征點(diǎn)和每一對非特征點(diǎn)輸出給信息計(jì)算單元。
信息計(jì)算單元，根據(jù)每一對特征點(diǎn)和非特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得
到主成像中每個像素對應(yīng)的三維信息。
本實(shí)施例中，像素坐標(biāo)信息中的主成像和參考對應(yīng)的焦距可以預(yù)先存儲 在特征抽取單元、或特征匹配單元、或采集控制單元中，并提供給信息計(jì)算單元，也可以直接存儲于信息計(jì)算單元中；兩次成像的相機(jī)的光學(xué)中心距離
可以預(yù)先存儲在特征抽取單元、或特征匹配單元、或采集控制單元中，也可 以由特征抽取單元、或特征匹配單元、采集控制單元4全測或計(jì)算并輸出給信
息計(jì)算單元，還可以直接存儲于信息計(jì)算單元中或由信息計(jì)算單元直接檢
測；特征點(diǎn)和非特征點(diǎn)到光軸的距離可以由特征抽取單元、或特征匹配單元
根據(jù)每個特征點(diǎn)在成像中所處的位置來確定，并輸出給信息計(jì)算單元，也可 以直接由信息計(jì)算單元來確定。
本實(shí)施例的圖像深度信息獲取裝置1中，通過一個帶緩存的感光元件來實(shí)現(xiàn)主成像和參考成像的獲取。本實(shí)施例中的圖像深度信息獲取裝置2則可 通過兩個感光元件來實(shí)現(xiàn)成像。
如圖5b所示，以主成像和參考成像通過一個帶緩存的感光元件實(shí)現(xiàn)為 例，本實(shí)施例中的圖像深度信息獲取裝置2包括輸入單元、主成像單元、 參考成像單元、采集控制單元、特征抽取單元、特征匹配單元和信息計(jì)算單 元。
輸入單元，可以為帶焦距調(diào)整結(jié)構(gòu)的任意一種光學(xué)鏡頭，在采集控制單 元的控制下進(jìn)行焦距調(diào)整，如果采集控制單元輸出的焦距調(diào)整信號為縮小焦 距，則將光信號投影到參考成像單元；如果采集控制單元輸出的焦距調(diào)整信 號為放大焦距，則將光信號投影到主成像單元。
主成像單元，將接收到的光信號轉(zhuǎn)換為圖像信號，即主成像，并在采集 控制單元的控制下輸出給特征抽取單元。
參考成像單元，將接收到的光信號轉(zhuǎn)換為圖像信號，即參考成像，并在 采集控制單元的控制下輸出給特征抽取單元。
實(shí)際應(yīng)用中，主成像單元和參考成像單元，可以分別為任意一種感光元 件，例如CCD或CMOS;參考成像單元為捕捉亮度的高分辨率感光元件， 即對于參考成像不需要紋理信息，這樣可以降低裝置的成本以及簡化后續(xù)處 理過程。
采集控制單元，向輸入單元輸出焦距調(diào)整信號，當(dāng)輸出的焦距調(diào)為縮小焦距時，即表示需要獲取參考成像；當(dāng)輸出的焦距調(diào)整信號為放大焦 距時，即表示需要獲取主成像；在完成兩次拍攝后，即控制輸入單元縮小一 次焦距和放大一次焦距之后，向主成像單元和參考成像單元輸出拍攝完成信 號，控制主成像單元和參考成像單元分別將主成像和參考成像輸出給特征抽 取單元。
實(shí)際應(yīng)用中，采集控制單元可以根據(jù)預(yù)先設(shè)定的時間間隔，輸出各控制 信號。例如，在完成主成像拍攝后的時間間隔tl之后，輸出縮小焦距的焦 距調(diào)整信號，并在完成參考成像拍攝后的時間間隔t2之后，輸出放大焦距 的焦距調(diào)整信號。如果兩次拍攝中，先拍攝主成像，則為了保證主成像和參 考成像中的所有特征點(diǎn)盡可能相同，應(yīng)當(dāng)盡可能地將tl設(shè)定為很小的值， 使得兩次聚焦成像的時間間隔盡可能地短；同理，如果先拍攝參考成像，則 應(yīng)當(dāng)盡可能地將t2設(shè)定為很小的值。
本實(shí)施例的圖像深度信息獲取裝置2中的特征抽取單元、特征匹配單元 和信息計(jì)算單元可以與圖像深度信息獲取裝置1中的相同。
上述圖像深度信息獲取裝置1和圖像深度信息獲取裝置2中，也可以不 控制輸入單元進(jìn)行焦距調(diào)整，而是由外力帶動裝置在光軸方向上移動，以獲 取主成像和參考成像；特征匹配單元也可以不對非特征點(diǎn)進(jìn)行匹配，而是由 信息計(jì)算單元根據(jù)特征點(diǎn)的深度信息估計(jì)出非特征點(diǎn)的深度信息，例如采用 插值運(yùn)算等方式。
考慮到實(shí)際應(yīng)用中的需求，本實(shí)施例還提供了兩種圖像像素信息獲取裝 置，即圖像像素信息獲取裝置1和圖像像素信息獲取裝置2。
圖像像素信息獲取裝置1包括如圖5a所示的圖像深度信息獲取裝置 1和一個信息合并單元。
圖像深度信息獲取裝置1的信息計(jì)算單元將計(jì)算得到的主成像中所有 特征點(diǎn)和非特征點(diǎn)及計(jì)算得到的深度信息輸出給信息合并單元；
信息合并單元提取出每個特征點(diǎn)和非特征點(diǎn)的紋理信息，按照每個特征 點(diǎn)的位置，將提取的紋理信息與對應(yīng)的深度信息和二維平面位置信息合并，得到并存儲像素信息(包括三維信息和紋理信息，即每個像素點(diǎn)的像素信 息)。
圖像像素信息獲取裝置2包括如圖5b所示的圖像深度信息獲取裝置 2和一個信息合并單元，其工作原理可以與圖像像素信息獲取裝置相同。
實(shí)際應(yīng)用中，信息合并單元還可以在得到主成像中所有像素點(diǎn)的深度信 息后，再按照線性插值算法，將三個相鄰像素點(diǎn)的深度信息線性疊加，再將 疊加后的深度信息作為中間一個像素點(diǎn)的最終三維信息。這樣，提高了深度 信息的精度。
本實(shí)施例在實(shí)際應(yīng)用中，成像的清晰與否與拍攝時的焦平面以及鏡頭 (即如圖5a 5b所示的輸入單元)景深有密切的關(guān)系。景深越大，能夠清晰 成像的范圍就越大。而且景深的1/3會落在焦平面前，景深的2/3會落在焦 平面后。景深的深度和三個因素有關(guān)光圈的大小、相機(jī)到對象的距離、鏡 頭的焦距。因此，在本實(shí)施例的圖像深度信息獲取裝置中，較佳地選擇光圏 小、景深大的鏡頭作為輸入單元，以獲得盡可能清晰的主成像和參考成像。
下面，對本實(shí)施例中的圖像深度信息獲取方法進(jìn)行詳細(xì)說明。
圖6為本發(fā)明實(shí)施例中圖像深度信息獲取方法的流程圖。如圖6所示， 本實(shí)施例中的圖像深度信息獲取方法包括以下步驟
步驟601,進(jìn)行大焦距成像，得到主成像。
本步驟之前，需要選擇光圏，調(diào)整焦距。
步驟602,進(jìn)行小焦距成像，得到參考成像。
本步驟之前，需要縮短拍攝的焦距；如果進(jìn)行拍攝的裝置包括兩個感光 元件，則需要進(jìn)行感光元件的切換，較佳地，還可以將步驟601拍攝時使用 的感光元件切換到另 一個捕捉亮度的高分辨率感光元件，即對于參考成像不 需要紋理信息，這樣可以降低裝置的成本以及后續(xù)處理過程。
上述步驟601~步驟602可以為在較短的時間間隔內(nèi)輪換調(diào)整焦距并通 過一個感光元件獲取主成像和參考成像的過程，也可以為在較短的時間間隔 內(nèi)輪換調(diào)整焦距并交替切換兩個感光元件獲取主成像和參考成像的過程；得到的成像可以如圖3a 3b所示。
上述步驟601 步驟602也可以為在較短的時間間隔內(nèi)帶動拍攝裝置在 光軸方向上移動拍攝的過程。
步驟603,根據(jù)預(yù)先設(shè)定的特征規(guī)則，分別從主成像和參考成像的所有 像素點(diǎn)中提取特征點(diǎn)。
本步驟中，同時將主成像和參考成像中剩余的像素點(diǎn)作為非特征點(diǎn)。
步驟604,計(jì)算主成像中的特征點(diǎn)與參考成像中的特征點(diǎn)的匹配程度。
本步驟中，可以按照如圖4所示的方式，確定每個特征點(diǎn)對應(yīng)于主成像 中的極坐標(biāo)值，依次在不同的極角上，計(jì)算主成像中第n個特征點(diǎn)與參考成 像中，在大于p(n-l)，且小于pn范圍內(nèi)的所有特征點(diǎn)的匹配程度。
匹配程度可以通過多種方式來確定，例如，計(jì)算主成像第i個特征點(diǎn)和 參考成像中第j個特征點(diǎn)的亮度差和/或平滑度等參數(shù)，并根據(jù)計(jì)算出的參數(shù) 的實(shí)際取值來確定。
步驟605,按照動態(tài)規(guī)劃法，計(jì)算每一個特征點(diǎn)和非特征點(diǎn)的最高匹配 程度，并根據(jù)計(jì)算出的最高匹配程度確定參考成像中與主成像中每一個特征 點(diǎn)對應(yīng)的特征點(diǎn)。
本實(shí)施例中，主成像的特征點(diǎn)有且只有一個參考成像中的匹配特征點(diǎn)，
因此，在極角為e的特征匹配上，本步驟得到的特征點(diǎn)對數(shù)與主成像的特征 點(diǎn)個數(shù)相同。顯然，主成像和參考成像的匹配是符合馬爾可夫規(guī)則的，每個
像素只和相鄰的像素相關(guān)；而且從如圖4所示的極坐標(biāo)系可見，匹配的決策 過程也是有序的，即規(guī)律C 。這就完全符合了動態(tài)規(guī)劃算法應(yīng)用的兩個條件。 按照動態(tài)規(guī)劃算法計(jì)算最高匹配程度的過程可以表示為
其中，Ei,m表示主成像中第i個特征點(diǎn)分別與參考成像中第n 第m個特 征點(diǎn)的最小不匹配度，即最大匹配程度；Wi, k表示主成像中第i個特征點(diǎn)與 參考成像中第k個特征點(diǎn)的亮度差。
在執(zhí)行上述計(jì)算過程的同時，記錄每個E^對應(yīng)的k值，即得到了導(dǎo)致最高匹配程度也就是Ei，m值的最小的匹配集〈i,k、即實(shí)現(xiàn)了主成像中的第i 個特征點(diǎn)和參考成像中的第k個特征點(diǎn)匹配。步驟606，對主成4象中非特征點(diǎn)與參考成像中的非特征點(diǎn)進(jìn)行匹配。本步驟中，非特征點(diǎn)的匹配過程可以與步驟604~步驟605相同，也可 以不按照每個非特征點(diǎn)在如圖4所示的范圍內(nèi)進(jìn)行匹配的方式，而是按照其 他任意方式來執(zhí)行，例如計(jì)算主成像中的每個非特征點(diǎn)與參考成像中所有非 特征點(diǎn)的匹配程度，再確定參考成像中具有最大匹配程度的非特征點(diǎn)，為與 主成像中相應(yīng)非特征點(diǎn)匹配的非特征點(diǎn)。步驟607，根據(jù)每一對特征點(diǎn)和非特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成 像中每個像素對應(yīng)的深度信息。本步驟中，由于在特征點(diǎn)和非特征點(diǎn)的匹配過程中獲知每一個特征點(diǎn)和非 特征點(diǎn)在成像中所處的位置，即在主成像中對應(yīng)的極坐標(biāo)值(r, 6 )和在參考 成像中對應(yīng)的極坐標(biāo)值(r， ， 6 )，而且根據(jù)預(yù)先獲知的拍攝參數(shù)&，、 f2，、 Zo, 因此，可以根據(jù)本實(shí)施例中的公式4,計(jì)算出每個像素點(diǎn)的深度信息Z,即確 定了每個像素點(diǎn)的深度信息；還可以根據(jù)本實(shí)施例中的公式5計(jì)算出每個像素 點(diǎn)相對于光軸的位置R。當(dāng)步驟601 步驟602中基于一個感光元件獲取主成像和參考成像，或者通 過兩個處于相同位置的感光元件獲取主成像和參考成像時，本步驟還可以采用公式6來計(jì)算每個像素點(diǎn)的深度信息Z以及根據(jù)本實(shí)施例中的公式7來計(jì)算每 個像素點(diǎn)相對于光軸的位置R。在步驟607之后，為了提高步驟607獲得的深度信息的精度，采用線性 插值的方法確定主成像中每個像素點(diǎn)的深度信息，即由相鄰的三個像素點(diǎn)的 深度信息線性疊加得到。本步驟中，也可以不進(jìn)行線性疊加而是直接將步驟607獲取的深度信息 作為最終確定的深度信息。如果需要最終獲取圖像像素信息，則在步驟607之后，根據(jù)每個像素點(diǎn) 包括的RGB(紅、綠、藍(lán))信息確定每個像素點(diǎn)的紋理信息，再將每個像素點(diǎn)的深度信息、二維平面位置信息和紋理信息合并，并存儲合并后的像素 信息。即步驟601 步驟607,以及步驟607之后的信息合并處理，即構(gòu)成了本 實(shí)施例的圖像像素信息獲取方法。其中，最終的紋理信息較佳地僅采用主成像中的紋理信息。這樣，最終 的紋理信息相對于其它 一些合成的紋理信息來說，可具有光照 一致的效果。合并后的像素信息包括x、 y、 red、 green、 blue、 depth。 x和y表示 像素點(diǎn)在主成像中的位置坐標(biāo)的已知量，depth表示深度信息，即x、 y和 depth構(gòu)成了表示物體空間位置的三維信息，red、 green、 blue為紋理信息。 合并后的像素信息也可以包括p、 6、 red、 green、 blue、 depth。 p為計(jì) 算出的R, 6為在進(jìn)行匹配計(jì)算時即獲知的已知量，depth表示深度信息， 即p 、 6和depth構(gòu)成了表示物體空間位置的三維信息。至此，本流程結(jié)束。上述流程中，也可以先執(zhí)行步驟602再執(zhí)行步驟601;步驟606可以與 步驟604 步驟605同時執(zhí)行，或者在步驟604 步驟605之前執(zhí)行；也可以 不執(zhí)行步驟606，而是在步驟607根據(jù)特征點(diǎn)的深度信息估計(jì)出非特征點(diǎn)的 深度信息，例如采用插值運(yùn)算等方式。較佳地，上述流程是在拍攝成像之后立即執(zhí)行的，即拍攝后即可通過上 述流程直接獲得深度信息，而不需要其他后續(xù)處理。上述實(shí)施例中的圖像深度信息獲取裝置和圖像深度信息獲取方法、圖像 像素信息獲取裝置和圖像像素信息獲取方法，均是以大焦距成像作為主成 像、以小焦距成像作為參考成像進(jìn)行的說明。如果以小焦距成像作為主成像、 以大焦距成像作為參考成像，則圖像深度信息獲取裝置和圖像像素信息獲取 裝置可按照相同的原理進(jìn)行處理，圖像深度信息獲取方法和圖像像素信息獲 取方法也可以按照相同的操作過程進(jìn)行處理?？梢?，本實(shí)施例的技術(shù)方案能夠?qū)崿F(xiàn)深度信息的獲取，而且，采用單鏡 頭獲取深度信息，節(jié)省了成本；根據(jù)特征規(guī)則抽取特征點(diǎn)，單獨(dú)對所有特征點(diǎn)進(jìn)行匹配，減小了計(jì)算量和難度，并保證了匹配的精度；依據(jù)像素點(diǎn)在成 像中對應(yīng)的極坐標(biāo)確定了一定的范圍，并在確定的范圍內(nèi)進(jìn)行匹配，進(jìn)一步減少了處理過程中的計(jì)算量，降低了對硬件性能的要求，易于實(shí)現(xiàn)；能夠根 據(jù)獲取的深度信息獲得完整的三維信息，并能夠?qū)⑷S信息與紋理信息合 并，得到完整的像素信息，以便于恢復(fù)真實(shí)的三維場景，具有較高的實(shí)用性。本實(shí)施例的技術(shù)方案至少可用于各種光學(xué)相機(jī)、攝像機(jī)，還可以用于包 括網(wǎng)絡(luò)攝像頭和監(jiān)控?cái)z像頭在內(nèi)的所有攝像頭。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范 圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換以及改進(jìn)等， 均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1. 一種圖像深度信息獲取方法，其特征在于，包括根據(jù)預(yù)先設(shè)定的特征規(guī)則，從主成像和參考成像的像素點(diǎn)中抽取特征點(diǎn)，其中，主成像和參考成像是在同一光軸上通過不同焦距成像得到的；匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)，得到特征點(diǎn)對；根據(jù)匹配得到的每一對特征點(diǎn)的像素坐標(biāo)信息，確定主成像中每一個像素點(diǎn)對應(yīng)的深度信息。
2、 如權(quán)利要求1所述的方法，其特征在于，所述抽取特征點(diǎn)之前進(jìn)一 步包括輪換調(diào)整焦距并通過一個感光元件獲取主成像和參考成像；或者，輪換調(diào)整焦距并交替切換兩個感光元件分別獲取主成像和參考成像。
3、 如權(quán)利要求1所述的方法，其特征在于，所述匹配主成像中的每個 特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)包括計(jì)算主成像中的特征點(diǎn)與參考成像中的特征點(diǎn)的匹配程度； 根據(jù)計(jì)算得到的匹配程度，并按照動態(tài)規(guī)劃算法，計(jì)算每一個特征點(diǎn)的最高匹配程度，根據(jù)計(jì)算出的最高匹配程度確定參考成像中與主成像中每一個特征點(diǎn)對應(yīng)的特征點(diǎn)。
4、 如權(quán)利要求3所述的方法，其特征在于，所述計(jì)算主成像中的特征 點(diǎn)與參考成像中的特征點(diǎn)的匹配程度為確定每個特征點(diǎn)對應(yīng)于主成像中的極坐標(biāo)值，依次在不同的極角上，計(jì) 算主成像中第n個特征點(diǎn)與參考成像中，在大于p(n-l)，且小于pn范圍內(nèi) 的所有特征點(diǎn)的匹配程度；其中，n為正整數(shù)；pn為在當(dāng)前極角上的第n個特征點(diǎn)對應(yīng)于主成像 的極徑；p(n-l)，為第n-l個特征點(diǎn)對應(yīng)于參考成像的極徑。
5、 如權(quán)利要求1所述的方法，其特征在于，所述抽取特征點(diǎn)之后，該 方法進(jìn)一步包括將抽取后剩余的特征點(diǎn)作為非特征點(diǎn)，并匹配主成像中的 每個非特征點(diǎn)與參考成像中的對應(yīng)非特征點(diǎn)；所述根據(jù)匹配得到的每一對特征點(diǎn)的像素坐標(biāo)信息，確定主成像中每一 個像素點(diǎn)對應(yīng)的深度信息為根據(jù)匹配得到的每一對特征點(diǎn)的像素坐標(biāo)信 息，計(jì)算得到主成像中每一個特征點(diǎn)對應(yīng)的深度信息；根據(jù)匹配得到的每一 對非特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成像中每一個非特征點(diǎn)對應(yīng)的深度 信息。
6、 如權(quán)利要求l所述的方法，其特征在于，所述根據(jù)匹配得到的每一 對特征點(diǎn)的像素坐標(biāo)信息，確定主成像中每一個像素點(diǎn)對應(yīng)的深度信息為 將抽取特征點(diǎn)之后剩余的像素點(diǎn)作為非特征點(diǎn)；根據(jù)匹配得到的每一對特征 點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成像中每一個特征點(diǎn)對應(yīng)的深度信息；根據(jù) 所述計(jì)算得到主成像中每一個特征點(diǎn)對應(yīng)的深度信息，估計(jì)主成像中每一個 非特征點(diǎn)對應(yīng)的深度信息。
7、 如權(quán)利要求5或6所述的方法，其特征在于，所述確定深度信息為<formula>formula see original document page 3</formula>其中，Z為深度信息；f,和&分別為主成像和參考成像的成像焦距；r, 和r2分別為主成像中的像素點(diǎn)和參考成像中的像素點(diǎn)到光軸的距離；z。為兩 次成像的相機(jī)光學(xué)中心的距離。
8、 如權(quán)利要求5或6所述的方法，其特征在于，所述通過不同焦距成 像得到的主成像和參考成像是通過一個感光元件或通過處于相同位置的兩 個感光元件獲取的；所述確定深度信息為其中，Z為深度信息；f,和&分別為主成像和參考成像的成像焦距；n和r2分別為主成像中的像素點(diǎn)和參考成像中的像素點(diǎn)到光軸的距離。
9、 一種圖象像素信息獲取方法，其特征在于，包括 根據(jù)預(yù)先設(shè)定的特征規(guī)則，從主成像和參考成像的像素點(diǎn)中抽取特征點(diǎn)，其中，主成像和參考成像是在同一光軸上通過不同焦距成像得到的； 匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)，得到特征點(diǎn)對；根據(jù)匹配得到的每一對特征點(diǎn)的像素坐標(biāo)信息，確定主成像中每一個像 素點(diǎn)對應(yīng)的深度信息，并確定主成像中每一個像素點(diǎn)對應(yīng)的二維平面位置信 息，確定主成像中每個像素點(diǎn)的紋理信息；將每個像素點(diǎn)的深度信息、二維平面位置信息和紋理信息合并，得到主 成像中每一 個像素點(diǎn)的像素信息。
10、 如權(quán)利要求9所述的方法，其特征在于，所述匹配主成像中的每個 特征點(diǎn)與參考成像中的對應(yīng)特征點(diǎn)包括計(jì)算主成像中的特征點(diǎn)與參考成像中的特征點(diǎn)的匹配程度； 根據(jù)計(jì)算得到的匹配程度，并按照動態(tài)規(guī)劃算法，計(jì)算每一個特征點(diǎn)的最高匹配程度，根據(jù)計(jì)算出的最高匹配程度確定參考成像中與主成像中每一個特征點(diǎn)對應(yīng)的特征點(diǎn)。
11、 如權(quán)利要求10所述的方法，其特征在于，所述計(jì)算主成像中的特 征點(diǎn)與參考成像中的特征點(diǎn)的匹配程度為確定每個特征點(diǎn)對應(yīng)于主成像中的極坐標(biāo)值，依次在不同的極角上，計(jì) 算主成像中第n個特征點(diǎn)與參考成像中，在大于p(n-l)，且小于pn范圍內(nèi) 的所有特征點(diǎn)的匹配程度；其中，n為正整數(shù)；pn為在當(dāng)前極角上的第n個特征點(diǎn)對應(yīng)于主成像 的極徑；p (n-l)，為第n-l個特征點(diǎn)對應(yīng)于參考成像的極徑。
12、 如權(quán)利要求9所述的方法，其特征在于，所述確定深度信息為<formula>formula see original document page 4</formula>其中，Z為深度信息；f,和f2分別為主成像和參考成像的成像焦距；r, 和r2分別為主成像中的像素點(diǎn)和參考成像中的像素點(diǎn)到光軸的距離；z()為兩 次成像的相機(jī)光學(xué)中心的距離。
13、 如權(quán)利要求9所述的方法，其特征在于，所述通過不同焦距成像得 到的主成像和參考成像是通過一個感光元件或通過處于相同位置的兩個感 光元件獲取的；所述確定深度信息為z—(/2-/,)/,2 />2 - /2。其中，Z為深度信息；&和&分別為主成像和參考成像的成像焦距；r, 和r2分別為主成像中的像素點(diǎn)和參考成像中的像素點(diǎn)到光軸的距離。
14、 一種圖像深度信息獲取裝置，其特征在于，包括特征抽取單元、 特征匹配單元和信息計(jì)算單元，所述特征抽取單元，接收在同一光軸上通過不同焦距成像得到的主成像 和參考成像；根據(jù)內(nèi)部存儲的預(yù)設(shè)特征規(guī)則，從主成像和參考成像的像素點(diǎn) 中抽取特征點(diǎn)，并將抽取的特征點(diǎn)輸出給特征匹配單元；所述特征匹配單元，匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特 征點(diǎn)，得到特征點(diǎn)對；將得到的每對特征點(diǎn)輸出給信息計(jì)算單元；所述信息計(jì)算單元，根據(jù)每一對特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成 像中每一個像素點(diǎn)對應(yīng)的深度信息。
15、 如權(quán)利要求14所述的裝置，其特征在于，該裝置進(jìn)一步包括輸 入單元、成像單元、緩存單元和采集控制單元；所述輸入單元，在采集控制單元的控制下進(jìn)行焦距調(diào)整，并將光信號投 影到成像單元；所述成像單元，根據(jù)所述投影的光信號生成主成像和參考成像；在采集 控制單元的控制下，將生成的主成像輸出給緩存單元，將生成的參考成像輸 出給特征抽取單元；所述緩存單元，接收并存儲成像單元輸出的主成像，并在采集控制單元的控制下輸出給特征抽取單元；所述采集控制單元，當(dāng)控制輸入單元縮小焦距時，控制成像單元將得到 的主成像輸出給緩存單元；當(dāng)控制輸入單元放大焦距時，控制成像單元將得 到的參考成像輸出給特征抽取單元，控制緩存單元將存儲的主成像輸出給特 征抽取單元。
16、 如權(quán)利要求14所述的裝置，其特征在于，該裝置進(jìn)一步包括輸 入單元、主成像單元、參考成像單元、采集控制單元；所述輸入單元，在采集控制單元的控制下縮小焦距后，將光信號投影到 參考成像單元；在采集控制單元的控制下放大焦距后，將光信號投影到主成 像單元；所述主成像單元，根據(jù)所述投影的光信號生成主成像；在采集控制單元 的控制下，將生成的主成像輸出給特征抽取單元；所述參考成像單元，根據(jù)所述投影的光信號生成參考成像；在采集控制 單元的控制下，將生成的參考成像輸出給特征抽取單元；所述采集控制單元，交替控制輸入單元縮小焦距和放大焦距；控制主成 像單元和參考成像單元分別將主成像和參考成像輸出給特征抽取單元。
17、 如權(quán)利要求16所述的裝置，其特征在于，所述參考成像單元為捕 捉亮度信息的感光元件。
18、 一種圖像像素信息獲取裝置，其特征在于，包括特征抽取單元、 特征匹配單元、信息計(jì)算單元和信息合并單元；所述特征抽取單元，接收在同 一光軸上通過不同焦距成像得到的主成像 和參考成像；根據(jù)內(nèi)部存儲的預(yù)設(shè)特征規(guī)則，從主成像和參考成像的像素點(diǎn) 中抽取特征點(diǎn)，并將抽取的特征點(diǎn)輸出給特征匹配單元；所述特征匹配單元，匹配主成像中的每個特征點(diǎn)與參考成像中的對應(yīng)特 征點(diǎn)，得到特征點(diǎn)對；將得到的每對特征點(diǎn)輸出給信息計(jì)算單元；所述信息計(jì)算單元，根據(jù)每一對特征點(diǎn)的像素坐標(biāo)信息，計(jì)算得到主成像中每一個像素點(diǎn)對應(yīng)的深度信息，將計(jì)算得到的深度信息輸出給信息合并單元；所述信息合并單元，提取出每個像素點(diǎn)的紋理信息，將提取的每個像素 點(diǎn)的紋理信息與對應(yīng)的深度信息和二維平面位置信息合并，得到主成像中每 一個像素點(diǎn)的像素信息。
19、 如權(quán)利要求18所述的裝置，其特征在于，該裝置進(jìn)一步包括輸 入單元、成像單元、緩存單元和采集控制單元；所述輸入單元，在采集控制單元的控制下進(jìn)行焦距調(diào)整，并將光信號投 影到成像單元；所述成像單元，根據(jù)所述投影的光信號生成主成像和參考成像；在采集 控制單元的控制下，將生成的主成像輸出給緩存單元，將生成的參考成像輸 出給特征抽取單元；所述緩存單元，接收并存儲成像單元輸出的主成像，并在采集控制單元 的控制下輸出給特征抽取單元；所述采集控制單元，當(dāng)控制輸入單元縮小焦距時，控制成像單元將得到 的主成像輸出給緩存單元；當(dāng)控制輸入單元放大焦距時，控制成像單元將得 到的參考成像輸出給特征抽取單元，控制緩存單元將存儲的主成像輸出給特 征抽取單元。
20、 如權(quán)利要求18所述的裝置，其特征在于，該裝置進(jìn)一步包括輸 入單元、主成像單元、參考成像單元、采集控制單元；所述輸入單元，在采集控制單元的控制下縮小焦距后，將光信號投影到 參考成像單元；在采集控制單元的控制下放大焦距后，將光信號投影到主成 像單元；所述主成像單元，根據(jù)所述投影的光信號生成主成像；在采集控制單元 的控制下，將生成的主成像輸出給特征抽取單元；所述參考成像單元，根據(jù)所述投影的光信號生成參考成像；在采集控制 單元的控制下，將生成的參考成像輸出給特征抽取單元；所述采集控制單元，交替控制輸入單元縮小焦距和放大焦距；控制主成 像單元和參考成像單元分別將主成像和參考成像輸出給特征抽取單元。
21、如權(quán)利要求20所述的裝置，其特征在于，所述參考成像單元為捕捉亮度信息的感光元件。
全文摘要
本發(fā)明公開了一種圖像深度信息獲取方法和一種圖像深度信息獲取裝置。本發(fā)明還公開了一種圖像像素信息獲取方法和一種圖像像素信息獲取裝置。通過將在同一光軸上進(jìn)行兩次不同聚焦成像得到的主成像和參考成像進(jìn)行匹配；并根據(jù)匹配后的每一對像素點(diǎn)的像素坐標(biāo)信息，直接獲取了主成像中每個位置的深度信息；在進(jìn)行匹配時，抽取出主成像和參考成像中的特征點(diǎn)進(jìn)行匹配，減小了計(jì)算量和難度。而且，采用單鏡頭獲取深度信息，節(jié)省了成本；依據(jù)像素點(diǎn)在成像中對應(yīng)的極坐標(biāo)確定了一定的范圍，并在確定的范圍內(nèi)進(jìn)行匹配，進(jìn)一步減少了處理過程中的計(jì)算量；能夠?qū)⑸疃刃畔?、二維平面位置信息與紋理信息合并，得到完整的像素信息，以便于恢復(fù)真實(shí)的三維場景。
文檔編號G06T1/00GK101272511SQ20071008748
公開日2008年9月24日 申請日期2007年3月19日 優(yōu)先權(quán)日2007年3月19日
發(fā)明者海 陳 申請人:華為技術(shù)有限公司