專利名稱：圖像重構(gòu)方法和圖像重構(gòu)系統(tǒng)的制作方法
技術領域：
本發(fā)明主要涉及圖像處理技術領域，尤其涉及圖像重構(gòu)方法和圖像重構(gòu)系統(tǒng)。
背景技術：
隨著視頻技術的發(fā)展，多視點圖像合成越來越成為研究的熱點，在圖像合成中，圖 像所拍攝景物的深度信息是至關重要的，由此也引出許多研究熱點，例如深度信息的獲取， 深度信息的壓縮等等。 現(xiàn)在的重點大部分集中在深度信息的獲取和壓縮方面，對于深度信息的獲取，現(xiàn) 有技術是采用立體匹配算法來獲取深度信息，立體匹配的思想是在有水平視差的兩幅圖 (稱為左右圖)情況下，取左圖中一點，在右圖中尋找與之對應點的位置，得到位置后，兩者 水平坐標的差就是該點的視差，自此完成一個點的匹配計算，通過匹配計算，得到左右圖之 間的視差，然后通過視差進行重構(gòu)。 發(fā)明人在實踐中發(fā)現(xiàn)，現(xiàn)有技術至少存在以下缺點現(xiàn)有技術中采用立體匹配算 法效果不是特別理想，在利用匹配算法得到的視差信息重構(gòu)視頻時有較明顯的幀間閃爍， 并且匹配算法最大的難點在于速度，由于圖像重構(gòu)需要的視差圖是致密的，也就是圖中每 個點都需要相對準確的視差，因此立體匹配就需要對圖中每個像素點進行匹配計算，這樣 的計算量是巨大的，因此很難滿足圖像重構(gòu)的實時性要求，同時立體匹配算法還不是特別 穩(wěn)定，這種不穩(wěn)定性在重構(gòu)視頻時會導致物體邊緣的閃爍。

發(fā)明內(nèi)容
本發(fā)明實施例提出一種圖像重構(gòu)方法和圖像重構(gòu)系統(tǒng)，提高了圖像重構(gòu)的實時
性，并且提高了重構(gòu)圖像的質(zhì)量。 本發(fā)明實施例的技術方案是這樣實現(xiàn)的 —種圖像重構(gòu)方法，包括 獲取已知視點的圖像信息； 獲取所述已知視點的深度信息； 對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息；
根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬視點的圖像。
—種圖像重構(gòu)方法，包括 獲取已知第一視點的第一圖像信息和已知第二視點的第二圖像信息；
獲取所述已知第一視點的第一深度信息； 根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深度信息確定所述第一深 度信息的第一深度視差對應因子； 根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視差轉(zhuǎn)換，獲取第 一視差信息； 根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視點的第三圖像。
—種圖像重構(gòu)系統(tǒng)，包括 圖像獲取裝置，用于獲取已知視點的圖像信息； 深度信息獲取裝置，用于獲取所述已知視點的深度信息； 轉(zhuǎn)換裝置，用于對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的視 差信息； 重構(gòu)裝置，用于根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬視點 的圖像。 —種圖像重構(gòu)系統(tǒng)，包括 第一圖像獲取裝置，用于獲取已知第一視點的第一圖像信息； 第二圖像獲取裝置，用于獲取已知第二視點的第二圖像信息； 第一深度信息獲取裝置，用于獲取所述已知第一視點的第一深度信息； 第一確定裝置，用于根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深度
信息確定所述第一深度信息的第一深度視差對應因子； 第一轉(zhuǎn)換裝置，用于根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深 度視差轉(zhuǎn)換，獲取第一視差信息； 第一重構(gòu)裝置，用于根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視點的 第三圖像。 本發(fā)明實施例所述技術方案通過直接獲取深度信息，通過將所述深度信息轉(zhuǎn)換為 視差信息重構(gòu)圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高 復雜度的計算，提高了圖像重構(gòu)的實時性，并且由于不再采用立體匹配算法進行圖像重構(gòu)， 因此不會存在幀間閃爍，提高了重構(gòu)圖像的質(zhì)量。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn) 有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可 以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例場景與視點關系示意圖；
圖2為本發(fā)明實施例場景與像點關系示意圖；
圖3為本發(fā)明一種圖像重構(gòu)方法第一實施例的流程圖；
圖4為本發(fā)明一種圖像重構(gòu)方法第二實施例的流程圖
圖5為本發(fā)明一種圖像重構(gòu)方法第三實施例的流程圖；
圖6為本發(fā)明一種圖像重構(gòu)方法第四實施例的流程圖；
圖7為本發(fā)明一種圖像重構(gòu)方法第五實施例的流程圖
圖8為本發(fā)明一種圖像重構(gòu)系統(tǒng)第一實施例的組成結(jié)構(gòu)圖；
圖9為本發(fā)明一種圖像重構(gòu)系統(tǒng)第二實施例的組成結(jié)構(gòu)圖；
圖10為本發(fā)明一種圖像重構(gòu)系統(tǒng)第三實施例的組成結(jié)構(gòu)圖；
圖11為本發(fā)明一種圖像重構(gòu)系統(tǒng)第四實施例的組成結(jié)構(gòu)圖；
圖12為本發(fā)明一種圖像重構(gòu)系統(tǒng)第五實施例的組成結(jié)構(gòu)圖。
具體實施例方式
下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于 本發(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。 本發(fā)明實施例利用已知視點的圖像信息和深度信息進行虛擬位置的圖像重構(gòu)。如 圖1所示，在已知視點1處和已知視點2處利用圖像獲取裝置拍攝場景圖像，在所述已知視 點1處放置深度信息獲取裝置來獲取場景的深度信息，然后經(jīng)過計算得到已知視點1和已 知視點2之間的虛擬視點(如虛擬視點1和虛擬視點2)的場景圖像。如圖2所示，設空間 一點M(X，Y，Z)在兩個圖像獲取裝置中的像點分別是(xl，yl)、(x2，y2)，則在知道基線長B 和焦距f的情況下，可以計算出深度Z : <formula>formula see original document page 7</formula>
則所述兩個圖像獲取裝置獲取圖像的視差為VA,:<formula>formula see original document page 7</formula>
則中間虛擬視點X處的視差為VX2Q : <formula>formula see original document page 7</formula>
本發(fā)明實施例通過在已知視點x2，已知視點x"深度Z，和視點x。的情況下重構(gòu)出 x。處的場景圖像。由上面公式可知，要重構(gòu)出x。處的場景圖像，需要知道X2和視差V^Q ，由 深度信息獲取裝置獲取的深度信息z僅具有相對意義，可以表示場景的深度關系，而不具 有實際意義的視差信息。在進行重構(gòu)時需要將不具有實際意義的場景深度信息轉(zhuǎn)換為具有 實際意義的視差信息，即由深度Z求出Vx20 。
深度與視差的關系為<formula>formula see original document page 7</formula>
在拍攝過程中系統(tǒng)參數(shù)攝像機焦距f，和兩攝像機光心距離是恒定的，因此fB是 恒定的。因此確定fB后，就可以完成由深度到視差的轉(zhuǎn)換，這種轉(zhuǎn)換的時間開銷基本可以 忽略。相對于采用匹配算法得到視差的方法來說，實時性的優(yōu)勢是顯而易見的。
在本發(fā)明以下各實施例的描述中，為了方便說明，所述已知視點1為左視點，已知 視點2為右視點，因此，所述圖像獲取裝置在已知視點1處所獲取的圖像為左圖像，在已知 視點2處所獲取的圖像為右圖像，在已知視點1處所獲取的深度信息為左深度信息或左深 度圖，在已知視點2處所獲取的深度信息為右深度信息或右深度圖。所述圖像獲取裝置以 攝像機或彩色攝像機進行說明，所述深度信息獲取裝置以深度攝像機進行說明，所述圖像 獲取裝置和所述深度信息獲取裝置也可以集成為一個裝置，可以理解，其不應理解為對本 發(fā)明保護范圍的任何限定。 先以一個實例對本發(fā)明實施例的思路進行詳細的說明，所述實例以兩個圖像獲取裝置，和兩個深度信息獲取裝置的配置進行說明，可以理解，對于其他配置，也屬于本發(fā)明 的保護范圍。所述兩個圖像獲取裝置平行設置，深度信息獲取裝置和圖像獲取裝置的光心 需要盡可能重合，如果深度信息獲取裝置和圖像獲取裝置的光心距離較大，則拍攝的圖像 不會完全重合，此時需要進行配準，即使得深度信息獲取裝置所獲取圖像中的點與圖像獲 取裝置所獲取圖像中的對應點在位置上完全相同。如場景中某點在圖像獲取裝置中成像坐
標為(Xl y》，在深度信息獲取裝置中該點成像坐標為(xdl yj，則有
x「xdl = 0
yi-ydl = 0 對于圖像獲取裝置所獲取的圖像信息，在重構(gòu)之前，需要將圖像校正到平行狀態(tài)， 即兩圖像中只有水平視差，不存在垂直視差。如場景中某點在兩個圖像獲取裝置中的成像 坐標分別是(Xl y》、(x2 y》，則有:
Xl_x2 = d
yi-y2 = 0 其中d為左右圖(已知視點1和已知視點2)間的視差。 接下來需要將由深度信息獲取裝置所獲取的不具有實際意義的深度信息z轉(zhuǎn)換 得到具有實際意義的視差信息Vx ,即確定 Z = = ^ 中的fB的值。對此本發(fā)明實施例優(yōu)選采用一種基于特征點匹配的方法來獲取兩
個圖像中特征點之間的視差。由于由深度信息獲取裝置實際獲取到的深度圖像是含有噪聲
的，因此本發(fā)明實施例優(yōu)選采用計算N個特征點，然后求取平均值的辦法去除噪聲，從而得
到更為精確的fB值。 設D = l/z， fB = A ，則 <formula>formula see original document page 8</formula> <formula>formula see original document page 8</formula> 由此，確定了深度與視差的深度視差對應因子A ，接下來就可以將深度圖中的所 有點的深度信息轉(zhuǎn)換成視差信息，即Vx = D* A 。對于左深度圖和右深度圖分別采用上面的 方法，確定左深度圖的深度視差對應因子、和右深度圖的深度視差對應因子入2，獲得左 視差圖和右視差圖。對于虛擬中間視點x'，其與左圖像獲取裝置(攝像機)光心距離為B'， 則該點與左攝像機之間的視差Vr為
V;c' = Z) *義'=D * /B' 由于中間視點x'與左攝像機的光心距離B'是已知的，則可以求出與左攝像機的
視差與左右攝像機視差之間關系為<formula>formula see original document page 8</formula> 則中間視點與左攝像機之間視差為
Vx'=—Vx 因此，對于虛擬中間視點的每一點，都可以由與左攝像機圖像的視差計算得出。
參照圖3，示出了本發(fā)明一種圖像重構(gòu)方法第一實施例的流程圖，包括步驟
步驟310、獲取已知第一視點的第一圖像信息和已知第二視點的第二圖像信息。
在已知第一視點和已知第二視點分別通過圖像獲取裝置獲取場景的圖像信息，在 本發(fā)明各實施例中，所述第一視點所獲取的圖像為左圖像，所述第二視點所獲取的圖像為 右圖像。 步驟320、獲取所述已知第一視點的第一深度信息。 通過深度信息獲取裝置獲取場景在已知第一視點處的深度信息。 步驟330、確定所述第一深度信息的第一深度視差對應因子。 根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深度信息確定所述第一深 度信息的第一深度視差對應因子。 所述深度視差對應因子確定方法的詳細過程已經(jīng)在前面進行了詳細描述，在此不 再贅述。 步驟340、根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視差轉(zhuǎn) 換，獲取第一視差信息。 所述根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視差轉(zhuǎn)換，獲 取第一視差信息的原理和過程在前面已經(jīng)進行了詳細描述，為了篇幅考慮，在此不再贅述。
步驟350、根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視點的第三圖像。
其中，所述步驟330中的深度視差因子確定以后，在以后每個圖像重構(gòu)過程中，重 復使用所述確定的深度視差對應因子即可，不必重新確定深度視差對應因子。也就是說，確 定了深度視差對應因子以后，所述步驟330就不必再進行了。 本發(fā)明實施例通過直接獲取深度信息，通過將所述深度信息轉(zhuǎn)換為視差信息重構(gòu) 圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高復雜度的計 算，提高了圖像重構(gòu)的實時性，并且由于不再采用立體匹配算法進行圖像重構(gòu)，因此不會存 在幀間閃爍，提高了重構(gòu)圖像的質(zhì)量。 在本發(fā)明各實施例中，所述圖像信息由圖像獲取裝置獲取，所述圖像獲取裝置優(yōu) 選攝像機或彩色攝像機，當然也可以選擇其他的圖像獲取裝置，本發(fā)明實施例對此不作限 定。所述深度信息由深度信息獲取裝置獲取，所述深度信息獲取裝置優(yōu)選深度攝像機，同 樣，也可以選擇其他的深度信息獲取裝置。為了使圖像獲取裝置所獲取圖像中的點與深度 信息獲取裝置所獲取深度圖像中的對應點重合，所述圖像獲取裝置和所述深度信息獲取裝 置優(yōu)選重合或集成一體。 參照圖4，示出了本發(fā)明一種圖像重構(gòu)方法第二實施例的流程圖。在所述第二實施 例中，如果圖像獲取裝置所獲取圖像中的點與深度信息獲取裝置所獲取深度圖像中的對應 點不重合或圖像獲取裝置所獲取的兩個圖像不平行，則在確定深度視差對應因子前還包括 步驟313和步驟314。 步驟311、獲取已知第一視點的第一圖像信息和已知第二視點的第二圖像信息。
在已知第一視點和已知第二視點分別通過圖像獲取裝置獲取場景的圖像信息，在本發(fā)明各實施例中，所述第一視點所獲取的圖像為左圖像，所述第二視點所獲取的圖像為 右圖像。 步驟312、獲取所述已知第一視點的第一深度信息。 通過深度信息獲取裝置獲取場景在已知第一視點處的深度信息。 步驟313、校正所述第一圖像信息和所述第二圖像信息，使所述第一圖像信息中的
點與所述第二圖像信息中的對應點平行。 所述步驟313也可以有步驟311之后，本發(fā)明實施例并不對此進行限定。 步驟314、配準所述第一圖像信息和所述第一深度信息，使所述第一圖像信息中的
點與所述第一深度信息中的對應點重合。 步驟315、確定所述第一深度信息的第一深度視差對應因子。 根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深度信息確定所述第一深 度信息的第一深度視差對應因子。 所述深度視差對應因子確定方法的詳細過程已經(jīng)在前面進行了詳細描述，在此不 再贅述。 步驟316、根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視差轉(zhuǎn) 換，獲取第一視差信息。 所述根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視差轉(zhuǎn)換，獲 取第一視差信息的原理和過程在前面已經(jīng)進行了詳細描述，為了篇幅考慮，在此不再贅述。
步驟317、根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視點的第三圖像。
其中，所述步驟315中的深度視差因子確定以后，在以后每個圖像重構(gòu)過程中，重 復使用所述確定的深度視差對應因子即可，不必重新確定深度視差對應因子。也就是說，確 定了深度視差對應因子以后，所述步驟315就不必再進行了。 本發(fā)明實施例通過直接獲取深度信息，通過將所述深度信息轉(zhuǎn)換為視差信息重構(gòu) 圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高復雜度的計 算，提高了圖像重構(gòu)的實時性，并且由于不再采用立體匹配算法進行圖像重構(gòu)，因此不會存 在幀間閃爍，提高了重構(gòu)圖像的質(zhì)量。 參照圖5，示出了本發(fā)明一種圖像重構(gòu)方法第三實施例的流程圖，包括步驟
步驟410、獲取已知第一視點的第一圖像信息和已知第二視點的第二圖像信息。
在已知第一視點和已知第二視點分別通過圖像獲取裝置獲取場景的圖像信息，在 本發(fā)明各實施例中，所述第一視點所獲取的圖像為左圖像，所述第二視點所獲取的圖像為 右圖像。 步驟420、獲取所述已知第一視點的第一深度信息和所述已知第二視點的第二深 度信息。 通過深度信息獲取裝置獲取場景在已知第一視點處和已知第二視點處的深度信 息。 步驟430、確定所述第一深度信息的第一深度視差對應因子和所述第二深度信息 的第二深度視差對應因子。 根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深度信息確定所述第一深 度信息的第一深度視差對應因子。
根據(jù)所述第一圖像信息、所述第二圖像信息和所述第二深度信息確定所述第二深 度信息的第二深度視差對應因子。 所述深度視差對應因子確定的方法在前面已經(jīng)進行了詳細描述，在此不再贅述。
步驟440、根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視差轉(zhuǎn) 換，獲取第一視差信息，根據(jù)所述第二深度視差對應因子對所述第二深度信息進行深度視 差轉(zhuǎn)換，獲取第二視差信息。 所述根據(jù)深度視差對應因子對深度信息進行深度視差轉(zhuǎn)換，獲取視差信息的原理 和過程在前面已經(jīng)進行了詳細描述，為了篇幅考慮，在此不再贅述。 步驟450、根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視點的第三圖像，
根據(jù)所述第二圖像信息和所述第二視差信息重構(gòu)虛擬視點的第四圖像。 步驟460、根據(jù)所述第三圖像和所述第四圖像進行空洞填補，生成所述虛擬視點的
第五圖像。 在本發(fā)明各實施例中，所述圖像信息由圖像獲取裝置獲取，所述圖像獲取裝置優(yōu) 選攝像機或彩色攝像機，當然也可以選擇其他的圖像獲取裝置，本發(fā)明實施例對此不作限 定。所述深度信息由深度信息獲取裝置獲取，所述深度信息獲取裝置優(yōu)選深度攝像機，同 樣，也可以選擇其他的深度信息獲取裝置。為了使圖像獲取裝置所獲取圖像中的點與深度 信息獲取裝置所獲取深度圖像中的對應點重合，所述圖像獲取裝置和所述深度信息獲取裝 置優(yōu)選重合或集成一體。 如果圖像獲取裝置所獲取圖像中的點與深度信息獲取裝置所獲取深度圖像中的 對應點不重合或圖像獲取裝置所獲取的兩個圖像不平行，則在確定所述深度視差對應因子 前還包括步驟 校正所述第一圖像信息和所述第二圖像信息，使所述第一圖像信息中的點與所述 第二圖像信息中的對應點平行。 配準所述第一圖像信息和所述第一深度信息，使所述第一圖像信息中的點與所述 第一深度信息中的對應點重合。 配準所述第二圖像信息和所述第二深度信息，使所述第二圖像信息中的點與所述 第二深度信息中的對應點重合。 本發(fā)明實施例通過直接獲取深度信息，通過將所述深度信息轉(zhuǎn)換為視差信息重構(gòu) 圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高復雜度的計 算，提高了圖像重構(gòu)的實時性，并且提高了重構(gòu)圖像的質(zhì)量。并且，通過獲取場景足夠多的 深度信息，解決了場景內(nèi)的遮擋問題。而所述場景內(nèi)的遮擋問題在采用立體匹配算法重構(gòu) 圖像時是無法解決的。 以上兩個實施例是以兩個視點的圖像信息和深度信息進行虛擬視點圖像的重構(gòu)。 可以理解，如果采用更多視點的圖像信息和深度信息進行虛擬視點圖像的重構(gòu)也是可以 的，且所述重構(gòu)過程的原理與采用兩個視點相同，因此本發(fā)明實施例不再詳細說明。
參照圖6，示出了本發(fā)明一種圖像重構(gòu)方法第四實施例的流程圖，包括步驟
步驟510、獲取已知視點的圖像信息。
步驟520、獲取所述已知視點的深度信息。 步驟530、對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息。 在對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息前還需 要 確定所述深度信息的深度視差對應因子。 從而根據(jù)所述深度視差對應因子對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深 度信息對應的視差信息。 步驟540、根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬視點的圖像。 所述實施例采用一個已知視點的圖像信息和深度信息。其應用的場景是生成小視 差的其它虛擬視點圖像，可以用在立體顯示方面。在一個已知視點的情況下，不需要進行圖 像信息的校正。 參照圖7，示出了本發(fā)明一種圖像重構(gòu)方法第五實施例的流程圖，包括步驟
步驟511、獲取已知視點的圖像信息。
步驟512、獲取所述已知視點的深度信息。 步驟513、配準所述已知視點的圖像信息和所述已知視點的深度信息，使所述深度
信息中的點與所述圖像信息中的對應點重合。 步驟514、確定所述深度信息的深度視差對應因子。 本實施例中的所述深度視差對應因子不具有實際的意義，深度視差對應因子的選
擇可以根據(jù)應用場景的需要來進行選擇，如根據(jù)立體顯示器的參數(shù)來進行選擇。 步驟515、根據(jù)所述深度視差對應因子對所述深度信息進行深度視差轉(zhuǎn)換，獲取所
述深度信息對應的視差信息。 步驟516、根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬視點的圖像。 所述實施例采用一個已知視點的圖像信息和深度信息。其應用的場景是生成小視 差的其它虛擬視點圖像，可以用在立體顯示方面。在一個已知視點的情況下，不需要進行圖 像信息的校正，但是需要進行圖像信息與深度信息的配準。所述配準過程與前面實施例的 過程相同；在本實施例中，仍然需要確定深度視差對應因子，不過此時的深度視差對應因子 不具有實際的意義，深度視差對應因子的選擇可以根據(jù)應用場景的需要來進行選擇，如根 據(jù)立體顯示器的參數(shù)來進行選擇。 參照圖8，示出了本發(fā)明一種圖像重構(gòu)系統(tǒng)第一實施例的組成結(jié)構(gòu)圖，包括 第一圖像獲取裝置610、用于獲取已知第一視點的第一圖像信息。 第二圖像獲取裝置620、用于獲取已知第二視點的第二圖像信息。 第一深度信息獲取裝置630、用于獲取所述已知第一視點的第一深度信息。 第一確定裝置640、用于根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深
度信息確定所述第一深度信息的第一深度視差對應因子。 第一轉(zhuǎn)換裝置650、用于根據(jù)所述第一深度視差對應因子對所述第一深度信息進 行深度視差轉(zhuǎn)換，獲取第一視差信息。 第一重構(gòu)裝置660、用于根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視 點的第三圖像。
12
所述圖像重構(gòu)系統(tǒng)的工作過程和工作原理參考前面相關部分的描述，為了篇幅考 慮，在此不進行詳細描述。 本發(fā)明實施例通過直接獲取深度信息，通過將所述深度信息轉(zhuǎn)換為視差信息重構(gòu) 圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高復雜度的計 算，提高了圖像重構(gòu)的實時性，并且由于不再采用立體匹配算法進行圖像重構(gòu)，因此不會存 在幀間閃爍，提高了重構(gòu)圖像的質(zhì)量。 為了使圖像獲取裝置所獲取圖像中的點與深度信息獲取裝置所獲取深度圖像中 的對應點重合，所述第一圖像獲取裝置和所述第一深度信息獲取裝置優(yōu)選重合或集成一 體。 參照圖9，示出了本發(fā)明一種圖像重構(gòu)系統(tǒng)第二實施例的組成結(jié)構(gòu)圖。在本發(fā)明一
種圖像重構(gòu)系統(tǒng)第二實施例中，如果圖像獲取裝置所獲取圖像中的點與深度信息獲取裝置
所獲取深度圖像中的對應點不重合或圖像獲取裝置所獲取的兩個圖像不平行，則所述圖像
重構(gòu)系統(tǒng)還包括校正裝置611和第一配準裝置612。所述圖像重構(gòu)系統(tǒng)包括 第一圖像獲取裝置610、用于獲取已知第一視點的第一圖像信息。 第二圖像獲取裝置620、用于獲取已知第二視點的第二圖像信息。 第一深度信息獲取裝置630、用于獲取所述已知第一視點的第一深度信息。 校正裝置611、用于校正所述第一圖像信息和所述第二圖像信息，使所述第一圖像
信息中的點與所述第二圖像信息中的對應點平行。 第一配準裝置612、用于配準所述第一圖像信息和所述第一深度信息，使所述第一 圖像信息中的點與所述第一深度信息中的對應點重合。 第一確定裝置640、用于根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深 度信息確定所述第一深度信息的第一深度視差對應因子。 第一轉(zhuǎn)換裝置650、用于根據(jù)所述第一深度視差對應因子對所述第一深度信息進 行深度視差轉(zhuǎn)換，獲取第一視差信息。 第一重構(gòu)裝置660、用于根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視 點的第三圖像。 本發(fā)明實施例通過直接獲取深度信息，通過將所述深度信息轉(zhuǎn)換為視差信息重構(gòu) 圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高復雜度的計 算，提高了圖像重構(gòu)的實時性，并且由于不再采用立體匹配算法進行圖像重構(gòu)，因此不會存 在幀間閃爍，提高了重構(gòu)圖像的質(zhì)量。 參照圖IO，示出了本發(fā)明一種圖像重構(gòu)系統(tǒng)第三實施例的組成結(jié)構(gòu)圖。所述圖像 重構(gòu)系統(tǒng)除了包括第二實施例中的各組成部分外，還包括 第二深度信息獲取裝置710、用于獲取所述已知第二視點的第二深度信息。
第二確定裝置720、用于根據(jù)所述第一圖像信息、所述第二圖像信息和所述第二深 度信息確定所述第二深度信息的第二深度視差對應因子。 第二轉(zhuǎn)換裝置730、用于根據(jù)所述第二深度視差對應因子對所述第二深度信息進 行深度視差轉(zhuǎn)換，獲取第二視差信息。 第二重構(gòu)裝置740、用于根據(jù)所述第二圖像信息和所述第二視差信息重構(gòu)所述虛 擬視點的第四圖像。
13
空洞填補裝置750、用于根據(jù)所述第三圖像和所述第四圖像進行空洞填補，生成所 述虛擬視點的第五圖像。 所述圖像重構(gòu)系統(tǒng)的工作過程和工作原理參考前面相關部分的描述，為了篇幅考 慮，在此不進行詳細描述。 為了使圖像獲取裝置所獲取圖像中的點與深度信息獲取裝置所獲取深度圖像中 的對應點重合，所述第一圖像獲取裝置和所述第一深度信息獲取裝置、所述第二圖像獲取 裝置和所述第二深度信息獲取裝置優(yōu)選重合或集成一體。 如果圖像獲取裝置所獲取圖像中的點與深度信息獲取裝置所獲取深度圖像中的 對應點不重合或圖像獲取裝置所獲取的兩個圖像不平行，則所述圖像重構(gòu)系統(tǒng)還包括
校正裝置611、用于校正所述第一圖像信息和所述第二圖像信息，使所述第一圖像 信息中的點與所述第二圖像信息中的對應點平行。 第一配準裝置612、用于配準所述第一圖像信息和所述第一深度信息，使所述第一 圖像信息中的點與所述第一深度信息中的對應點重合。 第二配準裝置613、用于配準所述第二圖像信息和所述第二深度信息，使所述第二 圖像信息中的點與所述第二深度信息中的對應點重合。 本發(fā)明實施例通過直接獲取深度信息，通過將所述深度信息轉(zhuǎn)換為視差信息重構(gòu) 圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高復雜度的計 算，提高了圖像重構(gòu)的實時性，并且提高了重構(gòu)圖像的質(zhì)量。并且，通過獲取場景足夠多的 深度信息，解決了場景內(nèi)的遮擋問題。而所述場景內(nèi)的遮擋問題在采用立體匹配算法重構(gòu) 圖像時是無法解決的。 以上兩個實施例是以兩個視點的圖像信息和深度信息進行虛擬視點圖像的重構(gòu)。
可以理解，如果采用更多視點的圖像信息和深度信息進行虛擬視點圖像的重構(gòu)也是可以
的，且所述重構(gòu)過程的原理與采用兩個視點相同，因此本發(fā)明實施例不再詳細說明。 參照圖ll，示出了本發(fā)明一種圖像重構(gòu)系統(tǒng)第四實施例的組成結(jié)構(gòu)圖，包括 圖像獲取裝置810、用于獲取已知視點的圖像信息。 深度信息獲取裝置820、用于獲取所述已知視點的深度信息。 轉(zhuǎn)換裝置830、用于對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的 視差信息。 重構(gòu)裝置840、用于根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬 視點的圖像。 所述實施例采用一個已知視點的圖像信息和深度信息。其應用的場景是生成小視 差的其它虛擬視點圖像，可以用在立體顯示方面。在一個已知視點的情況下，不需要進行圖 像信息的校正。 參照圖12，示出了本發(fā)明一種圖像重構(gòu)系統(tǒng)第一實施例的組成結(jié)構(gòu)圖。在本發(fā)明
一種圖像重構(gòu)系統(tǒng)的第五實施例中，所述圖像重構(gòu)系統(tǒng)還包括 圖像獲取裝置810、用于獲取已知視點的圖像信息。 深度信息獲取裝置820、用于獲取所述已知視點的深度信息。 轉(zhuǎn)換裝置830、用于對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的 視差信息。
重構(gòu)裝置840、用于根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬 視點的圖像。 確定裝置850、用于確定所述深度信息的深度視差對應因子。 配準裝置860、用于對所述圖像獲取裝置所獲取的圖像和所述深度信息獲取裝置
所獲取的圖像進行配準，使深度圖中的點與圖像中的對應點在位置上完全相同。 所述轉(zhuǎn)換裝置830根據(jù)所述深度視差對應因子對所述深度信息進行深度視差轉(zhuǎn)
換，獲取所述深度信息對應的視差信息。 所述實施例采用一個已知視點的圖像信息和深度信息。其應用的場景是生成小視 差的其它虛擬視點圖像，可以用在立體顯示方面。在一個已知視點的情況下，不需要進行圖 像信息的校正，但是需要進行圖像信息與深度信息的配準。所述配準過程與前面實施例的 過程相同。在本實施例中，仍然需要確定深度視差對應因子，不過此時的深度視差對應因子 不具有實際的意義，深度視差對應因子的選擇可以根據(jù)應用場景的需要來進行選擇，如根 據(jù)立體顯示器的參數(shù)來進行選擇。 本領域普通技術人員可以理解，實現(xiàn)上述實施例方法中的全部或部分步驟是可以 通過程序來指令相關的硬件來完成，所述的程序可以存儲于一計算機可讀取存儲介質(zhì)中， 該程序在執(zhí)行時，包括如上述方法實施例的步驟，所述的存儲介質(zhì)，如磁碟、光盤、只讀存 f諸i己十乙亍本(Read—Only Memory, ROM)或P道豐幾存f諸i己十乙亍本(Random Access Memory, RAM)等。 在本發(fā)明各方法實施例中，所述各步驟的序號并不能用于限定各步驟的先后順序，對于本 領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，對各步驟的先后變化也在本發(fā) 明的保護范圍之內(nèi)。 以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
一種圖像重構(gòu)方法，其特征在于，包括獲取已知視點的圖像信息；獲取所述已知視點的深度信息；對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息；根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬視點的圖像。
2 . 根據(jù)權(quán)利要求1所述的圖像重構(gòu)方法，其特征在于，對所述深度信息進行深度視差 轉(zhuǎn)換前，還包括確定所述深度信息的深度視差對應因子。
3. 根據(jù)權(quán)利要求2所述的圖像重構(gòu)方法，其特征在于，所述對所述深度信息進行深度 視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息為根據(jù)所述深度視差對應因子對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對 應的視差信息。
4. 根據(jù)權(quán)利要求3所述的圖像重構(gòu)方法，其特征在于，在所述對所述深度信息進行深 度視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息前還包括配準所述已知視點的圖像信息和所述已知視點的深度信息，使所述深度信息中的點與 所述圖像信息中的對應點重合。
5. —種圖像重構(gòu)方法，其特征在于，包括獲取已知第一視點的第一圖像信息和已知第二視點的第二圖像信息； 獲取所述已知第一視點的第一深度信息；根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深度信息確定所述第一深度信 息的第一深度視差對應因子；根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視差轉(zhuǎn)換，獲取第一視 差信息；根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視點的第三圖像。
6. 根據(jù)權(quán)利要求5所述的圖像重構(gòu)方法，其特征在于，還包括 獲取所述已知第二視點的第二深度信息；根據(jù)所述第一圖像信息、所述第二圖像信息和所述第二深度信息確定所述第二深度信 息的第二深度視差對應因子；根據(jù)所述第二深度視差對應因子對所述第二深度信息進行深度視差轉(zhuǎn)換，獲取第二視 差信息；根據(jù)所述第二圖像信息和所述第二視差信息重構(gòu)所述虛擬視點的第四圖像。
7. 根據(jù)權(quán)利要求6所述的圖像重構(gòu)方法，其特征在于，重構(gòu)所述虛擬視點的第三圖像 和第四圖像后，還包括根據(jù)所述第三圖像和所述第四圖像進行空洞填補，生成所述虛擬視點的第五圖像。
8. 根據(jù)權(quán)利要求5或6或7所述的圖像重構(gòu)方法，其特征在于，所述第一深度視差對應 因子或所述第二深度視差對應因子根據(jù)以下公式確定<formula>formula see original document page 2</formula>其中，所述A為深度視差對應因子，所述Vx,為所述第一圖像信息和所述第二圖像信息 中第i特征點之間的視差，所述Di為深度信息中第i特征點的深度信息Zi的倒數(shù)，即<formula>formula see original document page 3</formula>
9. 根據(jù)權(quán)利要求5或6或7所述的圖像重構(gòu)方法，其特征在于，確定所述第一深度信息 的第一深度視差對應因子前還包括校正所述第一圖像信息和所述第二圖像信息，使所述第一圖像信息中的點與所述第二 圖像信息中的對應點平行；配準所述第一圖像信息和所述第一深度信息，使所述第一圖像信息中的點與所述第一 深度信息中的對應點重合。
10. 根據(jù)權(quán)利要求6或7所述的圖像重構(gòu)方法，其特征在于，確定所述第二深度信息的 第二深度視差對應因子前還包括配準所述第二圖像信息和所述第二深度信息，使所述第二圖像信息中的點與所述第二 深度信息中的對應點重合。
11. 一種圖像重構(gòu)系統(tǒng)，其特征在于，包括 圖像獲取裝置，用于獲取已知視點的圖像信息； 深度信息獲取裝置，用于獲取所述已知視點的深度信息；轉(zhuǎn)換裝置，用于對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息；重構(gòu)裝置，用于根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬視點的圖像。
12. 根據(jù)權(quán)利要求11所述的圖像重構(gòu)系統(tǒng)，其特征在于，還包括 確定裝置，用于確定所述深度信息的深度視差對應因子；所述轉(zhuǎn)換裝置根據(jù)所述深度視差對應因子對所述深度信息進行深度視差轉(zhuǎn)換，獲取所 述深度信息對應的視差信息；配準裝置，用于配準所述已知視點的圖像信息和所述已知視點的深度信息，使所述深 度信息中的點與所述圖像信息中的對應點重合。
13. —種圖像重構(gòu)系統(tǒng)，其特征在于，包括 第一圖像獲取裝置，用于獲取已知第一視點的第一圖像信息； 第二圖像獲取裝置，用于獲取已知第二視點的第二圖像信息； 第一深度信息獲取裝置，用于獲取所述已知第一視點的第一深度信息； 第一確定裝置，用于根據(jù)所述第一圖像信息、所述第二圖像信息和所述第一深度信息確定所述第一深度信息的第一深度視差對應因子；第一轉(zhuǎn)換裝置，用于根據(jù)所述第一深度視差對應因子對所述第一深度信息進行深度視 差轉(zhuǎn)換，獲取第一視差信息；第一重構(gòu)裝置，用于根據(jù)所述第一圖像信息和所述第一視差信息重構(gòu)虛擬視點的第三 圖像。
14. 根據(jù)權(quán)利要求13所述的圖像重構(gòu)系統(tǒng)，其特征在于，還包括 第二深度信息獲取裝置，用于獲取所述已知第二視點的第二深度信息； 第二確定裝置，用于根據(jù)所述第一圖像信息、所述第二圖像信息和所述第二深度信息確定所述第二深度信息的第二深度視差對應因子；第二轉(zhuǎn)換裝置，用于根據(jù)所述第二深度視差對應因子對所述第二深度信息進行深度視 差轉(zhuǎn)換，獲取第二視差信息；第二重構(gòu)裝置，用于根據(jù)所述第二圖像信息和所述第二視差信息重構(gòu)所述虛擬視點的 第四圖像。
15. 根據(jù)權(quán)利要求14所述的圖像重構(gòu)系統(tǒng)，其特征在于，還包括空洞填補裝置，用于根據(jù)所述第三圖像和所述第四圖像進行空洞填補，生成所述虛擬 視點的第五圖像。
16. 根據(jù)權(quán)利要求13或14或15所述的圖像重構(gòu)系統(tǒng)，其特征在于，還包括 校正裝置，用于校正所述第一圖像信息和所述第二圖像信息，使所述第一圖像信息中的點與所述第二圖像信息中的對應點平行；第一配準裝置，用于配準所述第一圖像信息和所述第一深度信息，使所述第一圖像信 息中的點與所述第一深度信息中的對應點重合。
17. 根據(jù)權(quán)利要求14或15所述的圖像重構(gòu)系統(tǒng)，其特征在于，還包括 第二配準裝置，用于配準所述第二圖像信息和所述第二深度信息，使所述第二圖像信息中的點與所述第二深度信息中的對應點重合。
全文摘要
本發(fā)明實施例公開了一種圖像重構(gòu)方法和圖像重構(gòu)系統(tǒng)，所述方法包括獲取已知視點的圖像信息；獲取所述已知視點的深度信息；對所述深度信息進行深度視差轉(zhuǎn)換，獲取所述深度信息對應的視差信息；根據(jù)所述已知視點的所述圖像信息和所述視差信息重構(gòu)虛擬視點的圖像。通過將所述深度信息轉(zhuǎn)換為視差信息重構(gòu)圖像，從而不需要通過立體匹配算法獲取視差信息，因此避免進行大量的、高復雜度的計算，提高了圖像重構(gòu)的實時性，并且提高了重構(gòu)圖像的質(zhì)量。
文檔編號H04N13/04GK101754042SQ20081022519
公開日2010年6月23日 申請日期2008年10月30日 優(yōu)先權(quán)日2008年10月30日
發(fā)明者劉源, 李凱, 王靜, 趙嵩 申請人:華為終端有限公司