可變分辨率深度表示的制作方法
【技術領域】
[0001]本發(fā)明一般涉及深度表示。更具體來說，本發(fā)明涉及具有可變分辨率的標準化深度表示。
【背景技術】
[0002]在圖像捕獲期間，存在用來捕獲與圖像信息關聯(lián)的深度信息的各種技術。深度信息通常用來產(chǎn)生圖像中包含的深度的表示。例如，點云、深度圖或三維(3D)多邊形網(wǎng)格可用來指示圖像中的3D對象的形狀的深度。深度信息也能夠使用立體像對或者多視圖重構方法從二維(2D)圖像來得出，并且還從包括結構化光、飛行時間傳感器和許多其他方法的大量直接深度感測方法來得出。
【附圖說明】
[0003]圖1是可用來產(chǎn)生可變分辨率深度表示的計算裝置的框圖；
圖2是基于可變位深度的可變分辨率深度圖和另一個可變分辨率深度圖的圖示；
圖3是基于可變空間分辨率的可變分辨率深度圖和所生產(chǎn)圖像的圖示；
圖4是從可變分辨率深度圖所形成的一組圖像；
圖5是產(chǎn)生可變分辨率深度圖的方法的過程流程圖；
圖6是用于生成可變分辨率深度圖的示范系統(tǒng)的框圖；
圖7是可實施圖6的系統(tǒng)600的小形狀因數(shù)裝置的示意圖；以及圖8是示出存儲用于可變分辨率深度表示的代碼的有形非暫時計算機可讀介質(zhì)的框圖。
[0004]相同標號在本公開和附圖中通篇用來表示相似組件和特征。100系列中的標號表示最初見于圖1的特征；200系列中的標號表示最初見于圖2的特征；依此類推。
【具體實施方式】
[0005]各深度表示是深度的均質(zhì)表示。深度對于各像素密集地生成或者在已知特性所包圍的特定像素稀疏地生成。因此，當前深度圖沒有對人類視覺系統(tǒng)進行建?；蛘邇?yōu)化深度映射過程，從而僅提供均質(zhì)或恒定分辨率。
[0006]本文所提供的實施例實現(xiàn)可變分辨率深度表示。在一些實施例中，深度表示可基于深度圖的使用或者深度圖中的感興趣面積來調(diào)整。在一些實施例中，生成備選優(yōu)化深度圖表示。為了便于描述，使用像素來描述技術。但是，能夠使用圖像數(shù)據(jù)的任何單位，例如，如計算機圖形學中所使用的體素、點云或3D網(wǎng)格?？勺兎直媛噬疃缺硎究砂ㄔ谡麄€深度表示以異質(zhì)分辨率所捕獲的一組深度信息以及從共同工作的一個或多個深度傳感器所捕獲的深度信息。所產(chǎn)生深度信息可采取密集均勻間隔點或者稀疏不均勻間隔點或者圖像的線條或者整個2D圖像陣列的形式，這取決于所選方法。
[0007]在以下描述和權利要求書中，可使用術語“耦合”和“連接”及其派生。應當理解，這些術語并不是要作為彼此的同義詞。在具體實施例中，“連接”而是可用來表示兩個或更多元件相互直接物理或電接觸?！榜詈稀笨杀硎緝蓚€或更多元件直接物理或電接觸。但是，“耦合”也可表示兩個或更多元件不是相互直接接觸，但是仍然相互配合或交互。
[0008]—些實施例可通過硬件、固件和軟件其中之一或者它們的組合來實現(xiàn)。一些實施例還可作為機器可讀介質(zhì)上存儲的指令來實現(xiàn)，所述指令可由計算平臺讀取和運行以執(zhí)行本文所述的操作。機器可讀介質(zhì)可包括用于存儲或傳送機器、例如計算機可讀的形式的信息的任何機制。例如，機器可讀介質(zhì)可包括:只讀存儲器(ROM);隨機存取存儲器(RAM);磁盤存儲介質(zhì)；光存儲介質(zhì)；閃速存儲器裝置；或者電、光、聲或其他形式的傳播信號(例如載波、紅外信號、數(shù)字信號或者傳送和/或接收信號的接口 )等。
[0009]—實施例是實現(xiàn)或示例。本說明書中提到“一實施例”、“一個實施例”、“一些實施例”、“各個實施例”或者“其他實施例”表示結合這些實施例所述的特定特征、結構或特性包含在本發(fā)明的至少部分實施例但不一定是全部實施例中。出現(xiàn)“一實施例”、“一個實施例”或“一些實施例”的各種情況不一定都表示相同實施例。來自一實施例的元件或方面能夠與另一個實施例的元件或方面相結合。
[0010]并非本文所述和所示的所有組件、特征、結構、特性等都需要包含在具體實施例中。例如，如果本說明書陳述組件、特征、結構或特性“可”、“可能”或者“能夠”被包含，則不要求包含那個特定組件、特征、結構或特性。如果本說明書或權利要求書提到“一”或“一個”元件，則并不表示只有一個這種元件。如果本說明書或權利要求書提到“一個附加”元件，則不排除存在一個以上這種附加元件的情況。
[0011]要注意，雖然一些實施例參照具體實現(xiàn)來描述，但是按照一些實施例，其他實現(xiàn)是可能的。另外，附圖所示和/或本文所述的電路元件或其他特征的布置和/或順序無需按照所示和所述的特定方式來設置。按照一些實施例，許多其他布置是可能的。
[0012]在附圖所示的各系統(tǒng)中，一些情況下的元件各可具有相同的參考標號或者不同的參考標號，以暗示所表示的元件可能是不同的和/或相似的。但是，元件可以足夠靈活，以便具有不同實現(xiàn)，并且與本文所示或所述的系統(tǒng)的部分或全部配合工作。附圖所示的各種元件可以是相同或不同的。哪一個稱作第一元件和哪一個稱作第二元件是任意的。
[0013]圖1是可用來產(chǎn)生可變分辨率深度表示的計算裝置100的框圖。計算裝置100可以是例如膝上型計算機、臺式計算機、平板計算機、移動裝置或服務器等等。計算裝置100可包括中央處理單元(CPU) 102 (其配置成運行所存儲指令)以及存儲器裝置104 (其存儲由CPU 102可執(zhí)行的指令)。CPU可經(jīng)過總線106耦合到存儲器裝置104。另外，CPU 102能夠是單核處理器、多核處理器、計算集群或者任何數(shù)量的其他配置。此外，計算裝置100可包括一個以上CPU 102。由CPU 102來運行的指令可用來實現(xiàn)共享虛擬存儲器。
[0014]計算裝置100還可包括圖形處理單元(GPU) 108。如所示，CPU 102可經(jīng)過總線106耦合到GPU 108。GPU 108可配置成執(zhí)行計算裝置100中的任何數(shù)量的圖形操作。例如，GPU 108可配置成再現(xiàn)或操縱圖形圖像、圖形幀、視頻等，以便向計算裝置100的用戶顯示。在一些實施例中，GPU 108包括多個圖形引擎(未示出)，其中各圖形引擎配置成執(zhí)行特定圖形任務或者運行特定類型的工作負荷。例如，GPU 108可包括產(chǎn)生可變分辨率深度圖的引擎。深度圖的特定分辨率可基于應用。
[0015]存儲器裝置104能夠包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃速存儲器或者任何其他適當存儲器系統(tǒng)。例如，存儲器裝置104可包括動態(tài)隨機存取存儲器(DRAM)。存儲器裝置104包括驅(qū)動器110。驅(qū)動器110配置成運行用于操作計算裝置100中的各種組件的指令。裝置驅(qū)動器110可以是軟件、應用程序、應用代碼等。
[0016]計算裝置100包括圖像捕獲裝置112。在一些實施例中，圖像捕獲裝置112是照相裝置、立體照相裝置、紅外傳感器等。圖像捕獲裝置112用來捕獲圖像信息。圖像捕獲機構可包括傳感器114，例如深度傳感器、圖像傳感器、紅外傳感器、X射線光子計數(shù)傳感器或者它們的任何組合。圖像傳感器可包括電荷耦合器件(CCD)圖像傳感器、互補金屬氧化物半導體(CMOS)圖像傳感器、芯片上系統(tǒng)(SOC)圖像傳感器、具有光敏薄膜晶體管的圖像傳感器或者它們的任何組合。在一些實施例中，傳感器114是深度傳感器114。深度傳感器114可用來捕獲與圖像信息關聯(lián)的深度信息。在一些實施例中，驅(qū)動器110可用來操作圖像捕獲裝置112中的傳感器、例如深度傳感器。深度傳感器可通過分析像素之間的變化并且按照預期分辨率捕獲像素，來產(chǎn)生可變分辨率深度圖。
[0017]CPU 102可經(jīng)過總線106連接到輸入/輸出(I/O)裝置接口 116，其配置成將計算裝置100連接到一個或多個I/O裝置118。I/O裝置118可包括例如鍵盤和指針裝置，其中指針裝置可包括觸摸板或觸摸屏等等。I/O裝置118可以是計算裝置100的內(nèi)置組件，或者可以是外部連接到計算裝置100的裝置。
[0018]CPU 102也可經(jīng)過總線106鏈接到顯示器接口 120，其配置成將計算裝置100連接到顯示裝置122。顯示裝置122可包括顯示屏幕，其是計算裝置100的內(nèi)置組件。顯示裝置122還可包括計算機監(jiān)視器、電視機或投影儀等等，其外部連接到計算裝置100。
[0019]計算裝置還包括存儲裝置124。存儲裝置124是物理存儲器，例如硬盤驅(qū)動器、光驅(qū)動器、thumbdrive、驅(qū)動器陣列或者它們的任何組合。存儲裝置124還可包括遠程存儲驅(qū)動器。存儲裝置124包括任何數(shù)量的應用126，其配置成運行于計算裝置100。應用126可用來組合媒體和圖形，包括用于立體顯示器的3D立體照相裝置圖像和3D圖形。在示例中，應用126可用來生成可變分辨率深度圖。
[0020]計算裝置10