根據(jù)單個(gè)圖像估計(jì)深度的制作方法
【專利說明】
[0001] 相關(guān)申請(qǐng)
[0002] 本國際申請(qǐng)要求2014年5月27日提交的美國專利申請(qǐng)No. 14/288,233(代理人案 卷號(hào)No. 2043. E73US1)以及2013年9月5日提交的美國臨時(shí)專利申請(qǐng)No. 61/874,096(代 理人案卷號(hào)No. 2043. E73PRV)的優(yōu)先權(quán)，這些申請(qǐng)的全部以引用的方式并入本文。
技術(shù)領(lǐng)域
[0003] 本文中公開的主題大體上涉及圖像的處理。具體地，本公開涉及用于促進(jìn)圖像處 理和根據(jù)圖像處理獲得的圖像數(shù)據(jù)的使用的系統(tǒng)和方法。
【背景技術(shù)】
[0004] 特別是從用戶觀察圖像或促進(jìn)電子商務(wù)（"e-commerce"）的角度來看，可以使用 圖像來以更高效地或者以文本不能實(shí)現(xiàn)的方式來傳遞信息。然而，為了基于圖像中包含的 大量信息來使用圖像，執(zhí)行圖像處理以提取、鑒別或以其他方式識(shí)別圖像的屬性。一旦提取 出了圖像數(shù)據(jù)，圖像數(shù)據(jù)就可以在各種應(yīng)用中使用。取決于具體應(yīng)用，可以優(yōu)先于其他圖像 來實(shí)現(xiàn)某些類型的圖像的處理。
【附圖說明】
[0005] 在附圖的圖中以示例的方式而非限制的方式示出了 一些實(shí)施例。
[0006] 圖1是示出了根據(jù)一些示例實(shí)施例的適合于根據(jù)單個(gè)圖像來估計(jì)深度的網(wǎng)絡(luò)環(huán) 境的網(wǎng)絡(luò)圖。
[0007] 圖2是示出了根據(jù)一些示例實(shí)施例的適合于根據(jù)單個(gè)圖像來估計(jì)深度的圖像處 理機(jī)的組件的框圖。
[0008] 圖3是示出了根據(jù)一些示例實(shí)施例的使用圖像處理機(jī)來根據(jù)單個(gè)圖像估計(jì)深度 的工作流的框圖。
[0009] 圖4-6是示出了根據(jù)一些示例實(shí)施例的圖像處理機(jī)在執(zhí)行根據(jù)單個(gè)圖像估計(jì)深 度的方法時(shí)的操作的流程圖。
[0010] 圖7是示出了根據(jù)一些示例實(shí)施例的、能夠從機(jī)器可讀介質(zhì)中讀取指令并執(zhí)行本 文中討論的方法中的任意一個(gè)或多個(gè)方法的機(jī)器的組件的框圖。
【具體實(shí)施方式】
[0011] 實(shí)例方法和系統(tǒng)涉及根據(jù)單個(gè)圖像估計(jì)深度。示例僅僅作為可能的變化的典型例 子。除非另行明確聲明，否則組件和功能是可選的并可以組合或細(xì)分，并且操作可以在次序 上變化或者可以組合或者細(xì)分。在以下描述中，出于解釋的目的，對(duì)多個(gè)具體細(xì)節(jié)進(jìn)行闡 述，以提供對(duì)示例實(shí)施例的透徹理解。然而對(duì)于本領(lǐng)域技術(shù)人員將顯而易見的是：本主題可 以在沒有這些具體細(xì)節(jié)的情況下實(shí)施。
[0012] 機(jī)器可以（例如通過硬件、軟件或二者）被配置為執(zhí)行包括根據(jù)單個(gè)圖像來估計(jì) 深度信息的圖像處理任務(wù)。這樣的機(jī)器可以形成用于執(zhí)行這樣的圖像處理任務(wù)的系統(tǒng)的全 部或一部分。
[0013] 在訓(xùn)練階段期間，機(jī)器訪問存儲(chǔ)了具有對(duì)應(yīng)深度信息的圖像的參考集的參考數(shù)據(jù) 庫（例如訓(xùn)練數(shù)據(jù)庫）?；谠撛L問到的信息，機(jī)器計(jì)算在圖像中（例如根據(jù)彩色像素?cái)?shù)據(jù) 來計(jì)算）和在深度信息中表現(xiàn)的特征的描述符。這些描述符可以被看做是包含這些特征的 圖像部分或深度圖部分的高度壓縮的版本。具體地，機(jī)器計(jì)算視覺描述符（例如根據(jù)參考 圖像中的彩色像素來計(jì)算）并且計(jì)算它們的對(duì)應(yīng)的深度描述符（例如根據(jù)對(duì)應(yīng)的深度信息 來計(jì)算）。然后，機(jī)器生成將這些視覺描述符與它們對(duì)應(yīng)的深度描述符進(jìn)行相關(guān)的數(shù)據(jù)結(jié)構(gòu) (例如存儲(chǔ)在存儲(chǔ)器或其它機(jī)器可讀介質(zhì)中的矩陣）。這些數(shù)據(jù)的生成可以被稱作構(gòu)建跨 域圖，該跨域圖用于將視覺描述符的詞典翻譯成對(duì)應(yīng)的深度描述符的詞典，或反之。
[0014] 在訓(xùn)練階段之后，機(jī)器可以在后訓(xùn)練階段（例如使用階段或運(yùn)行時(shí)間階段）中操 作，在該階段中，機(jī)器被配置為基于缺少深度信息的單個(gè)圖像（例如查詢圖像）來執(zhí)行深度 估計(jì)。具體地，機(jī)器可以分析（例如在針對(duì)深度信息的查詢中提交的或在估計(jì)深度信息的 請(qǐng)求中提交的）單個(gè)圖像，并且計(jì)算一個(gè)或多個(gè)視覺描述符（例如根據(jù)提交的單個(gè)圖像中 的彩色像素來計(jì)算）。然后，機(jī)器可以通過訪問之前生成的數(shù)據(jù)結(jié)構(gòu)（例如矩陣）來獲取針 對(duì)每個(gè)視覺描述符的對(duì)應(yīng)深度描述符。基于從數(shù)據(jù)結(jié)構(gòu)中獲取的一個(gè)或多個(gè)深度描述符， 機(jī)器可以創(chuàng)建與提交的單個(gè)圖像相對(duì)應(yīng)的深度信息。
[0015] 機(jī)器可以響應(yīng)于查詢或請(qǐng)求來提供該深度信息（例如作為深度圖或深度圖像）。 此后，機(jī)器可以向任何機(jī)器或軟件應(yīng)用（例如運(yùn)輸應(yīng)用、視覺化應(yīng)用、或者它們的任何合適 的組合）提供該深度信息。
[0016] 在訓(xùn)練階段期間，參考數(shù)據(jù)庫可以存儲(chǔ)彩色圖像（例如三色圖像），該彩色圖像是 包含像素的二維圖像，并且這些像素可通過每個(gè)像素三個(gè)顏色值來在色彩空間中定義（例 如三個(gè)三色值，例如紅綠藍(lán)（RGB)圖像中的紅色值、綠色值和藍(lán)色值）。在一些示例實(shí)施 例中，彩色圖像中的一個(gè)或多個(gè)具有通過每個(gè)像素四個(gè)顏色值來定義的像素（例如青-洋 紅-黃-黑（CMYK)圖像中的青色值、洋紅色值、黃色值以及黑色值）。在其它示例實(shí)施例中， 針對(duì)每個(gè)像素的第四顏色值是透明度值（例如紅綠藍(lán)alpha(RGBA)圖像中的alpha值）。 在任意事件中，彩色圖像可以與對(duì)應(yīng)的深度圖（例如深度圖像）一起存儲(chǔ)在參考數(shù)據(jù)庫中， 該深度圖是二維圖像或其它數(shù)組。這些深度圖中的每一個(gè)可以包含針對(duì)對(duì)應(yīng)彩色圖像中的 像素的深度（D)值。根據(jù)各種示例實(shí)施例，圖像信息包括亮度信息（例如亮度（luma) (Y) 值），亮度信息可以由多個(gè)顏色值（例如紅綠藍(lán)（RGB)像素中的紅色值、綠色值、以及藍(lán)色 值）共同定義，并且不需要由單個(gè)顏色值（例如YUV像素中的亮度值）來定義。
[0017] 備選地，由于深度值可以被當(dāng)做深度像素，參考數(shù)據(jù)庫可以存儲(chǔ)將顏色和深度信 息二者相結(jié)合的參考圖像。例如，參考數(shù)據(jù)庫可以存儲(chǔ)紅-綠-藍(lán)-深度（RGB-D)圖像，其 中每個(gè)RGB-D圖像包括針對(duì)紅、綠、藍(lán)和深度值的通道（例如分別的數(shù)組）。為清楚起見，下 文的討論主要集中于RGB色彩空間（例如RGB圖像）中的彩色圖像。然而，本文中討論的 系統(tǒng)和方法適于其它色彩空間中的彩色圖像。
[0018] 作為說明性的示例，假設(shè)在訓(xùn)練階段使用RGB-D圖像的數(shù)據(jù)庫，其中每個(gè)圖像包 括紅綠藍(lán)（RGB)和深度（D)通道二者，機(jī)器學(xué)習(xí)從RGB描述符的詞典向深度描述符的詞典 的轉(zhuǎn)換。每個(gè)詞典可以是整個(gè)描述符數(shù)據(jù)庫，或者可以通過將描述符聚類（cluster)來進(jìn) 行二次采樣。每個(gè)訓(xùn)練圖像可以被表示為RGB空間和深度空間中基本元素的稀疏線性組 合，其可以分別被稱為RGB投影和深度投影。然后，可以估計(jì)訓(xùn)練數(shù)據(jù)庫中的所有圖像的 RGB投影與深度投影之間的轉(zhuǎn)換。
[0019] 說明性的示例繼續(xù)進(jìn)行，假設(shè)使用測(cè)試時(shí)的查詢圖像，只有該圖像的RGB信息可 以是可用的。估計(jì)查詢圖像的RGB投影，接下來是應(yīng)用轉(zhuǎn)換，該轉(zhuǎn)換估計(jì)、預(yù)測(cè)或以其他方 式獲取對(duì)應(yīng)的深度投影。深度投影與深度詞典相結(jié)合以創(chuàng)建對(duì)應(yīng)的深度圖?？墒褂貌樵儓D 像的分段來對(duì)產(chǎn)生的深度圖進(jìn)行后期處理，以確保查詢圖像中描繪的物體之間的深度轉(zhuǎn)變 是銳利的。由此，當(dāng)查詢RGB圖像到達(dá)時(shí)，學(xué)習(xí)到的映射函數(shù)能夠用于將其RGB像素值轉(zhuǎn)換 成深度像素值。
[0020] 根據(jù)物體的單個(gè)圖像快照估計(jì)的深度圖可以被用于測(cè)量這些物體的尺寸。這在受 益于實(shí)時(shí)測(cè)量的運(yùn)輸和產(chǎn)品中得到應(yīng)用。深度圖可以與根據(jù)查詢圖像的頭部信息獲取的相 機(jī)參數(shù)相結(jié)合，以計(jì)算物體上的點(diǎn)的三維（3D)坐標(biāo)。這些點(diǎn)之間的測(cè)量到的距離對(duì)應(yīng)于自 然物體的物理尺寸的測(cè)量。這樣的估計(jì)出的物體尺寸可以向運(yùn)輸應(yīng)用提供，以促進(jìn)一個(gè)或 多個(gè)運(yùn)輸任務(wù)（例如針對(duì)將要運(yùn)輸?shù)奈锲穪磉x擇合適的運(yùn)輸容器）。
[0021] 根據(jù)單個(gè)圖像快照估計(jì)的深度圖可以被用于創(chuàng)建可視化（例如3D飛行圖像），該 可視化用于對(duì)物品查看頁面中的電子商務(wù)庫存進(jìn)行增強(qiáng)瀏覽。深度圖可以與根據(jù)查詢圖像 的頭部信息獲取的相機(jī)參數(shù)相結(jié)合，以生成對(duì)查詢圖像中描繪的場(chǎng)景和場(chǎng)景中的物體進(jìn)行 建模的3D點(diǎn)云?？梢韵蛟佻F(xiàn)引擎提供該3D點(diǎn)云，以創(chuàng)建場(chǎng)景的令人滿意的3D可視化，這 可以導(dǎo)致產(chǎn)生和發(fā)現(xiàn)新穎的視角（例如，場(chǎng)景從不同角度的修正視角）。可以使用網(wǎng)頁瀏覽 器或移動(dòng)瀏覽器上的虛擬現(xiàn)實(shí)建模語言（VRML)插件來對(duì)這樣的再現(xiàn)進(jìn)行可視化。這可以 具有在查看場(chǎng)景的單個(gè)圖像快照時(shí)提高用戶體驗(yàn)的效果。
[0022] 圖1是示出了根據(jù)一些示例實(shí)施例的適合于根據(jù)單個(gè)圖像來估計(jì)深度的網(wǎng)絡(luò)環(huán) 境100的網(wǎng)絡(luò)示意圖。網(wǎng)絡(luò)環(huán)境100包括圖像處理機(jī)110、數(shù)據(jù)庫115、以及設(shè)備130,上述 設(shè)備全部經(jīng)由網(wǎng)絡(luò)190相互通信耦合。圖像處理機(jī)110可以形成基于網(wǎng)絡(luò)的系統(tǒng)105 (例 如被配置為向設(shè)備130提供一個(gè)或多個(gè)圖像處理服務(wù)的基于云的服務(wù)器系統(tǒng)）的全部或一 部分。服務(wù)器機(jī)110和設(shè)備130可以各自整體或部分地在計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)，如下文參照 圖7所述。
[0023] 在圖1中還示出了用戶132。用戶132可以是人類用戶（例如人類）、機(jī)器用戶 (例如由軟件程序配置的用于與設(shè)備130交互的計(jì)算機(jī)）、或者其任何合適的組合（例如由 機(jī)器輔助的人類或由人類監(jiān)督的機(jī)器）。用戶132并不是網(wǎng)絡(luò)環(huán)境100的一部分，但是可以 與設(shè)備130相關(guān)聯(lián)，并且可以是設(shè)備130的用戶。例如，設(shè)備130可以是屬于用戶132的臺(tái) 式計(jì)算機(jī)、車輛計(jì)算機(jī)、平板計(jì)算機(jī)、導(dǎo)航設(shè)備、便攜式媒體設(shè)備、智能電話、或可穿戴設(shè)備 (例如智能手表或智能眼鏡）。
[0024] 圖1中示出的任何機(jī)器、數(shù)據(jù)庫或設(shè)備可以在通過軟件（例如一個(gè)或多個(gè)軟件模 塊）改進(jìn)的（例如配置的或編程的）通用計(jì)算機(jī)中實(shí)現(xiàn)，來變成具體被配置為執(zhí)行針對(duì)該 機(jī)器、數(shù)據(jù)庫或設(shè)備的在本文中描述的功能中的一個(gè)或多個(gè)的專用計(jì)算機(jī)。例如，在下文中 參照?qǐng)D7討論了能夠?qū)崿F(xiàn)本文中描述的方法中任意一個(gè)或多個(gè)方法的計(jì)算機(jī)系統(tǒng)。如本文 中使用的，"數(shù)據(jù)庫"是數(shù)據(jù)存儲(chǔ)資源，并且可以存儲(chǔ)被構(gòu)建為文本文件、表格、電子數(shù)據(jù)表、 關(guān)系數(shù)據(jù)庫（例如對(duì)象關(guān)系數(shù)據(jù)庫）、三元組庫、分層數(shù)據(jù)存儲(chǔ)、或者其任意合適的組合。此 外，圖1中示出的機(jī)器、數(shù)據(jù)庫或設(shè)備中的任意兩個(gè)或多個(gè)可以組合為單個(gè)機(jī)器，并且針對(duì) 本文中描述的任意單個(gè)機(jī)器、數(shù)據(jù)庫或設(shè)備的功能可在多個(gè)機(jī)器、數(shù)據(jù)庫或設(shè)備之間細(xì)分。
[0025] 網(wǎng)絡(luò)190可以是能夠在機(jī)器、數(shù)據(jù)庫和設(shè)備（例如圖像處理機(jī)110和設(shè)備130)之 間或之中通信的