物體的表面的點(diǎn)； 并且所述系統(tǒng)還包括：
[0162] 運(yùn)輸模塊，被配置為：
[0163] 基于生成的三維點(diǎn)云來計(jì)算所述可運(yùn)輸物品的表面的長度；以及，
[0164] 向運(yùn)輸應(yīng)用提供計(jì)算出的所述可運(yùn)輸物品的表面的長度。
[0165] 第十九實(shí)施例提供了一種包括指令的非暫時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)，當(dāng)機(jī)器的一個(gè) 或多個(gè)處理器執(zhí)行所述指令時(shí)，導(dǎo)致所述機(jī)器執(zhí)行以下操作：
[0166] 訪問參考數(shù)據(jù)庫中的參考圖像以及對應(yīng)的參考深度圖，第一參考圖像對應(yīng)于第一 參考深度圖，并且所述第一參考圖像包括由至少三個(gè)顏色值定義的彩色像素，所述第一參 考深度圖包括與所述第一參考圖像中的所述彩色像素相對應(yīng)的深度值；
[0167] 根據(jù)所訪問的參考圖像以及所述參考圖像的對應(yīng)參考深度圖來計(jì)算視覺描述符 和對應(yīng)的深度描述符；
[0168] 生成將計(jì)算出的視覺描述符與其計(jì)算出的對應(yīng)深度描述符進(jìn)行相關(guān)的矩陣；
[0169] 接收查詢圖像；
[0170] 根據(jù)接收到的查詢圖像計(jì)算視覺描述符；
[0171] 根據(jù)所生成的矩陣獲取與所述計(jì)算出的視覺描述符相對應(yīng)的深度描述符；以及
[0172] 基于與根據(jù)所述查詢圖像計(jì)算出的視覺描述符相對應(yīng)的獲取到的深度描述符來 創(chuàng)建與所述查詢圖像相對應(yīng)的深度圖。
[0173] 第二十實(shí)施例提供了根據(jù)第十九實(shí)施例的非暫時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)，其中：
[0174] 所述查詢圖像描繪自然物體的表面，并且包括相機(jī)信息；
[0175] 所述已創(chuàng)建的深度圖包括其表面描繪在所述查詢圖像中的自然物體的表面的三 維表示；并且所述操作還包括
[0176] 基于所述查詢圖像中包括的所述相機(jī)信息且基于與描繪所述自然物體的所述查 詢圖像相對應(yīng)的已創(chuàng)建的深度圖，生成所述自然物體的表面的三維模型。
[0177] 第二十一實(shí)施例提供了一種載波介質(zhì)，該載波介質(zhì)攜帶用于控制機(jī)器來執(zhí)行根據(jù) 前述實(shí)施例中的任意一個(gè)的方法的機(jī)器可讀指令。
【主權(quán)項(xiàng)】
1. 一種方法，包括： 訪問參考數(shù)據(jù)庫中的參考圖像以及對應(yīng)的參考深度圖，第一參考圖像對應(yīng)于第一參考 深度圖，并且所述第一參考圖像包括由至少三個(gè)顏色值定義的彩色像素，所述第一參考深 度圖包括與所述第一參考圖像中的所述彩色像素相對應(yīng)的深度值； 根據(jù)所訪問的參考圖像以及所述參考圖像的對應(yīng)參考深度圖來計(jì)算視覺描述符和對 應(yīng)的深度描述符； 生成將計(jì)算出的視覺描述符與其計(jì)算出的對應(yīng)深度描述符進(jìn)行相關(guān)的矩陣，由機(jī)器的 處理器來執(zhí)行所述矩陣的生成； 接收查詢圖像； 根據(jù)接收到的查詢圖像計(jì)算視覺描述符； 根據(jù)所生成的矩陣獲取與所述計(jì)算出的視覺描述符相對應(yīng)的深度描述符；以及 基于與根據(jù)所述查詢圖像計(jì)算出的視覺描述符相對應(yīng)的獲取到的深度描述符來創(chuàng)建 與所述查詢圖像相對應(yīng)的深度圖。2. 根據(jù)權(quán)利要求1所述的方法，其中： 所述查詢圖像的接收對沒有任何對應(yīng)深度圖的查詢圖像進(jìn)行接收。3. 根據(jù)權(quán)利要求1所述的方法，其中： 所述參考圖像和所述查詢圖像是只包含紅-綠-藍(lán)"RGB"值并缺少深度值的RGB圖像。4. 根據(jù)權(quán)利要求1所述的方法，其中： 所述參考圖像是參考RGB圖像；并且 對所述參考圖像和對應(yīng)的深度圖的訪問包括：訪問所述參考數(shù)據(jù)庫中的參考 紅-綠-藍(lán)-深度"RGB-D"圖像，每個(gè)參考RGB-D圖像包括所述參考RGB圖像中的一個(gè)及 其對應(yīng)的參考深度圖。5. 根據(jù)權(quán)利要求1所述的方法，其中： 所述查詢圖像的接收對所述查詢圖像進(jìn)行接收來作為僅根據(jù)所述查詢圖像來估計(jì)深 度信息的請求的一部分；以及 與查詢圖像相對應(yīng)的所述深度圖的創(chuàng)建響應(yīng)于估計(jì)深度信息的請求。6. 根據(jù)權(quán)利要求1所述的方法，還包括： 將所述查詢圖像劃分為超像素；以及 基于所述查詢圖像中的超像素來修改與所述查詢圖像相對應(yīng)的已創(chuàng)建的深度圖。7. 根據(jù)權(quán)利要求6所述的方法，其中： 所述已創(chuàng)建的深度圖的修改包括：將不變的深度值分配給所述查詢圖像中的所述超像 素中的每個(gè)像素。8. 根據(jù)權(quán)利要求6所述的方法，其中： 所述修改已創(chuàng)建的深度圖包括：根據(jù)隨機(jī)抽樣一致"RANSAC"算法來修改由所述查詢 圖像中的超像素表示的平面的定向。9. 根據(jù)權(quán)利要求1所述的方法，其中： 與所述第一參考圖像相對應(yīng)的所述第一參考深度圖是包括深度像素的第一參考深度 圖像，所述深度像素由所述深度值定義并與所述第一參考圖像中的所述彩色像素相對應(yīng)。10. 根據(jù)權(quán)利要求1所述的方法，其中： 所述查詢圖像描繪自然物體的表面，并且包括相機(jī)信息； 所述已創(chuàng)建的深度圖包括其表面描繪在所述查詢圖像中的自然物體的表面的三維表 示，并且所述方法還包括 基于所述查詢圖像中包括的所述相機(jī)信息且基于與描繪所述自然物體的所述查詢圖 像相對應(yīng)的已創(chuàng)建的深度圖，生成所述自然物體的表面的三維模型。11. 根據(jù)權(quán)利要求10所述的方法，還包括： 向三維再現(xiàn)引擎提供生成的三維模型，以創(chuàng)建所述自然物體的表面的三維可視化。12. 根據(jù)權(quán)利要求10所述的方法，其中： 所述生成的三維模型是三維點(diǎn)云，所述三維點(diǎn)云中是表示所述自然物體的表面的點(diǎn)； 并且所述方法還包括 基于生成的三維點(diǎn)云來計(jì)算所述自然物體的表面的長度。13. 根據(jù)權(quán)利要求12所述的方法，其中： 在所述查詢圖像中描繪的所述自然物體是可運(yùn)輸物品；并且所述方法還包括 向運(yùn)輸應(yīng)用提供計(jì)算出的所述可運(yùn)輸物品的表面的長度。14. 一種系統(tǒng)，包括： 一個(gè)或多個(gè)處理器； 數(shù)據(jù)訓(xùn)練器模塊，被配置為： 訪問參考數(shù)據(jù)庫中的參考圖像以及對應(yīng)的參考深度圖，第一參考圖像對應(yīng)于第一參考 深度圖，并且所述第一參考圖像包括由至少三個(gè)顏色值定義的彩色像素，所述第一參考深 度圖包括與第一參考圖像中的所述彩色像素相對應(yīng)的深度值； 根據(jù)所訪問的參考圖像以及所述參考圖像的對應(yīng)參考深度圖來計(jì)算視覺描述符和對 應(yīng)的深度描述符；以及 生成將計(jì)算出的視覺描述符與其計(jì)算出的對應(yīng)深度描述符進(jìn)行相關(guān)的矩陣；以及 深度圖模塊，被配置為： 接收查詢圖像； 根據(jù)接收到的查詢圖像計(jì)算視覺描述符； 根據(jù)所述訓(xùn)練器模塊生成的矩陣獲取與所述計(jì)算出的視覺描述符相對應(yīng)的深度描述 符；以及 基于與根據(jù)所述查詢圖像計(jì)算出的視覺描述符相對應(yīng)的獲取到的深度描述符來創(chuàng)建 與所述查詢圖像相對應(yīng)的深度圖。15. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述深度圖模塊還被配置為： 接收所述查詢圖像，作為僅根據(jù)所述查詢圖像來估計(jì)深度信息的請求的一部分；并且 響應(yīng)于估計(jì)深度信息的請求，創(chuàng)建與所述查詢圖像相對應(yīng)的深度圖。16. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述深度圖模塊還被配置為： 將所述查詢圖像劃分為超像素；以及 基于所述查詢圖像中的超像素來修改與所述查詢圖像相對應(yīng)的已創(chuàng)建的深度圖。17. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中： 所述查詢圖像描繪自然物體的表面，并且包括相機(jī)信息； 所述深度圖模塊被配置為：創(chuàng)建所述深度圖，所述深度圖包括其表面描繪在所述查詢 圖像中的自然物體的表面的三維表示；并且所述系統(tǒng)還包括 視覺化模塊，被配置為：基于所述查詢圖像中包括的所述相機(jī)信息且基于與描繪所述 自然物體的所述查詢圖像相對應(yīng)的已創(chuàng)建的深度圖，生成所述自然物體的表面的三維模 型。18. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中： 在所述查詢圖像中描繪的所述自然物體是可運(yùn)輸物品； 生成的三維模型是三維點(diǎn)云，所述三維點(diǎn)云中是表示所述自然物體的表面的點(diǎn)；并且 所述系統(tǒng)還包括： 運(yùn)輸模塊，被配置為： 基于生成的三維點(diǎn)云來計(jì)算所述可運(yùn)輸物品的表面的長度；以及 向運(yùn)輸應(yīng)用提供計(jì)算出的所述可運(yùn)輸物品的表面的長度。19. 一種包括指令的非暫時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)，當(dāng)機(jī)器的一個(gè)或多個(gè)處理器執(zhí)行所 述指令時(shí)，使所述機(jī)器執(zhí)行以下操作： 訪問參考數(shù)據(jù)庫中的參考圖像以及對應(yīng)的參考深度圖，第一參考圖像對應(yīng)于第一參考 深度圖，并且所述第一參考圖像包括由至少三個(gè)顏色值定義的彩色像素，所述第一參考深 度圖包括與所述第一參考圖像中的所述彩色像素相對應(yīng)的深度值； 根據(jù)所訪問的參考圖像以及所述參考圖像的對應(yīng)參考深度圖來計(jì)算視覺描述符和對 應(yīng)的深度描述符； 生成將計(jì)算出的視覺描述符與其計(jì)算出的對應(yīng)深度描述符進(jìn)行相關(guān)的矩陣； 接收查詢圖像； 根據(jù)接收到的查詢圖像計(jì)算視覺描述符； 根據(jù)所生成的矩陣獲取與所述計(jì)算出的視覺描述符相對應(yīng)的深度描述符；以及 基于與根據(jù)所述查詢圖像計(jì)算出的視覺描述符相對應(yīng)的獲取到的深度描述符來創(chuàng)建 與所述查詢圖像相對應(yīng)的深度圖。20. 根據(jù)權(quán)利要求19所述的非暫時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)，其中： 所述查詢圖像描繪自然物體的表面，并且包括相機(jī)信息； 所述已創(chuàng)建的深度圖包括其表面描繪在所述查詢圖像中的自然物體的表面的三維表 示；并且所述操作還包括 基于所述查詢圖像中包括的所述相機(jī)信息且基于與描繪所述自然物體的所述查詢圖 像相對應(yīng)的已創(chuàng)建的深度圖，生成所述自然物體的表面的三維模型。21. -種載波介質(zhì)，所述載波介質(zhì)攜帶用于控制機(jī)器來執(zhí)行根據(jù)權(quán)利要求1至13中任 一項(xiàng)所述的方法的機(jī)器可讀指令。
【專利摘要】在訓(xùn)練階段期間，機(jī)器訪問具有對應(yīng)深度信息的參考圖像。機(jī)器根據(jù)該信息來計(jì)算視覺描述符和對應(yīng)的深度描述符。然后，機(jī)器生成將這些視覺描述符與它們的對應(yīng)深度描述符進(jìn)行相關(guān)的映射。在訓(xùn)練階段之后，機(jī)器可以基于缺少深度信息的單個(gè)查詢圖像來執(zhí)行深度估計(jì)。機(jī)器可以根據(jù)單個(gè)查詢圖像來計(jì)算一個(gè)或多個(gè)視覺描述符，并且根據(jù)生成的映射來獲得針對每個(gè)視覺描述符的對應(yīng)深度描述符。基于獲得的深度描述符，機(jī)器創(chuàng)建與所提交的單個(gè)查詢圖像相對應(yīng)的深度信息。
【IPC分類】G06T15/08
【公開號(hào)】CN105359190
【申請?zhí)枴緾N201480038069
【發(fā)明人】阿努拉格·巴德瓦耶, 默罕默德·哈里斯·拜格, 魯賓遜·皮拉姆蘇, 維格里?！べZ格迪希, 邸韡
【申請人】電子灣有限公司
【公開日】2016年2月24日
【申請日】2014年9月4日
【公告號(hào)】CA2911522A1, EP3042361A1, US9275078, US20150063681, US20160124995, WO2015035089A1