許多類型的設備，諸如之類的傳感器、車輛、家電、工業(yè)設備和其他事物正在獲得計算資源和網(wǎng)絡能力?，F(xiàn)代計算系統(tǒng)可以包括全都一起工作以執(zhí)行聯(lián)網(wǎng)應用功能的基于云的服務器、網(wǎng)絡基礎設施和已連接邊界設備——有時稱為物聯(lián)網(wǎng)(Internet of Things：IoT)。典型的IoT已連接邊界設備可以是具有低功耗的小型設備且因而通常包括相對低的處理功率或其他計算資源。另外，在網(wǎng)絡的各邊界處的典型IoT已連接設備可能具有有限的可用帶寬。為IoT已連接設備構建高速網(wǎng)絡連接可能要求昂貴的數(shù)據(jù)計劃或其他網(wǎng)絡服務。

某些計算設備可以基于輸入圖像識別一個或多個對象。典型的對象識別算法要求大的基準圖像數(shù)據(jù)庫以便執(zhí)行對象識別。對象識別算法的執(zhí)行時間通常與圖像數(shù)據(jù)庫大小成比例。

附圖說明

作為示例而非限制在附圖中闡釋在此描述的概念。出于闡釋的簡單和清晰起見，并不必定按比例繪制各圖中所闡釋的元素。在認為合適的場合，在各圖當中已經(jīng)重復了參考標簽，以便指示相應的或類似的元素。

圖1是用于邊界設備對象識別的系統(tǒng)的至少一種實施方式的簡化框圖；

圖2是可以由圖1的系統(tǒng)構建的各種環(huán)境的至少一種實施方式的簡化框圖；以及

圖3是可以由圖1和圖2的服務器計算設備執(zhí)行的一種用于邊界設備對象識別的方法的至少一種實施方式的簡化流程圖；以及

圖4是可以由圖1和圖2的邊界計算設備執(zhí)行的一種用于邊界設備對象識別的方法的至少一種實施方式的簡化流程圖。

具體實施方式

盡管本公開內容的概念易于采用各種修改和備選形式，但已經(jīng)在各圖中作為示例示出且將在此詳細描述其特定實施方式。然而，應理解，不存在將本公開內容的概念限制在所公開的具體形式的意圖，相反，意圖是覆蓋與本公開內容和所附權利要求一致的所有修改、等效物和替代品。

本說明書中對“一種實施方式”、“一種實施方式”、“說明性實施方式”等等的引用表示所描述的實施方式可以包括具體的特征、結構或特性，但每一實施方式可以必定或并不必定包括該具體的特征、結構或特性。此外，這樣的短語并不必定都是指相同的實施方式。進一步，在結合實施方式描述具體的特征、結構或特性時，無論是否明確地描述，都認為它是在本領域中的技術人員結合其他實施方式實現(xiàn)這樣的特征、結構或特性的知識之內。另外，應明白，“A、B和C中的至少之一”的形式中的列表中所包括的各項可以意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。類似地，“A、B或C中的至少一個”的形式中列出的各項可以意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。

在一些情況中，可以用硬件、固件、軟件或其任何組合實現(xiàn)所公開的實施方式。所公開的實施方式也可以被實現(xiàn)為由一個或多個暫態(tài)或非暫態(tài)機器可讀的(例如，計算機可讀的)存儲介質(該介質可以由一個或多個處理器讀取并執(zhí)行)攜帶或存儲在其上的指令。機器可讀存儲介質可以被實現(xiàn)為以機器可讀的形式存儲或發(fā)送信息的任何存儲設備、機制或其他物理結構(例如，易失性或非易失性存儲器、介質盤或其他介質設備)。

在各附圖中，以特定的布置和/或順序示出了一些結構或方法特征。然而，應明白，可以不要求這樣的特定的布置和/或順序。相反，在一些實施方式中，可以按與示意圖中所示出的不同的方式和/或次序來安排這樣的特征。另外，特定圖中包含結構或方法特征并不意味著暗示所有實施方式中都要求這樣的特征，并且，在一些實施方式中，可以不包括這樣的特征，或者這樣的特征可以與其他特征組合。

現(xiàn)在參見圖1，在說明性實施方式中，用于物聯(lián)網(wǎng)(IoT)邊界設備的對象識別的系統(tǒng)100包括在網(wǎng)絡106上通信的服務器計算設備102和多個邊界計算設備104。邊界計算設備104可以被實現(xiàn)為已連接設備、IoT網(wǎng)關、嵌入式設備或具有有限計算資源和/或有限可用功率的其他設備。例如，在說明性實施方式中，邊界計算設備104可以被包括在諸如零售展示單元、零售貨架、自動售貨機或冷藏器之類的產(chǎn)品存儲單元或與之耦合。在使用時，如下面更詳細地描述的，服務器計算設備102維護包括與可以識別的眾多對象——如產(chǎn)品或產(chǎn)品包裝——相關聯(lián)的圖像數(shù)據(jù)的數(shù)據(jù)庫?？梢詮膶ο蟮娜S模型(如果可用的話)生成圖像數(shù)據(jù)。對于每一邊界計算設備104，服務器計算設備102生成包括僅與預期由具體邊界計算設備104識別的對象相關的數(shù)據(jù)的經(jīng)縮減數(shù)據(jù)庫。服務器計算設備102向邊界計算設備104提供經(jīng)縮減數(shù)據(jù)庫。邊界計算設備104監(jiān)視設備事件，并響應于設備事件使用經(jīng)縮減數(shù)據(jù)庫執(zhí)行對象識別。如果對象未被識別，則邊界計算設備104可以將未識別的對象的縮略圖發(fā)送給服務器計算設備102，服務器計算設備102可以以用于該對象的對象識別數(shù)據(jù)來應答。因而，通過減少用于每一邊界計算設備104的對象識別數(shù)據(jù)庫的大小，系統(tǒng)100可以減少對每一邊界計算設備104的處理和/或功率需求。通過僅響應于設備事件而執(zhí)行對象識別，系統(tǒng)100可以還減少對每一邊界計算設備104的性能和/或功率需求。另外，通過從三維模型生成識別數(shù)據(jù)，系統(tǒng)100可以減少準備對象識別數(shù)據(jù)庫所要求的手工勞動。

服務器計算設備102可以被實現(xiàn)為能夠執(zhí)行在此描述的功能的任何類型的計算或計算機設備，包括但不限于計算機、服務器、機柜安裝的計算設備、臺式計算機、工作站、膝上型計算機、筆記本計算機、平板計算機、移動計算設備、可穿戴計算設備、網(wǎng)絡設備、web設備、分布式計算系統(tǒng)、基于處理器的系統(tǒng)和/或消費性電子設備。如圖1中所示出，服務器計算設備102示意性地包括處理器120、輸入/輸出子系統(tǒng)122、存儲器124、數(shù)據(jù)存儲設備126和通信電路128。當然，在其他實施方式中，服務器計算設備102可以包括其他或附加的組件，例如通常出現(xiàn)在服務器中的那些(例如，各種輸入/輸出設備)。另外，在一些實施方式中，說明性組件中的一個或多個可以被合并在另一組件中，或者以另外方式形成另一組件的一部分。例如，在一些實施方式中，存儲器124或其部分可以被合并在處理器120中。另外或備選地，在一些實施方式中，服務器計算設備102可以被實現(xiàn)為從跨網(wǎng)絡106分布且在公共云或私有云中操作的多個計算設備形成的“虛擬服務器”。因此，盡管在圖1中將服務器計算設備102闡釋為被實現(xiàn)為單個服務器設備，但應明白，服務器計算設備102可以被實現(xiàn)為一起協(xié)同操作以便促進下面描述的功能的多個設備。

處理器120可以被實現(xiàn)為任何類型的處理器能夠執(zhí)行在此描述的功能。處理器120可以被實現(xiàn)為單核或多核處理器、數(shù)字信號處理器、微控制器或其他處理器或處理/控制電路。類似地，存儲器124可以被實現(xiàn)為任何類型的易失性或非易失性存儲器或數(shù)據(jù)存儲能夠執(zhí)行在此描述的功能。在操作時，存儲器124可以存儲在服務器計算設備102操作期間搜索使用的各種數(shù)據(jù)和軟件，如操作系統(tǒng)、應用、程序、庫和驅動器。存儲器124經(jīng)由I/O子系統(tǒng)122通信上耦合到處理器120，I/O子系統(tǒng)122可以被實現(xiàn)為促進與服務器計算設備102的處理器120、存儲器124和其他組件進行的輸入/輸出操作的電路和/或組件。例如，I/O子系統(tǒng)122可以被實現(xiàn)為或以另外方式包括存儲器控制器中樞、輸入/輸出控制中樞、固件設備、通信鏈路(即點對點鏈路、總線鏈路、線、電纜、光波導、印刷電路板跡線等等)和/或其他組件和子系統(tǒng)，以促進輸入/輸出操作。在一些實施方式中，I/O子系統(tǒng)122可以形成片上系統(tǒng)(SoC)的一部分，且與服務器計算設備102的處理器120、存儲器124和其他組件一起與單個集成電路芯片合并。

數(shù)據(jù)存儲設備126可以被實現(xiàn)為被配置為用于數(shù)據(jù)的短期或長期存儲的任何類型的設備或多種設備，諸如例如存儲器設備和電路、存儲卡、硬盤驅動器、固態(tài)驅動器或其他數(shù)據(jù)存儲設備。如下面進一步描述的，數(shù)據(jù)存儲設備126可以存儲和/或維護用于對象識別的對象識別數(shù)據(jù)庫。

服務器計算設備102的通信電路128可以被實現(xiàn)為能夠通過網(wǎng)絡106允許在服務器計算設備102、邊界計算設備104和/或其他遠程設備之間的通信的任何通信電路、設備或其集合。通信電路128可以被配置為使用任何一種或多種通信技術(例如，有線或無線通信)和關聯(lián)的協(xié)議(例如，以太網(wǎng)、WiMAX等等)來實現(xiàn)這樣的通信。

邊界計算設備104中的每一個可以被實現(xiàn)為任何類型的計算或計算機設備能夠執(zhí)行在此描述的功能，包括但不限于已連接設備、嵌入式設備、物聯(lián)網(wǎng)(IoT)網(wǎng)關、智能電話、移動音頻或視頻播放器、計算機、臺式計算機、工作站、膝上型計算機、筆記本計算機、平板計算機、可穿戴式計算設備、網(wǎng)絡設備、web設備、分布式計算系統(tǒng)、基于處理器的系統(tǒng)和/或消費性電子設備。邊界計算設備104可以包括通常出現(xiàn)在嵌入式設備或類似的計算設備中的組件和設備，例如處理器140、I/O子系統(tǒng)142、存儲器144、數(shù)據(jù)存儲設備146、通信電路148和/或其他設備。邊界計算設備104中的那些個體組件可以類似于服務器計算設備102的相應組件，對它們的描述適用于邊界計算設備104的相應組件，且在本文中不進行重復，以免模糊本公開內容。

邊界計算設備104也可以包括一個或多個相機150和一個或多個外圍設備152。相機150可以被實現(xiàn)為與邊界計算設備104集成或以另外方式通信上耦合到邊界計算設備104的數(shù)碼相機或其他數(shù)字成像設備。相機150包括電子圖像傳感器，如有源像素傳感器(active-pixel sensor：APS)，例如互補金屬氧化物半導體(CMOS)傳感器，或電荷耦合器件(CCD)。相機150可以用來捕捉邊界計算設備104的環(huán)境的圖像，在一些實施方式中包括捕捉靜態(tài)圖像或視頻圖像。在一些實施方式中，相機150可以被實現(xiàn)為一個或多個三維相機、立體視覺相機、三維掃描儀或其他傳感器能夠捕捉邊界計算設備104的環(huán)境中的對象的二維或三維形狀。

外圍設備152可以包括任何數(shù)量的附加輸入/輸出設備、接口設備和/或其他外圍設備。在一些實施方式中，外圍設備152可以包括一個或多個傳感器。例如，在一些實施方式中，邊界計算設備104可以被合并在產(chǎn)品存儲單元中或用于存儲零售產(chǎn)品或其他對象的其他存儲單元中或者以另外方式耦合到這些單元，所述產(chǎn)品存儲單元例如零售展示單元、零售貨架、自動售貨機、冷藏器、展示柜、倉庫架。在那些實施方式中，外圍設備152可以包括可以用來判斷何時用戶已經(jīng)打開或以另外方式訪問零售展示單元的開門傳感器、重量傳感器、光傳感器或其他傳感器。

如下面更詳細地討論，服務器計算設備102和邊界計算設備104可以被配置為在網(wǎng)絡106上就彼此和/或系統(tǒng)100的其他設備發(fā)送和接收數(shù)據(jù)。網(wǎng)絡106可以被實現(xiàn)為任何數(shù)量的各種有線和/或無線網(wǎng)絡。例如，網(wǎng)絡106可以被實現(xiàn)為或以另外方式包括有線或無線局域網(wǎng)(LAN)、有線或無線廣域網(wǎng)(WAN)、蜂窩式網(wǎng)絡和/或諸如因特網(wǎng)之類的公眾可接入全球網(wǎng)絡。因而，網(wǎng)絡106可以包括任何數(shù)量的附加設備，例如附加計算機、路由器和交換機，以促進在系統(tǒng)100的設備當中的通信。

現(xiàn)在參見圖2，在說明性實施方式中，服務器計算設備102在操作期間構建環(huán)境200。說明性環(huán)境200包括建模模塊202、對象數(shù)據(jù)庫模塊206、縮減模塊210、通信模塊214和對象識別模塊216。環(huán)境200的各種模塊可以被實現(xiàn)為硬件、固件、軟件或其組合。例如，環(huán)境200的各種模塊、邏輯和其他組件可以形成服務器計算設備102的處理器120或其他硬件組件的一部分，或以另外方式由服務器計算設備102的處理器120或其他硬件組件構建。因而，在一些實施方式中，環(huán)境200的模塊中的任何一個或多個可以被實現(xiàn)為電路或電子設備的集合(例如，建模電路202、對象數(shù)據(jù)庫電路206、縮減電路210等等)。

在一些實施方式中，建模模塊202被配置為將對象的三維模型轉換成與對象相關聯(lián)的多個二維圖像。建模模塊202可以管理或以另外方式訪問三維模型數(shù)據(jù)204，三維模型數(shù)據(jù)204可以包括各個對象的三維模型數(shù)據(jù)。

對象數(shù)據(jù)庫模塊206被配置為管理或以另外方式訪問對象識別數(shù)據(jù)庫208。對象識別數(shù)據(jù)庫208包括與多個對象相關聯(lián)的二維圖像。如下面進一步描述的，二維圖像可以被邊界計算設備104和/或服務器計算設備102用來從所捕捉的圖像數(shù)據(jù)識別對象。在一些實施方式中，對象數(shù)據(jù)庫模塊206可以被配置為向對象識別數(shù)據(jù)庫208添加由建模模塊202產(chǎn)生的與對象相關聯(lián)的二維圖像。另外或備選地，在一些實施方式中，對象識別數(shù)據(jù)庫208可以包括可以由邊界計算設備104和/或服務器計算設備102用來識別對象的三維圖像、三維模型或其他三維數(shù)據(jù)。

縮減模塊210被配置為基于相應的邊界計算設備104的身份為邊界計算設備104中的每一個的標識對象識別數(shù)據(jù)庫208的多個對象的子集。預期由相應的邊界計算設備104在圖像中捕捉所標識的對象子集的每一對象。縮減模塊210還被配置為基于對象識別數(shù)據(jù)庫208為每一邊界計算設備104生成縮減對象識別數(shù)據(jù)庫212?？s減對象識別數(shù)據(jù)庫212包括與所標識的對象子集相關聯(lián)的二維圖像。縮減模塊210可以被配置為基于例如相應的邊界計算設備104的預期位置和/或預期使用標識對象子集。

通信模塊214被配置為將縮減對象識別數(shù)據(jù)庫212發(fā)送給邊界計算設備104中的每一個。在一些實施方式中，通信模塊214可以被配置為從邊界計算設備104接收縮略圖圖像，并響應于接收縮略圖圖像將經(jīng)更新的縮減對象識別數(shù)據(jù)庫212發(fā)送給邊界計算設備104。

在一些實施方式中，對象識別模塊216被配置為使用對象識別數(shù)據(jù)庫208基于從邊界計算設備104接收的縮略圖圖像來標識對象?？s減模塊210可以還被配置為響應于基于縮略圖圖像標識對象將與已識別對象相關聯(lián)的二維圖像添加到經(jīng)更新的縮減對象識別數(shù)據(jù)庫212。

仍然參見圖2，在說明性實施方式中，在操作期間，邊界計算設備104構建環(huán)境220。說明性環(huán)境220包括通信模塊222、對象識別模塊224、事件模塊226和圖像捕捉模塊228。環(huán)境220的各種模塊可以被實現(xiàn)為硬件、固件、軟件或其組合。例如，環(huán)境220的各種模塊、邏輯和其他組件可以形成邊界計算設備104的處理器140或其他硬件組件的一部分，或以另外方式由邊界計算設備104的處理器140或其他硬件組件構建。因而，在一些實施方式中，環(huán)境220的模塊中的任何一個或多個可以被實現(xiàn)為電路或電子設備的集合(例如，通信電路222、對象識別電路224、事件電路226等等)。

通信模塊222被配置為從服務器計算設備102接收縮減對象識別數(shù)據(jù)庫212。如上所述，縮減對象識別數(shù)據(jù)庫212包括與多個對象相關聯(lián)的二維圖像。另外或備選地，且類似于對象識別數(shù)據(jù)庫208，在一些實施方式中，縮減對象識別數(shù)據(jù)庫212可以包括可以由邊界計算設備104用來識別對象的三維圖像、三維模型或其他三維數(shù)據(jù)。在一些實施方式中，通信模塊222可以還被配置為將未識別的對象的縮略圖圖像發(fā)送給服務器計算設備102，且作為響應從服務器計算設備102接收經(jīng)更新的縮減對象識別數(shù)據(jù)庫212。經(jīng)更新的縮減對象識別數(shù)據(jù)庫212包括與未識別的對象相關聯(lián)的二維圖像。

事件模塊226被配置為監(jiān)視設備事件的發(fā)生。事件模塊226可以被配置為通過從邊界計算設備104的一個或多個傳感器接收傳感器數(shù)據(jù)來監(jiān)視設備事件。設備事件可以包括例如開門事件和/或關門事件。圖像捕捉模塊228被配置為從邊界計算設備104的相機150捕捉圖像數(shù)據(jù)。圖像捕捉模塊228可以例如響應于設備事件的發(fā)生而捕捉圖像數(shù)據(jù)。

對象識別模塊224被配置為響應于設備事件的發(fā)生執(zhí)行對象識別。對象識別模塊224被配置為使用縮減對象識別數(shù)據(jù)庫212基于從相機150捕捉的圖像數(shù)據(jù)來執(zhí)行對象識別。在一些實施方式中，對象識別模塊224可以被配置為基于圖像數(shù)據(jù)生成加權識別值。對象識別模塊224還被配置為響應于執(zhí)行對象識別來執(zhí)行諸如記錄對象識別的結果之類的對象識別動作。在一些實施方式中，對象識別模塊224被配置為響應于執(zhí)行對象識別判斷是否識別了對象，并且，如果對象未被識別，則生成未識別的對象的縮略圖圖像。

現(xiàn)在參見圖3，在使用時，服務器計算設備102可以執(zhí)行用于邊界設備對象識別的方法300。方法300從框302開始，框302中，服務器計算設備102判斷在3D模型數(shù)據(jù)204中是否可以獲得要添加到對象識別數(shù)據(jù)庫208的具體對象的三維模型。例如，可以最初使用計算機設計工具(例如，計算機輔助設計軟件、排版(publishing)或布局軟件、圖像編輯軟件或其他軟件生產(chǎn)力工具)來設計許多消費者產(chǎn)品和/或那些消費者產(chǎn)品的包裝。因此，可以存在預期可以由邊界計算設備104識別的多種對象如消費者產(chǎn)品或產(chǎn)品包裝的3D模型數(shù)據(jù)204。在框304，服務器計算設備102檢查三維模型數(shù)據(jù)是否可用。如果三維模型數(shù)據(jù)不可用，則方法300分支到框308，如下面描述的。如果三維模型數(shù)據(jù)可用，則方法300分支到框306。

在框306，服務器計算設備102將三維模型轉換成對象的一個或多個二維圖像。例如，服務器計算設備102可以從若干視點呈現(xiàn)(render)三維模型以便生成二維圖像。服務器計算設備102可以使用理想化照明(idealized lighting)呈現(xiàn)二維圖像或以另外方式呈現(xiàn)適用于用來執(zhí)行對象識別的二維圖像。在呈現(xiàn)二維圖像之后，方法300進行到框310，如下面所描述。

返回參見框304，如果沒有三維模型數(shù)據(jù)可用于對象，則方法300分支到框308，框308中，服務器計算設備102接收用于產(chǎn)品的二維圖像數(shù)據(jù)輸入。例如，二維圖像可以由用戶提供或以另外方式手動地指定。在一些實施方式中，用戶可以例如通過手動地移除反射和其他視覺偽像來手動地調整圖像以便為執(zhí)行對象識別做好準備。因而，接收二維圖像數(shù)據(jù)可以比如上結合框306所描述的從三維模型產(chǎn)生二維圖像需要更多的勞動。在獲取二維圖像之后，方法300進行到框310，如下面所描述的。

在框310，服務器計算設備102將對應于要識別的對象的二維圖像添加到對象識別數(shù)據(jù)庫208。如下面進一步描述的，那些二維圖像可以被用來在由邊界計算設備104捕捉的圖像數(shù)據(jù)中識別對象。在框312，服務器計算設備102判斷附加對象是否仍有待添加到對象識別數(shù)據(jù)庫208。例如，服務器計算設備102可以判斷零售存儲中擺放的每一產(chǎn)品(例如，約100,000種產(chǎn)品)的圖像是否已經(jīng)被包括在對象識別數(shù)據(jù)庫208中。如果仍有附加對象，則方法300循環(huán)回到框302，以便添加附加對象。如果沒有附加對象剩下，則方法300進行到框314。

在框314，服務器計算設備102從對象識別數(shù)據(jù)庫208標識預期由邊界計算設備104中的每一個識別的對象。服務器計算設備102可以使用任何技術來確定預期由具體的邊界計算設備104識別的對象。例如，服務器計算設備102可以基于邊界計算設備104的預期位置和/或預期使用來標識預期對象。例如，可以預期被合并在產(chǎn)品存儲單元中或以另外方式耦合到產(chǎn)品存儲單元的邊界計算設備104來識別通常被存儲在該產(chǎn)品存儲單元中的對象。服務器計算設備102可以參考貨存管理系統(tǒng)或其他數(shù)據(jù)庫來確定通常被存儲在該產(chǎn)品存儲單元中的對象。繼續(xù)該示例，可以預期被耦合到自動售貨機或冷藏器的邊界計算設備104來識別可以被擺放在自動售貨機或冷藏器中(或在關聯(lián)的倉庫中)的飲料。作為另一示例，可以預期被耦合到零售貨架的邊界計算設備104來識別應當擺放在零售貨架上的產(chǎn)品的零售包裝。因而，每一縮減對象識別數(shù)據(jù)庫212可以包括比對象識別數(shù)據(jù)庫208少得多的數(shù)量的對象的圖像(例如，與零售倉庫中有多于100,000種產(chǎn)品相比，大約十種產(chǎn)品被存儲在零售貨架上)。

在框316，服務器計算設備102為每一邊界計算設備104生成縮減對象識別數(shù)據(jù)庫212。每一縮減對象識別數(shù)據(jù)庫212包括與對象識別數(shù)據(jù)庫208的對象的子集相關聯(lián)的二維圖像。具體的縮減對象識別數(shù)據(jù)庫212中所包括的圖像是預期由關聯(lián)的邊界計算設備104識別的對象，如上面結合框314所描述的。因此，服務器計算設備102可以為每一邊界計算設備104準備不同的縮減對象識別數(shù)據(jù)庫212。在框318，服務器計算設備102將相應的縮減對象識別數(shù)據(jù)庫212發(fā)送給每一邊界計算設備104。

在框320，服務器計算設備102監(jiān)視從邊界計算設備104中的一個或多個接收的縮略圖圖像。如下面結合圖4進一步描述的，如果對象未被識別(例如，如果相應的邊界計算設備104的縮減對象識別數(shù)據(jù)庫212中沒有包括該對象)，則邊界計算設備104可以將縮略圖圖像發(fā)送給服務器計算設備102?？s略圖圖像可以被實現(xiàn)為由邊界計算設備104捕捉的任何圖像或一系列圖像?？梢圆眉艨s略圖圖像、減少其分辨率、減少其幀率或以另外方式修改該縮略圖圖像以減少將縮略圖圖像從邊界計算設備104發(fā)送到服務器計算設備102所要求的存儲空間、帶寬和/或能量。在框322，服務器計算設備102檢查是否已經(jīng)接收到縮略圖圖像。如果沒有，則方法300循環(huán)回到框320，以繼續(xù)監(jiān)視縮略圖圖像。如果已經(jīng)接收到縮略圖圖像，則方法300進行到框324。

在框324，服務器計算設備102基于從邊界計算設備104接收的縮略圖圖像識別對象。服務器計算設備102可以使用任何技術來識別對象。例如，服務器計算設備102可以將縮略圖圖像與存儲在對象識別數(shù)據(jù)庫208中的二維圖像進行比較，以便標識匹配的對象。因為對象識別數(shù)據(jù)庫208遠大于縮減對象識別數(shù)據(jù)庫212，相比于邊界計算設備104的對象識別，服務器計算設備102的對象識別可能要求多得多的能量、處理功率、存儲空間或其他計算資源。另外或備選地，在一些實施方式中，服務器計算設備102的用戶可以手動地將縮略圖圖像與對象進行匹配(例如，如果對象識別數(shù)據(jù)庫208最初不包括該對象)。

在識別對象之后，在框326，服務器計算設備102將與已識別對象相關聯(lián)的二維圖像添加到邊界計算設備104的經(jīng)更新縮減對象識別數(shù)據(jù)庫212。在框328，服務器計算設備102將經(jīng)更新縮減對象識別數(shù)據(jù)庫212發(fā)送給邊界計算設備104。服務器計算設備102可以使用任何技術來生成和/或發(fā)送經(jīng)更新縮減對象識別數(shù)據(jù)庫212。例如，在一些實施方式中，服務器計算設備102可以重新生成整個縮減對象識別數(shù)據(jù)庫212，以包括新近已識別對象。作為另一示例，在一些實施方式中，服務器計算設備102可以僅生成增量改變和/或將其發(fā)送給縮減對象識別數(shù)據(jù)庫212。在發(fā)送經(jīng)更新縮減對象識別數(shù)據(jù)庫212之后，方法300循環(huán)回到框320，以繼續(xù)監(jiān)視縮略圖圖像。

現(xiàn)在參見圖4，在使用時，邊界計算設備104可以執(zhí)行用于邊界設備對象識別的方法400。方法400從框402開始，框402中，邊界計算設備104從服務器計算設備102接收縮減對象識別數(shù)據(jù)庫212。如上面結合圖3的框316所描述的，縮減對象識別數(shù)據(jù)庫212包括與預期由邊界計算設備104識別的對象相關聯(lián)的二維圖像。縮減對象識別數(shù)據(jù)庫212可以包括用于相對少量的對象(例如，預期零售貨架上擺放有十種產(chǎn)品)的圖像數(shù)據(jù)。

在框404，邊界計算設備104監(jiān)視一個或多個設備事件。邊界計算設備104可以監(jiān)視任何適當?shù)氖录?，例如定時器事件、軟件事件、網(wǎng)絡事件、傳感器事件或任何其他事件或對邊界計算設備104的改變。在許多實施方式中，設備事件可以指示用戶例如通過打開關聯(lián)的產(chǎn)品存儲單元正在訪問邊界計算設備104。作為另一示例，邊界計算設備104可以監(jiān)視產(chǎn)品售賣事件，例如在用戶從自動售貨機選擇商品的時候。邊界計算設備104可以以諸如睡眠狀態(tài)之類的低功率狀態(tài)監(jiān)視事件。在一些實施方式中，在框406，邊界計算設備104可以監(jiān)視來自一個或多個傳感器的傳感器輸入。例如，邊界計算設備104可以監(jiān)視傳感器以發(fā)現(xiàn)開門和/或關門事件，例如在打開和/或關閉產(chǎn)品存儲單元的門的時候。其他事件可以包括重量改變事件(例如在向產(chǎn)品存儲單元添加或從其移除產(chǎn)品的時候)、光照事件(例如在打開產(chǎn)品存儲單元的時候和/或在用戶開燈的時候)或其他事件。在框408，邊界計算設備104判斷設備事件是否已經(jīng)發(fā)生。如果沒有發(fā)生，則方法400循環(huán)回到框404以繼續(xù)監(jiān)視設備事件。如果設備事件已經(jīng)發(fā)生，方法400進行到框410。

在框410，邊界計算設備104基于縮減對象識別數(shù)據(jù)庫212使用從相機(多個)150捕捉的圖像數(shù)據(jù)執(zhí)行對象識別。邊界計算設備104可以使用(多個)相機150捕捉對象的一個或多個靜態(tài)圖像和/或視頻圖像。進一步，在一些實施方式中，邊界計算設備104可以開啟或以另外方式激活(多個)相機150以捕捉圖像，且然后可以在捕捉圖像之后關閉或以另外方式停用(多個)相機150，這可以減少功耗。另外，在一些實施方式中，邊界計算設備104可以例如從一個或多個三維或立體聲相機150或從一個或多個三維掃描儀(例如，激光掃描儀)捕捉與所捕捉的圖像相關聯(lián)的二維或三維形狀數(shù)據(jù)。通過將已捕捉的圖像數(shù)據(jù)與存儲在縮減對象識別數(shù)據(jù)庫212中的二維圖像進行比較以便標識匹配對象，邊界計算設備104可以執(zhí)行對象識別。在一些實施方式中，邊界計算設備104可以在異步后臺進程執(zhí)行對象識別而無需中斷邊界計算設備104的其他功能。在一些實施方式中，在框412，邊界計算設備104可以生成用于一個或多個對象的加權識別值。例如，邊界計算設備104可以生成與一個或多個對象(例如，百分比置信度)相關聯(lián)的識別置信度值。當然，在一些實施方式中，邊界計算設備104可以另外或備選地執(zhí)行二進制識別，例如判斷是否識別了對象。

在框414，邊界計算設備104判斷是否已經(jīng)識別了對象。邊界計算設備104可以例如將加權識別值與可配置的識別閾值進行比較。如上面結合框412所描述的，邊界計算設備104可以生成部分識別分數(shù)。如果部分識別分數(shù)低于識別閾值(例如，閾值百分比置信度)，則邊界計算設備104可以判斷還未識別對象。如果識別了對象，則方法400分支前進到框422，如下面所描述的。如果對象未被識別，則方法400進行到框416。

在框416，邊界計算設備104創(chuàng)建未識別的對象的縮略圖圖像。如上所述，可以裁剪縮略圖圖像、減少其分辨率、減少其幀率或以另外方式修改，以減少將縮略圖圖像從邊界計算設備104發(fā)送給服務器計算設備102所要求的存儲空間、帶寬和/或能量。例如，在一些實施方式中，通過選擇由相機150捕捉的包括未識別的對象的圖像數(shù)據(jù)的具體部分，邊界計算設備104可以創(chuàng)建縮略圖圖像。

在框418，邊界計算設備104將縮略圖圖像發(fā)送給服務器計算設備102。如上面結合圖3的框324、326所描述的，服務器計算設備102可以在縮略圖圖像中識別對象，且然后，準備包括該對象的二維圖像數(shù)據(jù)的經(jīng)更新的縮減對象識別數(shù)據(jù)庫212。在框420，邊界計算設備104從服務器計算設備102接收經(jīng)更新的縮減對象識別數(shù)據(jù)庫212。如上面結合圖3的框328所描述的，可以以任何格式(包括作為整個數(shù)據(jù)庫或作為增量改變)發(fā)送縮減對象識別數(shù)據(jù)庫212。因而，在接收經(jīng)更新的縮減對象識別數(shù)據(jù)庫212之后，邊界計算設備104能夠識別先前未識別的對象。

在框422，邊界計算設備104基于對象識別的結果執(zhí)行一個或多個動作。在一些實施方式中，邊界計算設備104可以記錄對象識別結果，例如記錄(多個)已識別對象和/或關聯(lián)的加權識別值。在一些實施方式中，邊界計算設備104可以將對象識別的結果提供給用戶或另一設備如貨存管理系統(tǒng)。在基于對象識別的結果執(zhí)行動作之后，方法400循環(huán)回到框404，以繼續(xù)監(jiān)視設備事件。

示例

下面提供本文中公開的技術的說明性示例。各技術的實施方式可以包括下面描述的示例中的任何一個或多個及其任何組合。

示例1包括一種用于邊界設備對象識別的計算設備，所述計算設備包括對象數(shù)據(jù)庫電路，其訪問對象識別數(shù)據(jù)庫，其中，所述對象識別數(shù)據(jù)庫包括與多個對象相關聯(lián)的二維圖像；縮減電路，其用于(i)基于邊界計算設備的身份來標識所述多個對象的子集，其中，所述多個對象的所述子集中的每一對象包括預期由所述邊界計算設備在圖像中捕捉的對象，以及(ii)基于所述對象識別數(shù)據(jù)庫生成縮減對象識別數(shù)據(jù)庫，其中，所述縮減對象識別數(shù)據(jù)庫包括與所述多個對象的所述子集相關聯(lián)的二維圖像；以及通信電路，其用于將所述縮減對象識別數(shù)據(jù)庫發(fā)送所述邊界計算設備。

示例2包括示例1的主題，且其中，所述縮減電路還(i)基于第二邊界計算設備的身份標識所述多個對象的第二子集，其中，所述多個對象的所述第二子集中的每一對象包括預期由所述第二邊界計算設備在圖像中捕捉的對象，并且(ii)基于所述對象識別數(shù)據(jù)庫生成第二縮減對象識別數(shù)據(jù)庫，其中，所述第二縮減對象識別數(shù)據(jù)庫包括與所述多個對象的所述第二子集相關聯(lián)的二維圖像；以及所述通信電路還將所述第二縮減對象識別數(shù)據(jù)庫發(fā)送給所述第二邊界計算設備。

示例3包括示例1和2中的任何的主題，且其中，基于所述邊界計算設備的身份標識所述多個對象的所述子集包括基于所述邊界計算設備的預期位置標識所述多個對象的所述子集。

示例4包括示例1-3中的任何的主題，且其中，基于所述邊界計算設備的所述預期位置標識所述多個對象的所述子集包括標識所述邊界計算設備的預期零售貨架位置。

示例5包括示例1-4中的任何的主題，且其中，基于所述邊界計算設備的身份標識所述多個對象的所述子集包括基于所述邊界計算設備的預期使用標識所述多個對象的所述子集。

示例6包括示例1-5中的任何的主題，且還包括建模電路，其用于將對象的三維模型轉換成與所述對象相關聯(lián)的多個二維圖像；其中，所述對象數(shù)據(jù)庫電路還將與所述對象相關聯(lián)的所述二維圖像添加到所述對象識別數(shù)據(jù)庫。

示例7包括示例1-6中的任何的主題，且還包括對象識別電路，其用于基于從所述邊界計算設備接收的縮略圖圖像使用所述對象識別數(shù)據(jù)庫來標識對象；其中，所述縮減電路還響應于基于所述縮略圖圖像對所述對象的標識將與所述對象相關聯(lián)的各二維圖像添加到經(jīng)更新縮減對象識別數(shù)據(jù)庫；且其中，所述通信電路還(i)從所述邊界計算設備接收所述縮略圖圖像，并且(ii)將所述經(jīng)更新縮減對象識別數(shù)據(jù)庫發(fā)送給所述邊界計算設備。

示例8包括一種用于邊界設備對象識別的計算設備，所述計算設備包括通信電路，其用于從服務器計算設備接收縮減對象識別數(shù)據(jù)庫，其中，所述縮減對象識別數(shù)據(jù)庫包括與多個對象相關聯(lián)的二維圖像；事件電路，其監(jiān)視設備事件的發(fā)生；圖像捕捉電路，其從所述計算設備的相機捕捉圖像數(shù)據(jù)；以及對象識別電路，其用于(i)響應于所述設備事件的發(fā)生基于所述圖像數(shù)據(jù)通過所述縮減對象識別數(shù)據(jù)庫來執(zhí)行對象識別；并且(ii)響應于所述對象識別的執(zhí)行而執(zhí)行對象識別動作。

示例9包括示例8的主題，且其中，監(jiān)視所述設備事件的發(fā)生包括從所述計算設備的一個或多個傳感器接收傳感器數(shù)據(jù)。

示例10包括示例8和9中的任何的主題，且其中，所述設備事件包括開門事件或關門事件。

示例11包括示例8-10中的任何的主題，且其中，從所述相機捕捉所述圖像數(shù)據(jù)包括響應于所述設備事件的發(fā)生從所述相機捕捉所述圖像數(shù)據(jù)。

示例12包括示例8-11中的任何的主題，且其中，執(zhí)行所述對象識別包括基于所述圖像數(shù)據(jù)生成加權識別值。

示例13包括示例8-12中的任何的主題，且其中，執(zhí)行所述對象識別動作包括記錄基于所述圖像數(shù)據(jù)執(zhí)行所述對象識別的結果。

示例14包括示例8-13中的任何的主題，且其中，所述對象識別電路還(i)判斷是否響應于所述對象識別的執(zhí)行識別了對象，并且(ii)響應于判斷所述對象未被識別，基于所述圖像數(shù)據(jù)生成未識別的對象的縮略圖圖像；以及所述通信電路還將所述未識別的對象的所述縮略圖圖像發(fā)送給所述服務器計算設備。

示例15包括示例8-14中的任何的主題，且其中，所述通信電路還響應于所述縮略圖圖像的傳送從所述服務器計算設備接收經(jīng)更新的對象識別數(shù)據(jù)庫，其中，所述經(jīng)更新的對象識別數(shù)據(jù)庫包括與所述未識別的對象相關聯(lián)的各二維圖像。

示例16包括一種用于邊界設備對象識別的方法，所述方法包括由計算設備訪問對象識別數(shù)據(jù)庫，其中，所述對象識別數(shù)據(jù)庫包括與多個對象相關聯(lián)的二維圖像；由所述計算設備基于邊界計算設備的身份標識所述多個對象的子集，其中，所述多個對象的所述子集中的每一對象包括預期由所述邊界計算設備在圖像中捕捉的對象；由所述計算設備基于所述對象識別數(shù)據(jù)庫生成縮減對象識別數(shù)據(jù)庫，其中，所述縮減對象識別數(shù)據(jù)庫包括與所述多個對象的所述子集相關聯(lián)的二維圖像；以及由所述計算設備將所述縮減對象識別數(shù)據(jù)庫發(fā)送給所述邊界計算設備。

示例17包括示例16的主題，且還包括由所述計算設備基于第二邊界計算設備的身份標識所述多個對象的第二子集，其中，所述多個對象的所述第二子集中的每一對象包括預期由所述第二邊界計算設備在圖像中捕捉的對象；由所述計算設備基于所述對象識別數(shù)據(jù)庫生成第二縮減對象識別數(shù)據(jù)庫，其中，所述第二縮減對象識別數(shù)據(jù)庫包括與所述多個對象的所述第二子集相關聯(lián)的二維圖像；以及由所述計算設備將所述第二縮減對象識別數(shù)據(jù)庫發(fā)送給所述第二邊界計算設備。

示例18包括示例16和17中的任何的主題，且其中，基于所述邊界計算設備的身份標識所述多個對象的所述子集包括基于所述邊界計算設備的預期位置標識所述多個對象的所述子集。

示例19包括示例16-18中的任何的主題，且其中，基于所述邊界計算設備的所述預期位置標識所述多個對象的所述子集包括標識所述邊界計算設備的預期零售貨架位置。

示例20包括示例16-19中的任何的主題，且其中，基于所述邊界計算設備的身份標識所述多個對象的所述子集包括基于所述邊界計算設備的預期使用標識所述多個對象的所述子集。

示例21包括示例16-20中的任何的主題，且還包括由所述計算設備將對象的三維模型轉換成與所述對象相關聯(lián)的多個二維圖像；以及由所述計算設備將與所述對象相關聯(lián)的所述二維圖像添加到所述對象識別數(shù)據(jù)庫。

示例22包括示例16-21中的任何的主題，且還包括由所述計算設備從所述邊界計算設備接收縮略圖圖像；由所述計算設備使用所述對象識別數(shù)據(jù)庫基于所述縮略圖圖像標識對象；響應于基于所述縮略圖圖像標識所述對象，由所述計算設備將與所述對象相關聯(lián)的各二維圖像添加到經(jīng)更新的縮減對象識別數(shù)據(jù)庫；以及由所述計算設備將所述經(jīng)更新的縮減對象識別數(shù)據(jù)庫發(fā)送給所述邊界計算設備。

示例23包括一種用于邊界設備對象識別的方法，所述方法包括由計算設備從服務器計算設備接收縮減對象識別數(shù)據(jù)庫，其中，所述縮減對象識別數(shù)據(jù)庫包括與多個對象相關聯(lián)的二維圖像；由所述計算設備監(jiān)視設備事件的發(fā)生；由所述計算設備從所述計算設備的相機捕捉圖像數(shù)據(jù)；響應于所述設備事件的發(fā)生，由所述計算設備基于所述圖像數(shù)據(jù)使用所述縮減對象識別數(shù)據(jù)庫執(zhí)行對象識別；以及響應于執(zhí)行所述對象識別，由所述計算設備執(zhí)行對象識別動作。

示例24包括示例23的主題，且其中，監(jiān)視所述設備事件的發(fā)生包括從所述計算設備的一個或多個傳感器接收傳感器數(shù)據(jù)。

示例25包括示例23和24中的任何的主題，且其中，所述設備事件包括開門事件或關門事件。

示例26包括示例23-25中的任何的主題，且其中，從所述相機捕捉所述圖像數(shù)據(jù)包括響應于所述設備事件的發(fā)生從所述相機捕捉所述圖像數(shù)據(jù)。

示例27包括示例中的任何的主題23-26，且其中，執(zhí)行所述對象識別包括基于所述圖像數(shù)據(jù)生成加權識別值。

示例28包括示例23-27中的任何的主題，且其中，執(zhí)行所述對象識別動作包括記錄基于所述圖像數(shù)據(jù)執(zhí)行所述對象識別的結果。

示例29包括示例23-28中的任何的主題，且還包括響應于執(zhí)行所述對象識別由所述計算設備判斷是否識別了對象；響應于判斷所述對象未被識別，由所述計算設備基于所述圖像數(shù)據(jù)生成未識別的對象的縮略圖圖像；以及由所述計算設備將所述未識別的對象的所述縮略圖圖像發(fā)送給所述服務器計算設備。

示例30包括示例23-29中的任何的主題，且還包括響應于發(fā)送所述縮略圖圖像由所述計算設備從所述服務器計算設備接收經(jīng)更新的對象識別數(shù)據(jù)庫，其中，所述經(jīng)更新的對象識別數(shù)據(jù)庫包括與所述未識別的對象相關聯(lián)的各二維圖像。

示例31包括計算設備包括處理器；以及其中存儲有多個指令存儲器，在由所述處理器執(zhí)行時，這些指令引起所述計算設備以執(zhí)行示例16-30中的任何的所述方法。

示例32包括一個或多個機器可讀存儲介質，其包括存儲在其上的多個指令，響應于被執(zhí)行，這些指令引起計算設備執(zhí)行示例16-30中的任何的方法。

示例33包括計算設備包括用于執(zhí)行示例16-30中的任何的方法的裝置。

示例34包括一種用于邊界設備對象識別的計算設備，所述計算設備包括用于訪問對象識別數(shù)據(jù)庫的裝置，其中，所述對象識別數(shù)據(jù)庫包括與多個對象相關聯(lián)的二維圖像；用于基于邊界計算設備的身份標識所述多個對象的子集的裝置，其中，所述多個對象的所述子集中的每一對象包括預期由所述邊界計算設備在圖像中捕捉的對象；用于基于所述對象識別數(shù)據(jù)庫生成縮減對象識別數(shù)據(jù)庫的裝置，其中，所述縮減對象識別數(shù)據(jù)庫包括與所述多個對象的所述子集相關聯(lián)的二維圖像；以及用于將所述縮減對象識別數(shù)據(jù)庫發(fā)送給所述邊界計算設備的裝置。

示例35包括示例34的主題，且還包括用于基于第二邊界計算設備的身份標識所述多個對象的第二子集的裝置，其中，所述多個對象的所述第二子集中的每一對象包括預期由所述第二邊界計算設備在圖像中捕捉的對象；用于基于所述對象識別數(shù)據(jù)庫生成第二縮減對象識別數(shù)據(jù)庫的裝置，其中，所述第二縮減對象識別數(shù)據(jù)庫包括與所述多個對象的所述第二子集相關聯(lián)的二維圖像；以及用于將所述第二縮減對象識別數(shù)據(jù)庫發(fā)送給所述第二邊界計算設備的裝置。

示例36包括示例34和35中的任何的主題，且其中，用于基于所述邊界計算設備的身份標識所述多個對象的所述子集的裝置包括用于基于所述邊界計算設備的預期位置標識所述多個對象的所述子集的裝置。

示例37包括示例34-36中的任何的主題，且其中，用于基于所述邊界計算設備的所述預期位置標識所述多個對象的所述子集的裝置包括用于標識所述邊界計算設備的預期零售貨架位置的裝置。

示例38包括示例34-37中的任何的主題，且其中，用于基于所述邊界計算設備的身份標識所述多個對象的所述子集的裝置包括用于基于所述邊界計算設備的預期使用標識所述多個對象的所述子集的裝置。

示例39包括示例34-38中的任何的主題，且還包括用于將對象的三維模型轉換成與所述對象相關聯(lián)的多個二維圖像的裝置；以及用于將與所述對象相關聯(lián)的所述二維圖像添加到所述對象識別數(shù)據(jù)庫的裝置。

示例40包括示例中的任何的主題34-39，且還包括用于從所述邊界計算設備接收縮略圖圖像的裝置；用于基于所述縮略圖圖像使用所述對象識別數(shù)據(jù)庫標識對象的裝置；用于響應于基于所述縮略圖圖像標識所述對象將與所述對象相關聯(lián)的各二維圖像添加到經(jīng)更新的縮減對象識別數(shù)據(jù)庫的裝置；以及用于將所述經(jīng)更新的縮減對象識別數(shù)據(jù)庫發(fā)送給所述邊界計算設備的裝置。

示例41包括一種用于邊界設備對象識別的計算設備，所述計算設備包括用于從服務器計算設備接收縮減對象識別數(shù)據(jù)庫的裝置，其中，所述縮減對象識別數(shù)據(jù)庫包括與多個對象相關聯(lián)的二維圖像；用于監(jiān)視設備事件的發(fā)生的裝置；用于從所述計算設備的相機捕捉圖像數(shù)據(jù)的裝置；用于響應于所述設備事件的發(fā)生基于所述圖像數(shù)據(jù)使用所述縮減對象識別數(shù)據(jù)庫執(zhí)行對象識別的裝置；以及用于響應于執(zhí)行所述對象識別執(zhí)行對象識別動作的裝置。

示例42包括示例41的主題，且其中，所述用于監(jiān)視所述設備事件的發(fā)生的裝置包括用于從所述計算設備的一個或多個傳感器接收傳感器數(shù)據(jù)的裝置。

示例43包括示例41和42中的任何的主題，且其中，所述設備事件包括開門事件或關門事件。

示例44包括示例41-43中的任何的主題，且其中，所述用于的裝置從所述相機捕捉所述圖像數(shù)據(jù)包括用于的裝置從所述相機捕捉所述圖像數(shù)據(jù)響應于所述設備事件的發(fā)生。

示例45包括示例41-44中的任何的主題，且其中，所述用于執(zhí)行所述對象識別的裝置包括用于基于所述圖像數(shù)據(jù)生成加權識別值的裝置。

示例46包括示例41-45中的任何的主題，且其中，所述用于執(zhí)行所述對象識別動作的裝置包括用于記錄基于所述圖像數(shù)據(jù)執(zhí)行所述對象識別的結果的裝置。

示例47包括示例41-46中的任何的主題，且還包括用于響應于執(zhí)行所述對象識別判斷是否識別了對象的裝置；用于響應于判斷所述對象未被識別而基于所述圖像數(shù)據(jù)生成未識別的對象的縮略圖圖像的裝置；以及用于將所述未識別的對象的所述縮略圖圖像發(fā)送給所述服務器計算設備的裝置。

示例48包括示例中的任何的主題41-47，且還包括用于響應于從發(fā)送所述縮略圖圖像的所述服務器計算設備接收經(jīng)更新的對象識別數(shù)據(jù)庫的裝置，其中，所述經(jīng)更新的對象識別數(shù)據(jù)庫包括與所述未識別的對象相關聯(lián)的各二維圖像。