本申請(qǐng)是2013年11月27日進(jìn)入中國(guó)國(guó)家階段的國(guó)際申請(qǐng)日為2012年5月25日、國(guó)家申請(qǐng)?zhí)枮?01280025710.9(國(guó)際申請(qǐng)?zhí)枮閜ct/us2012/039521)、名稱為“增強(qiáng)實(shí)時(shí)視圖”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

本申請(qǐng)涉及增強(qiáng)實(shí)時(shí)視圖領(lǐng)域，更具體地涉及增強(qiáng)實(shí)時(shí)視圖的計(jì)算機(jī)實(shí)施方法和計(jì)算機(jī)系統(tǒng)。

背景技術(shù)：

各種常規(guī)內(nèi)容傳遞系統(tǒng)使計(jì)算設(shè)備用戶(例如，智能手機(jī))能夠獲得與用戶(如通過(guò)使用計(jì)算設(shè)備的攝像機(jī)采集圖像)提供的與圖像有關(guān)的內(nèi)容。例如，用戶可通過(guò)攝像機(jī)采集電影海報(bào)的圖像并且將所采集圖像上載到內(nèi)容傳遞系統(tǒng)。內(nèi)容傳遞系統(tǒng)進(jìn)而返回與電影海報(bào)相關(guān)聯(lián)的電影有關(guān)的內(nèi)容(例如，關(guān)于電影、多媒體內(nèi)容等的信息)。

為了傳遞與上載圖像有關(guān)的內(nèi)容，常規(guī)內(nèi)容傳遞系統(tǒng)試圖將從客戶端設(shè)備接收的圖像與在內(nèi)容傳遞系統(tǒng)的圖像數(shù)據(jù)庫(kù)中存儲(chǔ)的圖像匹配。圖像數(shù)據(jù)庫(kù)可以存儲(chǔ)來(lái)自雜志，海報(bào)，報(bào)紙，英特網(wǎng)等的成千上萬(wàn)張圖像。例如，圖像數(shù)據(jù)庫(kù)可以存儲(chǔ)對(duì)應(yīng)于特定電影“x”的海報(bào)墻和廣告牌的圖像。因此，當(dāng)內(nèi)容傳遞系統(tǒng)從通信設(shè)備接收電影“x”的海報(bào)圖像時(shí)，系統(tǒng)試圖將接收的圖像與在其圖像數(shù)據(jù)庫(kù)中存儲(chǔ)的全部圖像匹配。這樣一種途徑可以是非常耗費(fèi)資源的，并且當(dāng)用戶以大量必須進(jìn)行分析的圖像向系統(tǒng)提交請(qǐng)求時(shí)可以帶來(lái)顯著的延遲時(shí)間。

技術(shù)實(shí)現(xiàn)要素：

一方面，本發(fā)明提供一種計(jì)算機(jī)實(shí)施方法，其包括：使用圖像采集元件采集項(xiàng)目的圖像；將所述圖像中呈現(xiàn)的特征與對(duì)應(yīng)于項(xiàng)目庫(kù)中的項(xiàng)目的所存儲(chǔ)的特征進(jìn)行匹配，以識(shí)別匹配的項(xiàng)目；檢索與所述匹配的項(xiàng)目相關(guān)聯(lián)的可選擇的內(nèi)容；使用特征提取確定項(xiàng)目的多個(gè)角，以從所述圖像中提取與所述多個(gè)角對(duì)應(yīng)的興趣點(diǎn)；至少部分地基于所述多個(gè)角確定邊界框；對(duì)于所述邊界框，確定滿足預(yù)定變形閾值的透視變形；以及在顯示元件上顯示所述可選擇的內(nèi)容作為在邊界框上的疊加，其中響應(yīng)于對(duì)所述可選擇的內(nèi)容的選擇呈現(xiàn)所述匹配的項(xiàng)目供購(gòu)買。

優(yōu)選地，所述可選擇的內(nèi)容包括下列各項(xiàng)中的至少一個(gè)：按鈕或超鏈接。

優(yōu)選地，所述可選擇的內(nèi)容包括與所述項(xiàng)目相關(guān)聯(lián)的項(xiàng)目信息，并且所述項(xiàng)目信息包括下列各項(xiàng)中的至少一個(gè)：價(jià)格、描述、客戶評(píng)價(jià)、客戶評(píng)論、特價(jià)優(yōu)惠和促銷、或與關(guān)聯(lián)商品有關(guān)的關(guān)聯(lián)信息。

優(yōu)選地，所述項(xiàng)目信息與在圖像采集元件相關(guān)聯(lián)的本地庫(kù)中的存儲(chǔ)信息匹配，并且其中所述存儲(chǔ)信息限定在項(xiàng)目庫(kù)中的項(xiàng)目。

優(yōu)選地，所述項(xiàng)目信息與相對(duì)于作為所述圖像采集元件的主機(jī)的電子設(shè)備的遠(yuǎn)程的存儲(chǔ)信息匹配，并且其中所述存儲(chǔ)信息限定在項(xiàng)目庫(kù)中的項(xiàng)目。

優(yōu)選地，所述方法還包括：響應(yīng)于在所述項(xiàng)目與所述項(xiàng)目庫(kù)中的項(xiàng)目之間發(fā)現(xiàn)多個(gè)匹配，確定到所述項(xiàng)目的附加匹配項(xiàng)目。

優(yōu)選地，所述方法還包括：用當(dāng)前位置標(biāo)識(shí)符或時(shí)間戳中的至少一個(gè)對(duì)所述匹配的項(xiàng)目進(jìn)行標(biāo)記。

另一方面，本發(fā)明還提供一種用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的產(chǎn)品的圖像的計(jì)算機(jī)系統(tǒng)，其包括：

處理器；和

具有計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)器，所述計(jì)算機(jī)可執(zhí)行指令當(dāng)在所述處理器上執(zhí)行時(shí)，促使所述處理器：

使用圖像采集元件采集項(xiàng)目的圖像；

將所述圖像中呈現(xiàn)的特征與對(duì)應(yīng)于項(xiàng)目庫(kù)中的項(xiàng)目的所存儲(chǔ)的特征進(jìn)行匹配，以識(shí)別匹配的項(xiàng)目；

檢索與所述匹配的項(xiàng)目相關(guān)聯(lián)的可選擇的內(nèi)容；

使用特征提取確定項(xiàng)目的多個(gè)角，以從所述圖像中提取與所述多個(gè)角對(duì)應(yīng)的興趣點(diǎn)；

至少部分地基于所述多個(gè)角確定邊界框；

對(duì)于所述邊界框，確定滿足預(yù)定變形閾值的透視變形；以及

在顯示元件上顯示所述可選擇的內(nèi)容作為在所述邊界框上的疊加，其中響應(yīng)于對(duì)所述可選擇的內(nèi)容的選擇呈現(xiàn)所述匹配的項(xiàng)目供購(gòu)買。

優(yōu)選地，所述可選擇的內(nèi)容包括下列各項(xiàng)中的至少一個(gè)：按鈕或超鏈接。

優(yōu)選地，所述可選擇的內(nèi)容包括與所述項(xiàng)目相關(guān)聯(lián)的項(xiàng)目信息，所述項(xiàng)目信息包括下列各項(xiàng)中的至少一個(gè)：價(jià)格、描述、客戶評(píng)價(jià)、客戶評(píng)論、特價(jià)優(yōu)惠和促銷、或與關(guān)聯(lián)商品有關(guān)的關(guān)聯(lián)信息。

優(yōu)選地，所述計(jì)算機(jī)可執(zhí)行指令還促使所述處理器用當(dāng)前位置標(biāo)識(shí)符或時(shí)間戳中的至少一個(gè)對(duì)所述匹配的項(xiàng)目進(jìn)行標(biāo)記。

優(yōu)選地，所述計(jì)算機(jī)可執(zhí)行指令還促使所述處理器響應(yīng)于所述用戶選擇所述可選擇的內(nèi)容而檢索并且提供與所述圖像疊加的所述可選擇的內(nèi)容相關(guān)聯(lián)的信息。

附圖說(shuō)明

圖1圖示環(huán)境，其中可以實(shí)施各種實(shí)施方案。

圖2圖示環(huán)境的圖形表示，該環(huán)境可結(jié)合上文中關(guān)于圖1描述的并且可根據(jù)各種實(shí)施方案使用的一個(gè)或多個(gè)組件。

圖3圖示根據(jù)實(shí)施方案以(如呈現(xiàn)在電子設(shè)備上的)相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的實(shí)例。

圖4圖示根據(jù)實(shí)施方案用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的流程圖。

圖5圖示在根據(jù)實(shí)施方案以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像中使用的檢測(cè)技術(shù)的實(shí)例的流程圖。

圖6圖示根據(jù)實(shí)施方案的服務(wù)器端對(duì)象識(shí)別技術(shù)的流程圖。

圖7圖示在根據(jù)實(shí)施方案以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像中使用的識(shí)別技術(shù)的實(shí)例的流程圖。

圖8圖示在根據(jù)實(shí)施方案以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像中使用的疊加技術(shù)實(shí)例的流程圖。

圖9圖示在根據(jù)實(shí)施方案以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像中使用的標(biāo)記技術(shù)的實(shí)例的流程圖。

圖10圖示在根據(jù)實(shí)施方案以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像中使用的電子設(shè)備的示例組件的流程圖。

圖11圖示根據(jù)實(shí)施方案以(如呈現(xiàn)在電子設(shè)備上的)相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的另一個(gè)實(shí)例。

具體實(shí)施方式

各種實(shí)施方案提供用于響應(yīng)于匹配圖像信息而傳遞內(nèi)容的方法和/或系統(tǒng)。特別地，響應(yīng)于從通信設(shè)備提供的圖像，可以將內(nèi)容傳遞到該通信設(shè)備，如計(jì)算設(shè)備或客戶端系統(tǒng)。該圖像可能包含至少一個(gè)興趣對(duì)象，并且可以通過(guò)通信設(shè)備(如在采集后立即上載圖像的地方)基本上實(shí)時(shí)地采集和上載對(duì)象的一個(gè)或多個(gè)圖像?？梢詫D像信息與在對(duì)實(shí)時(shí)采集的對(duì)象進(jìn)行匹配的圖像數(shù)據(jù)庫(kù)中的信息進(jìn)行比較，以便確定關(guān)于可以用于確定有關(guān)內(nèi)容的對(duì)象的身份或其他信息。可以將檢測(cè)和識(shí)別組件用于分析通過(guò)通信設(shè)備上載的圖像信息以確定圖像是否與任何項(xiàng)目、產(chǎn)品或(例如)在內(nèi)容庫(kù)中存儲(chǔ)的其他類型的內(nèi)容匹配。可以通過(guò)內(nèi)容提供商以最新內(nèi)容定期地更新內(nèi)容庫(kù)。

各種實(shí)施方案還包括疊加服務(wù)器，其當(dāng)檢測(cè)和識(shí)別組件確定與對(duì)象相關(guān)聯(lián)的內(nèi)容時(shí)，(例如)檢索相關(guān)聯(lián)的內(nèi)容并且基本上實(shí)時(shí)地提供相關(guān)聯(lián)的內(nèi)容到通信設(shè)備。在至少一些實(shí)施方案中，可以呈現(xiàn)該內(nèi)容，使得內(nèi)容增強(qiáng)(例如，疊加)(例如)視頻幀中的通過(guò)通信設(shè)備采集的對(duì)象的當(dāng)前顯示圖像。內(nèi)容疊加元素可采取不同的形狀和形式，如可包括框，按鈕，3d結(jié)構(gòu)，動(dòng)畫等等。內(nèi)容疊加可以是互動(dòng)式的，使得疊加可允許用戶訪問(wèn)所呈現(xiàn)內(nèi)容，編輯內(nèi)容，基于所呈現(xiàn)內(nèi)容進(jìn)行研究，與同伴共享內(nèi)容，導(dǎo)出內(nèi)容等等。

圖1圖示根據(jù)各種實(shí)施方案用于實(shí)施各方面的環(huán)境100。如將要了解的，盡管出于解釋目的使用基于網(wǎng)頁(yè)的環(huán)境，但是仍可將不同的環(huán)境用以(視情況而定)實(shí)施各種實(shí)施方案。環(huán)境100包括電子客戶端設(shè)備102，其可以包括可操作來(lái)在適當(dāng)網(wǎng)絡(luò)104上發(fā)送和接受請(qǐng)求、消息或信息并且將信息傳達(dá)回設(shè)備用戶的任何適當(dāng)設(shè)備。這類客戶端設(shè)備的實(shí)例包括個(gè)人計(jì)算機(jī)，手機(jī)，手持式消息設(shè)備，筆記本電腦，機(jī)頂盒，個(gè)人數(shù)字助理，電子書閱讀器等等。該網(wǎng)絡(luò)可以包括任何適當(dāng)網(wǎng)絡(luò)，包括企業(yè)內(nèi)部網(wǎng)，英特網(wǎng)，蜂窩網(wǎng)絡(luò)，局域網(wǎng)或任何其他這類網(wǎng)絡(luò)或其組合。用于這樣一種系統(tǒng)的組件可以至少部分地取決于所選網(wǎng)絡(luò)和/或環(huán)境的類型。用于經(jīng)由這樣一種網(wǎng)絡(luò)進(jìn)行通信的協(xié)議和組件是眾所周知的，并且將不在本文中詳細(xì)討論。可以通過(guò)有線或無(wú)線連接和其組合實(shí)現(xiàn)網(wǎng)絡(luò)上的通信。在該實(shí)例中，網(wǎng)絡(luò)包括英特網(wǎng)，并且該環(huán)境包括用于響應(yīng)于其接受請(qǐng)求和提供內(nèi)容的網(wǎng)頁(yè)服務(wù)器106，然而就其他網(wǎng)絡(luò)而言，可以使用滿足相似目的的替換設(shè)備，這對(duì)于本領(lǐng)域的普通技術(shù)人員而言是明了的。

說(shuō)明性環(huán)境包括至少一個(gè)應(yīng)用服務(wù)器108和數(shù)據(jù)存儲(chǔ)器110。應(yīng)理解，可存在若干應(yīng)用服務(wù)器，層或其他元件，進(jìn)程或組件，其可以鏈接或以其他方式配置，其可以進(jìn)行互動(dòng)以執(zhí)行任務(wù)如從適當(dāng)數(shù)據(jù)存儲(chǔ)器獲得數(shù)據(jù)。如在本文中所使用的，術(shù)語(yǔ)“數(shù)據(jù)存儲(chǔ)器”指能夠存儲(chǔ)、訪問(wèn)和檢索數(shù)據(jù)的任何設(shè)備或設(shè)備的組合，其可包括在任何標(biāo)準(zhǔn)、分布和聚集環(huán)境中的任何組合和數(shù)量的數(shù)據(jù)服務(wù)器，數(shù)據(jù)庫(kù)，數(shù)據(jù)存儲(chǔ)設(shè)備和數(shù)據(jù)存儲(chǔ)媒介。應(yīng)用服務(wù)器可以包括任何適當(dāng)硬件和軟件，該硬件和軟件用于按需與數(shù)據(jù)存儲(chǔ)器整合以執(zhí)行客戶端設(shè)備的一個(gè)或多個(gè)應(yīng)用方面，處理大部分?jǐn)?shù)據(jù)訪問(wèn)和應(yīng)用的業(yè)務(wù)邏輯。應(yīng)用服務(wù)器協(xié)同數(shù)據(jù)存儲(chǔ)器提供訪問(wèn)控制服務(wù)，并且能夠生成將被傳送到觀看者的內(nèi)容(如文本、圖形、音頻和/或視頻)，其在該實(shí)例中可以html、xml或其他適當(dāng)結(jié)構(gòu)化語(yǔ)言的格式通過(guò)網(wǎng)頁(yè)服務(wù)器提供給觀看者?？梢酝ㄟ^(guò)網(wǎng)頁(yè)服務(wù)器處理全部請(qǐng)求和響應(yīng)的處理，以及客戶端設(shè)備102與應(yīng)用服務(wù)器108之間的內(nèi)容傳遞。應(yīng)理解網(wǎng)頁(yè)和應(yīng)用服務(wù)器不是必需的并且僅僅是示例組件，因?yàn)榭梢栽谌缭诒疚钠渌胤接懻摰娜魏芜m當(dāng)設(shè)備或主機(jī)上執(zhí)行本文討論的結(jié)構(gòu)化代碼。

數(shù)據(jù)存儲(chǔ)器110可以包括若干單獨(dú)的數(shù)據(jù)表，數(shù)據(jù)庫(kù)或用于存儲(chǔ)與特定方面有關(guān)的數(shù)據(jù)的其他數(shù)據(jù)存儲(chǔ)機(jī)構(gòu)和媒介。例如，所述數(shù)據(jù)存儲(chǔ)器包括用于存儲(chǔ)生產(chǎn)數(shù)據(jù)112和用戶信息116的機(jī)構(gòu)，其可以用于提供生產(chǎn)端的內(nèi)容。還示出了數(shù)據(jù)存儲(chǔ)器包括用于存儲(chǔ)日志數(shù)據(jù)114的機(jī)構(gòu)，其可以用于報(bào)告、生成統(tǒng)計(jì)數(shù)據(jù)和其他這類目的。應(yīng)理解這里可以有可能需要存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器中的很多其他方面，如頁(yè)面圖像信息和訪問(wèn)權(quán)信息，其可以存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器110中的上文中所列機(jī)構(gòu)(視情況而定)中的任何一個(gè)中或在額外機(jī)構(gòu)中。數(shù)據(jù)存儲(chǔ)器110通過(guò)與其相關(guān)聯(lián)的邏輯可操作來(lái)從應(yīng)用服務(wù)器108接收指令并且響應(yīng)于應(yīng)用服務(wù)器108獲得、更新或以其他方式處理數(shù)據(jù)。在一個(gè)實(shí)例中，觀看者可能提交某一類型項(xiàng)目的搜索請(qǐng)求。在本例中，數(shù)據(jù)存儲(chǔ)器可能訪問(wèn)用戶信息以驗(yàn)證觀看者的身份，并且可以訪問(wèn)目錄詳細(xì)信息以獲得關(guān)于該類型項(xiàng)目的信息。隨后可將信息返回給觀看者，如在觀看者經(jīng)由用戶設(shè)備102上的瀏覽器能夠觀看的網(wǎng)頁(yè)上的結(jié)果列表中。可以在專用頁(yè)面或?yàn)g覽器窗口中觀看特定興趣項(xiàng)目的信息。

每個(gè)服務(wù)器通常將包括提供可執(zhí)行程序指令以用于該服務(wù)器的通用管理和操作的操作系統(tǒng)，并且通常將包括存儲(chǔ)指令的計(jì)算機(jī)可讀介質(zhì)，該指令當(dāng)通過(guò)服務(wù)器的處理器執(zhí)行時(shí)，允許服務(wù)器執(zhí)行它的預(yù)期功能。用于服務(wù)器的操作系統(tǒng)和通用功能的合適實(shí)施方式是已知的或可通過(guò)市售獲得，并且(特別地考慮到本公開(kāi))通過(guò)本領(lǐng)域的普通技術(shù)人員可以輕易地實(shí)施。

一個(gè)實(shí)施方案中的環(huán)境是利用若干計(jì)算機(jī)系統(tǒng)和組件的分布式計(jì)算環(huán)境，該計(jì)算機(jī)系統(tǒng)和組件使用一個(gè)或多個(gè)計(jì)算機(jī)網(wǎng)絡(luò)或直接連接經(jīng)由通信鏈路互連。然而，本領(lǐng)域的普通技術(shù)人員將了解這樣一種系統(tǒng)可以在與圖1中圖示的組件相比具有更少或更多數(shù)量組件的系統(tǒng)中同樣良好地運(yùn)行。因此，本質(zhì)上應(yīng)將對(duì)圖1中的系統(tǒng)100進(jìn)行的描述視為說(shuō)明性的，并且不限制本公開(kāi)的范圍。

圖2示出示例環(huán)境200，其中可實(shí)施各種實(shí)施方案?？衫蒙衔闹嘘P(guān)于圖1描述的環(huán)境組件中的一個(gè)或多個(gè)實(shí)現(xiàn)環(huán)境200。環(huán)境200表示“增強(qiáng)現(xiàn)實(shí)”環(huán)境的實(shí)例。增強(qiáng)現(xiàn)實(shí)(ar)是物理，真實(shí)世界環(huán)境(其元素通過(guò)計(jì)算機(jī)生成的感官輸入(如語(yǔ)音或圖形)增強(qiáng))的實(shí)時(shí)直接或間接視圖的術(shù)語(yǔ)。照慣例，實(shí)時(shí)地和在有環(huán)境元素的語(yǔ)義語(yǔ)境中完成增強(qiáng)。借助先進(jìn)的ar技術(shù)，關(guān)于用戶周圍真實(shí)世界的信息變成了互動(dòng)式和可數(shù)碼操控式?？梢栽谡鎸?shí)世界中疊加關(guān)于環(huán)境和其對(duì)象的人工信息。

實(shí)施方案中的環(huán)境200包括多個(gè)用戶201和203，其利用網(wǎng)絡(luò)，如英特網(wǎng)206，以使用客戶端計(jì)算(通信)設(shè)備202和204瀏覽各種內(nèi)容提供商的內(nèi)容。環(huán)境200可將英特網(wǎng)用作網(wǎng)絡(luò)；然而，應(yīng)理解可將其他網(wǎng)絡(luò)用作英特網(wǎng)的替代物，或者除英特網(wǎng)以外還可以使用其他網(wǎng)絡(luò)。其他網(wǎng)絡(luò)的實(shí)例包括移動(dòng)網(wǎng)絡(luò)，企業(yè)內(nèi)部網(wǎng)和大體上任何合適的通信網(wǎng)絡(luò)。將了解大量用戶和相關(guān)聯(lián)的計(jì)算設(shè)備可進(jìn)行變化并且僅僅出于說(shuō)明性目的示出用戶201和203和相關(guān)聯(lián)的計(jì)算設(shè)備202和204。

如在上文中討論的，客戶端計(jì)算設(shè)備202或204可是配備有圖像采集元件的任何移動(dòng)通信設(shè)備，例如，移動(dòng)電話，平板電腦，個(gè)人數(shù)字助理(pda)，增強(qiáng)真實(shí)(ar)眼鏡，頭戴式顯示器等等。設(shè)備202和204還可包括臺(tái)式計(jì)算機(jī)，筆記本計(jì)算機(jī)，電子書閱讀器，個(gè)人數(shù)字助理，視頻游戲控制臺(tái)或控制器，電視機(jī)頂盒和便攜式媒體播放器等等。通信設(shè)備202或204可具有顯示屏，其在普通操作下將信息顯示給面向顯示屏(例如，在計(jì)算設(shè)備與顯示屏的同一側(cè)上，如設(shè)備204圖示)的用戶(或觀看者)。通過(guò)元件252和262圖示客戶端計(jì)算設(shè)備的顯示屏的放大版本。

通信設(shè)備可以包括一個(gè)或多個(gè)圖像采集元件，例如，包括設(shè)備前方的兩個(gè)圖像采集元件和設(shè)備后方的兩個(gè)圖像采集元件，然而應(yīng)理解可以使用額外的或更少的圖像采集元件，并且還可以或可替代地放置在設(shè)備上的側(cè)、角或其他位置上。圖像采集元件還可以是相似或不同的類型。每個(gè)圖像采集元件可以是(例如)攝像機(jī)，電荷耦合設(shè)備(ccd)，運(yùn)動(dòng)檢測(cè)傳感器或紅外傳感器，或可以利用其他圖像采集技術(shù)。計(jì)算設(shè)備還可以包括至少一個(gè)麥克風(fēng)或能夠采集音頻數(shù)據(jù)的其他音頻采集元件，和一個(gè)或多個(gè)單星定向元件，如加速度計(jì)，陀螺儀，數(shù)字羅盤或慣性傳感，其可以協(xié)助運(yùn)動(dòng)和/或定向。將參考圖8更加詳細(xì)描述包括客戶端計(jì)算(通信)設(shè)備的組件。

再次參考圖2，在實(shí)施方案中，用戶201和203可訪問(wèn)通過(guò)內(nèi)容提供商提供的內(nèi)容以消費(fèi)內(nèi)容，搜索信息，購(gòu)買供應(yīng)用于消費(fèi)或銷售的項(xiàng)目，參與社交網(wǎng)絡(luò)等等。如圖2中所示，環(huán)境200可包括通過(guò)疊加服務(wù)器供應(yīng)商244操作的通信服務(wù)器242和通過(guò)內(nèi)容提供商248操作的通信服務(wù)器246。如在下文中將更加詳細(xì)描述的，在一些實(shí)施方案中可無(wú)需后端服務(wù)器提供和支持所述功能。如所示的，在服務(wù)器之間分布通過(guò)服務(wù)器242和246提供的功能。大體上，可配置一個(gè)或多個(gè)服務(wù)器以提供在服務(wù)器242和246上實(shí)施的功能。相應(yīng)地，在圖2中將服務(wù)器242和246示作兩個(gè)單獨(dú)的元件僅僅用于說(shuō)明性目的。如將要了解的，單個(gè)電子實(shí)體(未示出)可操作系統(tǒng)元件242、244、246和248?？商娲?，不同的實(shí)體可控制元件242、244、246和248。電子實(shí)體或(多個(gè))實(shí)體可以大量不同的方式操作，附屬于供應(yīng)商248中的一個(gè)或多個(gè)或與供應(yīng)商248中的一個(gè)或多個(gè)相關(guān)聯(lián)。

在實(shí)施方案中，環(huán)境200包括組件和指令，該組件和指令用于生成在設(shè)備屏幕252和262上的疊加元素256和266中呈現(xiàn)的內(nèi)容。內(nèi)容提供商248可提供各種類型的內(nèi)容，如電子游戲，新聞，視頻，購(gòu)物或其他服務(wù)，搜索引擎服務(wù)，音頻，社交網(wǎng)絡(luò)服務(wù)等等。應(yīng)理解可將任何類型的內(nèi)容包括在環(huán)境200或其變化中。可以各種方式(如通過(guò)應(yīng)用界面或通過(guò)可能不適合分類成網(wǎng)站的其他機(jī)構(gòu))提供內(nèi)容。在圖2圖示的實(shí)例中，內(nèi)容提供商248，經(jīng)由內(nèi)容服務(wù)器246，提供將在屏幕252和262上呈現(xiàn)的內(nèi)容256和266，連同通過(guò)設(shè)備202和204分別通過(guò)它們的圖像采集元件采集的對(duì)象208和210的圖像254和264。

如圖2中所示，用戶201將其設(shè)備202指向?qū)ο?08以采集隨后在屏幕252上顯示(254)的對(duì)象的圖像。相似地，用戶203將其設(shè)備204指向?qū)ο?10以采集隨后在屏幕262上顯示(264)的對(duì)象的圖像。在這一點(diǎn)上，啟動(dòng)檢測(cè)組件218和識(shí)別組件220以確定通過(guò)與設(shè)備202(204)相關(guān)聯(lián)的圖像采集元件采集的對(duì)象208(210)是否可識(shí)別。在實(shí)施方案中，可在屏幕252(262)上，例如，在設(shè)備202(204)的攝像機(jī)(即，圖像采集元件)的攝像機(jī)視圖中顯示對(duì)象。如果通過(guò)檢測(cè)和識(shí)別組件218和220識(shí)別到對(duì)象，與通信服務(wù)器242和/或內(nèi)容提供商服務(wù)器246相關(guān)聯(lián)的疊加服務(wù)244從內(nèi)容庫(kù)250檢索并且以特殊格式(例如，疊加元素256(266))提供與對(duì)象相關(guān)聯(lián)的信息以與在屏幕252(262)上的圖像對(duì)象254(264)疊加。

可以大量不同的方式將檢測(cè)組件218、識(shí)別組件220和疊加服務(wù)244與系統(tǒng)200相關(guān)聯(lián)。例如，執(zhí)行這些元件中的一些或全部的指令可駐留在客戶端設(shè)備202和204上，并且在客戶端設(shè)備202和204上執(zhí)行?？商鎿Q地，可使用通信服務(wù)器242和/或內(nèi)容提供商服務(wù)器246經(jīng)由網(wǎng)絡(luò)206訪問(wèn)上述組件中的一些或全部。在一個(gè)實(shí)施方案中，疊加服務(wù)可駐留在客戶端設(shè)備上而不是服務(wù)器上。此外，可將與庫(kù)相關(guān)聯(lián)的數(shù)據(jù)中的一些或全部存儲(chǔ)(高速緩存)在駐留在客戶端設(shè)備202(204)上的本地庫(kù)270(280)中，如下文將更加詳細(xì)描述。在下文中將參考圖3-7更加全面地討論檢測(cè)、識(shí)別和疊加功能及其應(yīng)用。

圖3圖示根據(jù)實(shí)施方案以(如呈現(xiàn)在電子設(shè)備上的)相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的實(shí)例。如用來(lái)自攝像機(jī)并且指向興趣對(duì)象的兩個(gè)箭頭示出的，用電子設(shè)備306的圖像采集元件(例如，攝像機(jī)304)采集興趣對(duì)象302(圖書《戰(zhàn)爭(zhēng)與和平》)。電子設(shè)備顯示器308呈現(xiàn)用圖像采集元件304采集的對(duì)象302的圖像310。如在上文中參考圖2描述的，響應(yīng)于對(duì)象識(shí)別和向疊加服務(wù)的提交，用包含基本上實(shí)時(shí)呈現(xiàn)的產(chǎn)品信息314的疊加元素312來(lái)增強(qiáng)圖像310。在實(shí)施方案中，在(如在下文中更加詳細(xì)描述的)計(jì)算的邊界框316內(nèi)呈現(xiàn)圖像和疊加元素，該邊界框316在至少一些實(shí)施方案中接近在顯示的圖像信息中的確定的對(duì)象的邊界。這該實(shí)例中，疊加元素312是部分地與圖書302的圖像310疊加的并且包含在邊界框內(nèi)的矩形。應(yīng)理解，在一些實(shí)施方案中邊界框可以被計(jì)算但無(wú)需顯示給終端用戶。

圖4是圖示用于將攝像機(jī)實(shí)時(shí)視圖中的圖像與相關(guān)內(nèi)容疊加的方法的流程圖400。流程400始于框402，其中將對(duì)象放置在設(shè)備攝像機(jī)視圖中。換言之，用戶正在將與用戶設(shè)備相關(guān)聯(lián)的攝像機(jī)指向特定對(duì)象(例如，書架上的圖書)并且有對(duì)象的幀出現(xiàn)在攝像機(jī)視圖中。在決策框406處，確定是否已經(jīng)以檢測(cè)算法檢測(cè)到任何對(duì)象特征。如果未檢測(cè)到特征，流程移動(dòng)到框422。在決策框410處，如果檢測(cè)到至少一個(gè)對(duì)象特征，確定是否識(shí)別到與所確定的特征相關(guān)聯(lián)的對(duì)象。如果未識(shí)別到對(duì)象，流程400移動(dòng)到框422。如果識(shí)別到對(duì)象，流程移動(dòng)到框414，其中將對(duì)象與在項(xiàng)目庫(kù)中存儲(chǔ)的產(chǎn)品或項(xiàng)目進(jìn)行比較。在一個(gè)實(shí)施方案中，可將項(xiàng)目或產(chǎn)品信息高速緩存在與客戶端設(shè)備相關(guān)聯(lián)的存儲(chǔ)器中。如果在決策框414處，未發(fā)現(xiàn)匹配，流程移動(dòng)到框422。在框418處，如果發(fā)現(xiàn)匹配，將產(chǎn)品信息呈現(xiàn)給用戶。在框422處，將幀和該幀中的選擇的特征發(fā)送到服務(wù)器以用于進(jìn)一步對(duì)象識(shí)別。因此，本地客戶端對(duì)象識(shí)別和服務(wù)器端對(duì)象識(shí)別可在兩個(gè)階段中發(fā)生。在一個(gè)實(shí)施方案中，當(dāng)將包含對(duì)象的圖像的幀發(fā)送到服務(wù)器時(shí)，與對(duì)象識(shí)別相關(guān)聯(lián)的全部任務(wù)在服務(wù)器端上發(fā)生。隨后流程400結(jié)束。

圖5是圖示根據(jù)實(shí)施方案在服務(wù)器端上的對(duì)象識(shí)別技術(shù)的實(shí)例的流程圖。流程500始于框502，其中從客戶端設(shè)備接收采樣幀。在框506處，將在采樣幀中確定的對(duì)象特征與存儲(chǔ)項(xiàng)目(產(chǎn)品)的對(duì)象特征進(jìn)行比較。在下文中更加詳細(xì)地描述檢測(cè)/識(shí)別技術(shù)。在決策框510處，確定是否發(fā)現(xiàn)與任何存儲(chǔ)對(duì)象的匹配。在框514處，如果發(fā)現(xiàn)匹配，將與匹配產(chǎn)品相關(guān)聯(lián)的信息發(fā)送到客戶端設(shè)備用于疊加。隨后流程500結(jié)束。

圖6是圖示對(duì)象特征檢測(cè)例程600的實(shí)例的流程圖。流程600始于框602，其中確定指向?qū)ο蟮脑O(shè)備處于穩(wěn)定狀態(tài)以確保所采集圖像的足夠質(zhì)量，所采集圖像將提供用于成功的對(duì)象檢測(cè)和識(shí)別?？墒褂酶鞣N技術(shù)(例如，使用與加速度計(jì)、固態(tài)羅盤、陀螺儀等等相關(guān)聯(lián)的傳感器輸入)來(lái)完成對(duì)攝像機(jī)是否穩(wěn)定的判斷。在框606處，識(shí)別到當(dāng)前幀中的興趣點(diǎn)。可通過(guò)使用(例如)興趣點(diǎn)檢測(cè)算法，如哈里斯興趣點(diǎn)檢測(cè)算法(harrisinterestpointsdetectionalgorithm),莫拉維茨角檢測(cè)算法(moraveccornerdetectionalgorithm),fast等等識(shí)別興趣點(diǎn)。

在框610處，計(jì)算與每個(gè)興趣點(diǎn)相對(duì)應(yīng)的特征。特征是與解決與某一應(yīng)用有關(guān)的計(jì)算任務(wù)有關(guān)的一條信息。更具體地而言，特征可以指應(yīng)用于圖像，或圖像自身中的具體結(jié)構(gòu)(從簡(jiǎn)單結(jié)構(gòu)如點(diǎn)或邊緣到更復(fù)雜的結(jié)構(gòu)如對(duì)象)的一般領(lǐng)域運(yùn)算的結(jié)果(特征提取器或特征檢測(cè)器)。特征的其他實(shí)例與圖像序列中的運(yùn)動(dòng)有關(guān)，與根據(jù)不同圖像區(qū)域之間的曲線或邊界定義的形狀有關(guān)，或與這樣一種區(qū)域的屬性有關(guān)?？墒褂茫?，特征計(jì)算算法如accumulatedsignedgradient(asg)等等計(jì)算在每個(gè)興趣點(diǎn)處的特征。在框616處，計(jì)算在當(dāng)前采樣幀與前一采樣(例如，最后采樣)幀中的特征之間的對(duì)應(yīng)。可將特征之間的對(duì)應(yīng)用于確定單應(yīng)矩陣，即特征點(diǎn)之間幾何學(xué)上地一致變換。本領(lǐng)域技術(shù)人員已知單應(yīng)矩陣是將一組特征點(diǎn)從給定位置變換到新變換位置的矩陣。更一般而言，單應(yīng)矩陣是從真實(shí)投影平面到將直線映射到直線的投影平面的可逆變換。在計(jì)算機(jī)視覺(jué)領(lǐng)域，通過(guò)單應(yīng)矩陣使空間中相同平坦表面的任何兩個(gè)圖像有關(guān)。在框618處，追蹤圖像特征?？墒褂脝螒?yīng)矩陣追蹤圖像特征?？墒褂?，例如，ransac算法計(jì)算單應(yīng)矩陣。如果來(lái)自前一追蹤幀的單應(yīng)矩陣足夠大，則選擇并且準(zhǔn)備幀用于下文中參考圖7描述的識(shí)別階段。

這里有若干普通類型的信息，其可幫助指明將什么對(duì)象顯示在幀里。一個(gè)這類實(shí)例是唯一地識(shí)別對(duì)象的條形碼。相應(yīng)地，在決策框630處，如果在幀中檢測(cè)到條形碼，在框622處準(zhǔn)備條形碼圖像數(shù)據(jù)并且將其提交到的識(shí)別算法。可幫助識(shí)別對(duì)象的另一種普通類型的信息是文本信息。因此，如果未檢測(cè)到條形碼，則在框634處確定圖像中是否存在任何文本。如果檢測(cè)到文本，準(zhǔn)備文本以用于隨后搜索。另一種普通類型的信息是幀內(nèi)的圖像(例如，人的面部)。在決策框638處，如果未檢測(cè)到文本，確定是否檢測(cè)到圖像內(nèi)的任何面部。如果未檢測(cè)到面部，流程結(jié)束。如下文中參考圖6描述的，如果確實(shí)檢測(cè)到面部，準(zhǔn)備包含面部的圖像以用于面部識(shí)別算法。隨后流程600結(jié)束。盡管上文中討論了條形碼、文本信息和面部圖像，但是仍可將幀內(nèi)的其他類型的信息用于檢測(cè)幀內(nèi)的對(duì)象。

圖7是描述根據(jù)實(shí)施方案的對(duì)象識(shí)別的實(shí)例的流程圖。流程700始于框702，其中處理了條形碼圖像數(shù)據(jù)。在決策框706處，確定條形碼是否有效。出于該目的，可使用條形碼解碼技術(shù)解碼條形碼并且隨后根據(jù)upc-a、upc-e或其他已知條形碼標(biāo)準(zhǔn)確認(rèn)條形碼有效性。如果條形碼不是有效的(或是難以辨認(rèn)的)，流程繼續(xù)進(jìn)行到框714處。如果條形碼是有效的，檢索與條形碼相關(guān)聯(lián)的產(chǎn)品信息。產(chǎn)品信息可包括關(guān)于產(chǎn)品(即對(duì)象)的各種數(shù)據(jù)，包括在實(shí)施方案中的產(chǎn)品名稱和產(chǎn)品價(jià)格。

在決策框714處，如下文中參考圖6描述的，確定是否通過(guò)檢測(cè)算法發(fā)現(xiàn)了任何追蹤特征。如果未發(fā)現(xiàn)這類特征，流程移動(dòng)到?jīng)Q策框742。在框718處，如果發(fā)現(xiàn)任何特征，將特征與在與客戶端設(shè)備有關(guān)的本地庫(kù)中存儲(chǔ)的產(chǎn)品特征進(jìn)行比較。在決策框722處，確定任何追蹤特征與在本地庫(kù)中存儲(chǔ)的前一檢測(cè)產(chǎn)品的產(chǎn)品特征是否匹配。在框726處，如果發(fā)現(xiàn)匹配，則從本地庫(kù)檢索高速緩存產(chǎn)品信息。在框730處，如果未發(fā)現(xiàn)匹配，隨后將圖像幀發(fā)送到服務(wù)器并且服務(wù)器將幀中的追蹤特征與在遠(yuǎn)離客戶端設(shè)備的庫(kù)中存儲(chǔ)的產(chǎn)品特征進(jìn)行比較。這可有利于檢測(cè)產(chǎn)品以及從本地庫(kù)檢索相關(guān)聯(lián)的產(chǎn)品信息，因?yàn)檫@是確定所需產(chǎn)品信息的快捷方法。如果未在本地庫(kù)中發(fā)現(xiàn)產(chǎn)品信息，將圖像幀發(fā)送到服務(wù)器以用于進(jìn)一步檢測(cè)/識(shí)別。在決策框734處，確定是否發(fā)現(xiàn)追蹤特征與在遠(yuǎn)程庫(kù)中存儲(chǔ)的產(chǎn)品特征之間的任何匹配(或可接受水平的相關(guān)性)。如果未發(fā)現(xiàn)匹配(相關(guān)性)，流程移動(dòng)到?jīng)Q策框742。如果發(fā)現(xiàn)匹配(相關(guān)性)，在框738處檢索與有匹配特征的產(chǎn)品相關(guān)聯(lián)的產(chǎn)品信息并且流程結(jié)束。

如上文中討論的，這里有用于檢測(cè)對(duì)象(包括文本數(shù)據(jù)、條形碼數(shù)據(jù)或面部數(shù)據(jù))的若干普通類型的信息。在決策框742處，確定是否接收到任何文本數(shù)據(jù)。如果接收到文本數(shù)據(jù)，可驗(yàn)證文本并且，如果發(fā)現(xiàn)是有效的，在框738處可將識(shí)別的文本用于檢索與該識(shí)別的文本相關(guān)聯(lián)的產(chǎn)品信息。在決策框746處，如果未接收到文本數(shù)據(jù)，確定是否接收到面部數(shù)據(jù)。在決策框760處，如果未接收到面部數(shù)據(jù)，確定是否識(shí)別到面部。在框768處，如果識(shí)別到面部，識(shí)別與識(shí)別的面部相關(guān)聯(lián)的信息。在一個(gè)實(shí)施方案中，信息可包括與個(gè)人(其面部已被識(shí)別)有關(guān)的數(shù)據(jù)。在框764處如果未識(shí)別到面部，允許用戶使用相關(guān)名稱對(duì)用戶攝像機(jī)視圖中顯示的面部作注解以用于未來(lái)識(shí)別目的。隨后流程700結(jié)束。

在一個(gè)實(shí)施方案中，可特定地應(yīng)用識(shí)別算法。具體而言，如果在用戶設(shè)備上執(zhí)行識(shí)別算法，以優(yōu)化cpu使用，當(dāng)該識(shí)別算法的部分中的一個(gè)在進(jìn)行中(例如，如條形碼識(shí)別)時(shí)，隨后可不執(zhí)行其他部分(例如，產(chǎn)品封面識(shí)別)。

圖8是圖示疊加例程800實(shí)例的流程圖。流程800始于框802，其中計(jì)算了初始邊界框。可通過(guò)將在庫(kù)中發(fā)現(xiàn)的對(duì)象的圖像角映射到使用通過(guò)成功圖像匹配表明的單應(yīng)矩陣以查詢提交的圖像來(lái)計(jì)算初始邊界框。在框806處，更新邊界框?？赏ㄟ^(guò)應(yīng)用來(lái)自追蹤初始邊界框的角的單應(yīng)矩陣計(jì)算每個(gè)幀的更新的邊界框。實(shí)際上，計(jì)算旨在描繪圍繞用戶的視圖中的圖像的邊界框。

邊界框計(jì)算可能并不總是可靠的。例如，可將極少特征點(diǎn)用于追蹤，該特征點(diǎn)可覆蓋圖像的極小一部分，或單應(yīng)矩陣可是不穩(wěn)定的。為了限制邊界框的不規(guī)則變化，可檢查單應(yīng)矩陣的有效性，使得框不具有超越特定(例如，預(yù)定)水平的透視變形，并且該邊界不會(huì)不切實(shí)際地變化。可將邊界框“快照”到最近的銳邊以使邊界框看起來(lái)更加自然。

在框814，可將疊加內(nèi)容疊加在用戶視圖中。僅舉例來(lái)說(shuō)，疊加內(nèi)容可以是可選擇的內(nèi)容(例如，“購(gòu)買”按鈕)，使得用戶可以單擊和用攝像機(jī)視圖內(nèi)的最小氣力購(gòu)買在顯示屏中顯示的產(chǎn)品。可將這個(gè)技術(shù)描述作“增強(qiáng)現(xiàn)實(shí)中的單擊”。

在框818處，檢索產(chǎn)品信息可在計(jì)算的邊界框內(nèi)增強(qiáng)(疊加)在用戶視圖中的圖像。產(chǎn)品信息可進(jìn)行變化。例如，產(chǎn)品信息可包括(但可不限于)項(xiàng)目?jī)r(jià)格，客戶評(píng)價(jià)，評(píng)論，描述，其他格式的相同產(chǎn)品的特價(jià)優(yōu)惠和促銷鏈接，數(shù)字下載的連接，列表，客戶討論，與通過(guò)已購(gòu)買了對(duì)象(產(chǎn)品)的客戶購(gòu)買的其他產(chǎn)品有關(guān)的信息等等。在框818中疊加的信息是可選的。

在框822處，將疊加內(nèi)容格式化到邊界框上。在實(shí)施方案中，這可以3d格式完成以充分顯示“房地產(chǎn)”。例如，疊加元素可包括3d結(jié)構(gòu)(如立方體)，其可將用戶的視圖中的對(duì)象的圖像疊加到設(shè)備的顯示器上。立方體的每面墻可包含與產(chǎn)品(對(duì)象)有關(guān)的內(nèi)容，例如，一面墻可顯示產(chǎn)品的價(jià)格，另一面墻可顯示產(chǎn)品評(píng)論等等。除產(chǎn)品信息之外或替代產(chǎn)品信息，還可將可選擇的內(nèi)容元素(例如，“購(gòu)買”，“添加到購(gòu)物車”或“選擇”按鈕)添加疊加元素(例如，上文中描述的3d結(jié)構(gòu))以使用戶能夠與顯示的內(nèi)容互動(dòng)。

其他類型的內(nèi)容(而不是上文中討論的內(nèi)容)可與在用戶的視圖中顯示的圖像疊加。例如，如在框826處所示的，可將產(chǎn)品的視頻預(yù)覽顯示給對(duì)象的圖像的邊界內(nèi)的用戶。在實(shí)施方案中，可提供dvd(將其內(nèi)容顯示在用戶的視圖中)的電影預(yù)覽，可提供顯示的玩具的游戲預(yù)覽，可提供解釋如何使用特定產(chǎn)品的視頻等等。在框830處，還可將與產(chǎn)品有關(guān)的3d動(dòng)畫提供給用戶。例如，如果對(duì)象(其圖像已被采集)是圖書，可提供示出圖書封面開(kāi)篇并且顯示圖書中內(nèi)容的動(dòng)畫。如上文中描述的，可將可選擇的(“可點(diǎn)擊的”)內(nèi)容元素添加到動(dòng)畫并且制作為細(xì)節(jié)和進(jìn)一步內(nèi)容鏈接以如框834所示的使用戶能夠與內(nèi)容互動(dòng)。因此，在上文中實(shí)例中，有添加的可選擇的內(nèi)容元素的動(dòng)畫可允許用戶“翻轉(zhuǎn)”顯示的圖書的頁(yè)面并且示出每個(gè)翻轉(zhuǎn)頁(yè)面的內(nèi)容。隨后流程800結(jié)束。

圖9是描述用于標(biāo)記向用戶呈現(xiàn)的對(duì)象(例如，項(xiàng)目或產(chǎn)品)的方法的流程圖。標(biāo)記項(xiàng)目可允許用戶創(chuàng)建產(chǎn)品列表并且從創(chuàng)建的列表抽取信息?？桑?，通過(guò)社交網(wǎng)絡(luò)(例如，通過(guò)或)與其他用戶共享創(chuàng)建的列表和列表內(nèi)的單個(gè)產(chǎn)品。流程900始于框902其中如上文中參考圖3-5描述的識(shí)別產(chǎn)品。在決策框906處，確定是否識(shí)別到產(chǎn)品。在框908處，如果識(shí)別到產(chǎn)品，例如，以當(dāng)前位置和時(shí)間戳標(biāo)記識(shí)別的項(xiàng)目。在框912處，如果未識(shí)別到產(chǎn)品，將允許用戶將標(biāo)記添加到產(chǎn)品，例如，手動(dòng)地添加產(chǎn)品定義或描述。

在框916處，向用戶提供額外互動(dòng)能力。例如，將允許用戶點(diǎn)擊顯示的產(chǎn)品，與朋友共享產(chǎn)品，通過(guò)位置或關(guān)鍵字搜索產(chǎn)品，將產(chǎn)品示作實(shí)時(shí)顯示視圖中的縮略圖并且允許用戶點(diǎn)擊縮略圖以查看詳情，導(dǎo)出產(chǎn)品列表(例如，如郵件或文件)供用戶使用，添加文本標(biāo)簽等等。在上文中討論的圖書實(shí)例中，用戶可將標(biāo)簽添加到說(shuō)明將圖書借給用戶的朋友或圖書屬于用戶的程序庫(kù)的產(chǎn)品。隨后流程900結(jié)束。

圖10描述通信設(shè)備1000(如關(guān)于圖2描述的設(shè)備202)的一組基本組件。在該實(shí)例中，設(shè)備包括至少一個(gè)處理器1002,其用于執(zhí)行可以存儲(chǔ)在存儲(chǔ)器設(shè)備中的指令或元件1004。指令可包括與上文描述的檢測(cè)，識(shí)別和疊加組件有關(guān)的指令。設(shè)備可包括很多類型的存儲(chǔ)器，數(shù)據(jù)存儲(chǔ)器或計(jì)算機(jī)可讀介質(zhì)，如用于通過(guò)處理器1002執(zhí)行的程序指令的第一數(shù)據(jù)存儲(chǔ)器，可以用于圖像或數(shù)據(jù)的相同或單獨(dú)的存儲(chǔ)器，可以用于與其他設(shè)備共享信息的可移動(dòng)存儲(chǔ)器和可以用于與其他設(shè)備共享的任何數(shù)量的通信途徑。設(shè)備通常將包括至少一種類型的顯示元件1006，如觸摸屏，電子油墨(e-ink)，有機(jī)發(fā)光二極管(oled)或液晶顯示器(lcd)，然而設(shè)備(如便攜式媒體播放器)可能經(jīng)由其他手段(如通過(guò)揚(yáng)聲器)傳達(dá)信息。

如討論的，很多實(shí)施方式中的設(shè)備將包括至少兩個(gè)圖像采集元件1008，如安置來(lái)確定觀看者的相對(duì)位置的至少一個(gè)圖像采集元件和可操作來(lái)使鄰近設(shè)備的用戶、人或其他可觀看的對(duì)象成像的至少一個(gè)圖像采集元件。圖像采集元件可以包括任何適當(dāng)技術(shù)，如具有足夠解析度、焦距范圍和可觀看區(qū)域的ccd圖像采集元件，以當(dāng)用戶正在操作設(shè)備時(shí)采集用戶的圖像。用于使用有計(jì)算設(shè)備的圖像采集元件采集圖像或視頻的方法是本領(lǐng)域眾所周知的并且將不在本文中詳細(xì)討論。應(yīng)理解可以使用單個(gè)圖像、多個(gè)圖像、周期成像、連續(xù)圖像采集、圖像流等等執(zhí)行圖像采集。

設(shè)備可以包括至少一個(gè)定向元件1010，如加速度計(jì)，數(shù)字羅盤，電子陀螺儀或慣性傳感，其可以協(xié)助確定設(shè)備定向中的運(yùn)動(dòng)或其他變化。設(shè)備可包括至少一個(gè)額外輸入設(shè)備1012，其能夠從用戶接收常規(guī)輸入。這個(gè)常規(guī)輸入可以包括，例如，下壓按鈕，觸摸板，方向盤，操作桿，鍵盤，鼠標(biāo)，軌跡球或任何其他這類設(shè)備或元件，使得用戶可以將命令輸入到設(shè)備。甚至可以通過(guò)無(wú)線紅外或藍(lán)牙或在一些實(shí)施方案中的其他鏈接連接這些輸入輸出(i/o)設(shè)備。然而，在一些實(shí)施方案中，這樣一種設(shè)備可能根本不包括任何按鈕并且可能僅通過(guò)視覺(jué)和音頻命令的組合控制，使得用戶可以控制設(shè)備而無(wú)需與該設(shè)備接觸。

圖11描述(根據(jù)上文中參考圖6相當(dāng)詳細(xì)描述的)實(shí)施方案以(如呈現(xiàn)在電子設(shè)備上的)相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的實(shí)例1100。如上文中參考圖8描述的，電子設(shè)備顯示器1102包括以電子設(shè)備的圖像采集元件(例如，攝像機(jī))采集的對(duì)象的圖像1104。該實(shí)例中的疊加元素是立方體1106形狀的3d結(jié)構(gòu)，該立方體1106與圖像1104疊加。如示出的，立方體的全部側(cè)顯示關(guān)于圖書(《戰(zhàn)爭(zhēng)與和平》，列夫托爾斯泰)的不同信息。例如，側(cè)1108包括各種版本(精裝本和平裝本)的圖書價(jià)格。側(cè)1110包括名為“編輯評(píng)論”的可選擇的元素，其鏈接到關(guān)于圖書的評(píng)論。側(cè)1112包括已購(gòu)買圖書(例如，列夫托爾斯泰所著的《安娜·卡列尼娜》)的用戶所購(gòu)買的該圖書的描述。如上文中參考圖7描述的，可通過(guò)用戶移動(dòng)立方體并且不同側(cè)可示出不同的產(chǎn)品信息。因此，在圖11中呈現(xiàn)的疊加實(shí)例允許用戶與疊加的內(nèi)容互動(dòng)并且圍繞顯示屏移動(dòng)疊加元素(立方體1106)，使得立方體的全部側(cè)均可示出和顯示與產(chǎn)品的顯示的圖像相關(guān)聯(lián)的各種產(chǎn)品信息。

如上文討論的，可在種類繁多的操作環(huán)境中實(shí)施各種實(shí)施方案，其在一些情況下可以包括一個(gè)或多個(gè)計(jì)算機(jī)，計(jì)算設(shè)備或處理設(shè)備，其可以用于操作大量應(yīng)用中的任何一個(gè)。客戶端設(shè)備可以包括大量通用個(gè)人計(jì)算機(jī)中的任何一個(gè)，如運(yùn)行標(biāo)準(zhǔn)操作系統(tǒng)的臺(tái)式或筆記本電腦，以及運(yùn)行移動(dòng)軟件并且能夠支持大量社交和信息協(xié)議的蜂窩，無(wú)線或手持式設(shè)備。這樣一種系統(tǒng)還可以包括運(yùn)行各種各樣可通過(guò)市售獲得的操作系統(tǒng)和其他用于如開(kāi)發(fā)和數(shù)據(jù)庫(kù)管理目的的其他已知應(yīng)用的大量工作站。這些設(shè)備還可以包括其他電子設(shè)備，如虛擬終端，瘦客戶端，游戲系統(tǒng)和能夠經(jīng)由網(wǎng)絡(luò)通信的其他設(shè)備。

還可以將各種方面實(shí)施為至少一個(gè)服務(wù)或網(wǎng)頁(yè)服務(wù)的部分，如可為服務(wù)導(dǎo)向架構(gòu)的部分。服務(wù)如網(wǎng)頁(yè)服務(wù)可以使用任何適當(dāng)類型的消息通信，如通過(guò)使用可擴(kuò)展標(biāo)記語(yǔ)言(xml)格式和使用適當(dāng)?shù)膮f(xié)議如soap(來(lái)源于“簡(jiǎn)單對(duì)象訪問(wèn)協(xié)議”)交換的消息?？梢匀魏芜m當(dāng)語(yǔ)言，如互聯(lián)網(wǎng)服務(wù)定義語(yǔ)言(wsdl)編寫這類服務(wù)提供或執(zhí)行的處理。使用如wsdl的語(yǔ)言允許如各種soap框架中的客戶端代碼的自動(dòng)生成的功能。

大多數(shù)實(shí)施方案利用本領(lǐng)域技術(shù)人員熟悉的用于使用各種各樣的可通過(guò)市售獲得的協(xié)議(如tcp/ip,osi,ftp,upnp,nfs,cifs和appletalk)中的任何一個(gè)支持通信的至少一個(gè)網(wǎng)絡(luò)。網(wǎng)絡(luò)可以是，例如，局域網(wǎng)，廣域網(wǎng)，虛擬專用網(wǎng)，英特網(wǎng)，企業(yè)內(nèi)部網(wǎng)，企業(yè)外部網(wǎng)，公用交換電話網(wǎng)，紅外線網(wǎng)，無(wú)線網(wǎng)和任何其組合。

在利用網(wǎng)頁(yè)服務(wù)器的實(shí)施方案中，網(wǎng)頁(yè)服務(wù)器可以運(yùn)行各種各樣的服務(wù)器或中層應(yīng)用，包括http服務(wù)器，ftp服務(wù)器，cgi服務(wù)器，數(shù)據(jù)服務(wù)器，java服務(wù)器和業(yè)務(wù)應(yīng)用服務(wù)器。響應(yīng)于來(lái)自客服端設(shè)備的請(qǐng)求，服務(wù)器還可能夠執(zhí)行程序或腳本，如通過(guò)執(zhí)行可實(shí)施為以任何編程語(yǔ)言(如c,c#,或c++或任何腳本語(yǔ)言，如perl,python或tcl，以及其組合)編寫的一個(gè)或多個(gè)腳本或程序的一個(gè)或多個(gè)網(wǎng)頁(yè)應(yīng)用。服務(wù)器還可以包括數(shù)據(jù)庫(kù)服務(wù)器(包括但不限于)那些可從和市售獲得的數(shù)據(jù)服務(wù)器。

如下文中描述的，環(huán)境可以包括各種各種的數(shù)據(jù)存儲(chǔ)器和其他存儲(chǔ)器和存儲(chǔ)媒介。這些可以駐留在各種各種的位置中，如接近(和/或位于)計(jì)算機(jī)中的一個(gè)或多個(gè)或遠(yuǎn)離整個(gè)網(wǎng)絡(luò)上的計(jì)算機(jī)中的任何一個(gè)或全部的存儲(chǔ)媒介上。在一組特定的實(shí)施方案中，信息可駐留在本領(lǐng)域技術(shù)人員熟悉的存儲(chǔ)區(qū)域網(wǎng)絡(luò)(“san”)中。相似地，可(視情況而定)本地和/或遠(yuǎn)程地存儲(chǔ)用于執(zhí)行計(jì)算機(jī)，服務(wù)器或其他網(wǎng)絡(luò)設(shè)備功能的任何需要的文件。若系統(tǒng)包括計(jì)算化設(shè)備，每個(gè)這類設(shè)備可以包括可經(jīng)由總線電耦合的硬件元件，該元件包括(例如)至少一個(gè)中央處理單元(cpu)，至少一個(gè)輸入設(shè)備(例如，鼠標(biāo)，鍵盤，控制器，觸摸屏或觸摸板)和至少一個(gè)輸出設(shè)備(例如，顯示設(shè)備，打印機(jī)或揚(yáng)聲器)。這樣一種系統(tǒng)還可以包括一個(gè)或多個(gè)存儲(chǔ)設(shè)備，如磁盤設(shè)備，光學(xué)存儲(chǔ)設(shè)備和固態(tài)存儲(chǔ)設(shè)備如隨機(jī)訪問(wèn)存儲(chǔ)器(“ram”)或只讀存儲(chǔ)器(“rom”)，以及可移動(dòng)媒介設(shè)備，存儲(chǔ)卡，閃存卡等等。

如上文中描述的，這類設(shè)備還包括計(jì)算機(jī)可讀存儲(chǔ)媒介閱讀器，通信設(shè)備(例如，調(diào)制解調(diào)器，網(wǎng)卡(有線或無(wú)線)，紅外線通信設(shè)備)和工作存儲(chǔ)器?？蓪⒂?jì)算機(jī)可讀存儲(chǔ)介質(zhì)閱讀器與表示用于暫時(shí)和/或永久地包含，存儲(chǔ)，傳送和檢索計(jì)算機(jī)可讀信息的遠(yuǎn)程，本地，固定和/或可移動(dòng)的存儲(chǔ)設(shè)備以及存儲(chǔ)媒介的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)連接，或配置計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)閱讀器來(lái)接收該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。通常系統(tǒng)和各種設(shè)備還將包括大量軟件應(yīng)用，模塊，服務(wù)或定位于至少一個(gè)工作存儲(chǔ)器設(shè)備內(nèi)的其他元件，包括操作系統(tǒng)和應(yīng)用程序，如客戶端應(yīng)用或網(wǎng)頁(yè)瀏覽器。應(yīng)了解根據(jù)上文描述的內(nèi)容替換實(shí)施方案可具有眾多變化。例如，還可能使用定制硬件和/或可能在硬件，軟件(包括便攜式軟件，如小應(yīng)用程序)或二者中實(shí)施特定元件。此外，可以運(yùn)用到其他計(jì)算設(shè)備如網(wǎng)絡(luò)輸入/輸出設(shè)備的連接。

用于包含代碼或代碼部分的存儲(chǔ)媒介和計(jì)算機(jī)可讀媒介可以包括本領(lǐng)域已知或使用的任何適當(dāng)媒介，包括存儲(chǔ)媒介和通信媒介(如但不限于)以用于信息(如計(jì)算機(jī)可讀指令，數(shù)據(jù)結(jié)構(gòu)，程序模塊或其他數(shù)據(jù))存儲(chǔ)和/或傳送的任何方法或技術(shù)實(shí)施的易失性和非易失性，可移動(dòng)和不可移動(dòng)媒介，包括ram，rom，eeprom，閃速存儲(chǔ)器或其他存儲(chǔ)器技術(shù)，cd-rom，數(shù)字多功能光碟(dvd)或其他光學(xué)存儲(chǔ)器，磁帶盒，磁帶，磁碟存儲(chǔ)器或其他磁存儲(chǔ)設(shè)備或可以用于儲(chǔ)存所需信息并且可以通過(guò)系統(tǒng)設(shè)備訪問(wèn)的任何其他介質(zhì)。

基于本文提供的公開(kāi)和教導(dǎo)，本領(lǐng)域的普通技術(shù)人員將了解實(shí)施各種實(shí)施方案的其他方式和/或方法。

條款：

1.一種用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)基本上實(shí)時(shí)采集和顯示的對(duì)象的圖像或流的計(jì)算機(jī)實(shí)施方法，其包括：

在以可執(zhí)行指令配置的一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)的控制下，

使用通過(guò)用戶操作的電子設(shè)備的圖像采集元件采集對(duì)象的圖像的流中的至少一個(gè)圖像；

在所述電子設(shè)備的顯示元件上顯示所述所采集的至少一個(gè)圖像；

確定定義所述對(duì)象的一個(gè)或多個(gè)特征，所述一個(gè)或多個(gè)特征來(lái)源于所述對(duì)象的所述至少一個(gè)圖像；

將定義所述對(duì)象的所述確定的一個(gè)或多個(gè)特征與定義在項(xiàng)目庫(kù)中存儲(chǔ)的多個(gè)項(xiàng)目的特征匹配；

當(dāng)發(fā)現(xiàn)匹配時(shí)，從所述項(xiàng)目庫(kù)檢索與所述匹配項(xiàng)目相關(guān)聯(lián)的內(nèi)容，所述內(nèi)容包括所述用戶可選擇的內(nèi)容元素；以及

在所述電子設(shè)備的所述顯示元件上基本上實(shí)時(shí)地顯示疊加元素中的所述檢索內(nèi)容，使得所述疊加元件增強(qiáng)在所述電子設(shè)備的所示顯示元件上顯示的所述圖像，

其中所述用戶通過(guò)訪問(wèn)所述用戶可選擇的所述內(nèi)容元素能夠與在疊加元素中顯示的所述檢索內(nèi)容互動(dòng)。

2.根據(jù)條款1所述的計(jì)算機(jī)實(shí)施方法，其中所述疊加元素通過(guò)與所述圖像疊加增強(qiáng)所述圖像，其中所述疊加元素選自下列各項(xiàng)中的一個(gè)：框，按鈕，三維(3d)結(jié)構(gòu)，動(dòng)畫，音頻，視頻，網(wǎng)頁(yè)或互動(dòng)式用戶界面。

3.根據(jù)條款1所述的計(jì)算機(jī)實(shí)施方法，其中所述電子設(shè)備的圖像采集元件選自視頻攝像機(jī)或照片攝像機(jī)中的一個(gè)。

4.一種用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)基本上實(shí)時(shí)采集和顯示的對(duì)象的圖像的計(jì)算機(jī)實(shí)施方法，其包括：

在以可執(zhí)行指令配置的一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)的控制下，

接收定義通過(guò)電子設(shè)備基本上實(shí)時(shí)采集的視頻的采樣幀的信息；

至少部分地基于所述接收的信息確定表示在所述采樣幀中采集的對(duì)象的信息；

促使所述確定的信息與定義多個(gè)項(xiàng)目的存儲(chǔ)信息匹配以定位與所述所采集對(duì)象匹配的項(xiàng)目；

檢索與所述匹配項(xiàng)目相關(guān)聯(lián)的內(nèi)容；以及

提供所述檢索內(nèi)容用于在所述電子設(shè)備上與所述所采集圖像一同顯示，

其中在疊加元素中呈現(xiàn)所述檢索內(nèi)容，所述疊加元素與在所述電子設(shè)備上顯示的所述所采集圖像疊加。

5.根據(jù)條款4所述的計(jì)算機(jī)實(shí)施方法，其中所述內(nèi)容包括所述用戶可選擇的內(nèi)容元素，所述內(nèi)容元素包括下列各項(xiàng)中的至少一個(gè)：按鈕或超鏈接。

6.根據(jù)條款4所述的計(jì)算機(jī)實(shí)施方法，其中所述內(nèi)容包括與所述項(xiàng)目相關(guān)聯(lián)的信息，所述信息包括下列各項(xiàng)中的至少一個(gè)：項(xiàng)目?jī)r(jià)格，所述項(xiàng)目的描述，所述項(xiàng)目的客戶評(píng)價(jià)，所述項(xiàng)目的客戶評(píng)論，與所述項(xiàng)目有關(guān)的特價(jià)優(yōu)惠和促銷，與所述項(xiàng)目有關(guān)的產(chǎn)品有關(guān)的信息，或所述用戶可選擇的使所述用戶能夠購(gòu)買所述項(xiàng)目的至少一個(gè)內(nèi)容元素。

7.根據(jù)條款4所述的計(jì)算機(jī)實(shí)施方法，其中將所述確定的信息與在所述電子設(shè)備處的存儲(chǔ)信息匹配并且其中將定義多個(gè)項(xiàng)目的信息存儲(chǔ)在與所述電子設(shè)備相關(guān)聯(lián)的本地庫(kù)中。

8.根據(jù)條款4所述的計(jì)算機(jī)實(shí)施方法，其中將所述確定的信息與遠(yuǎn)離所述電子設(shè)備的存儲(chǔ)信息匹配并且其中將定義多個(gè)項(xiàng)目的信息存儲(chǔ)在遠(yuǎn)程庫(kù)中。

9.根據(jù)條款4所述的計(jì)算機(jī)實(shí)施方法，其還包括：

當(dāng)在一個(gè)或多個(gè)對(duì)象與存儲(chǔ)項(xiàng)目之間發(fā)現(xiàn)多個(gè)匹配時(shí)，確定到每個(gè)對(duì)象的大量匹配項(xiàng)目。

10.根據(jù)條款4所述的計(jì)算機(jī)實(shí)施方法，其還包括：以當(dāng)前位置標(biāo)識(shí)符或時(shí)間戳中的至少一個(gè)標(biāo)記所述匹配項(xiàng)目。

11.一種用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的計(jì)算機(jī)實(shí)施方法，

其包括：

在以可執(zhí)行指令配置的一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)的控制下，

以電子設(shè)備采集對(duì)象的至少一個(gè)圖像，通過(guò)所述電子設(shè)備顯示所述所采集圖像至少部分地基于所述對(duì)象的所述至少一個(gè)所采集圖像確定表示所述對(duì)象的信息；

將所述確定的信息與定義多個(gè)項(xiàng)目中的每個(gè)項(xiàng)目的存儲(chǔ)信息匹配；

從所述庫(kù)檢索與所述匹配項(xiàng)目相關(guān)聯(lián)的內(nèi)容；

將所述所采集圖像與在疊加元素中呈現(xiàn)的所述檢索內(nèi)容疊加，所述檢索內(nèi)容包括至少一個(gè)可選擇的內(nèi)容元素；以及

響應(yīng)于用戶選擇所述至少一個(gè)可選擇的內(nèi)容元素，將所述所采集圖像與所述內(nèi)容元素相關(guān)聯(lián)的內(nèi)容疊加。

12.根據(jù)條款11所述的計(jì)算機(jī)實(shí)施方法，其還包括：使所述用戶能夠輸入第二疊加元素并且以所述第二疊加元素內(nèi)的關(guān)于所述對(duì)象的額外內(nèi)容標(biāo)記所述對(duì)象。

13.根據(jù)條款11所述的計(jì)算機(jī)實(shí)施方法，其還包括：響應(yīng)于所述用戶在所述疊加元素中輸入搜索查詢，檢索相對(duì)應(yīng)于所述搜索查詢的搜索結(jié)果。

14.根據(jù)條款11所述的計(jì)算機(jī)實(shí)施方法，其中所述疊加元素包括框。

15.一種用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的計(jì)算機(jī)系統(tǒng)，其包括：

處理器；和

具有計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)器，所述計(jì)算機(jī)可執(zhí)行指令當(dāng)在所述處理器上執(zhí)行時(shí)，促使所述處理器：

接收定義通過(guò)電子設(shè)備基本上實(shí)時(shí)采集的視頻的采樣幀的信息；

至少部分地基于所述接收的信息確定表示在所述采樣幀中采集的對(duì)象的信息；

促使所述確定的信息與定義多個(gè)項(xiàng)目的存儲(chǔ)信息匹配以定位與所述所采集對(duì)象匹配的項(xiàng)目；

檢索與所述匹配項(xiàng)目相關(guān)聯(lián)的內(nèi)容；

提供所述檢索內(nèi)容用于在所述電子設(shè)備上與所述所采集圖像一同顯示；以及

促使在疊加元素中呈現(xiàn)所述檢索內(nèi)容，所述疊加元素與在所述電子設(shè)備上顯示的所述所采集圖像疊加。

16.根據(jù)條款15所述的計(jì)算機(jī)系統(tǒng)，其中所述內(nèi)容包括所述用戶可選擇的內(nèi)容元素，所述內(nèi)容元素包括下列各項(xiàng)中的至少一個(gè)：按鈕或超鏈接。

17.根據(jù)條款15所述的計(jì)算機(jī)系統(tǒng)，其中所述內(nèi)容包括與所述項(xiàng)目相關(guān)聯(lián)的信息，所述信息包括下列各項(xiàng)中的至少一個(gè)：項(xiàng)目?jī)r(jià)格，所述項(xiàng)目的描述，所述項(xiàng)目的客戶評(píng)價(jià)，所述項(xiàng)目的客戶評(píng)論，與所述項(xiàng)目有關(guān)的特價(jià)優(yōu)惠和促銷，與所述項(xiàng)目有關(guān)的產(chǎn)品有關(guān)的信息，或所述用戶可選擇的使所述用戶能夠購(gòu)買所述項(xiàng)目的至少一個(gè)內(nèi)容元素。

18.根據(jù)條款15所述的計(jì)算機(jī)系統(tǒng)，其中所述計(jì)算機(jī)可執(zhí)行指令還促使所述處理器以當(dāng)前位置標(biāo)識(shí)符或時(shí)間戳中的至少一個(gè)標(biāo)記所述匹配對(duì)象。

19.根據(jù)條款16所述的計(jì)算機(jī)系統(tǒng)，其中所述計(jì)算機(jī)可執(zhí)行指令還促使所述處理器，響應(yīng)于所述用戶選擇內(nèi)容元素，檢索并且提供與所述內(nèi)容元素相關(guān)聯(lián)的信息，所述信息與所述所采集圖像疊加。

20.一種用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的對(duì)象的圖像的具有計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令當(dāng)通過(guò)計(jì)算機(jī)執(zhí)行時(shí)，促使所述處理器：

接收定義通過(guò)電子設(shè)備基本上實(shí)時(shí)采集的視頻的采樣幀的信息；

至少部分地基于所述接收的信息確定表示在所述采樣幀中采集的對(duì)象的信息；

促使所述確定的信息與定義多個(gè)項(xiàng)目的存儲(chǔ)信息匹配以定位與所述所采集對(duì)象匹配的項(xiàng)目；

檢索與所述匹配項(xiàng)目相關(guān)聯(lián)的內(nèi)容；

提供所述檢索內(nèi)容用于在所述電子設(shè)備上與所述所采集圖像一同顯示；以及

促使在疊加元素中呈現(xiàn)所述檢索內(nèi)容，所述疊加元素與在所述電子設(shè)備上顯示的所述所采集

圖像疊加。

21.根據(jù)條款20所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述內(nèi)容包括所述用戶可選擇的內(nèi)容元素，所述內(nèi)容元素包括下列各項(xiàng)中的至少一個(gè)：按鈕或超鏈接。

22.根據(jù)條款20所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述內(nèi)容包括與所述項(xiàng)目相關(guān)聯(lián)的信息，所述信息包括下列各項(xiàng)中的至少一個(gè)：項(xiàng)目?jī)r(jià)格，所述項(xiàng)目的描述，所述項(xiàng)目的客戶評(píng)價(jià)，所述項(xiàng)目的客戶評(píng)論，與所述項(xiàng)目有關(guān)的特價(jià)優(yōu)惠和促銷，與所述項(xiàng)目有關(guān)的產(chǎn)品有關(guān)的信息，或所述用戶可選擇的使所述用戶能夠購(gòu)買所述項(xiàng)目的至少一個(gè)內(nèi)容元素。

23.根據(jù)條款20所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述疊加元素是框。

24.根據(jù)條款21所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述計(jì)算機(jī)可執(zhí)行指令還促使所述計(jì)算機(jī)，響應(yīng)于所述用戶選擇內(nèi)容元素，檢索并且提供與所述內(nèi)容元素相關(guān)聯(lián)的信息，所述信息與所述所采集圖像疊加。

25.根據(jù)條款10所述的計(jì)算機(jī)實(shí)施方法，其還包括：查詢所述標(biāo)記項(xiàng)目以確定所述項(xiàng)目的當(dāng)前位置。

相應(yīng)地，將說(shuō)明書和附圖看作是說(shuō)明性的而非是限制性的。然而，顯然在不脫離如權(quán)利要求書所述的更廣精神和本公開(kāi)范圍的情況下可對(duì)其做出各種修改和變化。