本申請(qǐng)要求2014年6月17日提交的美國臨時(shí)申請(qǐng)?zhí)?2/013,508的權(quán)益。該申請(qǐng)的全部內(nèi)容被通過引用結(jié)合到本文中。

技術(shù)領(lǐng)域

本公開一般地涉及活動(dòng)識(shí)別技術(shù)。

背景技術(shù)：

背景描述包括在理解本發(fā)明時(shí)可能有用的信息。并不承認(rèn)在本文中提供的任何信息是現(xiàn)有技術(shù)或與當(dāng)前要求保護(hù)的發(fā)明有關(guān)，或者具體地或隱含地提及的任何公開是現(xiàn)有技術(shù)。

識(shí)別觀察到的活動(dòng)(諸如在視頻數(shù)據(jù)中表示的活動(dòng))是非常復(fù)雜的任務(wù)。已知技術(shù)未能獲得市場(chǎng)滲透，尤其是相對(duì)于消費(fèi)者交互。某些努力已經(jīng)指向識(shí)別相對(duì)于網(wǎng)絡(luò)交互的用戶活動(dòng)，如由授予Qin等人的2012年11月28日提交的題為“Method and System for Measuring Social Influence and Receptivity of Users”的美國專利申請(qǐng)公開2014/0149418舉例說明的。然而，由Qin公開的技術(shù)不適用于識(shí)別觀察到的活動(dòng)。

其它努力集中于使用有向圖進(jìn)行活動(dòng)識(shí)別。在以下論文中描述了此類技術(shù)的示例：Zhang等人在Proceedings ofEuropean Conference on Computer Vision(ECCV),2012中的“Graph Degree Linkage:Agglomerative Clustering on a Directed Graph”(“Zhang 2012”)；Wang等人在CVPR 2011-IEEE Conference on Computer Vision&Pattern Recognition(2011)中的“Action Recognition by Dense Trajectories”(“Wang 2011”)；以及Wang等人在2013 IEEE International Conference on Computer Vision(ICCV)中的“Directed Acyclic Graph Kernels for Action Recognition”(“Wang 2013”)。

以上方法確實(shí)涉及通過使用專用圖來識(shí)別觀察到的活動(dòng)。例如，Wang 2013提供了用于通過使用有向無環(huán)圖(DAG)來識(shí)別活動(dòng)的基礎(chǔ)。然而，這種方法所需的計(jì)算時(shí)間對(duì)于在消費(fèi)者裝置應(yīng)用中使用(諸如供在相機(jī)、蜂窩電話、平板計(jì)算機(jī)、玩具、運(yùn)載工具及其它消費(fèi)者裝置中使用)而言是不容許的。

技術(shù)實(shí)現(xiàn)要素：

消費(fèi)者當(dāng)前缺乏對(duì)允許他們經(jīng)由裝置(例如，蜂窩電話)來觀看諸如體育事件或獨(dú)舞表演之類的活動(dòng)、自動(dòng)地識(shí)別該活動(dòng)并促使裝置基于所識(shí)別活動(dòng)而發(fā)起動(dòng)作的應(yīng)用程序的訪問。此外，當(dāng)前方法未能慮及可能對(duì)識(shí)別活動(dòng)有影響的上下文情況。例如，Wang 2013方法缺少辨別舞蹈和打斗的上下文分辨能力。因此，仍需要對(duì)觀察上下文敏感的成本有效的活動(dòng)識(shí)別。

本發(fā)明主題提供了其中可以通過使用應(yīng)用于已知活動(dòng)圖的上下文評(píng)分技術(shù)來經(jīng)由裝置識(shí)別活動(dòng)的設(shè)備、系統(tǒng)和方法。在實(shí)施例中，使用特征檢測(cè)算法從觀察到的活動(dòng)的數(shù)字表示生成多個(gè)時(shí)間特征。該數(shù)字表示可以包括圖像數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)、觸覺數(shù)據(jù)、動(dòng)覺數(shù)據(jù)、溫度數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)和無線電信號(hào)數(shù)據(jù)中的一個(gè)或多個(gè)。建立包括從數(shù)字表示生成的時(shí)間特征的一個(gè)或多個(gè)集群的觀察活動(dòng)圖，其中，所述時(shí)間特征的一個(gè)或多個(gè)集群中的每一個(gè)定義觀察活動(dòng)圖的節(jié)點(diǎn)。觀察活動(dòng)圖的節(jié)點(diǎn)可以包括特征軌跡的集群。從用于已知活動(dòng)圖的相似性評(píng)分技術(shù)中選擇至少一個(gè)上下文相關(guān)評(píng)分技術(shù)，所述至少一個(gè)上下文相關(guān)評(píng)分技術(shù)與滿足基于數(shù)字表示的裝置上下文屬性而定義的裝置上下文準(zhǔn)則的活動(dòng)攝取元數(shù)據(jù)相關(guān)聯(lián)，并且根據(jù)所述至少一個(gè)上下文相關(guān)評(píng)分技術(shù)而針對(duì)觀察活動(dòng)圖來計(jì)算相似性活動(dòng)分?jǐn)?shù)，該相似性活動(dòng)分?jǐn)?shù)是相對(duì)于至少一個(gè)已知活動(dòng)圖。相似性評(píng)分技術(shù)可以包括以下各項(xiàng)中的至少一個(gè)：歐幾里德距離、線性核、多項(xiàng)式核、卡方核、柯西核、直方圖交叉核、Hellinger核、Jensen-Shannon核、雙曲線正切(Σ)核、二次有理核、復(fù)二次核、逆復(fù)二次核、圓形核、球形核、波核、冪核、對(duì)數(shù)核、樣條核、貝塞爾核、廣義化T-Student核、貝葉斯核、小波核、徑向基函數(shù)(RBF)、指數(shù)核、拉普拉斯核、ANOVA核和B樣條核函數(shù)?？梢曰谙嗨菩曰顒?dòng)分?jǐn)?shù)來生成活動(dòng)識(shí)別結(jié)果集。

在某些實(shí)施例中，所述已知活動(dòng)圖和觀察活動(dòng)圖可以包括有向無環(huán)圖。

在某些實(shí)施例中，可以作為已知活動(dòng)圖內(nèi)的節(jié)點(diǎn)和觀察活動(dòng)圖內(nèi)的節(jié)點(diǎn)的函數(shù)來計(jì)算相似性活動(dòng)分?jǐn)?shù)。

在某些實(shí)施例中，所述裝置上下文屬性和所述活動(dòng)攝取元數(shù)據(jù)可以附著于公共命名空間。

在某些實(shí)施例中，所述活動(dòng)攝取元數(shù)據(jù)可以包括特定領(lǐng)域?qū)傩浴?duì)象屬性或者位置屬性、時(shí)間屬性、位置屬性和取向?qū)傩灾械闹辽僖粋€(gè)。

在某些實(shí)施例中，所述特征檢測(cè)算法可以包括以下各項(xiàng)中的至少一個(gè)：尺度不變特征變換(SIFT)、快速視網(wǎng)膜關(guān)鍵點(diǎn)(FREAK)、方向梯度直方圖(HOG)、加速魯棒特征(SURF)、DAISY、二進(jìn)制魯棒不變尺度關(guān)鍵點(diǎn)(BRISK)、FAST、二進(jìn)制魯棒獨(dú)立基本特征(BRIEF)、Harris角、邊、梯度位置方向直方圖(GLOH)、圖像能量梯度(EOG)或變換不變低秩紋理(TILT)特征檢測(cè)算法。

在某些實(shí)施例中，所述已知活動(dòng)圖可以包括活動(dòng)圖原語?；顒?dòng)圖原語可以包括以下各項(xiàng)中的至少一個(gè)：對(duì)象持久性、對(duì)象變換、對(duì)象間守恒交互、對(duì)象分段、對(duì)象創(chuàng)建、對(duì)象銷毀和對(duì)象NULL交互。

在某些實(shí)施例中，所述已知活動(dòng)圖可以包括包含其它已知活動(dòng)圖的節(jié)點(diǎn)。

在某些實(shí)施例中，該已知活動(dòng)圖可以包括關(guān)鍵幀。

在某些實(shí)施例中，可以向觀察活動(dòng)圖分配分級(jí)，其中，所述分類包括活動(dòng)識(shí)別結(jié)果集。

在某些實(shí)施例中，所述活動(dòng)識(shí)別結(jié)果集可以包括相對(duì)于觀察活動(dòng)圖的活動(dòng)預(yù)測(cè)。

在某些實(shí)施例中，活動(dòng)識(shí)別結(jié)果集包括以下各項(xiàng)中的至少一個(gè)：地址、活動(dòng)標(biāo)識(shí)符、搜索結(jié)果、推薦、異常、警告、分段、命令、排序、上下文相關(guān)信息、內(nèi)容信息、促銷和廣告。

在某些實(shí)施例中，可以通過將圖像特征映射到已知活動(dòng)圖中的至少一個(gè)的節(jié)點(diǎn)來建立來自數(shù)字表示的靜態(tài)圖像到已知活動(dòng)圖中的所述至少一個(gè)的圖空間中的映射。

在某些實(shí)施例中，可以基于已知活動(dòng)圖中的所述至少一個(gè)的節(jié)點(diǎn)和映射來生成動(dòng)作預(yù)測(cè)。

在某些實(shí)施例中，所述相似性評(píng)分技術(shù)可以包括基于節(jié)點(diǎn)上下文的權(quán)值的至少一個(gè)集合，并且基于節(jié)點(diǎn)上下文的權(quán)值的所述至少一個(gè)集合可以包括節(jié)點(diǎn)權(quán)值的矩陣。

根據(jù)優(yōu)選實(shí)施例的以下詳細(xì)描述以及其中相同附圖標(biāo)記表示相同部件的附圖，本發(fā)明主題的各種目的、特征、方面和優(yōu)點(diǎn)將變得更加顯而易見。

附圖說明

圖1A是根據(jù)實(shí)施例的用于活動(dòng)識(shí)別的攝取過程的示意性概覽；

圖1B圖示出根據(jù)實(shí)施例的用于活動(dòng)識(shí)別的攝取過程的示例性操作的流程圖；

圖2是根據(jù)實(shí)施例的活動(dòng)識(shí)別系統(tǒng)的示意性概覽；

圖3圖示出根據(jù)實(shí)施例的活動(dòng)識(shí)別系統(tǒng)的示例性操作的流程圖；

圖4圖示出可以被用于實(shí)現(xiàn)各種實(shí)施例的一個(gè)或多個(gè)方面的示例性客戶端-服務(wù)器關(guān)系的框圖；以及

圖5圖示出可以被用于實(shí)現(xiàn)各種實(shí)施例的一個(gè)或多個(gè)方面的分布式計(jì)算機(jī)系統(tǒng)的框圖。

雖然參考上述附圖描述了本發(fā)明，但附圖意圖是說明性的，并且其它實(shí)施例與本發(fā)明的精神一致且在本發(fā)明的范圍內(nèi)。

具體實(shí)施方式

將在下文中參考附圖來更全面地描述各種實(shí)施例，附圖構(gòu)成實(shí)施例的一部分，并且附圖以圖示的方式示出了實(shí)施實(shí)施例的特定示例。然而，本描述是以許多不同形式體現(xiàn)的，并且不應(yīng)理解為局限于在本文中闡述的實(shí)施例；相反地，提供這些實(shí)施例，使得本描述將是透徹且完整的，并且將向本領(lǐng)域的技術(shù)人員全面地傳達(dá)本發(fā)明的范圍。除其它的之外，可以將本描述體現(xiàn)為方法或裝置。因此，本文中的各種實(shí)施例中的任何一個(gè)可以采取全硬件實(shí)施例、全軟件實(shí)施例或者包含軟件和硬件方面的實(shí)施例的形式。因此不應(yīng)在限制性意義上理解以下描述。

遍及本說明書和權(quán)利要求，以下術(shù)語取在本文中明確地關(guān)聯(lián)的意義，除非上下文清楚地另外指明。

如本文所使用的短語“在一個(gè)實(shí)施例中”不一定參考同一實(shí)施例，雖然其可以這樣。因此，如下所述，在不脫離本發(fā)明的精神和范圍的情況下，可以容易地將本發(fā)明的各種實(shí)施例組合。

如本文所使用的術(shù)語“或”是包括性“或”算子，并且等價(jià)于“和/或”，除非上下文另外明確地規(guī)定。

術(shù)語“基于”并不是排他性的，并且基于基于并未描述的附加因素，除非上下文另外清楚地規(guī)定。

如本文所使用的，并且除非上下文另外規(guī)定，術(shù)語“被耦合到”意圖包括直接耦合(其中被相互耦合的兩個(gè)元件相互接觸)和間接耦合(其中至少一個(gè)附加元件位于兩個(gè)元件之間)兩者。因此，術(shù)語“被耦合到”和“與...耦合”被以同義詞方式使用。在其中兩個(gè)或更多組件或裝置能夠交換數(shù)據(jù)的聯(lián)網(wǎng)環(huán)境的背景下，還使用術(shù)語“耦合到”和“與...耦合”來意指“與...通信耦合”，可能經(jīng)由一個(gè)或多個(gè)中間裝置。

另外，遍及本描述，“一個(gè)”、“一個(gè)”和“該”的意義包括復(fù)數(shù)參考，并且“在...中”的意義包括“在...中”和“在...上”。

以下討論提供了本發(fā)明主題的許多示例性實(shí)施例。雖然在本文中提出的各種實(shí)施例中的某些組成發(fā)明元素的單個(gè)組合，但應(yīng)認(rèn)識(shí)到的是本發(fā)明的主題被認(rèn)為包括公開元素的所有可能組合。同樣地，如果一個(gè)實(shí)施例包括元素A、B和C，并且另一實(shí)施例包括元素B和D，則也認(rèn)為本發(fā)明主題包括A、B、C或D的其它的其余組合，即使在本文中并未明確地討論。

如在本文中的描述中和遍及隨后的權(quán)利要求所使用的，當(dāng)系統(tǒng)、引擎、服務(wù)器、裝置、模塊或其它計(jì)算元件被描述為被配置成對(duì)存儲(chǔ)器中的數(shù)據(jù)執(zhí)行或完成功能時(shí)，“被配置成”或“被編程為”的意義被定義為計(jì)算元件的一個(gè)或多個(gè)處理器或核被存儲(chǔ)在計(jì)算元件的存儲(chǔ)器中的一組軟件指令編程為對(duì)存儲(chǔ)在存儲(chǔ)器中的目標(biāo)數(shù)據(jù)或數(shù)據(jù)對(duì)象執(zhí)行該組功能。

應(yīng)注意的是針對(duì)計(jì)算機(jī)的任何語言應(yīng)被理解成包括計(jì)算裝置的任何適當(dāng)組合，包括服務(wù)器、接口、系統(tǒng)、數(shù)據(jù)庫、代理、對(duì)端、引擎、控制器、模塊或者單獨(dú)地或共同地操作的其它類型的計(jì)算裝置結(jié)構(gòu)。本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到的是計(jì)算裝置包括被配置成執(zhí)行存儲(chǔ)在有形非臨時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(例如，硬驅(qū)、FPGA、PLA、固態(tài)驅(qū)動(dòng)、RAM、閃存、ROM等)上的軟件指令的處理器。軟件指令將計(jì)算裝置配置或編程為提供如下面相對(duì)于公開設(shè)備所討論的作用、職責(zé)或其它功能。此外，可以將公開技術(shù)體現(xiàn)為計(jì)算機(jī)程序產(chǎn)品，其包括存儲(chǔ)軟件指令的非臨時(shí)計(jì)算機(jī)可讀介質(zhì)，該軟件指令促使處理器執(zhí)行與基于計(jì)算機(jī)的算法、過程、方法或其它指令的實(shí)施方式相關(guān)聯(lián)的公開步驟。在某些實(shí)施例中，各種服務(wù)器、系統(tǒng)、數(shù)據(jù)庫或接口可能基于HTTP、HTTPS、AES、公鑰-私鑰交換、網(wǎng)絡(luò)服務(wù)SPI、已知金融交易協(xié)議或其它電子信息交換方法使用標(biāo)準(zhǔn)化協(xié)議或算法來交換數(shù)據(jù)。裝置之間的數(shù)據(jù)交換可以通過分組交換網(wǎng)、因特網(wǎng)、LAN、WAN、VPN或其它類型的分組交換網(wǎng)；電路交換網(wǎng)；小區(qū)交換網(wǎng)；或其它類型的網(wǎng)絡(luò)來執(zhí)行。

在本文中識(shí)別的所有出版物被通過引用結(jié)合到本文中，達(dá)到如同每個(gè)單獨(dú)的出版物或?qū)＠暾?qǐng)被具體地且單獨(dú)地指示為被通過引用結(jié)合一樣的程度。在結(jié)合的參考文獻(xiàn)中的術(shù)語的定義或使用與在本文中提供的術(shù)語的定義不一致或相反的情況下，適用在本文中提供的術(shù)語的定義，并且參考文獻(xiàn)中的該術(shù)語的定義不適用。

以下描述包括在理解本發(fā)明時(shí)可能有用的信息。并不承認(rèn)在本文中提供的任何信息是現(xiàn)有技術(shù)或與當(dāng)前要求保護(hù)的發(fā)明有關(guān)，或者具體地或隱含地提及的任何公開是現(xiàn)有技術(shù)。

在某些實(shí)施例中，應(yīng)將被用來描述并要求保護(hù)本發(fā)明的某些實(shí)施例的表示成分的數(shù)量、諸如濃度之類的性質(zhì)、反應(yīng)條件等的數(shù)字理解為在某些情況下被用術(shù)語“大約”進(jìn)行修飾。因此，在某些實(shí)施例中，在編寫的描述和所附權(quán)利要求中闡述的數(shù)值參數(shù)是可以根據(jù)特定實(shí)施例設(shè)法獲得的期望性質(zhì)而改變的近似值。在某些實(shí)施例中，應(yīng)根據(jù)所報(bào)告的有效數(shù)字的數(shù)目并通過引用普通四舍五入技術(shù)來理解數(shù)值參數(shù)。盡管闡述本發(fā)明的某些實(shí)施例的寬泛范圍的數(shù)值范圍和參數(shù)是近似值，但在特定示例中闡述的數(shù)值值被盡可能精確地報(bào)告。在本發(fā)明的某些實(shí)施例中提出的數(shù)值值可包含必然從在其各測(cè)試測(cè)量中發(fā)現(xiàn)的標(biāo)準(zhǔn)偏差產(chǎn)生的某些誤差。

除非上下文相反地規(guī)定，否則應(yīng)將在本文中闡述的所有范圍理解為包括其端點(diǎn)，并且應(yīng)將開放式范圍解釋成僅包括商業(yè)上切合實(shí)際的值。同樣地，應(yīng)將所有值列表視為包括中間值，除非上下文相反地指明。

如在本描述中和遍及隨后的權(quán)利要求所使用的，“一”、“一個(gè)”和“該”的意義包括復(fù)數(shù)參考，除非上下文清楚地另外規(guī)定。并且，如在本文中的描述中所使用的“在...中”的意義包括“在...中”和“在...上”，除非上下文清楚地另外規(guī)定。

本文中的值范圍的敘述僅僅意圖充當(dāng)單獨(dú)地提及落在該范圍內(nèi)的每個(gè)單獨(dú)值的簡寫方法。除非在本文中另外指明，每個(gè)單獨(dú)值被結(jié)合到本描述中，如同其在本文中被單獨(dú)地?cái)⑹鲆粯??？梢园凑杖魏芜m當(dāng)?shù)捻樞騺韴?zhí)行本文所述的所有方法，除非在本文中另外指明或者很明顯與上下文矛盾。在本文中相對(duì)于某些實(shí)施例提供的任何和所有示例或示例性語言(例如“諸如”)的使用僅僅意圖更好地舉例說明本發(fā)明，而不對(duì)另外要求保護(hù)的本發(fā)明的范圍施加限制。不應(yīng)將本描述中的語言理解為指示對(duì)于本發(fā)明的實(shí)施而言必不可少的任何未要求保護(hù)要素。

不應(yīng)將在本文中公開的本發(fā)明的替換元素或?qū)嵤├姆纸M理解為限制?？梢詥为?dú)地或與在本文中使用的群組的其它成員或其它元素的任何組合的方式提及并要求保護(hù)每個(gè)群組成員。由于方便和/或取得專利的可能性的原因，可以將群組的一個(gè)或多個(gè)成員包括在群組中或者從群組刪除一個(gè)或多個(gè)成員。當(dāng)任何此類包括或刪除發(fā)生時(shí)，在本文中認(rèn)為本說明書將包含被修改的群組，因此滿足在所附權(quán)利要求中使用的所有Markush群組的編寫描述。

應(yīng)認(rèn)識(shí)到的是公開技術(shù)提供了許多有利技術(shù)效果，包括減少識(shí)別活動(dòng)的裝置上的計(jì)算開銷。因此，使得計(jì)算裝置能夠處理數(shù)字圖像數(shù)據(jù)以確定數(shù)據(jù)中的觀察特征是否看起來表示已知活動(dòng)。計(jì)算裝置能夠超過人類的能力很好地處理大量的數(shù)字?jǐn)?shù)據(jù)。

公開方法提供了用于計(jì)算裝置識(shí)別在場(chǎng)景的數(shù)字表示中表示的一個(gè)或多個(gè)活動(dòng)的基礎(chǔ)設(shè)施。該活動(dòng)可以包括跨許多動(dòng)作的一個(gè)或多個(gè)活動(dòng)。示例性活動(dòng)包括游戲、運(yùn)動(dòng)、購物、玩游戲、軍事訓(xùn)練、理療或其它類型的行為。應(yīng)認(rèn)識(shí)到的是公開技術(shù)還適用于識(shí)別非人類活動(dòng)和對(duì)象交互。例如，非人類活動(dòng)和對(duì)象交互包括運(yùn)載工具活動(dòng)、機(jī)器人或群集交互、隨時(shí)間推移的地質(zhì)系統(tǒng)的活動(dòng)或者其它類型的活動(dòng)和對(duì)象交互。

可以通過活動(dòng)圖的使用基于上下文來識(shí)別活動(dòng)?；顒?dòng)圖是存儲(chǔ)器中的數(shù)據(jù)結(jié)構(gòu)，包括優(yōu)選地通過時(shí)間(例如，在一定時(shí)間段內(nèi)或者在時(shí)間幀內(nèi))表示相應(yīng)活動(dòng)的節(jié)點(diǎn)和邊?？梢詫⒂^察活動(dòng)轉(zhuǎn)換成觀察活動(dòng)圖，其然后被與已知活動(dòng)圖相比較?？梢曰谟^察活動(dòng)圖與已知活動(dòng)圖(即，先前識(shí)別的活動(dòng)的活動(dòng)圖)有多類似來為觀察活動(dòng)圖分配分?jǐn)?shù)。此外，對(duì)觀察活動(dòng)圖進(jìn)行評(píng)分的方式可以取決于觀察的上下文。

圖1A是根據(jù)實(shí)施例的用于活動(dòng)識(shí)別的攝取過程的示意性概覽。過程100圖示出識(shí)別觀察活動(dòng)的動(dòng)作期間的活動(dòng)識(shí)別裝置105的各種操作。在所示示例中，傳感器120(與活動(dòng)識(shí)別裝置105耦合或包括在其內(nèi)部)通過感測(cè)活動(dòng)110的環(huán)境來觀察活動(dòng)110?；顒?dòng)110可以包括各種數(shù)字可觀察動(dòng)作或者多個(gè)對(duì)象之間的交互。雖然示出了單個(gè)傳感器120(例如，視頻相機(jī)傳感器)，但傳感器120可以表示能夠可能根據(jù)多個(gè)數(shù)據(jù)模態(tài)(例如，根據(jù)存在、體驗(yàn)或表達(dá)的多個(gè)模式)將活動(dòng)的觀察結(jié)果轉(zhuǎn)換成數(shù)字表示130的一個(gè)或多個(gè)傳感器?？梢杂脭?shù)字表示130來表示的示例性數(shù)據(jù)模態(tài)包括視頻數(shù)據(jù)、音頻數(shù)據(jù)、觸覺數(shù)據(jù)、動(dòng)覺數(shù)據(jù)、溫度數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)(例如，運(yùn)動(dòng)、速度、加速度等)、無線電信號(hào)數(shù)據(jù)或其它類型的數(shù)據(jù)。

為了明了和便于理解，數(shù)字表示130在以下討論中包括視頻數(shù)據(jù)。然而，本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到數(shù)字表示130可以包括視頻、靜止圖像、音頻、加速度計(jì)或其它數(shù)據(jù)的任何組合。同樣地，本文中的實(shí)施例(雖然是示例性的)并不意圖相對(duì)于從包括各種其它類型的數(shù)據(jù)的數(shù)字表示識(shí)別活動(dòng)而言是排他性或限制性的。例如，數(shù)字表示130還可以包括來自設(shè)置于手套中的加速度計(jì)的加速計(jì)(accelerometery)數(shù)據(jù)。該加速計(jì)數(shù)據(jù)然后可以表示手勢(shì)(例如，手語、命令等)，其可以被觀察。

在所示示例中，溜冰者被示為在環(huán)境中到處移動(dòng)。數(shù)字表示130包括具有許多幀的視頻數(shù)據(jù)流，其中，滑冰者可以在幀之間位于不同的位置上。可以認(rèn)為滑冰者正在(X，Y，T)空間中描繪出一定體積，其中，T對(duì)應(yīng)于時(shí)間，其中，X和Y表示圖像幀的2D空間?；唠S時(shí)間推移描繪出的體積空間也可以包括其它維度，諸如相對(duì)于相機(jī)的深度、取向、音頻振幅或其它維度。

通過使用一個(gè)或多個(gè)特征檢測(cè)算法來攝取活動(dòng)110以從數(shù)字表示130生成多個(gè)特征133。用于處理視頻數(shù)據(jù)的幀的示例性特征檢測(cè)算法包括尺度不變特征變換(SIFT)、快速視網(wǎng)膜關(guān)鍵點(diǎn)(FREAK)、方向梯度直方圖(HOG)、加速魯棒特征(SURF)、DAISY、二進(jìn)制魯棒不變尺度關(guān)鍵點(diǎn)(BRISK)、FAST、二進(jìn)制魯棒獨(dú)立基本特征(BRIEF)、Harris角、邊、梯度位置方向直方圖(GLOH)、圖像能量梯度(EOG)或變換不變低秩紋理(TILT)特征檢測(cè)算法。時(shí)間特征135表示特征133，其位置已穿過時(shí)間被跟蹤，可能是隨時(shí)間而變的。例如，時(shí)間特征135可能久而久之在數(shù)字表示的空間體積中移動(dòng)、可能出現(xiàn)或消失、隱沒在或出現(xiàn)于存在物、從一個(gè)類型的值(例如，描述符值)轉(zhuǎn)移到另一個(gè)或者展示出其它類型的時(shí)間性質(zhì)。示例性時(shí)間特征可能是特征133在多個(gè)幀上的位置，形成軌跡，即(X，Y，T)空間中的路徑。為了實(shí)現(xiàn)對(duì)噪聲和變化的更好的不敏感性，時(shí)間特征135的另一示例包括共享相似運(yùn)動(dòng)和空間接近性的軌跡的集群。

時(shí)間特征135被轉(zhuǎn)換成一個(gè)或多個(gè)活動(dòng)圖140，其包括表示時(shí)間特征135的集群的節(jié)點(diǎn)141。活動(dòng)圖140可以描述在時(shí)間上相當(dāng)?shù)氖录?例如，運(yùn)動(dòng)、聲音等)之間的時(shí)間或空間關(guān)系。因此，節(jié)點(diǎn)141是在時(shí)間上可以用比較方法與其它信號(hào)(例如，其它節(jié)點(diǎn))相比較而存在的信號(hào)。例如，活動(dòng)圖140可以包括如由Wang等人在2013IEEE International Conference on Computer Vision(ICCV)中的“Directed Acyclic Graph Kernels for Action Recognition”(在下文中稱為“Wang 2013”)中提出的有向無環(huán)圖(DAG)。然而，在Wang 2013中描述的有向無環(huán)圖缺少用于上下文識(shí)別的足夠信息。用本文中所述的各種實(shí)施例來補(bǔ)救此缺乏。

可以在存儲(chǔ)器中將活動(dòng)圖140表示為N×N矩陣，其中，N是圖中的節(jié)點(diǎn)141的數(shù)目。在DAG的情況下，矩陣可以是不對(duì)稱的，其中，單元格中的值指示一個(gè)節(jié)點(diǎn)經(jīng)由有向邊連接到另一節(jié)點(diǎn)。例如，矩陣單元格(3，5)可能具有2的值，其指示節(jié)點(diǎn)3經(jīng)由從節(jié)點(diǎn)3行進(jìn)至節(jié)點(diǎn)5的長度2(任意單位)的邊連接到節(jié)點(diǎn)5。然而，矩陣單元格(5，3)可能具有0或NULL的值，其指示在相反方向上不存在邊。

可以將活動(dòng)圖構(gòu)造成指示時(shí)間節(jié)點(diǎn)141的因果性(時(shí)間特征135的集群)。例如，Wang 2013描述了通過創(chuàng)建作為空間和時(shí)間鄰點(diǎn)但在時(shí)間上并未明確地重疊的兩個(gè)時(shí)間節(jié)點(diǎn)之間的有向鏈接來構(gòu)造有向無環(huán)圖(DAG)。因此，DAG僅僅對(duì)明確的因果關(guān)系進(jìn)行編碼，例如“Node_A在Node_B前面”或者“Node_B在Node_A后面”。然而，比在Wang 2013中設(shè)想的更復(fù)雜的圖關(guān)系可以被編碼以允許在特定域中或針對(duì)特定上下文輸入的更有意義的比較。例如，如果對(duì)象身份是已知的，則可以連接與場(chǎng)景中的已知對(duì)象有關(guān)的節(jié)點(diǎn)，即使該節(jié)點(diǎn)在視頻數(shù)據(jù)流的空時(shí)體積中并未表現(xiàn)為空間鄰點(diǎn)。

選擇在Wang 2103中描述的DAG以便利用提出的隨機(jī)行走圖核，其操作局限于DAG。隨機(jī)行走圖核通過對(duì)通過圖的公共路徑的數(shù)目進(jìn)行計(jì)數(shù)來解釋兩個(gè)圖之間的相似性。由Wang 2013提出的廣義化隨機(jī)行走圖核使得能夠?qū)崿F(xiàn)DAG的比較，其中，允許沿著路徑的節(jié)點(diǎn)比較具有連續(xù)的相似性值而不是二進(jìn)制(相似或不同)決策?？梢詫⑵渌茍D核用于非DAG，但是以增加的計(jì)算負(fù)擔(dān)和對(duì)圖拓?fù)溴e(cuò)誤的更大敏感性為代價(jià)。此外，可以使用邊權(quán)值(其在Wang 2013中未討論)表示活動(dòng)圖內(nèi)的節(jié)點(diǎn)關(guān)系的強(qiáng)度或其置信度。這些置信度可以例如基于特定環(huán)境、背景或位置中的某些音頻和視頻信號(hào)的共同發(fā)生的已知可能性。置信度還可以表示已知或已識(shí)別對(duì)象之間的預(yù)期獨(dú)立動(dòng)作。

在實(shí)施例中，活動(dòng)圖140還包括用于基于上下文評(píng)分技術(shù)的活動(dòng)識(shí)別的附加信息。例如，每個(gè)活動(dòng)圖140可以包括根據(jù)攝取元數(shù)據(jù)145(例如，與觀察活動(dòng)屬性、位置、日間時(shí)等有關(guān)的元數(shù)據(jù))而確定的可以基于上下文而應(yīng)用的一個(gè)或多個(gè)相似評(píng)分技術(shù)143。

相似性評(píng)分技術(shù)143包括數(shù)字編碼或?qū)崿F(xiàn)算法、模塊、核或可由處理器執(zhí)行的其它程序，其可以用來導(dǎo)出觀察活動(dòng)圖與已知活動(dòng)圖之間的相似性。示例性相似性評(píng)分技術(shù)包括逐個(gè)節(jié)點(diǎn)分析、測(cè)量歐幾里德距離、徑向基函數(shù)(RBF)、卡方核或其它技術(shù)，可能基于逐個(gè)節(jié)點(diǎn)的比較。應(yīng)注意的是某些實(shí)施例具有包括僅一個(gè)類型的相似性評(píng)分技術(shù)的活動(dòng)圖140，而其它實(shí)施例具有包括許多不同類型的相似性評(píng)分技術(shù)的活動(dòng)圖140。

在某些實(shí)施例中，相似性評(píng)分技術(shù)143中的每一個(gè)還可以包括一組基于節(jié)點(diǎn)上下文的權(quán)值，其指示當(dāng)應(yīng)用相似性評(píng)分技術(shù)時(shí)每個(gè)節(jié)點(diǎn)141(或相應(yīng)邊)應(yīng)如何被加權(quán)。例如，在滑冰的上下文內(nèi)，基于攝取元數(shù)據(jù)145，只有一個(gè)相似評(píng)分技術(shù)143可以是可用的。然而，那一個(gè)相似性評(píng)分技術(shù)可能具有基于節(jié)點(diǎn)上下文的權(quán)值的多個(gè)不同集合。每個(gè)集合可能不同地對(duì)節(jié)點(diǎn)加權(quán)以加強(qiáng)或弱化每個(gè)節(jié)點(diǎn)。例如，在冰上舞蹈的背景中，與手部移動(dòng)或面部表情有關(guān)的節(jié)點(diǎn)可能被加強(qiáng)。而在冰球的背景中，身體或腿移動(dòng)節(jié)點(diǎn)可能被加強(qiáng)，而關(guān)于面部表情的節(jié)點(diǎn)可能被降低加權(quán)，因?yàn)槊娌勘砬橄鄬?duì)于冰上舞蹈而言在冰球中可能不那么重要。在其中正在使用多傳感器模態(tài)的情況下，可以利用權(quán)值來反映來自每個(gè)感測(cè)模態(tài)的數(shù)據(jù)的相對(duì)置信度。例如，在其中相機(jī)(傳感器)快速地振動(dòng)的背景中，由從視頻數(shù)據(jù)導(dǎo)出的時(shí)間特征構(gòu)成的節(jié)點(diǎn)可能由于運(yùn)動(dòng)模糊而不那么可靠，因此可以通過對(duì)基于視頻的節(jié)點(diǎn)進(jìn)行降低加權(quán)來減少其在活動(dòng)比較中的影響。

基于節(jié)點(diǎn)上下文的權(quán)值的集合可以采取具有N個(gè)成員的矢量的形式，其中，N是節(jié)點(diǎn)的數(shù)目。矢量中的每個(gè)值成員可以指示當(dāng)應(yīng)用相應(yīng)相似性評(píng)分技術(shù)143時(shí)的節(jié)點(diǎn)的貢獻(xiàn)。此外，基于節(jié)點(diǎn)上下文的權(quán)值的集合可以采取N×N矩陣的形式，其具有表示活動(dòng)圖140的矩陣的相同維數(shù)。在這種情況下，矩陣的單元格中的每個(gè)值可以表示相應(yīng)邊對(duì)相似性評(píng)分技術(shù)143的貢獻(xiàn)。

除對(duì)圖中的邊和節(jié)點(diǎn)加權(quán)之外，相似性評(píng)分技術(shù)可以根據(jù)節(jié)點(diǎn)141處的數(shù)據(jù)類型而改變。例如，在其中時(shí)間特征被編碼為基于直方圖的描述符的情況下，卡方或直方圖交叉核可能更適合于計(jì)算節(jié)點(diǎn)相似性。在另一示例中，節(jié)點(diǎn)141可以包括描述符矢量，其包括物理單元、像素、音頻強(qiáng)度或此類單元的矩中的一個(gè)。在這種情況下，諸如高斯核之類的徑向基函數(shù)可能更適合于計(jì)算相似性。此外，基于所使用的特征和傳感器噪聲的量，可以不同地調(diào)諧核參數(shù)，例如高斯核的Σ。例如，從像素導(dǎo)出的特征可能要求與從深度測(cè)量結(jié)果(例如，以米為單位)導(dǎo)出的特征不同的核參數(shù)。作為另一示例，當(dāng)比較安靜環(huán)境的背景中的音頻特征時(shí)，可以使用高斯核中的略微較小的Σ參數(shù)來要求更緊密(即，更嚴(yán)格)的匹配，以對(duì)噪聲的更加敏感為代價(jià)。在必須對(duì)噪聲更加不敏感的喧嘩環(huán)境中，可以增加Σ參數(shù)。

攝取元數(shù)據(jù)145包括關(guān)于與活動(dòng)110的攝取相關(guān)聯(lián)的目的(例如，攝取的原因)有關(guān)的信息并指示哪些相似性評(píng)分技術(shù)143將可能是最相關(guān)的。攝取元數(shù)據(jù)145可以包括自動(dòng)生成的信息或手動(dòng)生成的信息。關(guān)于自動(dòng)生成的信息，可以應(yīng)用一個(gè)或多個(gè)對(duì)象識(shí)別技術(shù)來識(shí)別活動(dòng)110的環(huán)境內(nèi)的對(duì)象以便生成攝取元數(shù)據(jù)145，包括名稱、對(duì)象分類、標(biāo)識(shí)符、位置、尺寸、形狀、色彩、年中的時(shí)間/季節(jié)、溫度、品牌、型號(hào)或其它信息。在2001年11月5日提交的授予Boncyk等人的題為“Image capture and identification system and process”的美國專利號(hào)7,016,532；2002年11月5日提交的授予Boncyk等人的題為“Image capture and identification system and process”的7,477,780；2005年8月15日提交的授予Boncyk等人的題為“Use of image-derived information as search criteria for internet and other search engines”的7,680,324；2006年1月26日提交的授予Boncyk等人的題為“Data capture and identification system and process”的7,565,008；以及2009年7月20日提交的授予Boncyk等人的題為“Data capture and identification system and process”的7,881,529中公開了可以被適當(dāng)?shù)匦薷囊怨┍景l(fā)明主題使用的示例性對(duì)象識(shí)別技術(shù)。此外，可以例如由用戶經(jīng)由接口(例如，網(wǎng)頁、應(yīng)用程序、API等)將攝取元數(shù)據(jù)145選擇成對(duì)應(yīng)于相似性評(píng)分技術(shù)143。因此，攝取元數(shù)據(jù)145可以包括特定領(lǐng)域?qū)傩?例如，關(guān)于醫(yī)學(xué)領(lǐng)域、保健領(lǐng)域、體育領(lǐng)域、游戲領(lǐng)域、購物領(lǐng)域等的屬性)、對(duì)象屬性(例如，對(duì)象的類型、對(duì)稱的名稱等)、環(huán)境或上下文屬性(例如，位置屬性、時(shí)間屬性、定位屬性、取向?qū)傩缘?或其它類型的屬性。

在優(yōu)選實(shí)施例中，攝取元數(shù)據(jù)145包括附著于定義屬性命名空間(即，標(biāo)準(zhǔn)化命名法)的數(shù)據(jù)。例如，攝取元數(shù)據(jù)145可以包括屬性-值對(duì)，其描述相應(yīng)相似性評(píng)分技術(shù)將適用時(shí)的相關(guān)條件。例如，“位置”屬性可以包括GPS坐標(biāo)、地址、郵政編碼或其它值。另一示例性屬性可以涉及到裝置運(yùn)動(dòng)的強(qiáng)度和頻率或者由擴(kuò)音器記錄的平均分貝水平。此類屬性可以用來例如對(duì)分別地從視頻或音頻通道提取的特征的重要性進(jìn)行向下加權(quán)，使得其對(duì)總體活動(dòng)圖相似性的影響在其中數(shù)據(jù)通道可能不那么可靠的背景下降低?？梢栽赬ML、YAML或JSON格式內(nèi)表示屬性-值對(duì)以實(shí)現(xiàn)跨網(wǎng)絡(luò)鏈路(例如，蜂窩式網(wǎng)絡(luò)、因特網(wǎng)、LAN、WAN、無線連接、連接等)的容易傳輸。在各種實(shí)施例中，定義屬性命名空間允許將攝取元數(shù)據(jù)145與裝置背景現(xiàn)場(chǎng)觀察結(jié)果相比較。

給定關(guān)于活動(dòng)110的攝取元數(shù)據(jù)145，可以將活動(dòng)圖140連同相似性評(píng)分技術(shù)一起存儲(chǔ)在活動(dòng)數(shù)據(jù)庫中。數(shù)據(jù)庫可以包括網(wǎng)絡(luò)可訪問數(shù)據(jù)庫(例如，SaaS、IaaS、云、網(wǎng)絡(luò)服務(wù)等)、文件系統(tǒng)、計(jì)算裝置的存儲(chǔ)器中的數(shù)據(jù)結(jié)構(gòu)或其它數(shù)據(jù)倉庫。

圖1B圖示出根據(jù)實(shí)施例的用于活動(dòng)識(shí)別的攝取過程的示例性操作的流程圖。應(yīng)認(rèn)識(shí)到的是方法150由被配置或編程為具有活動(dòng)識(shí)別裝置(諸如活動(dòng)識(shí)別裝置105)的公開作用或職責(zé)的一個(gè)或多個(gè)計(jì)算裝置執(zhí)行。例如，活動(dòng)識(shí)別裝置105可以包括客戶端裝置，包括蜂窩電話、自助終端、個(gè)人數(shù)據(jù)助理、平板計(jì)算機(jī)、玩具、運(yùn)載工具、網(wǎng)絡(luò)相機(jī)或其它類型的計(jì)算裝置。此外，活動(dòng)識(shí)別裝置105可以包括傳感器，諸如傳感器120，其可以包括被裝配成捕捉視頻數(shù)據(jù)的圖像幀的圖像捕捉裝置(例如，視頻相機(jī)或游戲控制臺(tái))。

在步驟152處，通過感測(cè)活動(dòng)的環(huán)境來觀察活動(dòng)。例如，活動(dòng)可以包括各種數(shù)字可觀察動(dòng)作或者多個(gè)對(duì)象之間的交互。

在步驟154處，，可能根據(jù)多個(gè)數(shù)據(jù)模態(tài)(即，根據(jù)存在、體驗(yàn)或表達(dá)的多個(gè)模式)來將動(dòng)作的觀察結(jié)果轉(zhuǎn)換成數(shù)字表示?？梢杂脭?shù)字表示來表示的示例性數(shù)據(jù)模態(tài)包括視頻數(shù)據(jù)、音頻數(shù)據(jù)、觸覺數(shù)據(jù)、動(dòng)覺數(shù)據(jù)、溫度數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)(例如，運(yùn)動(dòng)、速度、加速度等)、無線電信號(hào)數(shù)據(jù)或其它類型的數(shù)據(jù)。

在步驟156處，使用一個(gè)或多個(gè)特征檢測(cè)算法從數(shù)字表示生成多個(gè)特征。用于處理視頻數(shù)據(jù)的幀的示例性特征檢測(cè)算法包括尺度不變特征變換(SIFT)、快速視網(wǎng)膜關(guān)鍵點(diǎn)(FREAK)、方向梯度直方圖(HOG)、加速魯棒特征(SURF)、DAISY、二進(jìn)制魯棒不變尺度關(guān)鍵點(diǎn)(BRISK)、FAST、二進(jìn)制魯棒獨(dú)立基本特征(BRIEF)、Harris角、邊、梯度位置方向直方圖(GLOH)、圖像能量梯度(EOG)或變換不變低秩紋理(TILT)特征檢測(cè)算法。

在步驟158處，通過穿過時(shí)間跟蹤特征來確定時(shí)間特征。例如，時(shí)間特征可能久而久之在數(shù)字表示的空間體積中移動(dòng)、可能出現(xiàn)或消失、隱沒在或出現(xiàn)于存在物、從一個(gè)類型的值(例如，描述符值)轉(zhuǎn)移到另一個(gè)或者展示出其它類型的時(shí)間性質(zhì)。

在步驟160處，時(shí)間特征被轉(zhuǎn)換成一個(gè)或多個(gè)活動(dòng)圖，其包括表示時(shí)間特征的集群的節(jié)點(diǎn)，其中，每個(gè)活動(dòng)圖包括根據(jù)攝取元數(shù)據(jù)確定的基于背景可以應(yīng)用的一個(gè)或多個(gè)相似評(píng)分技術(shù)。例如，相似性評(píng)分技術(shù)可以包括逐個(gè)節(jié)點(diǎn)分析、測(cè)量歐幾里德距離、徑向基(RBF)、卡方核或其它技術(shù)，可能基于逐個(gè)節(jié)點(diǎn)的比較。

在步驟162處，一個(gè)或多個(gè)活動(dòng)圖被連同相似性評(píng)分技術(shù)一起以及連同關(guān)聯(lián)元數(shù)據(jù)一起存儲(chǔ)在活動(dòng)數(shù)據(jù)庫中。

圖2是根據(jù)實(shí)施例的活動(dòng)識(shí)別系統(tǒng)的示意性概覽?；顒?dòng)識(shí)別系統(tǒng)200利用已知活動(dòng)圖信息來在現(xiàn)場(chǎng)識(shí)別觀察活動(dòng)?；顒?dòng)識(shí)別系統(tǒng)200包括活動(dòng)數(shù)據(jù)庫280和活動(dòng)識(shí)別裝置210。活動(dòng)識(shí)別裝置210表示計(jì)算裝置，其包括被配置成執(zhí)行各種實(shí)施例中的一個(gè)或多個(gè)的一個(gè)或多個(gè)模塊(例如，存儲(chǔ)在非臨時(shí)計(jì)算機(jī)可讀存儲(chǔ)器中的軟件指令和能夠執(zhí)行該指令的處理器)。可以充當(dāng)活動(dòng)識(shí)別裝置210的示例性計(jì)算裝置包括平板計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、服務(wù)器、網(wǎng)絡(luò)服務(wù)服務(wù)器、虛擬機(jī)、基于云的計(jì)算機(jī)系統(tǒng)(例如支持IaaS、SaaS、PaaS等的一個(gè)或多個(gè)服務(wù)器)、相機(jī)、蜂窩電話、自助終端、器械、運(yùn)載工具、飛機(jī)、機(jī)器人、游戲裝置、監(jiān)視系統(tǒng)、玩具或其它類型的計(jì)算裝置。

活動(dòng)數(shù)據(jù)庫280包括具有能夠存儲(chǔ)已知活動(dòng)圖信息的持久性存儲(chǔ)器的一個(gè)或多個(gè)模塊，包括一個(gè)或多個(gè)相似性評(píng)分技術(shù)283。在某些實(shí)施例中，活動(dòng)數(shù)據(jù)庫280包括通過網(wǎng)絡(luò)連接可訪問的單獨(dú)計(jì)算裝置。例如，活動(dòng)數(shù)據(jù)庫280可以包括網(wǎng)絡(luò)服務(wù)系統(tǒng)，其通過提供具有活動(dòng)圖信息、活動(dòng)圖數(shù)據(jù)對(duì)象和相似性評(píng)分技術(shù)283的結(jié)果集或者關(guān)于已知活動(dòng)的其它結(jié)果集來對(duì)上下文查詢進(jìn)行響應(yīng)的網(wǎng)絡(luò)服務(wù)系統(tǒng)。在其它實(shí)施例中，活動(dòng)數(shù)據(jù)庫280可以包括存儲(chǔ)在活動(dòng)識(shí)別裝置210的存儲(chǔ)器組件中的數(shù)據(jù)結(jié)構(gòu)，例如，其中，根據(jù)基于相應(yīng)攝取元數(shù)據(jù)、節(jié)點(diǎn)或其它模式而用分級(jí)結(jié)構(gòu)組織的樹狀結(jié)構(gòu)來存儲(chǔ)已知活動(dòng)圖或相似性評(píng)分技術(shù)283?？梢曰陉P(guān)于圖1A所討論的技術(shù)用各種活動(dòng)圖對(duì)象來填充活動(dòng)數(shù)據(jù)庫280。

用針對(duì)活動(dòng)識(shí)別的多個(gè)模塊來配置活動(dòng)識(shí)別裝置210。為了便于理解，以下討論將從移動(dòng)裝置(例如，智能電話或平板計(jì)算機(jī))的觀點(diǎn)出發(fā)提出活動(dòng)識(shí)別裝置210能力?；顒?dòng)識(shí)別裝置210與能夠或被配置成捕捉數(shù)字表示223的傳感器220耦合。例如，用戶可以指導(dǎo)裝配相機(jī)的蜂窩電話捕捉男性滑冰者224的視頻序列數(shù)字表示。應(yīng)認(rèn)識(shí)到的是傳感器220可以表示多個(gè)傳感器，每個(gè)能夠捕捉不同的數(shù)據(jù)模態(tài)。因此，數(shù)字表示223可以包括數(shù)據(jù)模態(tài)的多個(gè)層，包括圖像數(shù)據(jù)(例如，超聲波、紅外、可見光譜等)、視頻數(shù)據(jù)、音頻數(shù)據(jù)、觸覺數(shù)據(jù)、動(dòng)覺數(shù)據(jù)、溫度數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)、場(chǎng)深數(shù)據(jù)、3D配準(zhǔn)數(shù)據(jù)、無線電或無線數(shù)據(jù)、IMU數(shù)據(jù)或其它數(shù)據(jù)模態(tài)。每個(gè)模態(tài)可以產(chǎn)生其自己的活動(dòng)圖或者被包括在將感測(cè)模態(tài)的集合組合的活動(dòng)圖中，如圖1A中所示。

在優(yōu)選實(shí)施例中，數(shù)字表示223包括反映在其中可以進(jìn)行活動(dòng)識(shí)別的情況的性質(zhì)的裝置上下文屬性225。在某些情形中，裝置上下文屬性225反映關(guān)于數(shù)字表示223的實(shí)際捕捉的情況。在其它情形中，裝置上下文屬性225可能反映其中活動(dòng)識(shí)別裝置210正在進(jìn)行操作的情況。此外，裝置上下文屬性225可能反映多個(gè)情形。例如，在其中數(shù)字表示223表示醫(yī)療程序的視頻的實(shí)施例中，裝置上下文屬性225可能包括與何時(shí)執(zhí)行該程序緊密相關(guān)的上下文屬性，可能包括關(guān)于程序、保健提供商、程序的位置(例如，醫(yī)院、手術(shù)室、GPS坐標(biāo)等)的信息或其它信息。另外，視頻可能在該程序之后被用于訓(xùn)練目的。在這種情況下，裝置上下文屬性225可能包括關(guān)于受訓(xùn)者、老師、程序的結(jié)果或關(guān)于相對(duì)于訓(xùn)練的活動(dòng)識(shí)別的其它因素的信息。因此，裝置上下文屬性225可以具有與活動(dòng)識(shí)別裝置210、捕捉裝置或其它裝置相關(guān)聯(lián)的屬性。在圖2中提出的示例中，裝置上下文屬性225表示活動(dòng)識(shí)別裝置210的上下文，該活動(dòng)識(shí)別裝置210是捕捉男性滑冰者224的視頻的蜂窩電話。

裝置上下文屬性225可以采取關(guān)于裝置上下文的許多信息。在優(yōu)選示例中，裝置上下文屬性255附著于具有與已知活動(dòng)圖相關(guān)聯(lián)的活動(dòng)攝取元數(shù)據(jù)的公共命名空間(即，標(biāo)準(zhǔn)化命名法)。這種方法是有利的，因?yàn)槠湓试S建立裝置上下文與用類似攝取元數(shù)據(jù)標(biāo)記的已知活動(dòng)圖之間的匹配準(zhǔn)則。因此，裝置上下文屬性225還可以包括關(guān)于攝取元數(shù)據(jù)的屬性-值對(duì)的集合。

活動(dòng)識(shí)別裝置210被配置成根據(jù)一個(gè)或多個(gè)技術(shù)而獲得場(chǎng)景的數(shù)字表示223。在所示的示例中，作為傳感器數(shù)據(jù)從傳感器220(例如，相機(jī)、擴(kuò)音器、加速計(jì)等)獲得數(shù)字表示223。在其它實(shí)施例中，可以通過網(wǎng)絡(luò)來獲得數(shù)字表示223。例如，可以通過線纜網(wǎng)絡(luò)或無線網(wǎng)絡(luò)來廣播體育事件，諸如滑冰事件，并且消費(fèi)者可以使用DVR裝置或計(jì)算機(jī)來記錄該滑冰事件，使得計(jì)算機(jī)或DVR裝置是活動(dòng)識(shí)別裝置210。

在實(shí)施例中，活動(dòng)識(shí)別裝置210可以使用裝置上下文屬性225作為查詢以訪問相似性評(píng)分技術(shù)283的一個(gè)或多個(gè)集合或其它已知活動(dòng)圖對(duì)象信息?？梢詫⒃摬樵冝D(zhuǎn)換成指示公共屬性命名空間中的相關(guān)裝置上下文的邊界的裝置上下文準(zhǔn)則?；顒?dòng)數(shù)據(jù)庫280可以用滿足裝置上下文準(zhǔn)則的上下文相關(guān)評(píng)分技術(shù)285對(duì)查詢進(jìn)行響應(yīng)。應(yīng)認(rèn)識(shí)到的是活動(dòng)識(shí)別裝置210還可以接收具有也滿足查詢的屬性的一個(gè)或多個(gè)已知活動(dòng)圖。通過向活動(dòng)數(shù)據(jù)庫280提交該查詢，活動(dòng)識(shí)別裝置210可以從相似性評(píng)分技術(shù)283的集合中選擇上下文相關(guān)評(píng)分技術(shù)285。

在實(shí)施例中，活動(dòng)識(shí)別裝置210分析數(shù)字表示223以從數(shù)字表示223生成多個(gè)時(shí)間特征。例如，可以根據(jù)被用來生成已知活動(dòng)圖的一個(gè)或多個(gè)特征檢測(cè)算法來生成時(shí)間特征，如關(guān)于圖1A所述。時(shí)間特征230包括具有時(shí)間方面的特征或描述符，可能包括SIFT、BRISK、SURF、FAST、BRIEF、Harris角點(diǎn)、Edges、DAISY、GLOH、HOG、EOG、TILT或可以具有時(shí)間性質(zhì)的其它類型的特征。例如，時(shí)間特征230可以包括跨視頻數(shù)據(jù)流的幀的特征軌跡的集群。

在某些實(shí)施例中，活動(dòng)識(shí)別裝置210可以進(jìn)一步使用生成的時(shí)間特征來識(shí)別數(shù)字表示223中的對(duì)象?？梢允褂脮r(shí)間特征或其描述符來檢索與已識(shí)別對(duì)象270有關(guān)的對(duì)象信息(例如，名稱、標(biāo)識(shí)、形狀、色彩、內(nèi)容等)。例如，可以使用對(duì)象信息來進(jìn)一步確定裝置上下文屬性225，細(xì)化活動(dòng)識(shí)別過程或過濾結(jié)果集。

活動(dòng)識(shí)別裝置210建立至少一個(gè)觀察活動(dòng)圖240，其具有由時(shí)間特征230的集群構(gòu)成的節(jié)點(diǎn)。觀察活動(dòng)圖240優(yōu)選地被以在上述圖1A中用來建立已知活動(dòng)圖的相同方式構(gòu)造。如先前所討論的，Wang 2013描述了用于構(gòu)造有向無環(huán)活動(dòng)圖的一個(gè)技術(shù)。因此，在實(shí)施例中，已知活動(dòng)圖和觀察活動(dòng)圖240可以包括有向無環(huán)圖，其中，有向無環(huán)圖的節(jié)點(diǎn)包括特征軌跡的集群。然而，本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到其它類型的活動(dòng)圖也是可能的。

活動(dòng)識(shí)別裝置210根據(jù)上下文相關(guān)評(píng)分技術(shù)285的集合來計(jì)算用于觀察活動(dòng)圖240的相似性活動(dòng)分?jǐn)?shù)250。應(yīng)認(rèn)識(shí)到的是超過一個(gè)已知活動(dòng)圖可以與當(dāng)前活動(dòng)識(shí)別任務(wù)上下文相關(guān)，并且每個(gè)活動(dòng)圖可能具有多個(gè)上下文相關(guān)評(píng)分技術(shù)285。此外，每個(gè)活動(dòng)圖可以基于上下文信息而具有不同的評(píng)分技術(shù)。通過將可能已知活動(dòng)圖的數(shù)目減少或過濾至上下文相關(guān)的那些，減少了提供結(jié)果所需的計(jì)算資源。

可以例如基于觀察活動(dòng)圖240內(nèi)和已知活動(dòng)圖內(nèi)的節(jié)點(diǎn)的函數(shù)基于一個(gè)或多個(gè)相關(guān)評(píng)分技術(shù)(例如，歐幾里德距離、徑向基函數(shù)(RBF)、卡方核等)來計(jì)算相似性活動(dòng)分?jǐn)?shù)250。結(jié)果得到的分?jǐn)?shù)可以指示相對(duì)于當(dāng)前上下文而言與觀察活動(dòng)圖240最相似的已知活動(dòng)圖的排序。應(yīng)進(jìn)一步認(rèn)識(shí)到的是此類排序還反應(yīng)上下文。在某些實(shí)施例中，還可以基于基于節(jié)點(diǎn)上下文權(quán)值(例如，權(quán)值的矩陣等)來計(jì)算相似性活動(dòng)分?jǐn)?shù)250。同樣地，活動(dòng)識(shí)別裝置210可以將觀察活動(dòng)識(shí)別為與一個(gè)或多個(gè)已知活動(dòng)相似。

基于相似性活動(dòng)分?jǐn)?shù)250，活動(dòng)識(shí)別裝置210可以訪問活動(dòng)識(shí)別結(jié)果集260?；顒?dòng)識(shí)別結(jié)果集260表示使得能夠基于觀察活動(dòng)的識(shí)別實(shí)現(xiàn)至少一個(gè)其它動(dòng)作的數(shù)字?jǐn)?shù)據(jù)?？梢愿鶕?jù)相似性活動(dòng)分?jǐn)?shù)250或基于技術(shù)(包括排序SVM(支持向量機(jī)))將該數(shù)據(jù)(例如，搜索結(jié)果)排序。例如，活動(dòng)識(shí)別結(jié)果可以包括地址(例如，URL、URI、文件句柄、IP地址等)、活動(dòng)標(biāo)識(shí)符、搜索結(jié)果、推薦、異常、警告、分段、命令、排序、上下文相關(guān)信息、內(nèi)容信息、促銷、廣告或可以綁定到已識(shí)別活動(dòng)圖的其它類型的內(nèi)容或命令。

在某些實(shí)施例中，可以將已知活動(dòng)圖分類成不同類別。在此類實(shí)施例中，可以將活動(dòng)識(shí)別裝置210進(jìn)一步配置成基于相似活動(dòng)分?jǐn)?shù)250而生成觀察活動(dòng)的分類。例如，可以將已知活動(dòng)圖分類成一個(gè)或多個(gè)域，例如體育、上下文標(biāo)稱行為、駕駛等?；顒?dòng)識(shí)別裝置210然后可以向觀察活動(dòng)圖240分配分類并將該分類包括可為活動(dòng)識(shí)別結(jié)果集260的一部分。在某些情況下，分級(jí)信息可以允許針對(duì)對(duì)基于類別的識(shí)別活動(dòng)事件的訪問對(duì)第三方收費(fèi)。例如，在電視播放的體育事件期間，登廣告者可能購買專有權(quán)以在特定活動(dòng)(例如，觸地或本壘打)被消費(fèi)者的蜂窩電話觀看時(shí)呈現(xiàn)廣告。

在某些實(shí)施例中，已知活動(dòng)圖可以包括時(shí)間信息，其指示串連或組合而形成成拱形活動(dòng)的多個(gè)動(dòng)作的流程。因此，觀察活動(dòng)圖240可能并未與已知活動(dòng)圖完美地對(duì)準(zhǔn)，但是可能更好地與已知圖的各部分對(duì)準(zhǔn)，其中可以將已知圖的各部分認(rèn)為子活動(dòng)或動(dòng)作。在這種情況下，活動(dòng)識(shí)別裝置210可以被配置成基于相似性活動(dòng)分?jǐn)?shù)250來預(yù)測(cè)觀察活動(dòng)內(nèi)的下一動(dòng)作。該分?jǐn)?shù)可以指示下一動(dòng)作與已知活動(dòng)圖內(nèi)的下一動(dòng)作匹配的概率。因此，活動(dòng)識(shí)別結(jié)果集260可以包括相對(duì)于觀察活動(dòng)圖240的預(yù)測(cè)。作為使用情況，考慮其中用公開技術(shù)將計(jì)算機(jī)游戲AI儀表化的情形。AI可以觀察玩家的活動(dòng)。當(dāng)觀察活動(dòng)看起來與已知活動(dòng)的一部分匹配時(shí)，AI可以實(shí)現(xiàn)規(guī)避機(jī)動(dòng)，其嘗試基于根據(jù)已知活動(dòng)將預(yù)期什么而設(shè)想玩家的下一動(dòng)作。

圖3圖示出根據(jù)實(shí)施例的活動(dòng)識(shí)別系統(tǒng)的示例性操作的流程圖。應(yīng)認(rèn)識(shí)到的是方法300由被配置或編程為具有活動(dòng)識(shí)別裝置(諸如活動(dòng)識(shí)別裝置210)的公開作用或職責(zé)的一個(gè)或多個(gè)計(jì)算裝置執(zhí)行。例如，活動(dòng)識(shí)別裝置可以包括客戶端裝置，包括蜂窩電話、自助終端、個(gè)人數(shù)據(jù)助理、平板計(jì)算機(jī)、玩具、運(yùn)載工具、網(wǎng)絡(luò)相機(jī)或其它類型的計(jì)算機(jī)裝置。此外，活動(dòng)識(shí)別裝置可以包括傳感器，諸如傳感器220，其可以包括被裝配成捕捉視頻數(shù)據(jù)的圖像幀的圖像捕捉裝置(例如，視頻相機(jī)或游戲控制臺(tái))。

在步驟302處，使用特征檢測(cè)算法從觀察到的活動(dòng)的數(shù)字表示生成多個(gè)時(shí)間特征。該數(shù)字表示可以包括圖像數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)、觸覺數(shù)據(jù)、動(dòng)覺數(shù)據(jù)、溫度數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)和無線電信號(hào)數(shù)據(jù)中的一個(gè)或多個(gè)。

在步驟304處，建立包括從數(shù)字表示生成的時(shí)間特征的一個(gè)或多個(gè)集群的觀察活動(dòng)圖，其中，所述時(shí)間特征的一個(gè)或多個(gè)集群中的每一個(gè)定義觀察活動(dòng)圖的節(jié)點(diǎn)。例如，觀察活動(dòng)圖的節(jié)點(diǎn)可以包括特征軌跡的集群。

在步驟306處，從用于已知活動(dòng)圖的相似性評(píng)分技術(shù)中選擇至少一個(gè)上下文相關(guān)評(píng)分技術(shù)，所述至少一個(gè)上下文相關(guān)評(píng)分技術(shù)與滿足基于數(shù)字表示的裝置上下文屬性而定義的裝置上下文準(zhǔn)則的活動(dòng)攝取元數(shù)據(jù)相關(guān)聯(lián)。相似性評(píng)分技術(shù)可以包括以下各項(xiàng)中的至少一個(gè)：歐幾里德距離、線性核、多項(xiàng)式核、卡方核、柯西核、直方圖交叉核、Hellinger核、Jensen-Shannon核、雙曲線正切(Σ)核、二次有理核、復(fù)二次核、逆復(fù)二次核、圓形核、球形核、波核、冪核、對(duì)數(shù)核、樣條核、貝塞爾核、廣義化T-Student核、貝葉斯核、小波核、徑向基函數(shù)(RBF)、指數(shù)核、拉普拉斯核、ANOVA核和B樣條核函數(shù)。

在步驟308處，根據(jù)所述至少一個(gè)上下文相關(guān)評(píng)分技術(shù)而針對(duì)觀察活動(dòng)圖來計(jì)算相似性活動(dòng)分?jǐn)?shù)，該相似性活動(dòng)分?jǐn)?shù)是相對(duì)于至少一個(gè)已知活動(dòng)圖。在某些實(shí)施例中，可以基于相似性活動(dòng)分?jǐn)?shù)來生成活動(dòng)識(shí)別結(jié)果集。

雖然可以利用Wang 2013的各方面以相對(duì)于活動(dòng)識(shí)別使用，但在公開方法中存在顯著的差別。公開方法包括與攝取元數(shù)據(jù)耦合的相似性評(píng)分技術(shù)以確定在識(shí)別過程期間應(yīng)該應(yīng)用哪些類型的評(píng)分。

其它差別包括經(jīng)由圖邊權(quán)值將已知節(jié)點(diǎn)之間的(也可以是上下文敏感的)特殊關(guān)系編碼，使用圖的分級(jí)結(jié)構(gòu)來推理出語義上復(fù)雜的事件，允許用比簡單的時(shí)間因果性和空間接近度更深的關(guān)系定義的圖拓?fù)?例如，可以連接與某個(gè)對(duì)象實(shí)例有關(guān)的節(jié)點(diǎn)，盡管處于較大的時(shí)間或空間節(jié)距)，并且允許將來自多個(gè)傳感器模態(tài)的數(shù)據(jù)組合成單個(gè)活動(dòng)圖。

鑒于在圖層級(jí)或者甚至在節(jié)點(diǎn)層級(jí)分析活動(dòng)，活動(dòng)識(shí)別裝置可以在不可訪問保密信息的情況下識(shí)別活動(dòng)或與已知活動(dòng)的偏差?？紤]以下安全情形。例如公共場(chǎng)所、購物商場(chǎng)或機(jī)場(chǎng)可能每天有數(shù)千人執(zhí)行各種活動(dòng)。公共場(chǎng)所的安全系統(tǒng)可以充當(dāng)活動(dòng)識(shí)別裝置?；跀z取的標(biāo)稱活動(dòng)，安全系統(tǒng)可以嘗試識(shí)別與已知攝取活動(dòng)不匹配的活動(dòng)。當(dāng)公共場(chǎng)所中的對(duì)象(例如，人等)開始偏離已知活動(dòng)時(shí)(例如，基于加速度計(jì)數(shù)據(jù))，系統(tǒng)可以生成警報(bào)。特別注意，可以在不對(duì)特定個(gè)體執(zhí)行識(shí)別過程的情況下執(zhí)行分析，因此確保被觀察個(gè)體的隱私。

另一可能使用情況包括使用已知活動(dòng)圖作為理療方法的一部分。在某些實(shí)施例中，可以構(gòu)造數(shù)據(jù)庫以存儲(chǔ)跨越治療計(jì)劃的期望物理活動(dòng)的集合或譜。隨著患者完成計(jì)劃，可以通過捕捉會(huì)話的視頻并將該視頻與表示期望進(jìn)展的相應(yīng)活動(dòng)圖相比較來監(jiān)視其進(jìn)展。在類似風(fēng)格中，可以出于訓(xùn)練目的使用該技術(shù)(例如，體育、軍事、建筑、手術(shù)等)。這種方法允許運(yùn)動(dòng)員將其子集與業(yè)界最好運(yùn)動(dòng)員、統(tǒng)計(jì)標(biāo)準(zhǔn)或者甚至與表示用于或者自定義或設(shè)計(jì)活動(dòng)的估計(jì)資格的計(jì)算機(jī)產(chǎn)生的計(jì)算機(jī)生成活動(dòng)圖相比較。此外，可以使用與“比賽”(例如，橄欖球比賽等)相關(guān)聯(lián)的其它已知活動(dòng)來預(yù)測(cè)很可能由隊(duì)伍展開什么比賽。

各種實(shí)施例的另一可能應(yīng)用包括使用已知活動(dòng)圖作為用于機(jī)器人交互的模板。機(jī)器人可以使用一個(gè)或多個(gè)已知活動(dòng)圖作為關(guān)于如何通過活動(dòng)進(jìn)行導(dǎo)航的指令。這種技術(shù)利用本技術(shù)的預(yù)測(cè)方面。例如，機(jī)器人可以通過特定活動(dòng)(諸如自然災(zāi)害的受害者或在購物中心中盤存)來獲得表示可接受路徑的變化的許多已知活動(dòng)圖。當(dāng)機(jī)器人進(jìn)入或遭遇已識(shí)別活動(dòng)或情況時(shí)，機(jī)器人可以嘗試基于根據(jù)變化生成的預(yù)測(cè)而采取行動(dòng)。這種方法的優(yōu)點(diǎn)是由于該變化，與機(jī)器人的交互可以看起來更加自然而不是程序化的。

觀察活動(dòng)還可以用來將內(nèi)容解鎖。在某些情形中，活動(dòng)的觀察結(jié)果可以觸發(fā)向消費(fèi)者呈現(xiàn)廣告或促銷。在這種情況下，品牌經(jīng)理可以針對(duì)具有相對(duì)于響應(yīng)于已識(shí)別的“購買”活動(dòng)而提供其品牌消息發(fā)送的某種形式的獨(dú)有性而支付費(fèi)用。可以訪問對(duì)特定活動(dòng)的權(quán)限以換取基于時(shí)間、獨(dú)有性、持續(xù)時(shí)間、拍賣或其它因素的費(fèi)用。此外，可以將已知活動(dòng)用作將內(nèi)容解鎖的密鑰或安全令牌。當(dāng)觀察或識(shí)別到正確活動(dòng)時(shí)，可以將內(nèi)容解鎖或者可以準(zhǔn)予訪問。

存在與公開技術(shù)相關(guān)聯(lián)的許多可能變化。在某些實(shí)施例中，可以對(duì)活動(dòng)圖加注釋或者通過基于對(duì)象原語構(gòu)造節(jié)點(diǎn)來從對(duì)象交互原語構(gòu)建活動(dòng)圖。對(duì)象交互原語表示對(duì)象相關(guān)動(dòng)作的基本集。一個(gè)原語可以包括對(duì)象持久性，其中，對(duì)象隨時(shí)間推移而保持固定或不改變。另一原語可以包括對(duì)象變換，其中，第一對(duì)象被變成第二對(duì)象。對(duì)象與對(duì)象保存交互可以表示何時(shí)兩個(gè)對(duì)象具有交互而兩個(gè)都保持未改變。此外，對(duì)象分段可以表示一個(gè)對(duì)象何時(shí)產(chǎn)生兩個(gè)對(duì)象。另一組原語可能包括對(duì)象創(chuàng)建或?qū)ο箐N毀?？梢允褂脤?duì)象NULL交互來表示對(duì)象不存在。非常復(fù)雜的活動(dòng)圖可以由此類原語構(gòu)成。

在某些實(shí)施例中，活動(dòng)圖可以采取分級(jí)結(jié)構(gòu)。在最低層級(jí)，活動(dòng)圖中的節(jié)點(diǎn)可以基于軌跡集群而表示對(duì)象交互原語。此類活動(dòng)圖本身可以表示較大動(dòng)作(即，復(fù)雜的一組對(duì)象交互)并變成較大活動(dòng)圖中的節(jié)點(diǎn)。此進(jìn)展可以產(chǎn)生越來越高層級(jí)的圖。例如，電影可以包括具有表示場(chǎng)景的子圖的單個(gè)活動(dòng)圖。該場(chǎng)景圖可以包括作為表示參與者或?qū)ο蟮幕顒?dòng)圖的節(jié)點(diǎn)。這些進(jìn)而可以由對(duì)象交互原語所表示的節(jié)點(diǎn)構(gòu)成。這種分級(jí)方法提供了通過圖結(jié)構(gòu)的相似性進(jìn)行的不同類型的活動(dòng)之間的多尺度分析。

相似性評(píng)分技術(shù)可以利用核方法，其也引起使用已知活動(dòng)圖來分析觀察活動(dòng)，可能基于觀察統(tǒng)計(jì)上顯著的許多活動(dòng)?？梢詫⒑朔椒ㄓ糜诨顒?dòng)分類、回歸(例如，預(yù)測(cè)動(dòng)作、外推、趨勢(shì)描繪等)、聚類(例如，群眾行為、消費(fèi)者人口分析等)、離群點(diǎn)檢測(cè)(例如，異常行為、與標(biāo)準(zhǔn)的偏差等)、排序(例如，相對(duì)于動(dòng)作或時(shí)間的理想性能的排序、在檢索期間將相似動(dòng)作排序、基于諸如運(yùn)動(dòng)量、涉及到的參與者的數(shù)目或傳感模態(tài)之間的相互影響之類的特定比較準(zhǔn)則將不同動(dòng)作的相似性排序)、分段(例如，一個(gè)動(dòng)作的結(jié)束與另一動(dòng)作的開始之間的區(qū)別)或利用核方法的其它分析技術(shù)。

還可以基于所選活動(dòng)或域?qū)ο嗨菩栽u(píng)分技術(shù)加權(quán)或過濾。例如，可以基于例如由用戶或基于GPS位置而選擇的域來過濾觀察到的外景，使得汽車、動(dòng)物或與域相關(guān)的其它對(duì)象在相似性活動(dòng)分?jǐn)?shù)的計(jì)算中被自動(dòng)地濾出。

可以進(jìn)一步細(xì)化公開技術(shù)以將具有存儲(chǔ)器或處理器約束的嵌入式裝置確定為目標(biāo)。在某些實(shí)施例中，已知活動(dòng)圖可以基于例如主成分分析(PCA)而使低值節(jié)點(diǎn)被刪除。例如，可以去除對(duì)將活動(dòng)相互區(qū)別開缺少貢獻(xiàn)的節(jié)點(diǎn)。因此，可以減小圖的維數(shù)，或者可以通過消除低貢獻(xiàn)節(jié)點(diǎn)來縮減圖內(nèi)的噪聲。

還可以使用靜止圖像來識(shí)別活動(dòng)。在某些實(shí)施例中，活動(dòng)圖可以包括表示與節(jié)點(diǎn)相關(guān)聯(lián)的相應(yīng)動(dòng)作的一個(gè)或多個(gè)關(guān)鍵幀。可以將所觀察的靜止圖像與此類關(guān)鍵幀相互比較以確定所觀察的靜止圖像是否與相應(yīng)活動(dòng)圖對(duì)準(zhǔn)。在某些實(shí)施例中，活動(dòng)識(shí)別裝置可以從靜止圖像導(dǎo)出特征，并且使用該特征通過將圖像特征與已知活動(dòng)圖的節(jié)點(diǎn)相比較來建立圖像到一個(gè)或多個(gè)已知圖的圖尺度的映射。應(yīng)認(rèn)識(shí)到的是可以將靜止圖像“散布”在已知圖的多個(gè)節(jié)點(diǎn)上。例如，圖像的各部分(例如，已識(shí)別對(duì)象)可以對(duì)應(yīng)于與第一時(shí)間(t₀)相對(duì)應(yīng)的節(jié)點(diǎn)，而且其它部分(例如，第二識(shí)別對(duì)象)可以對(duì)應(yīng)于處于不同時(shí)間(t₁)的不同節(jié)點(diǎn)。通過此類卷積和計(jì)算的相似性活動(dòng)分?jǐn)?shù)，活動(dòng)識(shí)別裝置可以估計(jì)靜止圖像有多好地對(duì)應(yīng)于一個(gè)或多個(gè)已知活動(dòng)的截屏。

可以使用數(shù)字電路或者使用利用眾所周知的計(jì)算機(jī)處理器、存儲(chǔ)器單元、存儲(chǔ)裝置、計(jì)算機(jī)軟件及其它組件的一個(gè)或多個(gè)計(jì)算機(jī)來實(shí)現(xiàn)本文中所述的系統(tǒng)、設(shè)備以及方法。通常，計(jì)算機(jī)包括用于執(zhí)行指令的處理器和用于存儲(chǔ)指令和數(shù)據(jù)的一個(gè)或多個(gè)存儲(chǔ)器。計(jì)算機(jī)還可以包括或者被耦合到一個(gè)或多個(gè)大容量存儲(chǔ)裝置，諸如一個(gè)或多個(gè)磁盤、內(nèi)部硬盤和可移動(dòng)磁盤、磁光盤、光盤等。

可以使用在客戶端-服務(wù)器關(guān)系中操作的計(jì)算機(jī)來實(shí)現(xiàn)本文中所述的系統(tǒng)、設(shè)備以及方法。通常，在此類系統(tǒng)中，客戶端計(jì)算機(jī)位于遠(yuǎn)離服務(wù)器計(jì)算機(jī)處并經(jīng)由網(wǎng)絡(luò)相交互。客戶端-服務(wù)器關(guān)系可以由在各客戶機(jī)和服務(wù)器計(jì)算機(jī)上運(yùn)行的計(jì)算機(jī)程序定義和控制。

在圖4中圖示出可以用來實(shí)現(xiàn)本文中所述的系統(tǒng)、設(shè)備以及方法的示例性客戶端-服務(wù)器關(guān)系的高級(jí)框圖?？蛻舳?服務(wù)器關(guān)系400包括經(jīng)由網(wǎng)絡(luò)430與服務(wù)器420通信的客戶端410，并且圖示出客戶端410與服務(wù)420之間的活動(dòng)識(shí)別任務(wù)的一個(gè)可能劃分。例如，根據(jù)上文的所述各種實(shí)施例，客戶端410可以被配置成服務(wù)器420通信，并且通過生成觀察活動(dòng)的數(shù)字表示和/或通過將觀察活動(dòng)數(shù)據(jù)的數(shù)字表示發(fā)送到服務(wù)器420來促進(jìn)活動(dòng)識(shí)別搜索。服務(wù)器420可以被配置成：使用特征檢測(cè)算法從觀察活動(dòng)的數(shù)字表示生成多個(gè)時(shí)間特征，建立包括從數(shù)字表示生成的時(shí)間特征的一個(gè)或多個(gè)集群的觀察活動(dòng)圖，從用于已知活動(dòng)圖的相似性評(píng)分技術(shù)中選擇至少一個(gè)上下文相關(guān)評(píng)分技術(shù)，以及根據(jù)所述至少一個(gè)上下文相關(guān)評(píng)分技術(shù)而針對(duì)觀察活動(dòng)圖來計(jì)算相似性活動(dòng)分?jǐn)?shù)，該相似性活動(dòng)分?jǐn)?shù)是相對(duì)于至少一個(gè)已知活動(dòng)圖。在某些實(shí)施例中，服務(wù)器420可以進(jìn)一步被配置成從客戶端410接收數(shù)字表示數(shù)據(jù)，基于該數(shù)字表示數(shù)據(jù)來執(zhí)行活動(dòng)識(shí)別搜索，生成活動(dòng)識(shí)別結(jié)果集并將該活動(dòng)識(shí)別結(jié)果集發(fā)送到客戶端410。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到圖4中所述的示例性客戶端-服務(wù)器關(guān)系僅僅是可能用于實(shí)現(xiàn)本文中所述的系統(tǒng)、設(shè)備以及方法的許多客戶端-服務(wù)器關(guān)系中的一個(gè)。同樣地，不應(yīng)以任何方式將圖4中所示的客戶端-服務(wù)器關(guān)系示為是限制性的。客戶端裝置410的示例可以包括蜂窩電話、自助終端、個(gè)人數(shù)據(jù)助理、平板計(jì)算機(jī)、玩具、運(yùn)載工具、網(wǎng)絡(luò)相機(jī)或其它類型的計(jì)算裝置。

可以使用有形地在信息載體中(例如在非臨時(shí)機(jī)器可讀存儲(chǔ)裝置中)體現(xiàn)以便由可編程處理器執(zhí)行的計(jì)算機(jī)程序產(chǎn)品來實(shí)現(xiàn)本文中所述的系統(tǒng)、設(shè)備以及方法；可以使用可由此類處理器執(zhí)行的一個(gè)或多個(gè)計(jì)算機(jī)程序來實(shí)現(xiàn)本文中所述的方法步驟，包括圖1B和圖3的步驟中的一個(gè)或多個(gè)。計(jì)算機(jī)程序是可以直接地或間接地在計(jì)算機(jī)中用來執(zhí)行某個(gè)活動(dòng)或產(chǎn)生某個(gè)結(jié)果的一組計(jì)算機(jī)程序指令?？梢杂萌魏涡问降木幊陶Z言(包括編譯或解釋語言)來編寫計(jì)算機(jī)程序，并且可以將其以任何形式部署，包括作為獨(dú)立程序或作為模塊、組件、子例程或適合于在計(jì)算環(huán)境中使用的其它單元。

在圖5中圖示出可以用來實(shí)現(xiàn)本文中所述的系統(tǒng)、設(shè)備以及方法的示例性客戶端-服務(wù)器關(guān)系的高級(jí)框圖。裝置500包括被操作耦合到持久性存儲(chǔ)裝置520和主存儲(chǔ)器裝置530的處理器510。處理器510通過執(zhí)行定義此類操作來執(zhí)行計(jì)算機(jī)程序指令而控制設(shè)備500的總體操作。計(jì)算機(jī)程序指令可被存儲(chǔ)在持久性存儲(chǔ)裝置520或其它計(jì)算機(jī)可讀介質(zhì)中，并且在期望計(jì)算機(jī)程序指令的執(zhí)行時(shí)被加載到主存儲(chǔ)器裝置530中。例如，活動(dòng)識(shí)別裝置210和傳感器220可以包括設(shè)備500的一個(gè)或多個(gè)組件。因此，圖1B和3的方法步驟可以由存儲(chǔ)在主存儲(chǔ)器裝置530和/或持久性存儲(chǔ)裝置520中的計(jì)算機(jī)程序指令定義并由執(zhí)行計(jì)算機(jī)程序指令的處理器510控制。例如，可以將計(jì)算機(jī)程序指令實(shí)現(xiàn)為被本領(lǐng)域的技術(shù)人員編程為執(zhí)行由圖1B和3的方法步驟定義的算法的計(jì)算機(jī)可執(zhí)行代碼。因此，通過執(zhí)行計(jì)算機(jī)程序指令，處理器510執(zhí)行由圖1B和3的方法步驟定義的算法。設(shè)備500還包括用于經(jīng)由網(wǎng)絡(luò)與其它設(shè)備通信的一個(gè)或多個(gè)網(wǎng)絡(luò)接口580。設(shè)備500還可以包括使得能夠與設(shè)備500進(jìn)行用戶交互的一個(gè)或多個(gè)輸入/590(例如，顯示器、鍵盤、鼠標(biāo)、揚(yáng)聲器、按鈕等)。

處理器510可包括通用微處理器和專用微處理器，并且可以是設(shè)備500的唯一處理器或多個(gè)處理器中的一個(gè)。處理器510可包括例如一個(gè)或多個(gè)中央處理單元(CPU)。處理器510、持久性存儲(chǔ)裝置520和/或主存儲(chǔ)器裝置530可以包括一個(gè)或多個(gè)專用集成電路(ASIC)和/或一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門陣列(FPGA)、由其補(bǔ)充或被結(jié)合在其中。

持久性存儲(chǔ)裝置520和主存儲(chǔ)器裝置530每個(gè)包括有形非臨時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。持久性存儲(chǔ)裝置520以及主存儲(chǔ)器裝置530每個(gè)可以包括高速隨機(jī)存取儲(chǔ)器，諸如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、雙倍數(shù)據(jù)速率同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DDR RAM)或其它隨機(jī)接入固態(tài)存儲(chǔ)器裝置，并且可包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)器裝置，諸如內(nèi)部硬盤和可移動(dòng)磁盤、磁光磁盤存儲(chǔ)裝置、光盤存儲(chǔ)裝置、閃存裝置、半導(dǎo)體存儲(chǔ)器裝置，諸如可擦可編程只讀存儲(chǔ)器(EPROM)、電可擦可編程只讀存儲(chǔ)器(EEPROM)、緊湊式磁盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能磁盤只讀存儲(chǔ)器(DVD-ROM)磁盤或其它非易失性固態(tài)存儲(chǔ)裝置。

輸入/輸出裝置590可包括外圍設(shè)備，諸如打印機(jī)、掃描儀、顯示屏等。例如，輸入/輸出裝置590可包括用于向用戶顯示信息(例如，用于選擇的多個(gè)圖像變換)的顯示裝置，諸如陰極射線管(CRT)、等離子體或液晶顯示器(LCD)監(jiān)視器、鍵盤以及定點(diǎn)裝置，諸如用戶可以用來向設(shè)備500提供輸入的鼠標(biāo)或軌跡球。

在本文中討論的任何或所有系統(tǒng)和設(shè)備(包括活動(dòng)識(shí)別裝置210和傳感器220)可以由諸如設(shè)備500之類的設(shè)備執(zhí)行和/或結(jié)合在其中。

本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到實(shí)際計(jì)算機(jī)或計(jì)算機(jī)系統(tǒng)的實(shí)施方式可具有其它結(jié)構(gòu)，并且也可包含其它組件，并且圖5是出于說明性目的的此類計(jì)算機(jī)的某些組件的高級(jí)表示。

應(yīng)將前述說明書理解為在每個(gè)方面是說明性和示例性的而非限制性的，并且不應(yīng)根據(jù)本說明書、而是根據(jù)如根據(jù)專利法許可的全范圍解釋的權(quán)利要求來確定在本文中公開的本發(fā)明的范圍。應(yīng)理解的是在本文中示出并描述的實(shí)施例僅僅說明本發(fā)明的原理，并且在不脫離本發(fā)明的范圍和精神的情況下可由本領(lǐng)域的技術(shù)人員實(shí)現(xiàn)各種修改。在不脫離本發(fā)明的范圍和精神的情況下，本領(lǐng)域的技術(shù)人員可以實(shí)現(xiàn)各種其它特征組合。