本發(fā)明大體上涉及啟用計(jì)算機(jī)視覺，且更具體來說，涉及使用計(jì)算機(jī)視覺改善檢測(cè)特征的效率。

計(jì)算機(jī)視覺為包含獲取、處理、分析及理解圖像以用于應(yīng)用中的方法的領(lǐng)域。傳統(tǒng)地，耦合到傳感器的處理器從傳感器獲取圖像數(shù)據(jù)，并計(jì)算關(guān)于從傳感器接收的信息的某些計(jì)算機(jī)視覺(CV)特征以用于檢測(cè)CV特征且因此檢測(cè)與那些特征相關(guān)聯(lián)的對(duì)象。CV特征可包含例如邊緣、拐角等的特征。于處理器上執(zhí)行的程序可在例如平面檢測(cè)、面部檢測(cè)、笑容檢測(cè)、手勢(shì)檢測(cè)等多種應(yīng)用中利用所檢測(cè)到的特征。

近年來已付出許多努力以使得計(jì)算裝置能夠檢測(cè)在計(jì)算裝置的視野中的特征及對(duì)象。計(jì)算裝置(例如移動(dòng)裝置)經(jīng)設(shè)計(jì)對(duì)由移動(dòng)裝置使用的處理資源量及功率量以及熱消散具有靈敏性。然而，傳統(tǒng)上，使用處理器檢測(cè)在由相機(jī)捕捉的圖像的視場(chǎng)中的特征及對(duì)象需要導(dǎo)致計(jì)算裝置(例如移動(dòng)裝置)中的較高功率消耗及較低電池壽命的大量處理資源。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明大體上涉及啟用計(jì)算機(jī)視覺，且更具體來說，涉及使用計(jì)算機(jī)視覺改善檢測(cè)特征的效率。

技術(shù)描述通過基于傳感器讀數(shù)產(chǎn)生經(jīng)計(jì)算的結(jié)果來檢測(cè)計(jì)算機(jī)視覺(CV)特征，例如邊緣、拐角等。所述傳感器設(shè)備可包含包含多個(gè)傳感器元件的傳感器元件陣列。所述傳感器元件可以2維陣列布置，例如列及行。所述傳感器元件可能夠基于環(huán)境條件產(chǎn)生傳感器讀數(shù)。所述傳感器設(shè)備還可包含耦合到傳感器元件的像素內(nèi)電路，或耦合到傳感器元件陣列且經(jīng)配置以從多個(gè)傳感器元件接收輸出的外圍電路。所述像素內(nèi)電路及/或外圍電路可包含計(jì)算結(jié)構(gòu)，所述計(jì)算結(jié)構(gòu)經(jīng)配置以基于由接近于所述傳感器元件的相鄰傳感器元件產(chǎn)生的傳感器讀數(shù)執(zhí)行表示用于傳感器元件的多像素計(jì)算的運(yùn)算。另外，所述傳感器設(shè)備可包含用于對(duì)所檢測(cè)到的CV特征執(zhí)行另外運(yùn)算的專用微處理器。舉例來說，所述專用微處理器可基于本文中所公開的CV特征檢測(cè)宏特征或參考對(duì)象，例如笑容、面部等。

實(shí)例設(shè)備(例如視覺傳感器)可包含包括多個(gè)傳感器元件的傳感器元件陣列。所述多個(gè)傳感器元件可沿著所述傳感器元件陣列的至少第一維度及第二維度布置。在本發(fā)明的某些方面中，所述多個(gè)傳感器元件中的每一者可能夠基于入射到多個(gè)傳感器元件上的光產(chǎn)生信號(hào)，所述信號(hào)對(duì)應(yīng)于表示圖像的多個(gè)傳感器元件。專用計(jì)算機(jī)視覺(CV)計(jì)算硬件可經(jīng)配置以至少部分地基于與接近于一或多個(gè)主體傳感器元件的塊的多個(gè)相鄰傳感器元件相關(guān)聯(lián)的信號(hào)計(jì)算用于一或多個(gè)主體傳感器元件的塊的局部化CV特征。此外，專用微處理器可耦合到專用CV計(jì)算硬件，其中專用微處理器包含用于與第二微處理器的通信的接口。在本發(fā)明的某些方面中，計(jì)算局部化CV特征所針對(duì)的一或多個(gè)主體傳感器元件的塊為單一主體傳感器元件。在本發(fā)明的某些方面中，專用CV計(jì)算硬件計(jì)算局部二進(jìn)制模式(LBP)標(biāo)簽或正負(fù)號(hào)梯度直方圖(HSG)特征。如本文中所使用，LBP標(biāo)簽及LBP特征或CV特征更一般地說可指代基于主體像素與其相鄰像素元件中的一或多者的比較而予以計(jì)算的CV特征。局部化CV特征可包含斑點(diǎn)、邊緣或線邊緣的拐角中的一或多者。

實(shí)例移動(dòng)裝置可包括視覺傳感器及第二微處理器，其中專用微處理器通過有線接口耦合到第二微處理器，且其中第二微處理器為功率高于專用微處理器的處理器。在一些情況下，通過有線接口與第二微處理器的通信使用串行外圍接口(SPI)、內(nèi)部集成電路(I2C)或低電壓差分信令(LVDS)中的一者。

在某些實(shí)施方案中，無線模塊可用于與第二微處理器的通信，其中用于與第二微處理器的通信的無線模塊使用用于與第二微處理器的通信的接口耦合到專用微處理器。無線模塊可經(jīng)配置以使用紫蜂(Zigbee)(IEEE 802.15.4標(biāo)準(zhǔn))、人體局域網(wǎng)絡(luò)(IEEE 802.15.6)、無線USB、Wi-Fi(802.11)、Z-wave或IrDA(基于IR的通信)來通信。

在本發(fā)明的某些方面中，視覺傳感器進(jìn)一步包含用于基于對(duì)應(yīng)于圖像的窗口的信號(hào)的至少一子集計(jì)算圖像的至少一部分的積分圖像的二維積分硬件，其中專用CV計(jì)算硬件能夠訪問經(jīng)計(jì)算的積分圖像以用于計(jì)算對(duì)應(yīng)于傳感器元件的塊的信號(hào)的組合、總和或平均值。CV計(jì)算硬件可進(jìn)一步耦合到級(jí)聯(lián)分類器硬件，所述級(jí)聯(lián)分類器硬件經(jīng)配置以檢測(cè)參考對(duì)象在圖像的窗口中的存在或不存在。在某些情況下，專用微處理器可經(jīng)配置以在檢測(cè)到參考對(duì)象的存在時(shí)接收參考對(duì)象的存在的指示。在本發(fā)明的某些方面中，專用微處理器可經(jīng)配置以基于從專用CV計(jì)算硬件接收的局部化CV特征來檢測(cè)參考對(duì)象在圖像的窗口中的存在或不存在。

在本發(fā)明的某些方面中，在不介入圖像信號(hào)處理電路的情況下連接傳感器元件陣列及CV計(jì)算硬件。舉例來說，由CV計(jì)算硬件從傳感器元件陣列接收的信號(hào)可不經(jīng)歷缺陷校正、白平衡、色彩平衡、自動(dòng)聚焦、透鏡衰減、去馬賽克、相機(jī)型號(hào)預(yù)置顏色轉(zhuǎn)換(debayering)及/或圖像銳化中的一或多者。

本發(fā)明的各方面進(jìn)一步公開方法及設(shè)備，所述設(shè)備包括用于如上文及貫穿本發(fā)明所公開來執(zhí)行的裝置。本發(fā)明的各方面進(jìn)一步公開一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體可包含可由專用計(jì)算機(jī)視覺(CV)微處理器執(zhí)行以用于執(zhí)行上文及貫穿本說明書所論述的本發(fā)明的各方面的指令。

前述內(nèi)容已經(jīng)相當(dāng)寬泛地概述了實(shí)例的特征及技術(shù)優(yōu)點(diǎn)，以便可更好地理解下文的具體實(shí)施方式。將在下文中描述額外特征及優(yōu)點(diǎn)。所公開的概念及特定實(shí)例可容易地用作修改或設(shè)計(jì)用于實(shí)行本發(fā)明的相同目的的其它結(jié)構(gòu)的基礎(chǔ)。此類等效構(gòu)造并不脫離所附權(quán)利要求書的精神及范圍。當(dāng)結(jié)合附圖考慮時(shí)，關(guān)于本文中所公開的概念的組織及操作方法的被認(rèn)為是所述概念的特性的特征連同相關(guān)聯(lián)的優(yōu)點(diǎn)一起將從以下描述得到更好理解。圖中的每一者都僅出于說明及描述的目的而提供且并不提供為對(duì)權(quán)利要求書的限制的界定。

附圖說明

借助于實(shí)例說明本發(fā)明的各方面。參考各圖式提供以下描述，其中相同參考數(shù)字始終用以指代相同元件。雖然本文中描述一或多種技術(shù)的各種細(xì)節(jié)，但其它技術(shù)也是可能的。在一些情況下，以框圖形式展示熟知結(jié)構(gòu)及裝置以便促進(jìn)描述各種技術(shù)。

可參考說明書及圖式的其余部分來實(shí)現(xiàn)對(duì)由本發(fā)明提供的實(shí)例的性質(zhì)及優(yōu)點(diǎn)的進(jìn)一步理解，其中貫穿若干圖式使用相同參考數(shù)字來指代相似組件。在一些情況下，子標(biāo)簽與參考數(shù)字相關(guān)聯(lián)以標(biāo)示多個(gè)相似組件中的一者。當(dāng)在未指定現(xiàn)有子標(biāo)簽的情況下參考一參考數(shù)字時(shí)，所述參考數(shù)字指代所有此類相似組件。

圖1說明包括以2維陣列布置的多個(gè)傳感器元件的實(shí)例傳感器。

圖2說明包括傳感器元件及像素內(nèi)電路的實(shí)例像素。

圖3A說明耦合到外圍電路的實(shí)例傳感器元件陣列。

圖3B說明智能視覺傳感器的實(shí)例實(shí)施方案。

圖4A說明根據(jù)本發(fā)明的某些方面的實(shí)例傳感器設(shè)備。

圖4B說明根據(jù)本發(fā)明的某些方面的無線地耦合到應(yīng)用程序處理器的實(shí)例傳感器設(shè)備。

圖5說明使用基于幀的相機(jī)的視覺傳感器的實(shí)例實(shí)施方案。

圖6說明使用基于事件的相機(jī)的視覺傳感器的實(shí)例實(shí)施方案。

圖7說明根據(jù)本發(fā)明的某些方面的用于視覺傳感器的實(shí)例像素。

圖8說明用于執(zhí)行本發(fā)明的各方面的實(shí)例像素。

圖9說明用于局部二進(jìn)制模式電路的實(shí)例電路。

圖10說明用于正負(fù)號(hào)梯度直方圖電路的實(shí)例電路。

圖11說明用于計(jì)算像素內(nèi)或外圍電路中的計(jì)算機(jī)視覺(CV)特征的傳感設(shè)備的實(shí)例框圖。

圖12說明用于計(jì)算像素內(nèi)或外圍電路中的CV特征的傳感設(shè)備的另一實(shí)例框圖。

圖13為根據(jù)本發(fā)明的某些方面的實(shí)例流程圖。

圖14A、14B及14C說明將來自多個(gè)傳感器元件的傳感器讀數(shù)轉(zhuǎn)換為CV特征及執(zhí)行較高層級(jí)CV運(yùn)算的過程。

圖15A及15B說明用于使用類哈爾(Haar)特征的面部檢測(cè)的現(xiàn)有方法。

圖16A及16B說明遍及圖像計(jì)算2-D積分的現(xiàn)有方法的實(shí)例。

圖17A到17D說明遍及經(jīng)旋轉(zhuǎn)矩形計(jì)算2-D積分的現(xiàn)有方法的實(shí)例。

圖18A到18B說明根據(jù)一些實(shí)施方案的使用1-D積分以用于計(jì)算具有任意角度的矩形區(qū)域。

圖19說明根據(jù)一些實(shí)施方案的在硬件中計(jì)算1-D積分圖像。

圖20說明根據(jù)一些實(shí)施方案的用于計(jì)算1-D積分的硬件實(shí)施方案。

圖21說明可在其中實(shí)施一或多個(gè)實(shí)施例的計(jì)算系統(tǒng)的實(shí)例。

具體實(shí)施方式

現(xiàn)將關(guān)于形成說明性實(shí)施例的一部分的附圖來描述若干說明性實(shí)施例。雖然下文描述可在其中實(shí)施本發(fā)明的一或多個(gè)方面的特定實(shí)施例，但可使用其它實(shí)施例，且可在不脫離本發(fā)明的范圍或所附權(quán)利要求書的精神的情況下進(jìn)行各種修改。

傳感器可包含多個(gè)傳感器元件的傳感器元件陣列。所述傳感器元件陣列可為包含以傳感器元件陣列的兩個(gè)維度(例如列及行)布置的傳感器元件的2維陣列。所述傳感器元件中的每一者可能夠基于環(huán)境條件產(chǎn)生傳感器讀數(shù)。在某些實(shí)施方案中，傳感器可為視覺傳感器且可基于入射到傳感器元件上的光產(chǎn)生傳感器讀數(shù)。圖1說明包括以2維陣列布置的多個(gè)傳感器元件的實(shí)例傳感器100。在圖1中，傳感器100的說明表示在傳感器元件陣列中的64個(gè)(8×8)傳感器元件。在各種實(shí)施方案中，在不脫離本發(fā)明的范圍的情況下，傳感器元件的形狀、傳感器元件的數(shù)目及傳感器元件之間的間隔可極大地變化。傳感器元件102表示來自64個(gè)傳感器元件網(wǎng)格的實(shí)例傳感器元件。多個(gè)傳感器元件102中的每一者能夠基于入射到傳感器100上的光產(chǎn)生信號(hào)，所述信號(hào)對(duì)應(yīng)于表示圖像的所述多個(gè)傳感器元件。

在某些實(shí)施方案中，傳感器元件可具有實(shí)施為耦合到傳感器元件的像素內(nèi)電路(計(jì)算結(jié)構(gòu))的專用CV計(jì)算硬件。在一些實(shí)施方案中，傳感器元件及像素內(nèi)電路一起可被稱為像素。由耦合到傳感器元件的像素內(nèi)電路執(zhí)行的處理可被稱為像素內(nèi)處理。在一些情況下，所述傳感器元件陣列可被稱為像素陣列，差異在于像素陣列包含傳感器元件及與每一傳感器元件相關(guān)聯(lián)的像素內(nèi)電路兩者。圖2說明具有傳感器元件202及像素內(nèi)電路204的實(shí)例像素200。在某些實(shí)施方案中，像素內(nèi)電路204可為模擬電路、數(shù)字電路或其任何組合。

在某些實(shí)施方案中，傳感器元件陣列可具有實(shí)施為耦合到傳感器元件的一群組的外圍電路(計(jì)算結(jié)構(gòu))的專用CV計(jì)算硬件。此類外圍電路可被稱作芯片上傳感器電路。然而，在一些實(shí)施方案中，也可在晶片外實(shí)施此類外圍電路，借此不在單一基板上制造傳感器及外圍電路。圖3說明耦合到傳感器元件陣列302的實(shí)例外圍電路(304及306)。

如本文中所描述，專用CV計(jì)算硬件至少部分地基于與接近于主體傳感器元件的多個(gè)相鄰傳感器元件相關(guān)聯(lián)的信號(hào)計(jì)算用于主體傳感器元件的CV特征或局部化CV特征。在一些實(shí)施方案中，計(jì)算CV特征或局部化CV特征的專用CV計(jì)算硬件(例如，基于硬件的CV計(jì)算)不同于常規(guī)軟件計(jì)算技術(shù)之處在于軟件計(jì)算技術(shù)在通用處理器上運(yùn)行基于軟件的CV計(jì)算算法。接著可針對(duì)多個(gè)傳感器元件中的每一者計(jì)算此類CV特征，從而將多個(gè)傳感器元件中的每一者作為主體傳感器元件。應(yīng)理解，在一些實(shí)施方案中，可針對(duì)一或多個(gè)主體傳感器元件的塊而非單一主體傳感器元件計(jì)算局部化CV特征。換句話說，可對(duì)并非對(duì)應(yīng)于單一傳感器元件而是實(shí)際上對(duì)應(yīng)于傳感器元件或像素的塊的經(jīng)求和或平均化信號(hào)執(zhí)行CV特征計(jì)算。在此類實(shí)施方案中，參考主體傳感器元件(或與主體傳感器元件相關(guān)聯(lián)的信號(hào))及/或相鄰傳感器元件(或與多個(gè)相鄰傳感器元件相關(guān)聯(lián)的信號(hào))的論述可理解為指代與代替主體傳感器元件或相鄰傳感器元件的主體傳感器元件的塊相關(guān)聯(lián)的經(jīng)組合、求和或平均化值。舉例來說，可至少部分地基于與接近于傳感器元件塊103的多個(gè)相鄰傳感器元件(例如，與傳感器元件塊104a、104b、104c、104d、104e、104f、104g及/或104h相關(guān)聯(lián)的多個(gè)相鄰傳感器元件)相關(guān)聯(lián)的信號(hào)(例如，經(jīng)組合、求和及/或平均化信號(hào))計(jì)算用于傳感器元件塊103的CV特征。應(yīng)理解，傳感器元件塊103、104a、104b、104c、104d、104e、104f、104g及/或104h可包含一乘一個(gè)傳感器元件(總共一個(gè)傳感器元件)、一乘二個(gè)傳感器元件(總共兩個(gè)傳感器元件)、二乘二個(gè)傳感器元件(總共四個(gè)傳感器元件)、二乘三個(gè)傳感器元件(總共六個(gè)傳感器元件)、三乘三個(gè)傳感器元件(總共九個(gè)傳感器元件)等的塊。一般來說，傳感器元件塊可包含任何n乘m塊，其中n及m可各自獨(dú)立地為大于一但小于沿著傳感器陣列的兩個(gè)維度中的一者或另一者的傳感器元件數(shù)目的任何數(shù)目。

如本文中所描述，CV特征或局部化CV特征可指代檢測(cè)低層級(jí)計(jì)算機(jī)視覺標(biāo)記或指示符，例如與傳感器的每一傳感器元件或像素相關(guān)聯(lián)的標(biāo)簽。舉例來說，標(biāo)簽可包含用于傳感器元件的局部二進(jìn)制模式(LBP)標(biāo)簽。用于傳感器元件的LBP標(biāo)簽可通過比較所述傳感器元件的傳感器讀數(shù)與其相鄰傳感器元件中的一些的傳感器讀數(shù)來產(chǎn)生。一般來說，參考給定傳感器元件而計(jì)算的CV特征、標(biāo)簽或特征描述符可與以下各者相關(guān)聯(lián)：(1)邊緣；(2)如LBP或局部三進(jìn)制模式(LTP)的標(biāo)簽；(3)梯度或其正負(fù)號(hào)，例如正負(fù)號(hào)梯度直方圖(HSG)或經(jīng)定向梯度直方圖(HOG)；(4)1D、2D或3D卷積；(5)如哈里斯(Harris)或FAST的拐角；(6)曲率度數(shù)；(7)最大值或最小值；(8)連續(xù)性及/或不連續(xù)性；(9)對(duì)比度；(10)經(jīng)歸一化像素差(NPD)；(11)模板匹配，等。

如本文中所描述，相對(duì)地接近于主體傳感器元件的傳感器元件可被稱為相鄰傳感器元件。在本發(fā)明的某些方面中，相鄰傳感器元件可包含緊鄰所述主體傳感器元件的傳感器元件。在本發(fā)明的某些其它方面中，相鄰傳感器元件還可包含相對(duì)接近于所述主體傳感器元件但不緊鄰的傳感器元件。舉例來說，在某些情況下，當(dāng)數(shù)個(gè)傳感器的寬度或高度為六十四個(gè)傳感器元件時(shí)，距所述主體傳感器元件三個(gè)傳感器元件內(nèi)的傳感器元件可仍被視為相鄰傳感器元件。

圖3B說明智能視覺傳感器的實(shí)例實(shí)施方案，所述智能視覺傳感器包含傳感器元件陣列、CV計(jì)算硬件及專用微處理器，所述專用微處理器包含用于與第二微處理器的通信的接口。傳感器元件陣列308可與圖1中所說明的傳感器100相似。傳感器元件陣列308可包含相關(guān)雙取樣電路。傳感器元件陣列308還可包含用以(例如)在實(shí)施方案中在將信號(hào)輸出到線緩沖器310之前對(duì)傳感器元件或像素信號(hào)或值進(jìn)行組合、求和或平均化的電路，在所述實(shí)施方案中，使用經(jīng)組合值或較低分辨率改善CV計(jì)算。線緩沖器310可包含一或多個(gè)線緩沖器以將表示在傳感器元件陣列308之外的圖像或圖像的部分的信號(hào)傳遞到視覺傳感器的其它部分。在一些實(shí)施方案中，傳感器元件陣列308可不包含用于圖像信號(hào)處理(ISP)的電路，且因此，圖3B說明在不介入ISP電路的情況下連接傳感器元件陣列308及CV計(jì)算硬件312的實(shí)施方案。舉例來說，在一些實(shí)施方案中，由CV計(jì)算硬件312從傳感器元件陣列308接收的信號(hào)未經(jīng)歷缺陷校正、白平衡、色彩平衡、自動(dòng)聚焦、透鏡衰減、去馬賽克、相機(jī)型號(hào)預(yù)置顏色轉(zhuǎn)換(debayering)及/或圖像銳化中的一或多者。然而，在一些此類無ISP實(shí)施方案中，可進(jìn)行一些處理，例如聚焦或自動(dòng)曝光校正。未經(jīng)歷ISP的此類信號(hào)可被稱作原始信號(hào)。在一個(gè)實(shí)施方案中，傳感元件陣列308為不具有ISP的四分之一視頻圖形陣列(QVGA)相機(jī)傳感器，其中所述陣列包括320乘240個(gè)傳感器元件。

在各種實(shí)施方案中，CV計(jì)算硬件312可在數(shù)字或模擬域中執(zhí)行CV計(jì)算。本文中參考圖9及10公開能夠在模擬域中執(zhí)行CV計(jì)算的CV計(jì)算電路的一些實(shí)例。那些及相似電路的數(shù)字版本也是可能的。因此，任選地，在數(shù)字實(shí)施方案中，模/數(shù)轉(zhuǎn)換器(ADC)314可安置于線緩沖器310與CV計(jì)算硬件312之間。在一些實(shí)施方案中，在CV計(jì)算硬件312為經(jīng)設(shè)計(jì)以除計(jì)算CV特征之外具有極少或無功能性的硬件的意義上來說，所述CV計(jì)算硬件312為專用CV計(jì)算硬件。

在一些實(shí)施方案中，CV計(jì)算硬件312可使用與如參考圖1所論述的傳感器元件或像素的塊相關(guān)聯(lián)的信號(hào)的組合、總和或平均值。在此類實(shí)施方案中，如所參考圖16A到16B、17A到17D、18A到18B、19及20所描述的積分圖像可適用于在輸入到CV計(jì)算硬件312中之前計(jì)算此類組合、總和或平均值。因此，任選地，視覺傳感器還可包含二維積分硬件316，所述二維積分硬件316用于基于表示由傳感器元件陣列中的傳感器元件的至少一子集取樣的圖像的信號(hào)的至少一子集計(jì)算圖像的至少一部分的積分圖像。如所說明，二維積分硬件316可與專用CV計(jì)算硬件通信。相較于直接添加信號(hào)值，可使用表示由傳感器元件陣列取樣的圖像的積分圖像及/或由傳感器元件陣列取樣的圖像的一部分的積分圖像以較快速地對(duì)用于傳感器元件的塊的信號(hào)值進(jìn)行組合、求和或平均化，如本文中其它處所解釋。二維積分硬件316可包含能夠基于來自傳感器元件陣列的原始信號(hào)在數(shù)字或模擬域中產(chǎn)生表示由傳感器元件陣列取樣的圖像的全部或一部分的積分圖像的信號(hào)的電路。在一些實(shí)施方案中，由二維積分硬件316產(chǎn)生的積分圖像(其可為由傳感器元件陣列取樣的圖像的僅一部分或樣本窗口的積分圖像)可存儲(chǔ)于硬件掃描窗口陣列318中，如圖3B中所說明。舉例來說，硬件掃描窗口陣列可包含用于存儲(chǔ)積分圖像的隨機(jī)存取存儲(chǔ)器(RAM)陣列或其它形成的模擬或數(shù)字存儲(chǔ)器。在計(jì)算對(duì)應(yīng)于傳感器元件的塊的信號(hào)的組合、總和或平均值并非適用的實(shí)施方案(例如像素層級(jí)的LBP)中，應(yīng)理解，可不包含二維積分硬件316，且因此包含來自傳感器元件陣列310的模擬原始信號(hào)或來自ADC 314的經(jīng)轉(zhuǎn)換為數(shù)字的原始信號(hào)的樣本窗口可直接存儲(chǔ)于硬件掃描窗口陣列318中。此外，應(yīng)理解，在一些實(shí)施方案中，二維積分硬件316還可或替代地執(zhí)行一維積分，如參考圖17A到17D、18A到18B、19及20所論述。相似地，硬件掃描窗口陣列318可存儲(chǔ)對(duì)應(yīng)于由傳感器陣列308捕捉的圖像的樣本窗口的一維積分圖像。使用一維積分圖像可允許(例如)使用經(jīng)旋轉(zhuǎn)塊計(jì)算多塊LBP以便檢測(cè)經(jīng)旋轉(zhuǎn)參考對(duì)象，例如，面部。

視覺傳感器還可包含CV計(jì)算硬件312。在一些實(shí)施方案中，CV計(jì)算硬件可至少部分地基于與接近于傳感器元件的塊的多個(gè)相鄰傳感器元件相關(guān)聯(lián)的信號(hào)計(jì)算用于一或多個(gè)主體傳感器元件的塊的局部化CV特征。舉例來說，在CV計(jì)算硬件的局部二進(jìn)制模式(LBP)實(shí)施方案中，CV計(jì)算硬件可包含接收對(duì)應(yīng)于原始圖像信號(hào)的信號(hào)值—或原始圖像信號(hào)的組合、總和或平均值(例如使用積分圖像產(chǎn)生)—且基于原始圖像信號(hào)產(chǎn)生數(shù)字LBP標(biāo)簽的硬件。在計(jì)算多塊LBP的實(shí)施方案中，作為一個(gè)實(shí)例，一或多個(gè)主體傳感器元件的塊可包含11乘11個(gè)傳感器元件的塊。也應(yīng)理解，也可進(jìn)行像素層級(jí)的LBP計(jì)算，其中計(jì)算局部化CV特征所針對(duì)的一或多個(gè)主體傳感器元件的塊為單一主體傳感器元件。盡管以上描述將CV計(jì)算硬件312提及為與專用微處理器320分離，但應(yīng)理解，在一些實(shí)施方案中，可在專用微處理器320內(nèi)以硬件實(shí)施專用CV計(jì)算硬件312。

相較于在處理器(例如通用處理器，例如應(yīng)用程序處理器或甚至專用微處理器)中計(jì)算CV特征，在專用硬件中產(chǎn)生CV特征，例如上文所論述的LBP標(biāo)簽，可降低視覺傳感器的功率。然而，視覺傳感器仍可包含耦合到CV計(jì)算硬件312的專用微處理器320。專用微處理器320從CV計(jì)算硬件312接收經(jīng)硬件計(jì)算的CV特征且可執(zhí)行較高層級(jí)計(jì)算機(jī)視覺運(yùn)算，例如對(duì)象類別檢測(cè)(對(duì)象類別檢測(cè)中的面部檢測(cè)可被看作是特定狀況)，以及其它計(jì)算機(jī)視覺運(yùn)算，在所述對(duì)象類別檢測(cè)中，任務(wù)為找到圖像中的屬于給定類別的所有對(duì)象的部位及大小。此外，專用微處理器320可將控制信號(hào)提供至線緩沖器310、ADC 314、二維積分硬件316、硬件掃描窗口陣列318及CV計(jì)算硬件312。在一些實(shí)施方案中，為執(zhí)行對(duì)象類別檢測(cè)或其它計(jì)算機(jī)視覺運(yùn)算，專用微處理器320可使用級(jí)聯(lián)分類器算法以執(zhí)行對(duì)象類別檢測(cè)，例如面部檢測(cè)。在任選的實(shí)施方案中，通過以硬件實(shí)施級(jí)聯(lián)分類器來進(jìn)一步降低微處理器上的計(jì)算負(fù)擔(dān)，進(jìn)一步功率節(jié)省是可能的。

任選的級(jí)聯(lián)分類器硬件322包含級(jí)聯(lián)分類器的硬件實(shí)施方案。在一些實(shí)施方案中，使用關(guān)于圖像的數(shù)據(jù)集的機(jī)器學(xué)習(xí)技術(shù)訓(xùn)練級(jí)聯(lián)分類器，所述圖像的數(shù)據(jù)集包含將訓(xùn)練級(jí)聯(lián)分類器所針對(duì)的對(duì)象的實(shí)例及非對(duì)象的實(shí)例，例如面部及非面部的圖像。舉例來說，在第一級(jí)中，級(jí)聯(lián)分類器硬件可向CV計(jì)算硬件312請(qǐng)求，針對(duì)某一數(shù)目(l)的存儲(chǔ)于(例如)硬件掃描窗口陣列318中的主體傳感器元件計(jì)算LBP特征。另外，也將由級(jí)聯(lián)分類器硬件322提供主體傳感器元件的部位{(x₁₁,y₁₁),…(x_1l,y_1l)}。一旦CV計(jì)算硬件312提供可經(jīng)處理為向量值的所請(qǐng)求的LBP特征，隨即級(jí)聯(lián)分類器硬件執(zhí)行LBP特征中的每一者與一或多個(gè)權(quán)重的點(diǎn)積的求和以產(chǎn)生第一經(jīng)加權(quán)標(biāo)量總和值。一般來說，每一LBP特征(LBP₁₁,…,LBP_1l)將乘以給定權(quán)重(w₁₁,…,w_1l)，所述給定權(quán)重中的每一者可不同。接著比較第一經(jīng)加權(quán)標(biāo)量總和值與第一閾值。如果標(biāo)量總和小于閾值，那么在給定機(jī)率上，由存儲(chǔ)于硬件掃描窗口陣列318中的信號(hào)表示的圖像的部分中不存在面部，且因此級(jí)聯(lián)分類器硬件322將信號(hào)發(fā)送到硬件掃描窗口陣列318，且任選地發(fā)送到視覺傳感器的其它組件，例如線緩沖器310及傳感器元件陣列308，以指示硬件掃描窗口陣列318應(yīng)繼續(xù)掃描且應(yīng)添加一或多個(gè)新的列或行且移除一或多個(gè)舊的列或行。在圖像的后續(xù)窗口或?qū)?yīng)于傳感器元件陣列的傳感器元件的后續(xù)子集的后續(xù)多個(gè)信號(hào)存儲(chǔ)于硬件掃描窗口陣列318中的情況下，所述過程可再次開始。應(yīng)理解，圖像的后續(xù)窗口可在很大程度上與圖像的先前窗口重疊。在一些實(shí)施方案中，從左到右掃描圖像，且一旦到達(dá)傳感器元件陣列308的最后，隨即可在往下移動(dòng)一或多個(gè)行后再次從左到右掃描圖像。在另一實(shí)施方案中，可在往下移位一或多個(gè)行之后從右到左掃描圖像，從而可允許與先前圖像的經(jīng)增加的重疊。

如果標(biāo)量總和大于第一閾值，那么級(jí)聯(lián)分類器硬件322移動(dòng)到下一級(jí)。在下一(在此實(shí)例中，第二)級(jí)中，級(jí)聯(lián)分類器硬件再次請(qǐng)求CV計(jì)算硬件312向存儲(chǔ)于硬件掃描窗口陣列318中的在部位{(x₂₁,y₂₁),…(x_2m,y_2m)}處的m個(gè)主體傳感器元件提供LBP特征。一旦CV計(jì)算硬件312計(jì)算且提供所請(qǐng)求的LBP特征(LBP₂₁,…,LBP_2m)，隨即級(jí)聯(lián)分類器硬件322執(zhí)行LBP特征中的每一者的點(diǎn)積與一或多個(gè)權(quán)重(w₂₁,…,w_2m)的另一求和，以產(chǎn)生第二經(jīng)加權(quán)標(biāo)量總和值。接著比較第二經(jīng)加權(quán)標(biāo)量總和值與第二閾值。如果標(biāo)量總和小于第二閾值，那么面部存在于由存儲(chǔ)于硬件掃描窗口陣列318中的信號(hào)表示的圖像的部分中，存在低可能性，且級(jí)聯(lián)分類器將信號(hào)發(fā)送到視覺傳感器陣列中的其它組件以繼續(xù)掃描且移動(dòng)到圖像的下一部分。如果第二經(jīng)加權(quán)標(biāo)量總和值大于第二閾值，那么所述過程如上文所描述繼續(xù)到第三級(jí)。在最后級(jí)(例如N級(jí)級(jí)聯(lián)分類器中的第N級(jí))的端部處，如果第N經(jīng)加權(quán)標(biāo)量總和值大于第N閾值，那么在存儲(chǔ)于硬件掃描窗口陣列318中的圖像的部分中檢測(cè)到面部。級(jí)聯(lián)分類器硬件322接著可向?qū)Ｓ梦⑻幚砥?20指示已檢測(cè)到面部，且可進(jìn)一步任選地指示其中檢測(cè)到面部或面部的部分的圖像的部分部位。

在每一級(jí)處計(jì)算LBP所針對(duì)之硬件掃描窗口陣列318內(nèi)之主體傳感器元件的數(shù)目及部位通常經(jīng)編程到級(jí)聯(lián)分類器硬件322中且由上文所論述的機(jī)器學(xué)習(xí)訓(xùn)練所造成。相似地，通常也在機(jī)器學(xué)習(xí)訓(xùn)練期間確定用以與LBP特征中的每一者相乘的權(quán)重且接著將所述權(quán)重編程到級(jí)聯(lián)分類器硬件322中。級(jí)的數(shù)目也由訓(xùn)練造成，且經(jīng)編程到級(jí)聯(lián)分類器硬件322中。在一些實(shí)施方案中，級(jí)聯(lián)分類器可包含介于1與31之間的級(jí)，例如，15個(gè)級(jí)。在一些實(shí)施方案中，在級(jí)聯(lián)分類器硬件322為經(jīng)設(shè)計(jì)以執(zhí)行級(jí)聯(lián)分類器功能及極少到無其它大量功能的硬件的意義上來說，所述級(jí)聯(lián)分類器硬件322可被視為專用級(jí)聯(lián)分類器硬件。雖然上文所描述的實(shí)施方案涉及基于經(jīng)編程權(quán)重及閾值(所述經(jīng)編程權(quán)重及閾值基于實(shí)驗(yàn)室中用以產(chǎn)生模型的先前訓(xùn)練及機(jī)器學(xué)習(xí))的級(jí)聯(lián)分類器，但應(yīng)理解，級(jí)聯(lián)分類器硬件322或外圍電路中經(jīng)設(shè)計(jì)以基于從CV計(jì)算硬件312接收的經(jīng)硬件計(jì)算的CV特征執(zhí)行CV運(yùn)算的其它硬件可經(jīng)設(shè)計(jì)以在現(xiàn)場(chǎng)執(zhí)行機(jī)器學(xué)習(xí)。

在剛剛描述的實(shí)施方案中，專用微處理器320可接著確定如何處置(例如)檢測(cè)到面部的事件。舉例來說，其可將事件發(fā)送到第二微處理器。在一些實(shí)施方案中，專用微處理器320及第二微處理器可分別對(duì)應(yīng)于圖4A及4B的專用微處理器406及應(yīng)用程序處理器408。如圖3B中所說明，專用微處理器320包含用于與第二微處理器的通信的接口324。

盡管以上描述將級(jí)聯(lián)分類器硬件322提及為與專用微處理器320分離，但應(yīng)理解，在一些實(shí)施方案中，專用級(jí)聯(lián)分類器硬件322可在專用微處理器320內(nèi)以硬件實(shí)施。替代地，級(jí)聯(lián)分類器可作為軟件算法在專用微處理器320上運(yùn)行。此外，其它軟件算法可代替級(jí)聯(lián)分類器，或除級(jí)聯(lián)分類器之外，其它軟件算法也可在專用微處理器上運(yùn)行。舉例來說，可使用直方圖執(zhí)行面部檢測(cè)，如圖14C中所描述。在一些此類實(shí)施方案中，針對(duì)存儲(chǔ)于掃描窗口陣列318中的圖像的樣本窗口而計(jì)算的所有LBP標(biāo)簽的直方圖可與參考直方圖比較以檢測(cè)面部在存儲(chǔ)于掃描窗口陣列318中的樣本窗口中的存在。在一些實(shí)施方案中，可實(shí)施專用硬件以使用直方圖檢測(cè)(例如)面部。此類實(shí)施方案可包含代替或除級(jí)聯(lián)分類器硬件322之外的此類專用硬件。

在圖3B中所說明的實(shí)施方案中，線緩沖器310、ADC 314、二維積分硬件316、硬件掃描窗口陣列318、CV計(jì)算硬件312、級(jí)聯(lián)分類器硬件322中的一或多者或其任何組合可被視為外圍電路304，即在傳感器元件陣列308外圍的電路。也應(yīng)理解，剛剛列舉的各個(gè)組件或其任何組合可替代地實(shí)施為傳感器元件陣列308內(nèi)的像素內(nèi)電路。

在圖2、3A及3B中所說明的各種實(shí)施方案中，專用CV計(jì)算硬件可使用專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或用于執(zhí)行本發(fā)明的各方面的任何相似模擬或數(shù)字計(jì)算邏輯實(shí)施為耦合到傳感器元件陣列的數(shù)字邏輯。

在某些實(shí)施方案中，實(shí)施為專用CV處理模塊的專用CV計(jì)算硬件可經(jīng)配置以執(zhí)行存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀媒體上的指令以用于計(jì)算CV特征。舉例來說，與可執(zhí)行具有用于服務(wù)來自用戶接口的中斷、與I/O互動(dòng)等的若干不同功能及應(yīng)用程序的操作系統(tǒng)的通用處理器相比，經(jīng)實(shí)施為專用CV處理模塊的專用CV計(jì)算硬件可主要經(jīng)配置以執(zhí)行用于計(jì)算CV特征的指令。

此外，如圖4A中所展示，在某些實(shí)施方案中，傳感器設(shè)備400可具有傳感器402、計(jì)算機(jī)視覺計(jì)算硬件404及專用微處理器406。計(jì)算機(jī)視覺計(jì)算硬件404可為用于對(duì)所感測(cè)信息執(zhí)行初始處理的如圖2、3A及3B中所描述的像素內(nèi)電路或外圍電路。專用微處理器406可使用ASIC、FPGA、嵌入式微處理器或用于執(zhí)行本發(fā)明的各方面的任何相似模擬或數(shù)字計(jì)算邏輯來實(shí)施。

應(yīng)注意，至少在某些實(shí)施方案中，專用微處理器406是補(bǔ)充應(yīng)用程序處理器408而非代替應(yīng)用程序處理器408。舉例來說，專用微處理器406可接收所檢測(cè)到的計(jì)算機(jī)視覺特征、對(duì)象類別檢測(cè)及/或與先前經(jīng)存儲(chǔ)圖像或參考指示符的模式匹配的指示，以確定宏特征或檢測(cè)參考對(duì)象(例如笑容、面部、對(duì)象等)在圖像中的存在或不存在。如本文中所使用，宏特征可指代使用基于經(jīng)計(jì)算的(例如，經(jīng)硬件計(jì)算的)CV特征的CV計(jì)算或運(yùn)算檢測(cè)到的對(duì)象(例如面部)或?qū)ο蟮牟糠只蚍矫?肌理、笑容、面部上的表情)。專用微處理器406可將宏特征檢測(cè)的指示發(fā)送到應(yīng)用程序處理器408。應(yīng)用程序處理器408可獲得所述信息并基于所述輸入執(zhí)行動(dòng)作。舉例來說，對(duì)于移動(dòng)裝置，應(yīng)用程序處理器408可在檢測(cè)到用戶的面部之后解鎖移動(dòng)裝置屏幕。相似地，對(duì)于玩具狗，應(yīng)用程序處理器408可在檢測(cè)到笑容時(shí)產(chǎn)生友好狗叫音頻。在任何狀況下，可由包含專用微處理器406的低功率系統(tǒng)(例如傳感器設(shè)備400)在相對(duì)于直接由應(yīng)用程序處理器408進(jìn)行的計(jì)算機(jī)視覺特征計(jì)算具有功率節(jié)省的情況下計(jì)算較高層級(jí)計(jì)算機(jī)視覺特征。在應(yīng)用程序處理器相比于專用微處理器406為較高功率處理器的實(shí)施方案中尤其如此。

一般來說(例如在移動(dòng)裝置上下文中)，應(yīng)用程序處理器408可相對(duì)較復(fù)雜、計(jì)算密集、功率密集且負(fù)責(zé)執(zhí)行系統(tǒng)層級(jí)運(yùn)算(例如操作系統(tǒng)運(yùn)算)，且可實(shí)施用戶接口以用于與用戶互動(dòng)、執(zhí)行裝置的功率管理、管理存儲(chǔ)器及其它資源等，而專用微處理器可相對(duì)較不如此。應(yīng)用程序處理器408可與圖21的處理器2110相似。

然而，在某些實(shí)施方案中，應(yīng)用程序處理器408較不復(fù)雜且功率較低。舉例來說，具有相機(jī)及視頻能力的玩具可在傳感器設(shè)備400自身內(nèi)檢測(cè)到兒童正微笑，且接著使用來自應(yīng)用程序處理器408的邏輯執(zhí)行狗叫動(dòng)作。

圖4A公開使用有線接口耦合到應(yīng)用程序處理器408的專用微處理器406。專用微處理器406與應(yīng)用程序處理器408之間的有線接口的實(shí)例可包含串行外圍接口(SPI)、內(nèi)部集成電路(I2C)、低電壓差分信令(LVDS)或關(guān)于這點(diǎn)的任何其它合適的有線協(xié)議中的一或多者。

然而，如圖4B中所展示，在某些實(shí)施方案中，專用微處理器406可使用無線接口耦合到應(yīng)用程序處理器408。為無線地連接到應(yīng)用程序處理器408，專用微處理器406可連接到耦合到傳感器設(shè)備400的中間無線模塊410(在圖4B中被稱作傳感器無線模塊410)。在一些實(shí)施方案中，傳感器無線模塊410可使用上文所論述的有線接口連接到專用微處理器406。又，傳感器無線模塊410可與可耦合到應(yīng)用程序處理器408的應(yīng)用程序處理器無線模塊412無線地通信。無線模塊可經(jīng)配置以使用一或多個(gè)合適無線協(xié)議以與應(yīng)用程序處理器408通信，例如紫蜂(IEEE 802.15.4標(biāo)準(zhǔn))、人體局域網(wǎng)絡(luò)(IEEE 802.15.6)、無線USB、Wi-Fi(802.11)、Z-wave或IrDA(基于紅外線的通信)。

根據(jù)本發(fā)明的各方面，在某些實(shí)施例中，可根據(jù)本發(fā)明的各方面改善多種不同傳感器。實(shí)例傳感器可包含視覺傳感器、嗅覺傳感器及/或化學(xué)傳感器。盡管貫穿本發(fā)明論述視覺傳感器，但可在不脫離本發(fā)明的范圍的情況下在其它類型的傳感器中使用相似技術(shù)。

在一個(gè)實(shí)施方案中，技術(shù)描述用于在將傳感器數(shù)據(jù)發(fā)送到應(yīng)用程序處理器或在傳感器設(shè)備外部的任何其它處理實(shí)體之前在像素內(nèi)電路、外圍電路或?qū)Ｓ梦⑻幚砥鲀?nèi)計(jì)算特征(例如，CV特征及宏特征)的專用電路或系統(tǒng)。用于計(jì)算特征的此類專用電路帶來功率節(jié)省，這是由于(1)所述電路經(jīng)優(yōu)化用于計(jì)算特定特征，(2)相關(guān)于處理器指令解碼、存儲(chǔ)器轉(zhuǎn)移等涉及較少開銷。

另外，可從CV特征導(dǎo)出例如面部、笑容等的宏特征，且也可使用計(jì)算機(jī)視覺計(jì)算硬件404及/或?qū)Ｓ梦⑻幚砥?06產(chǎn)生所述宏特征。

圖5及圖6說明用于包括視覺傳感器的傳感設(shè)備的實(shí)例實(shí)施方案。可使用若干技術(shù)以用于使用耦合到計(jì)算裝置的一或多個(gè)相機(jī)來獲取圖像或一系列圖像，例如視頻。

圖5說明視覺傳感器的實(shí)例實(shí)施方案。視覺傳感器(例如先進(jìn)光傳感器(APS))可用于照相機(jī)或攝像機(jī)中以用于獲取圖像數(shù)據(jù)。在基于幀的實(shí)施方案中，圖像數(shù)據(jù)獲取可與時(shí)鐘同步，且可以與獲取時(shí)鐘同步的預(yù)定頻率獲取用于整個(gè)圖像幀的數(shù)據(jù)。在一個(gè)實(shí)施方案中，相機(jī)可包括傳感器元件陣列502，所述傳感器元件陣列502包括多個(gè)傳感器元件。每一傳感器元件可耦合到像素內(nèi)電路，且可被共同地稱作像素。每一像素可經(jīng)配置以獲取與獲取時(shí)鐘同步的圖像數(shù)據(jù)。

如圖5中所展示，行驅(qū)動(dòng)器504(ROW DRV)針對(duì)整個(gè)幀觸發(fā)對(duì)數(shù)據(jù)的逐行讀取，且將所述數(shù)據(jù)發(fā)送到在用于CV運(yùn)算的處理器上執(zhí)行的圖像處理塊。定時(shí)控制器510(TCON)在相關(guān)雙取樣塊506處觸發(fā)相關(guān)雙取樣(CDS)?？墒褂孟嚓P(guān)雙取樣以用于校準(zhǔn)用于每一傳感器的檢測(cè)電壓。舉例來說，在一個(gè)實(shí)施方案中，當(dāng)傳感器經(jīng)曝光于光以適當(dāng)?shù)匦?zhǔn)用于傳感器元件的檢測(cè)電壓時(shí)，可檢測(cè)到電壓。信息在傳感器與CDS之間的模擬域內(nèi)傳遞。CDS處理數(shù)據(jù)且將所述數(shù)據(jù)發(fā)送到模擬域內(nèi)部的模/數(shù)轉(zhuǎn)換器508(ADC)。ADC將模擬數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)，且將所述數(shù)據(jù)發(fā)射到處理器以用于使用CV運(yùn)算進(jìn)行圖像處理，所述CV運(yùn)算使用處理器512。如下文較詳細(xì)論述，在基于幀的相機(jī)中執(zhí)行CV計(jì)算帶來高功率消耗。

圖6說明用于包括視覺傳感器的傳感設(shè)備的實(shí)例實(shí)施方案?？墒褂萌舾杉夹g(shù)以用于使用耦合到計(jì)算裝置的一或多個(gè)相機(jī)來獲取圖像或一系列圖像，例如視頻。

圖6說明使用基于事件的相機(jī)的視覺傳感器的實(shí)例實(shí)施方案。視覺傳感器可用于照相機(jī)或攝像機(jī)中以用于獲取圖像數(shù)據(jù)?；谑录南鄼C(jī)傳感器可經(jīng)配置以基于事件獲取圖像信息。在一個(gè)實(shí)施方案中，基于事件的相機(jī)可包括多個(gè)像素，如圖1中所展示。每一像素可包括傳感器元件及像素內(nèi)電路。每一像素可經(jīng)配置以基于在所述像素處所檢測(cè)到的事件來獲取圖像數(shù)據(jù)。舉例來說，在一個(gè)實(shí)施方案中，在任何給定像素處所感知的環(huán)境條件的改變(例如，反射離開對(duì)象的光的改變)可引起超出閾值的電壓改變，并且可引起在像素處的事件。響應(yīng)于所述事件，與像素相關(guān)聯(lián)的邏輯可將傳感器元件讀數(shù)發(fā)送到處理器以用于進(jìn)一步處理。

參看圖7，每一像素700可包含光電二極管702及動(dòng)態(tài)視覺傳感器(DVS)704電路，如圖7中所展示。DVS模塊也可被稱作事件檢測(cè)電路。事件檢測(cè)模塊檢測(cè)在像素處值的改變并且產(chǎn)生事件指示符。如果檢測(cè)到事件，那么在像素的強(qiáng)度改變成超出閾值時(shí)將傳感器讀數(shù)發(fā)出到處理器。在一些情況下，檢測(cè)到事件所在的傳感器元件的部位連同有效負(fù)載一起被發(fā)送到計(jì)算機(jī)系統(tǒng)以用于進(jìn)一步處理。在一個(gè)實(shí)施方案中，有效負(fù)載可為強(qiáng)度電壓、強(qiáng)度電壓的改變或強(qiáng)度電壓的改變的極性(正負(fù)號(hào))。在一些情況下，與傳統(tǒng)的基于幀的相機(jī)相比，基于事件的相機(jī)可引起基本上較低數(shù)量的數(shù)據(jù)被傳遞到處理器以用于進(jìn)一步處理，這引起了功率節(jié)省。

在圖6中，塊602集體地表示傳感器及事件檢測(cè)電路。塊602表示具有多個(gè)像素的傳感器，每一像素包括用于事件檢測(cè)的傳感器元件及電路。每一像素使用傳感器元件產(chǎn)生傳感器讀數(shù)。稍后數(shù)字化傳感器讀數(shù)，即，使用ADC轉(zhuǎn)換器608從模擬數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。行驅(qū)動(dòng)器604(ROW DRV)針對(duì)整個(gè)幀觸發(fā)對(duì)數(shù)據(jù)的逐行讀取。定時(shí)控制器610(TCON)觸發(fā)傳感器讀數(shù)的取樣。在一個(gè)實(shí)施例中，對(duì)于每一像素，先前傳感器讀取的結(jié)果可存儲(chǔ)在列并行SRAM 606中。存儲(chǔ)在列并行SRAM 606中的結(jié)果可以由比較器使用以基于當(dāng)前傳感器讀數(shù)與先前傳感器讀數(shù)之間的比較來比較及觸發(fā)事件。使用模/數(shù)(ADC)轉(zhuǎn)換器608將在像素處獲取的模擬信息轉(zhuǎn)換到數(shù)字域?？蓪⒔?jīng)數(shù)字化傳感器讀數(shù)發(fā)送到處理器612以用于使用計(jì)算機(jī)視覺運(yùn)算進(jìn)行進(jìn)一步圖像處理。

處理器612可對(duì)從個(gè)別像素接收的信息執(zhí)行某些CV運(yùn)算以用于檢測(cè)特征且因此檢測(cè)與彼等特征相關(guān)聯(lián)的對(duì)象。特征可包含較不復(fù)雜的特征，例如邊緣、拐角等。CV運(yùn)算可使用來自傳感器元件陣列的多個(gè)像素的信息以用于通過執(zhí)行多像素計(jì)算來檢測(cè)特征。舉例來說，為了執(zhí)行用于主體傳感器元件或像素的CV運(yùn)算，CV運(yùn)算可使用傳感器讀數(shù)，所述傳感器讀數(shù)是由接近于主體傳感器元件或像素的相鄰傳感器元件或像素產(chǎn)生的。

如本文中所描述，相對(duì)地接近于主體傳感器元件的傳感器元件可被稱為相鄰傳感器元件。在本發(fā)明的某些方面中，相鄰傳感器元件可包含緊鄰所述主體傳感器元件的傳感器元件。在本發(fā)明的某些其它方面中，相鄰傳感器元件還可包含相對(duì)接近于所述主體傳感器元件但不緊鄰的傳感器元件。舉例來說，在某些情況下，當(dāng)數(shù)個(gè)傳感器的寬度或高度為六十四個(gè)傳感器元件時(shí)，距所述主體傳感器元件三個(gè)傳感器元件內(nèi)的傳感器元件可仍被視為相鄰傳感器元件。

在某些實(shí)施例中，當(dāng)相較于圖2、3A、3B、4A、4B中所說明的實(shí)施方案時(shí)，對(duì)應(yīng)用程序處理器406執(zhí)行例如LBP及HSG的CV運(yùn)算可為功率密集且處理密集的。此外，將模擬像素值轉(zhuǎn)換為數(shù)字像素值可消耗功率，且因此，在一些實(shí)施方案中，在模擬域中計(jì)算CV特征可為適用的。盡管如圖3B的一些實(shí)施方案中所說明，相對(duì)于執(zhí)行由CV計(jì)算硬件312且任選地級(jí)聯(lián)分類器硬件322在(例如)微處理器中純粹以軟件執(zhí)行的計(jì)算，數(shù)字實(shí)施方案還可提供功率節(jié)省。此外，在應(yīng)用程序處理器406上檢測(cè)CV特征可為功率密集且處理密集的，這是因?yàn)樵谠S多情況下在應(yīng)用程序處理器406上執(zhí)行CV運(yùn)算要求在系統(tǒng)存儲(chǔ)器中存儲(chǔ)來自傳感器的信息、觸發(fā)傳感器信息的處理、提取來自存儲(chǔ)器的指令以用于CV計(jì)算并且存儲(chǔ)結(jié)果。另外，應(yīng)用程序處理器在執(zhí)行指令時(shí)406通常為耗功率的。來自傳感器的假性的或未引起關(guān)注的事件喚醒由于不活躍而可能在低功率模式中運(yùn)行的應(yīng)用程序處理器406并且大幅增加了系統(tǒng)的功率消耗。

本發(fā)明的某些實(shí)施例描述用于使用專用CV計(jì)算硬件執(zhí)行例如LBP及HSG計(jì)算的CV運(yùn)算而非喚醒應(yīng)用程序處理器406且在應(yīng)用程序處理器406處計(jì)算這些低層級(jí)CV特征的技術(shù)。

如本文中所描述，CV特征或局部化CV特征可指代檢測(cè)低層級(jí)計(jì)算機(jī)視覺標(biāo)記或指示符，例如與傳感器的每一傳感器元件或像素相關(guān)聯(lián)的標(biāo)簽。舉例來說，標(biāo)簽可包含用于傳感器元件的LBP標(biāo)簽。用于傳感器元件的LBP標(biāo)簽可通過比較所述傳感器元件的傳感器讀數(shù)與其相鄰傳感器元件中的一些的傳感器讀數(shù)來產(chǎn)生。LBP標(biāo)簽可指示來自傳感器元件的參考的CV特征是否表示邊緣或線邊緣、拐角或線邊緣的拐角、曲線、斑點(diǎn)等。例如HSG的其它技術(shù)可用于在不偏離本發(fā)明的范圍的情況下檢測(cè)CV特征。

如本文中所描述，基于CV特征的改變檢測(cè)及/或產(chǎn)生事件可指代從傳感器元件或傳感器元件的小群組的角度檢測(cè)特征的改變。舉例來說，如果在傳感器元件處的LBP標(biāo)簽改變，那么可檢測(cè)到及/或產(chǎn)生事件。換句話說，如果在傳感器元件處所檢測(cè)到的CV特征由斑點(diǎn)變化為邊緣，那么這可觸發(fā)事件的產(chǎn)生。

如下文更詳細(xì)地描述，可以將具有額外信息(例如部位及CV特征信息)的事件的產(chǎn)生提供到應(yīng)用程序處理器以用于進(jìn)一步處理。在本發(fā)明的一個(gè)方面中，應(yīng)用程序處理器可使用這些事件及相關(guān)聯(lián)信息以用于檢測(cè)宏特征，例如笑容、面部或任何其它關(guān)于這點(diǎn)的對(duì)象。

圖8說明用于執(zhí)行本發(fā)明的各方面的實(shí)例像素806。圖8中的像素包括用于像素內(nèi)模擬處理的傳感電路802(例如，至少一個(gè)光電二極管)及CV塊804。如圖8中所展示，在某些實(shí)施方案中，多個(gè)電容器可用于存儲(chǔ)先前及當(dāng)前電壓。CV塊804可使用例如LBP或HSG的CV運(yùn)算以用于特征檢測(cè)。輸出可包含指示特征檢測(cè)的各方面的信息。圖9提供用于計(jì)算LBP標(biāo)簽或特征的實(shí)例電路，而圖10提供用于計(jì)算HSG特征的實(shí)例電路。在一些情況下，具有電容值的電容器反映用于執(zhí)行模擬加權(quán)的加權(quán)及作為多像素計(jì)算的部分的求和，所述多像素計(jì)算基于由相鄰傳感器元件產(chǎn)生的傳感器讀數(shù)而予以執(zhí)行。舉例來說，為了產(chǎn)生HSG標(biāo)簽，將電壓施加到具有不同電容的電容器使與所述電壓輸入相關(guān)聯(lián)的權(quán)重變化。當(dāng)多個(gè)電容器平行地鏈接時(shí)，來自多個(gè)像素的經(jīng)施加到多個(gè)電容器的電壓具有基于各別電容器的電容產(chǎn)生加權(quán)總和的效應(yīng)。

盡管圖8、圖9及圖10說明像素內(nèi)電路(如圖2中所公開)中的邏輯及/或電路的實(shí)例實(shí)施方案，但此類邏輯及/或電路可在不偏離本發(fā)明的范圍的的情況下實(shí)施為外圍電路(如圖3A及3B中所展示)。此外，此類邏輯及/或電路可在不偏離本發(fā)明的范圍的情況下實(shí)施為模擬及/或數(shù)字電路。

圖11及圖12說明基于事件的傳感器中的計(jì)算機(jī)視覺運(yùn)算的兩個(gè)實(shí)例實(shí)施方案。盡管圖11及12說明基于事件的相機(jī)，但在不偏離本發(fā)明的范圍的情況下相似實(shí)施方案對(duì)于基于幀的相機(jī)也是可能的。

圖11說明用于在像素內(nèi)電路或外圍電路中執(zhí)行計(jì)算機(jī)視覺運(yùn)算的傳感設(shè)備的實(shí)例框圖。圖11說明傳感器1102、動(dòng)態(tài)視覺傳感器(DVS)模塊1104及CV模塊1106。如圖11中所展示，在從傳感器1102產(chǎn)生傳感器讀數(shù)后，DVS模塊1104可基于傳感器讀數(shù)中所檢測(cè)到的改變檢測(cè)事件。一旦檢測(cè)到事件，隨即CV模塊可執(zhí)行CV運(yùn)算且在特征層級(jí)粒度上檢測(cè)事件。在一些情況下，在檢測(cè)到特征后，CV模塊即可將信息發(fā)送到處理器以用于進(jìn)一步處理。

傳感器1102、DVS模塊1104及CV模塊1106可以各種不同配置在各種不同粒度處實(shí)施。舉例來說，圖11中的傳感器可表示單一傳感器元件(例如圖1中的傳感器元件102)或整個(gè)傳感器元件陣列(例如圖1中的傳感器100)。來自傳感器1102的傳感器讀數(shù)被不斷地發(fā)送到DVS模塊1104。

DVS模塊1104可實(shí)施為像素內(nèi)電路或外圍電路或其任何組合。在DVS模塊1104處理用于多個(gè)像素的傳感器讀數(shù)的配置中，DVS模塊704可處理來自與傳感器元件陣列的一個(gè)維度(例如列(也被稱作列并行DVS))或整個(gè)傳感器元件陣列相關(guān)聯(lián)的傳感器元件的傳感器讀數(shù)。DVS模塊1104可不斷地比較傳感器讀數(shù)(例如用于傳感器元件的電壓強(qiáng)度)與其先前經(jīng)存儲(chǔ)模擬讀數(shù)。如果電壓強(qiáng)度的差或改變超出預(yù)定閾值，那么DVS模塊1104可將事件引發(fā)到CV模塊1106。由DVS模塊1104引發(fā)的事件在像素層級(jí)粒度處，如圖11中所展示。

相似地，CV模塊1106可實(shí)施為傳感器像素中的每一者內(nèi)部的像素內(nèi)電路或?qū)嵤橛糜谔幚碛糜诙鄠€(gè)像素的傳感器讀數(shù)的外圍電路，實(shí)施為芯片上傳感器電路或其任何組合。在CV模塊1106處理用于多個(gè)像素的傳感器讀數(shù)的配置中，CV模塊1106可處理來自與傳感器元件陣列的一個(gè)維度(例如列(也被稱作列并行CV))或整個(gè)傳感器元件陣列相關(guān)聯(lián)的傳感器元件的傳感器讀數(shù)。

雖然未展示，但CV模塊1106可經(jīng)配置以基于由接近于參考傳感器元件的相鄰傳感器元件所產(chǎn)生的傳感器讀數(shù)執(zhí)行表示用于傳感器元件的多像素計(jì)算的模擬或數(shù)字運(yùn)算。

CV模塊1106可通過產(chǎn)生HSG或LBP標(biāo)簽檢測(cè)例如邊緣及拐角的特征。因此，對(duì)于所檢測(cè)到的每一像素事件，CV模塊可確定與經(jīng)改變像素相關(guān)聯(lián)的當(dāng)前特征且輸出作為特征事件的值，如圖11中所展示。

圖12說明用于在像素內(nèi)電路或外圍電路中執(zhí)行計(jì)算機(jī)視覺運(yùn)算的傳感設(shè)備的另一實(shí)例框圖。圖12說明傳感器1202、CV模塊1204及DVS模塊1206。與參看圖11所描述的設(shè)備相比，在DVS運(yùn)算之前執(zhí)行圖12中的CV運(yùn)算。如圖12中所展示，在從傳感器1202產(chǎn)生作為模擬讀數(shù)的傳感器讀數(shù)之后，CV模塊1204可處理電壓以使得能夠檢測(cè)特征且將信息傳送到DVS模塊1206。DVS模塊1206可因此檢測(cè)在特征粒度處的事件(與在像素粒度處的事件相反)。在一些情況下，在檢測(cè)到特征后，CV模塊即可將信息發(fā)送到處理器以用于進(jìn)一步處理。

傳感器1202、CV模塊1204及DVS 1206模塊可以在各種不同粒度處以各種不同配置實(shí)施。舉例來說，圖12中的傳感器可表示單一傳感器元件(例如來自圖1的傳感器元件1202)或整個(gè)傳感器元件陣列(例如來自圖1的傳感器100)。

CV模塊1204可實(shí)施為傳感器像素中的每一者內(nèi)部的像素內(nèi)電路或?qū)嵤橛糜谧鳛樾酒蟼鞲衅髂K處理用于多個(gè)像素的傳感器讀數(shù)的外圍電路。在CV模塊1204處理用于多個(gè)像素的傳感器讀數(shù)的配置中，CV模塊1204可處理來自與傳感器元件陣列的一個(gè)維度(例如列(也被稱作列并行CV))或整個(gè)傳感器元件陣列相關(guān)聯(lián)的傳感器元件的傳感器讀數(shù)。

盡管未展示，但CV模塊1204可經(jīng)配置以基于由接近于參考像素的相鄰傳感器元件所產(chǎn)生的傳感器讀數(shù)執(zhí)行表示用于像素的多像素計(jì)算的模擬及數(shù)字運(yùn)算。

相似地，DVS模塊1206可實(shí)施為傳感器像素中的每一者內(nèi)部的像素內(nèi)電路或?qū)嵤橛糜谧鳛樾酒蟼鞲衅髂K處理用于多個(gè)像素的傳感器讀數(shù)的外圍電路。在DVS模塊1206處理用于多個(gè)像素的傳感器讀數(shù)的配置中，DVS模塊1206可處理來自與傳感器元件陣列的一個(gè)維度(例如列(也被稱作列并行DVS))或整個(gè)傳感器元件陣列相關(guān)聯(lián)的傳感器元件的傳感器讀數(shù)。

在圖11及12中，除像素內(nèi)或外圍電路之外或作為像素內(nèi)或外圍電路的替代方案，還可在專用CV計(jì)算硬件中執(zhí)行DVS及CV運(yùn)算。此外，一旦檢測(cè)到指示CV特征的CV標(biāo)簽，隨即可將結(jié)果發(fā)送到專用微處理器404以用于進(jìn)一步處理及檢測(cè)一個(gè)或若干宏特征。

圖13為根據(jù)本發(fā)明的某些方面的實(shí)例流程圖?？捎呻娐坊蜻壿媹?zhí)行過程1300(或本文中所描述的任何其它過程或其變化及/或組合)中的一些或全部。電路或邏輯可實(shí)施于像素內(nèi)電路、外圍電路、專用CV處理邏輯或其任何組合中。在一些情況下，可使用執(zhí)行于數(shù)字電路上且存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀媒體上的指令實(shí)施邏輯的全部或部分。

在塊1302處，例如主體傳感器元件的組件基于入射到來自多個(gè)傳感器元件的傳感器元件上的光接收傳感器讀數(shù)。在一個(gè)實(shí)施方案中，傳感器讀數(shù)為由傳感器元件上的入射光所引起的電壓讀數(shù)。在另一實(shí)施方案中，傳感器讀數(shù)為超出來自緩沖器或電容器中的先前所存儲(chǔ)電壓值的閾值的電壓改變。

主體傳感器元件可為來自形成傳感器元件陣列的多個(gè)傳感器元件的一個(gè)傳感器元件。與圖1中所展示的傳感器元件陣列的說明相似，多個(gè)傳感器元件可沿著傳感器元件陣列的至少第一維度及第二維度布置。

在塊1304處，例如CV計(jì)算硬件的組件可至少部分地基于與接近于傳感器元件的塊的多個(gè)相鄰傳感器元件相關(guān)聯(lián)的信號(hào)計(jì)算用于一或多個(gè)主體傳感器元件的塊的一或多個(gè)局部化CV特征。

相對(duì)于相對(duì)接近于主體傳感器元件的傳感器讀數(shù)，CV特征在任何給定時(shí)間點(diǎn)識(shí)別或提供與用于主體傳感器元件的傳感器讀數(shù)相關(guān)聯(lián)的特質(zhì)。CV特征或局部化CV特征可指代檢測(cè)低層級(jí)計(jì)算機(jī)視覺標(biāo)記或指示符，例如與傳感器的每一傳感器元件或像素相關(guān)聯(lián)的標(biāo)簽。舉例來說，標(biāo)簽可包含用于傳感器元件的局部二進(jìn)制模式(LBP)標(biāo)簽。用于傳感器元件的LBP標(biāo)簽可通過比較所述傳感器元件的傳感器讀數(shù)與其相鄰傳感器元件中的一些的傳感器讀數(shù)來產(chǎn)生。相對(duì)接近于主體傳感器元件的傳感器元件可被稱為相鄰傳感器元件。接近于主體傳感器元件的多個(gè)相鄰傳感器元件可包含接近于或包含主體傳感器元件的二維貼片(patch)。在本發(fā)明的某些方面中，相鄰傳感器元件可包含緊鄰所述主體傳感器元件的傳感器元件。在本發(fā)明的某些其它方面中，相鄰傳感器元件還可包含相對(duì)接近于所述主體傳感器元件但不緊鄰的傳感器元件。舉例來說，在某些情況下，當(dāng)數(shù)個(gè)傳感器的寬度或高度為六十四個(gè)傳感器元件時(shí)，距所述主體傳感器元件三個(gè)傳感器元件內(nèi)的傳感器元件可仍被視為相鄰傳感器元件。在某些實(shí)施方案中，可使用例如LBP標(biāo)簽的標(biāo)簽導(dǎo)出CV特征。

在塊1306處，例如耦合到專用CV微處理器的專用微處理器406的組件基于經(jīng)計(jì)算的一或多個(gè)局部化CV特征獲得所檢測(cè)到的參考對(duì)象的指示。在某些情況下，參考對(duì)象的此指示可從圖3B的級(jí)聯(lián)分類器硬件322接收。舉例來說，級(jí)聯(lián)分類器硬件322可基于經(jīng)計(jì)算的一或多個(gè)局部化CV特征檢測(cè)對(duì)象。圖3B及圖14C中較詳細(xì)地描述從CV特征檢測(cè)宏特征及/或?qū)ο蟮囊粋€(gè)實(shí)例過程。替代地或另外，所述指示可由專用微處理器自身執(zhí)行的CV運(yùn)算所造成。在一些此類實(shí)施方案中，專用微處理器使用來自計(jì)算機(jī)視覺計(jì)算硬件404的經(jīng)硬件計(jì)算的CV特征以執(zhí)行例如對(duì)象檢測(cè)的CV運(yùn)算。

專用微處理器可通過接口耦合到傳感器設(shè)備外部的另一處理器。接口可為有線的或無線的。有線接口可包含但不限于SPI、I2C或LVDS。為促進(jìn)經(jīng)由無線接口的通信，專用微處理器可耦合到無線模塊且使用紫蜂(IEEE 802.15.4標(biāo)準(zhǔn))、人體局域網(wǎng)絡(luò)(IEEE 802.15.6)、無線USB、Wi-Fi(802.11)、Z-wave或IrDA(基于IR的通信)進(jìn)行無線通信。

應(yīng)了解，根據(jù)一個(gè)實(shí)施例，圖13中說明的特定步驟提供一種在運(yùn)算模式之間切換的特定方法。在替代性實(shí)施例中也可執(zhí)行其它步驟序列。舉例來說，替代性實(shí)施例可以不同次序執(zhí)行上文概述的步驟/塊。舉例來說，用戶可選擇從第三操作模式變?yōu)榈谝徊僮髂Ｊ?，從第四模式到第二模式，或其間任何組合。此外，圖13中所說明的個(gè)別步驟/塊可包含可以適合所述個(gè)別步驟的各種序列執(zhí)行的多個(gè)子步驟。此外，可取決于特定應(yīng)用而添加或移除額外的步驟/塊。所屬領(lǐng)域的一般技術(shù)人員應(yīng)認(rèn)識(shí)并了解所述過程的許多變化、修改及替代方案。

圖14A、14B及14C說明將傳感器讀數(shù)從多個(gè)傳感器元件轉(zhuǎn)換到CV特征且接著宏特征的過程。

圖14A說明來自圖1的多個(gè)傳感器讀數(shù)的傳感器讀數(shù)的群組(窗口1402)，考慮使所述多個(gè)傳感器讀數(shù)產(chǎn)生用于主體傳感器元件(例如，具有值“5”的傳感器元件)的LBP標(biāo)簽。

圖14B說明用于針對(duì)中心傳感器元件1404產(chǎn)生二進(jìn)制閾值以用于產(chǎn)生LBP標(biāo)簽的過程。針對(duì)中心傳感器元件所產(chǎn)生的標(biāo)簽可由二進(jìn)制值1111000表示。每一標(biāo)簽可從主體傳感器元件的角度提供CV特征的指示。可針對(duì)對(duì)應(yīng)于傳感器陣列中的多個(gè)主體傳感器元件的信號(hào)重復(fù)用以產(chǎn)生標(biāo)簽的閾值處理，多個(gè)主體傳感器元件形成(例如)傳感器陣列的傳感器元件的樣本窗口或子集。如圖1中所提及，圖14B中所說明的像素層級(jí)LBP可經(jīng)擴(kuò)展以包含多塊LBP，其中通過比較對(duì)應(yīng)于一或多個(gè)主體傳感器元件的塊的值(所述值的此總和與塊中的一或多個(gè)主體傳感器元件相關(guān)聯(lián))與其相鄰傳感器元件塊來針對(duì)一或多個(gè)主體傳感器元件的塊產(chǎn)生所說明的二進(jìn)制閾值?？赏ㄟ^計(jì)算積分圖像來促進(jìn)計(jì)算對(duì)應(yīng)于傳感器元件的塊中的每一者的值。相似地，應(yīng)理解，也可相似地計(jì)算LBP的延伸，例如局部三進(jìn)制模式(LTP)，從而取決于主體傳感器元件與相鄰傳感器元件之間的差異提供三個(gè)輸出。舉例來說，在LTP的一個(gè)實(shí)施方案中，如果對(duì)應(yīng)于相鄰傳感器元件的信號(hào)大于對(duì)應(yīng)于主體傳感器元件的信號(hào)加閾值，那么輸出為一，如果對(duì)應(yīng)于相鄰傳感器元件的信號(hào)相較于對(duì)應(yīng)于主體傳感器元件的信號(hào)在閾值內(nèi)，那么輸出為零，且如果對(duì)應(yīng)于相鄰傳感器元件的信號(hào)小于對(duì)應(yīng)于主體傳感器元件的信號(hào)減閾值，那么輸出為負(fù)的。

圖14C說明用于窗口(例如，表示來自傳感器元件陣列的傳感器元件的某一子集的窗口)的實(shí)例經(jīng)歸一化直方圖，所述直方圖從用于來自窗口的傳感器元件中的每一者的多個(gè)標(biāo)簽產(chǎn)生。如圖14C中所展示，用于樣本窗口中的傳感器讀數(shù)的LBP標(biāo)簽中的每一者可落在具有(例如)256個(gè)槽位的直方圖上的任何地方。因此，舉例來說，當(dāng)比較主體傳感器元件與其八個(gè)相鄰者時(shí)，將產(chǎn)生8位的數(shù)字，意味著256個(gè)不同LBP標(biāo)簽是可能的。所述直方圖可表示可能的LBP標(biāo)簽中的每一者實(shí)際上產(chǎn)生于樣本窗口中的次數(shù)。為確定面部是否存在于樣本窗口中，在一個(gè)實(shí)施方案中，所產(chǎn)生的直方圖可與面部的參考直方圖比較?？捎?jì)算所產(chǎn)生的直方圖與參考直方圖之間的相交，且標(biāo)量總和從相交的求和產(chǎn)生。如果標(biāo)量總和大于閾值，那么在給定機(jī)率上，會(huì)在樣本窗口內(nèi)檢測(cè)到面部。通常在訓(xùn)練階段中對(duì)(在此實(shí)例中為)樣本面部及樣本非面部以及其LBP直方圖的數(shù)據(jù)集使用機(jī)器學(xué)習(xí)算法來確定參考直方圖及閾值。一旦在訓(xùn)練階段中針對(duì)同一架構(gòu)確定參考直方圖及閾值，那么其可在(例如)圖3B的專用微處理器320或圖4A及4B的專用微處理器406中予以編程，或替代地以上直方圖過程可由專用硬件執(zhí)行以用于針對(duì)圖像內(nèi)的給定窗口計(jì)算直方圖且確定面部或其它對(duì)象是否存在于樣本窗口內(nèi)。

此直方圖可表示識(shí)別關(guān)于來自窗口1402的多個(gè)傳感器讀數(shù)的信息的某些特征?？苫诮y(tǒng)計(jì)學(xué)或試探法分析直方圖以用于從圖像或圖像的樣本窗口內(nèi)的多個(gè)傳感器讀數(shù)識(shí)別或檢測(cè)參考對(duì)象或宏特征，例如面部、笑容、對(duì)象等。在一些實(shí)施方案中，可比較所述直方圖與先前經(jīng)存儲(chǔ)直方圖。

然而，應(yīng)注意，來自圖14C的直方圖并非按比例繪制或基于經(jīng)計(jì)算的值，且僅僅表示直方圖的視覺說明。所產(chǎn)生的直方圖可用于檢測(cè)用于計(jì)算機(jī)視覺的宏特征。舉例來說，某些直方圖模式可表示笑容、面部、對(duì)象等。

除上文所公開的實(shí)施例之外，下文公開用于使用在任意旋轉(zhuǎn)下的矩形特征及1-D積分來執(zhí)行計(jì)算機(jī)視覺的額外實(shí)施例。此類計(jì)算可在像素內(nèi)電路204、外圍電路或上文所公開的其它專用數(shù)字邏輯中的專用CV計(jì)算硬件中完成。

使用在任意旋轉(zhuǎn)下的矩形特征及1-D積分的計(jì)算機(jī)視覺

許多現(xiàn)有CV算法需要在圖像內(nèi)的指定矩形內(nèi)計(jì)算來自傳感器元件的傳感器讀數(shù)的總和或平均值。此類計(jì)算機(jī)視覺算法可用于(例如)面部檢測(cè)及其它類型的基于圖像的任務(wù)中。一些解決方案并有積分圖像的使用以加速某些計(jì)算。例如原始維奧拉-瓊斯(Viola-Jones)算法的實(shí)施方案需要水平及/或垂直地對(duì)準(zhǔn)矩形。這些實(shí)施方案已經(jīng)擴(kuò)展以包含經(jīng)對(duì)角地對(duì)準(zhǔn)的矩形及與整數(shù)比率對(duì)準(zhǔn)的矩形。然而，這些解決方案限于在固定、預(yù)定角度下的特定對(duì)角對(duì)準(zhǔn)。因此，需要可有效地予以實(shí)行的CV計(jì)算技術(shù)，且不限于在固定、預(yù)定角度下的對(duì)準(zhǔn)。

另外，呈現(xiàn)用于有效地計(jì)算CV運(yùn)算的方法、系統(tǒng)、計(jì)算機(jī)可讀媒體及設(shè)備。在一些實(shí)施例中，接收包含傳感器元件陣列(包含傳感器元件的多個(gè)行)的原始圖像。計(jì)算基于所接收的原始圖像的1-D積分圖像。1-D積分圖像中的每一傳感器元件具有基于以下兩者的傳感器元件值：所接收的原始圖像中的對(duì)應(yīng)傳感器讀數(shù)；及對(duì)應(yīng)的所接收的原始圖像中的同一行傳感器元件中的在特定方向上的所有傳感器元件的值。通過逐行地計(jì)算CV運(yùn)算來執(zhí)行對(duì)應(yīng)于具有經(jīng)疊加在原始圖像上方的任意旋轉(zhuǎn)的形狀的CV運(yùn)算。對(duì)于每一行，基于來自所述行的1-D積分圖像的第一端傳感器元件值及來自所述行的1-D積分圖像的第二端傳感器元件值來計(jì)算CV運(yùn)算。

本發(fā)明的各方面使用1維積分以允許用于在任意角度下對(duì)準(zhǔn)的矩形的計(jì)算。此可適用于跟蹤可具有任意對(duì)準(zhǔn)的圖像中的面部或其它對(duì)象?？稍谟布袑?shí)施計(jì)算這些積分的簡(jiǎn)單方法。

在一些實(shí)施例中，方法包含接收?qǐng)D像。所述方法進(jìn)一步包含訪問包括圖像的多行傳感器元件的傳感器元件陣列。所述方法另外包含依序地確定用于多行中的一者內(nèi)的每一傳感器元件的傳感器元件值。所述方法進(jìn)一步包含，與確定用于每一傳感器元件的傳感器元件值同時(shí)，將用于所述行內(nèi)的每一傳感器元件的傳感器元件值復(fù)制到第一緩沖器。所述方法另外包含將第一緩沖器中的傳感器元件值與傳感器元件值的先前求和相加，其中傳感器元件值的先前求和表示用于在傳感器元件陣列中的行之前的多個(gè)行中的每一者的傳感器元件值的總和。

在一些實(shí)施例中，傳感器元件值的先前求和存儲(chǔ)于第二緩沖器中。在一些實(shí)施例中，多個(gè)行中的每一者包括多個(gè)單元，且其中所述多個(gè)單元中的每一者包括傳感器元件值。在一些實(shí)施例中，執(zhí)行相加步驟直到已確定用于傳感器元件的行中的每一者內(nèi)的每一傳感器元件的傳感器元件值為止。在一些實(shí)施例中，所述方法還包含至少部分地基于相加步驟計(jì)算所接收的圖像的積分圖像。在一些實(shí)施例中，所述方法還包含將積分圖像轉(zhuǎn)發(fā)到軟件應(yīng)用程序以用于進(jìn)一步處理。在一些實(shí)施例中，設(shè)備包含包括圖像的多行傳感器元件的傳感器元件陣列、緩沖器、加法器電路及處理器。所述處理器經(jīng)配置以依序地確定用于多個(gè)行中的一者內(nèi)的每一傳感器元件的傳感器元件值。處理器還經(jīng)配置以，與確定用于每一傳感器元件的傳感器元件值同時(shí)，將用于所述行內(nèi)的每一傳感器元件的傳感器元件值復(fù)制到緩沖器。所述處理器經(jīng)進(jìn)一步配置以經(jīng)由加法器電路將緩沖器中的傳感器元件值與傳感器元件值的先前求和相加，其中傳感器元件值的先前求和表示用于在傳感器元件陣列中的所述行之前的所述多個(gè)行中的每一者的傳感器元件值的總和。

在一些實(shí)施例中，用于有效地計(jì)算CV運(yùn)算的方法包含接收包括傳感器元件陣列的原始圖像，所述傳感器元件陣列包括多行傳感器元件。所述方法還包含基于所接收的原始圖像計(jì)算1-D積分圖像，其中1-D積分圖像中的每一傳感器元件具有基于以下兩者的傳感器元件值：所接收的原始圖像中的對(duì)應(yīng)傳感器元件值；及對(duì)應(yīng)的所接收的原始圖像中的同一行傳感器元件中在特定方向上的所有傳感器元件的值。所述方法另外包含通過逐行地計(jì)算CV運(yùn)算來執(zhí)行對(duì)應(yīng)于具有經(jīng)疊加在原始圖像上方的任意旋轉(zhuǎn)的形狀的CV運(yùn)算，其中對(duì)于每一行，基于來自所述行的1-D積分圖像的第一端傳感器元件值及來自所述行的1-D積分圖像的第二端傳感器元件值來計(jì)算CV運(yùn)算。

在一些實(shí)施例中，所述形狀為矩形。在一些實(shí)施例中，所述第一端為所述形狀的邊界內(nèi)的最左邊邊緣，且所述第二端為所述形狀的邊界內(nèi)的最右邊邊緣。

某些實(shí)例方法可包含：接收?qǐng)D像；訪問包括圖像的多行傳感器元件的傳感器元件陣列；將用于來自多行的一行的傳感器元件值復(fù)制到第一緩沖器中的對(duì)應(yīng)行中；及將傳感器元件值寫入到第二緩沖器，其中第二緩沖器中的每一傳感器元件值等于第一緩沖器中的對(duì)應(yīng)傳感器元件值與在第一緩沖器中的對(duì)應(yīng)傳感器元件值之前的所有傳感器元件值的總和。計(jì)算所接收的圖像的積分圖像可至少部分地基于寫入步驟。積分圖像可轉(zhuǎn)發(fā)到軟件應(yīng)用程序以用于進(jìn)一步處理。

某些傳感器設(shè)備可包含傳感器元件陣列及緩沖器、加法器電路以及用于將來自多行的一行的傳感器讀數(shù)復(fù)制到第一緩沖器中的對(duì)應(yīng)行中的處理器，且將傳感器元件值寫入到第二緩沖器，其中第二緩沖器中的每一傳感器讀數(shù)值等于第一緩沖器中的對(duì)應(yīng)傳感器讀數(shù)值與在第一緩沖器中的對(duì)應(yīng)傳感器讀數(shù)值之前的所有傳感器讀數(shù)值的總和。

用于有效地計(jì)算CV運(yùn)算的另一實(shí)例方法可包含：接收包括傳感器元件陣列的原始圖像，所述傳感器元件陣列包括多行傳感器元件；基于所接收的原始圖像計(jì)算1-D積分圖像，其中1-D積分圖像中的每一傳感器元件具有基于以下兩者的傳感器元件值：所接收的原始圖像中的對(duì)應(yīng)傳感器元件值；及對(duì)應(yīng)的所接收的原始圖像中的同一行傳感器元件中的在特定方向上的所有傳感器元件的值；以及通過逐行地計(jì)算CV運(yùn)算來執(zhí)行對(duì)應(yīng)于具有經(jīng)疊加在原始圖像上方的任意旋轉(zhuǎn)的形狀的CV運(yùn)算，其中對(duì)于每一行，基于來自所述行的1-D積分圖像的第一端傳感器元件值及來自所述行的1-D積分圖像的第二端傳感器元件值來計(jì)算CV運(yùn)算。所述形狀可為矩形。所述第一端可為所述形狀的邊界內(nèi)的最左邊邊緣，且所述第二端可為所述形狀的邊界內(nèi)的最右邊邊緣。

圖15A及15B說明用于使用類哈爾(Haar)特征的面部檢測(cè)的現(xiàn)有方法。圖15A及15B中所說明的圖可使用維奧拉-瓊斯算法及類哈爾特征以在圖像內(nèi)檢測(cè)面部。

類哈爾特征考慮圖像內(nèi)的檢測(cè)窗口中的特定部位處的鄰近矩形區(qū)，對(duì)每一區(qū)中的傳感器元件強(qiáng)度進(jìn)行求和及計(jì)算這些總和之間的差。簡(jiǎn)單的矩形類哈爾特征可經(jīng)界定為矩形內(nèi)部的區(qū)域的傳感器元件的總和的差，所述矩形在所述原始圖像內(nèi)可在任何位置處且呈任何比例。此差接著用于分類圖像的子區(qū)段。舉例來說，用于面部檢測(cè)的共用類哈爾特征為處于眼睛及臉頰區(qū)上方的兩個(gè)鄰近矩形的集合。相對(duì)于像目標(biāo)對(duì)象(在此狀況下為面部)的限界框一樣起作用的檢測(cè)窗口界定這些矩形的位置。圖15A中描繪兩個(gè)鄰近矩形的實(shí)例。經(jīng)確定在左邊“黑色”區(qū)中的傳感器元件的數(shù)目可乘以-1，且經(jīng)確定在右邊“白色”區(qū)中的傳感器元件的數(shù)目可乘以+1。這兩個(gè)數(shù)字接著可一起進(jìn)行求和以獲得受到含有鄰近矩形的窗口限界的圖像的區(qū)的傳感器元件值?？舍槍?duì)窗口內(nèi)(或在一些狀況下，窗口的子窗口內(nèi))的每一鄰近矩形對(duì)重復(fù)此操作。

在維奧拉-瓊斯算法的檢測(cè)階段中，在輸入圖像上方移動(dòng)目標(biāo)大小的窗口，且針對(duì)圖像的每一子區(qū)段計(jì)算類哈爾特征。接著比較所述差與將非對(duì)象與對(duì)象分離的已得知閾值。因?yàn)榇祟惞柼卣鲀H為薄弱的學(xué)習(xí)者或分類器(其檢測(cè)質(zhì)量稍微比隨機(jī)猜測(cè)好)，所以大量類哈爾特征對(duì)于以充分準(zhǔn)確度描述對(duì)象為必要的。因此，在維奧拉-瓊斯算法中，在被稱作分類器級(jí)聯(lián)的某物中組織類哈爾特征以形成強(qiáng)大的學(xué)習(xí)者或分類器。然而，維奧拉-瓊斯算法利用2-D積分，且具有任意角度的矩形無法與經(jīng)對(duì)準(zhǔn)矩形一樣有效地予以計(jì)算。

圖15B中描繪可由維奧拉-瓊斯算法使用的各種鄰近矩形。舉例來說，鄰近矩形可用于檢測(cè)圖像中的邊緣特征(例如，1a、1b、1c、1d)。在另一實(shí)例中，多個(gè)鄰近矩形可用于檢測(cè)圖像中的線特征(例如，2a、2b、2c、2d、2e、2f、2g、2h)。在又一實(shí)例中，矩形內(nèi)所含有的矩形可用于檢測(cè)圖像中的環(huán)繞中心的特征(例如，3a、3b)。在又一實(shí)例中，多個(gè)矩形可經(jīng)布置以檢測(cè)圖像中的特殊對(duì)角線特征(例如，4)。

然而，如可在圖像中看出，含有矩形的窗口中的每一者在預(yù)定角度(例如，90度或45度)下對(duì)準(zhǔn)。含有矩形的窗口不在任意角度下旋轉(zhuǎn)。如上文所提及，現(xiàn)有維奧拉-瓊斯算法在矩形在任意角度下旋轉(zhuǎn)的情況下可不能夠有效地檢測(cè)特征。

圖16A及16B說明遍及圖像計(jì)算2-D積分的現(xiàn)有方法的實(shí)例。歸因于所要求的大量計(jì)算，上文關(guān)于圖15A及15B所描述的矩形中的傳感器元件的數(shù)目的求和可為無效的。使用2-D積分可允許更高效的計(jì)算來確定用于受到含有鄰近矩形的窗口限界的圖像的區(qū)的傳感器元件值。如圖16A中所展示，對(duì)于任何給定x-y坐標(biāo)，可對(duì)x-y坐標(biāo)的在頂部且左邊的范圍(由陰影區(qū)說明)中的傳感器元件的數(shù)目進(jìn)行求和。此區(qū)中的傳感器元件值的此總和可經(jīng)保留以用于計(jì)算效率，圖16B中的實(shí)例說明此情形。在圖16B中，四個(gè)不同子窗口存在于所述窗口內(nèi)。這些子窗口中的每一者可含有多個(gè)鄰近矩形。另外，圖中說明x-y坐標(biāo)(例如，1、2、3及4)。然而，子窗口的先前計(jì)算可重新用于其它子窗口的未來計(jì)算。

舉例來說，可通過從x-y坐標(biāo)4減去x-y坐標(biāo)2及x-y坐標(biāo)3的值且接著將x-y坐標(biāo)1與x-y坐標(biāo)4相加來計(jì)算子窗口“D”的傳感器元件的總和。換句話說：總和(‘D’)＝值(‘4’)-值(‘2’)-值(‘3’)+值(‘1’)。因此，僅要求四個(gè)查詢以確定子窗口“D”的傳感器元件的總和。相較于關(guān)于圖15A及圖15B所描述的求和方法，此計(jì)算方法可改善計(jì)算效率，這是因?yàn)椴灰笥糜诿恳粋€(gè)別特征的求和。然而，此方法在矩形在任意角度下旋轉(zhuǎn)的情況下仍可不能夠有效地檢測(cè)特征。

圖17A到17D說明遍及經(jīng)旋轉(zhuǎn)矩形計(jì)算2-D積分的現(xiàn)有方法的實(shí)例。林哈特(Lienhart)等人已將關(guān)于圖17A及17B所描述的積分圖像計(jì)算擴(kuò)展到經(jīng)旋轉(zhuǎn)矩形(參見林哈特賴納(Rainer Lienhart)及約亨梅特(Jochen Maydt),用于快速對(duì)象檢測(cè)的類哈爾特征的經(jīng)擴(kuò)展集合,2002年)。圖17A展示與圖16A中所展示的內(nèi)容相似的直立經(jīng)求和區(qū)域表(SAT)。然而，圖17B說明經(jīng)旋轉(zhuǎn)經(jīng)求和區(qū)域表(RSAT)。在此實(shí)例中，RSAT為45度經(jīng)旋轉(zhuǎn)積分圖像。對(duì)RSAT執(zhí)行圖16A及16B中所描述的2-D積分運(yùn)算將計(jì)算經(jīng)旋轉(zhuǎn)拐角(例如，TSAT(x,y))中的傳感器元件值的總和。圖17C展示傳統(tǒng)經(jīng)對(duì)準(zhǔn)矩形的傳感器元件總和的計(jì)算方案，而圖17D展示經(jīng)旋轉(zhuǎn)矩形的傳感器元件總和的計(jì)算方案?！?”符號(hào)說明從TSAT(x,y)處的傳感器元件值減去的區(qū)域，且“+”符號(hào)說明與TSAT(x,y)處的傳感器元件值相加的區(qū)域。

此方法可提供用以計(jì)算的類哈爾特征的較豐富集合。然而，預(yù)定角度，且因此，所述方法仍可致力于有效地計(jì)算具有任意旋轉(zhuǎn)角度的矩形。此外，可需要預(yù)定旋轉(zhuǎn)角度(例如，單位整數(shù)旋轉(zhuǎn)角度)以使現(xiàn)有解決方案起作用(參見克里斯梅森(Chris Messom)及安德烈巴克扎克(Andre Barczak),使用經(jīng)旋轉(zhuǎn)積分圖像的快速及有效經(jīng)旋轉(zhuǎn)類哈爾特征,2006年)。

使用1-D積分計(jì)算任意角度的傳感器元件值總和

圖18A到18B說明根據(jù)一些實(shí)施方案的使用1-D積分以用于計(jì)算具有任意角度的矩形區(qū)域。如上文所描述，簡(jiǎn)單求和或使用2-D積分的求和以計(jì)算任意角度的現(xiàn)有方法可不與計(jì)算經(jīng)對(duì)準(zhǔn)矩形一樣有效。雖然已進(jìn)行了一些改善以計(jì)算用于具有預(yù)定旋轉(zhuǎn)的矩形的傳感器元件總和值，但這些方法仍無法有效地計(jì)算用于具有任意角度的矩形的傳感器元件總和值。當(dāng)矩形具有任意旋轉(zhuǎn)角度時(shí)，使用2-D積分可產(chǎn)生數(shù)千個(gè)角度，其中可需要針對(duì)積分圖像計(jì)算每一角度。

然而，使用1-D積分以用于計(jì)算用于具有任意旋轉(zhuǎn)的矩形的傳感器元件總和值可用于加速。此外，此方法可以硬件實(shí)施。圖18A展示1-D積分圖像內(nèi)的在任意旋轉(zhuǎn)角度下的矩形。可基于原始圖像計(jì)算1-D積分圖像。一旦計(jì)算出1-D積分圖像，所述矩形(例如，類哈爾特征模板，或用于多塊LBP的塊)隨即可經(jīng)疊加在1-D積分圖像上方。除用于在同一行內(nèi)的特定傳感器元件左邊的每一傳感器元件的傳感器元件值之外，用于積分圖像中的每一傳感器元件的每一傳感器元件值還可包含用于特定傳感器元件的傳感器元件值。為了計(jì)算用于矩形(由加陰影的傳感器元件指示)內(nèi)的傳感器元件的傳感器元件值的總和，可確定用于每一行的對(duì)應(yīng)于矩形的傳感器元件值的總和(圖18B中說明此情形)。用于每一行的傳感器元件值可通過從所述矩形內(nèi)的所述行的最右邊傳感器元件的傳感器元件值減去所述矩形內(nèi)的所述行的最左邊傳感器元件的傳感器元件值來予以確定。此計(jì)算將產(chǎn)生用于所述矩形內(nèi)的特定行中的所有傳感器元件的傳感器元件值的總和?；旧希褂糜糜诿恳恍械木匦蔚摹斑吔纭币源_定用于整個(gè)行的傳感器元件總和值?？舍槍?duì)水平傳感器元件線及垂直傳感器元件線兩者完成此操作。每一新的傳感器元件值與在同一行中的特定傳感器元件左邊的傳感器元件值的先前結(jié)果相加。雖然所要求的查詢的數(shù)目可相對(duì)于二維積分圖像增加，但所述方法可仍在計(jì)算上較有效，這是因?yàn)椴恍枰獙?duì)所有圖像值個(gè)別地求和。

圖19說明根據(jù)一些實(shí)施方案的在硬件中計(jì)算1-D積分圖像。所展示的硬件描繪傳感器元件陣列(經(jīng)標(biāo)注為“像素陣列”)、讀出緩沖器及積分計(jì)算緩沖器?？蓪碜詡鞲衅髟嚵兄械拿恳恍械碾妷褐底x出到讀出緩沖器中。舉例來說，將行N的電壓值讀出到讀出緩沖器中。可從左到右(或從右到左)讀出所述行中的每一傳感器元件且以光柵化方式將其發(fā)送到讀出緩沖器。每一傳感器元件值可發(fā)送到讀出緩沖器，且接著所述過程可針對(duì)下一行N+1重復(fù)。

可了解，實(shí)施方案允許通過以光柵化方式連續(xù)讀出圖像中的所有傳感器元件來從相機(jī)傳感器直接讀出積分圖像。由讀出緩沖器接收的每一新的傳感器元件值可通過積分計(jì)算緩沖器與同一行中的先前經(jīng)讀出傳感器元件的先前傳感器元件總和值相加以獲得積分圖像。

積分圖像接著可發(fā)送到硬件(例如，圖3B的掃描窗口陣列318或CV計(jì)算硬件312)以用于存儲(chǔ)或用于CV計(jì)算。替代或另外地，一維積分圖像可發(fā)送到軟件，所述軟件可確定其想要基于所接收的積分圖像評(píng)估哪些矩形?？闪私?，在硬件中計(jì)算積分圖像提供優(yōu)于在軟件中計(jì)算積分圖像的優(yōu)點(diǎn)(例如效率)。亦可了解，此方法可能夠?qū)嶋H上計(jì)算在任意角度下的任何矩形，且可不需要經(jīng)預(yù)定旋轉(zhuǎn)角度的表。另外，此方法可提供所述矩形的較多經(jīng)改進(jìn)角度，而不是必須依賴于所述矩形的預(yù)定角度。最終，此可產(chǎn)生經(jīng)改善的面部檢測(cè)及其它CV應(yīng)用程序。

圖20說明根據(jù)一些實(shí)施方案的用于計(jì)算1-D積分的硬件實(shí)施方案。硬件實(shí)施方案包含圖19中所展示的傳感器元件陣列(經(jīng)標(biāo)注為“像素陣列”)、讀出緩沖器及積分計(jì)算緩沖器。另外，硬件實(shí)施方案包含加法器電路(例如，8位加法器電路)。在傳感器元件逐傳感器元件地將傳感器元件的行(例如，行N)讀出到讀出緩沖器中(如關(guān)于圖19所描述)之后，可將“數(shù)據(jù)輸出”輸入到加法器電路中(從左到右)。加法器電路將來自讀出緩沖器的輸入“數(shù)據(jù)輸出”與來自加法器電路的先前“數(shù)據(jù)輸出”相加。相加的結(jié)果接著可為新的“數(shù)據(jù)輸出”。因此，來自加法器電路的“數(shù)據(jù)輸出”可為用于行N的經(jīng)讀出直到所述點(diǎn)的傳感器元件值的本求和。來自加法器電路的“數(shù)據(jù)輸出”接著可存儲(chǔ)于積分計(jì)算緩沖器中。此過程可繼續(xù)，直到行N中的所有傳感器元件的讀出已耗盡為止。在一些實(shí)施方案中，可將“數(shù)據(jù)輸出”存儲(chǔ)到(例如)圖3B的掃描窗口陣列318中。

圖21說明并有在實(shí)踐本發(fā)明的實(shí)施例時(shí)所使用的裝置及傳感器100的部分的實(shí)例計(jì)算裝置。舉例來說，計(jì)算裝置2100可表示移動(dòng)裝置或任何其它計(jì)算裝置的組件中的一些。計(jì)算裝置2100的實(shí)例包含但不限于桌上型計(jì)算機(jī)、工作站、個(gè)人計(jì)算機(jī)、超級(jí)計(jì)算機(jī)、視頻游戲控制臺(tái)、平板計(jì)算機(jī)、智能電話、膝上型計(jì)算機(jī)、上網(wǎng)本或其它便攜式裝置。圖21提供計(jì)算裝置2100的一個(gè)實(shí)施例的示意性說明，所述計(jì)算裝置可執(zhí)行如本文中所描述的各種其它實(shí)施例提供的方法，及/或可充當(dāng)主機(jī)計(jì)算裝置、遠(yuǎn)程公用信息機(jī)/終端、銷售點(diǎn)裝置、移動(dòng)多功能裝置、機(jī)頂盒及/或計(jì)算裝置。圖21僅意圖提供對(duì)各種組件的一般化說明，可在視需要利用所述組件中的任一者或全部。因此，圖21廣泛地說明可如何以相對(duì)分離或相對(duì)較集成的方式實(shí)施個(gè)別系統(tǒng)元件。

展示計(jì)算裝置2100，其包括可經(jīng)由總線2105電耦合(或可以其它方式視需要通信)的硬件元件。所述硬件元件可包含：一或多個(gè)處理器2110，其包含但不限于一或多個(gè)通用處理器及/或一或多個(gè)專用處理器(例如數(shù)字信號(hào)處理芯片、圖形加速處理器及/或其類似者)；一或多個(gè)輸入裝置2115，其可包含但不限于一或多個(gè)相機(jī)傳感器2150、鼠標(biāo)、鍵盤及/或其類似者；以及一或多個(gè)輸出裝置2120，其可包含但不限于顯示單元、打印機(jī)及/或其類似者。傳感器2150模塊可包含視覺傳感器、嗅覺傳感器及/或化學(xué)傳感器。在一些實(shí)施方案中，傳感器2150可對(duì)應(yīng)于參考圖1、3A、3B、4A、4B、5、6、11及12所描述的傳感器元件陣列。

計(jì)算裝置2100可進(jìn)一步包含以下各者(及/或與以下各者通信)：一或多個(gè)非暫時(shí)性存儲(chǔ)裝置2125，所述非暫時(shí)性存儲(chǔ)裝置可包括但不限于本地及/或網(wǎng)絡(luò)可存取的存儲(chǔ)裝置，及/或可包含但不限于磁盤驅(qū)動(dòng)器、驅(qū)動(dòng)陣列、光學(xué)存儲(chǔ)裝置、例如隨機(jī)存取存儲(chǔ)器(“RAM”)及/或只讀存儲(chǔ)器(“ROM”)的固態(tài)存儲(chǔ)裝置，其可為可編程的、可快閃更新的及/或其類似者。此類存儲(chǔ)裝置可經(jīng)配置以實(shí)施任何適當(dāng)數(shù)據(jù)存儲(chǔ)，包含但不限于各種文件系統(tǒng)、數(shù)據(jù)庫(kù)結(jié)構(gòu)及/或其類似者。

計(jì)算裝置2100也可包含通信子系統(tǒng)2130。通信子系統(tǒng)2130可包含用于接收及發(fā)射數(shù)據(jù)的收發(fā)器或有線及/或無線媒體。通信子系統(tǒng)2130還可包含但不限于調(diào)制解調(diào)器、網(wǎng)卡(無線或有線)、紅外線通信裝置、無線通信裝置及/或芯片組(例如，BluetoothTM裝置、802.11裝置、WiFi裝置、WiMax裝置、蜂窩式通信設(shè)施等)及/或其類似者。通信子系統(tǒng)2130可準(zhǔn)許與網(wǎng)絡(luò)(例如，作為一個(gè)實(shí)例，下文所描述的網(wǎng)絡(luò))、其它計(jì)算裝置及/或本文中所描述的任何其它裝置交換數(shù)據(jù)。在許多實(shí)施例中，計(jì)算裝置2100將進(jìn)一步包括非暫時(shí)性工作存儲(chǔ)器2135，其可包含如上文所描述的隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)裝置。

計(jì)算裝置2100可包括展示為當(dāng)前位于工作存儲(chǔ)器2135內(nèi)的軟件元件，所述工作存儲(chǔ)器包含操作系統(tǒng)2140、裝置驅(qū)動(dòng)器、可執(zhí)行庫(kù)及/或例如一或多個(gè)應(yīng)用程序2145的其它代碼，所述代碼可包括由各種實(shí)施例所提供的計(jì)算機(jī)程序及/或可經(jīng)設(shè)計(jì)以實(shí)施由其它實(shí)施例所提供的方法及/或配置由其它實(shí)施例所提供的系統(tǒng)，如本文中所描述。僅僅借助于實(shí)例，關(guān)于上文所論述的方法所描述的一或多個(gè)程序可實(shí)施為可由計(jì)算機(jī)(及/或計(jì)算機(jī)內(nèi)的處理器)執(zhí)行的代碼及/或指令；在一方面中，這些代碼及/或指令接著可用以配置及/或調(diào)適通用計(jì)算機(jī)(或其它裝置)以根據(jù)所描述方法執(zhí)行一或多個(gè)操作。

一組這些指令及/或代碼可存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)媒體(例如，上文所描述的存儲(chǔ)裝置2125)上。在一些狀況下，存儲(chǔ)媒體可并入例如計(jì)算裝置2100的計(jì)算裝置內(nèi)。在其它實(shí)施例中，存儲(chǔ)媒體可與計(jì)算裝置分離(例如，可裝卸式媒體，例如壓縮光盤)，及/或提供于安裝包中，使得存儲(chǔ)媒體可用以編程、配置及/或調(diào)適上面存儲(chǔ)有指令/代碼的通用計(jì)算機(jī)。這些指令可呈可由計(jì)算裝置2100執(zhí)行的可執(zhí)行代碼的形式，及/或可呈源及/或可安裝代碼的形式，所述源及/或可安裝代碼在計(jì)算裝置2100上編譯及/或安裝于計(jì)算裝置2100上(例如，使用多種通常可用編譯程序、安裝程序、壓縮/解壓縮公用程序等中的任一者)后，接著呈可執(zhí)行代碼的形式。

可根據(jù)特定要求作出相當(dāng)大的變化。舉例來說，還可使用定制硬件，且/或可將特定元件實(shí)施于硬件、軟件(包含便攜式軟件，例如小程序等)或兩者中。此外，可使用到其它計(jì)算裝置2100(例如，網(wǎng)絡(luò)輸入/輸出裝置)的連接。

一些實(shí)施例可使用計(jì)算裝置(例如計(jì)算裝置2100)以執(zhí)行根據(jù)本發(fā)明的方法。舉例來說，可由計(jì)算裝置2100響應(yīng)于處理器2110執(zhí)行工作存儲(chǔ)器2135中所含有的一或多個(gè)指令(其可并入到操作系統(tǒng)2140及/或其它代碼中，例如應(yīng)用程序2145)的一或多個(gè)序列而執(zhí)行所描述的方法的程序中的一些或全部?？蓪⒋祟愔噶顝牧硪挥?jì)算機(jī)可讀媒體(例如，存儲(chǔ)裝置2125中的一或多者)讀取到工作存儲(chǔ)器2135中。僅借助于實(shí)例，工作存儲(chǔ)器2135中所含有的指令的序列的執(zhí)行可使得處理器2110執(zhí)行本文中所描述的方法的一或多個(gè)程序。

如本文中所使用，術(shù)語(yǔ)“機(jī)器可讀媒體”及“計(jì)算機(jī)可讀媒體”指參與提供使機(jī)器以特定方式操作的數(shù)據(jù)的任何媒體。在使用計(jì)算裝置2100實(shí)施的實(shí)施例中，各種計(jì)算機(jī)可讀媒體可涉及將指令/代碼提供到處理器2110以用于執(zhí)行，及/或可用于存儲(chǔ)及/或攜載此類指令/代碼(例如，作為信號(hào))。在許多實(shí)施方案中，計(jì)算機(jī)可讀媒體為物理及/或有形存儲(chǔ)媒體。此類媒體可呈許多形式，包含但不限于非易失性媒體、易失性媒體以及發(fā)射媒體。非易失性媒體包含(例如)光盤及/或磁盤，例如存儲(chǔ)裝置2125。易失性媒體包含但不限于例如工作存儲(chǔ)器2135的動(dòng)態(tài)存儲(chǔ)器。發(fā)射媒體包含但不限于同軸電纜、銅線及光纖，包含包括總線2105的電線，以及通信子系統(tǒng)2130的各種組件(及/或供通信子系統(tǒng)2130提供與其它裝置的通信的媒體)。因此，發(fā)射媒體還可呈波的形式(包含但不限于無線電、聲波及/或光波，例如在無線電波及紅外線數(shù)據(jù)通信期間產(chǎn)生的那些波)。在替代實(shí)施例中，可使用事件驅(qū)動(dòng)組件及裝置(例如相機(jī))，其中所述處理中的一些可在模擬域中執(zhí)行。

物理及/或有形計(jì)算機(jī)可讀媒體的常見形式包含(例如)軟盤、軟磁盤、硬盤、磁帶或任何其它磁性媒體、只讀光盤(CD-ROM)、任何其它光學(xué)媒體、穿孔卡、紙帶、具有穿孔模式的任何其它物理媒體、隨機(jī)存取存儲(chǔ)器(RAM)、可編程只讀存儲(chǔ)器(PROM)、可抹除可編程只讀存儲(chǔ)器(EPROM)、快閃EPROM、任何其它存儲(chǔ)器芯片或卡盤、如下文中所描述的載波，或計(jì)算機(jī)可從其讀取指令及/或代碼的任何其它媒體。

各種形式的計(jì)算機(jī)可讀媒體可涉及將一或多個(gè)指令的一或多個(gè)序列攜載到處理器2110以用于執(zhí)行。僅僅借助于實(shí)例，最初可將指令攜載于遠(yuǎn)程計(jì)算機(jī)的磁盤及/或光盤上。遠(yuǎn)程計(jì)算機(jī)可將所述指令加載到其動(dòng)態(tài)存儲(chǔ)器中，并經(jīng)由發(fā)射媒體將所述指令作為信號(hào)發(fā)送以由計(jì)算裝置2100接收及/或執(zhí)行。根據(jù)本發(fā)明的各種實(shí)施例，可呈電磁信號(hào)、聲學(xué)信號(hào)、光學(xué)信號(hào)及/或其類似者的形式的這些信號(hào)均為可在上面編碼指令的載波的實(shí)例。

通信子系統(tǒng)2130(及/或其組件)通常將接收信號(hào)，且總線2105可接著將信號(hào)(及/或由信號(hào)所攜載的數(shù)據(jù)、指令等)攜載到處理器2110從其檢索并執(zhí)行指令的工作存儲(chǔ)器2135。由工作存儲(chǔ)器2135接收的指令在由處理器2110執(zhí)行之前或之后可任選地存儲(chǔ)在非暫時(shí)性存儲(chǔ)裝置2125上

上文所論述的方法、系統(tǒng)及裝置為實(shí)例。各種實(shí)施例可視需要省略、取代或添加各種程序或組件。舉例來說，在替代配置中，所描述的方法可以不同于所描述的次序來執(zhí)行，及/或可添加、省略及/或組合各級(jí)。并且，可在各種其它實(shí)施例中組合關(guān)于某些實(shí)施例描述的特征?？梢韵嗨品绞浇M合實(shí)施例的不同方面及元素。并且，技術(shù)演進(jìn)，且因此，許多元件為實(shí)例，其并不將本發(fā)明的范圍限于那些特定實(shí)例。

在描述中給出特定細(xì)節(jié)以提供對(duì)實(shí)施例的透徹理解。然而，可在沒有這些特定細(xì)節(jié)的情況下實(shí)施實(shí)施例。舉例來說，在沒有不必要的細(xì)節(jié)的情況下展示眾所周知的電路、過程、算法、結(jié)構(gòu)及技術(shù)以便避免混淆所述實(shí)施例。此描述僅提供實(shí)例實(shí)施例，且并不意圖限制本發(fā)明的范圍、適用性或配置。相反地，實(shí)施例的前述描述將為所屬領(lǐng)域的技術(shù)人員提供用于實(shí)施本發(fā)明的實(shí)施例的啟迪性描述?？稍诓幻撾x本發(fā)明的精神及范圍的情況下對(duì)元件的功能及布置做出各種改變。

并且，將一些實(shí)施例描述為以流程圖或框圖形式描繪的過程。盡管每一流程圖或框圖可將操作描述為依序過程，但許多操作可并行地或同時(shí)執(zhí)行。此外，操作的次序可重新布置。過程可具有未包含在圖中的額外步驟。此外，可由硬件、軟件、固件、中間件、微碼、硬件描述語(yǔ)言或其任何組合來實(shí)施方法的實(shí)施例。當(dāng)在軟件、固件、中間件或微碼中實(shí)施時(shí)，用以執(zhí)行相關(guān)聯(lián)任務(wù)的程序代碼或代碼段可存儲(chǔ)在計(jì)算機(jī)可讀媒體(例如存儲(chǔ)媒體)中。處理器可執(zhí)行相關(guān)聯(lián)任務(wù)。

在已描述若干實(shí)施例的情況下，可在不脫離本發(fā)明的精神的情況下使用各種修改、替代構(gòu)造及等效物。舉例來說，以上元件可僅為較大系統(tǒng)的組件，其中其它規(guī)則可優(yōu)先于本發(fā)明的應(yīng)用或以其它方式修改本發(fā)明的應(yīng)用。并且，可在考慮以上元件之前、期間或之后進(jìn)行數(shù)個(gè)步驟。因此，以上描述不限制本發(fā)明的范圍。