用于特征搜索的系統(tǒng)、裝置和方法
【專利說明】用于特征搜索的系統(tǒng)、裝置和方法 發(fā)明領(lǐng)域
[0001] 本發(fā)明的領(lǐng)域一般設(shè)及計(jì)算機(jī)處理器架構(gòu)，并且更具體地設(shè)及特征捜索。
【背景技術(shù)】
[0002] 存在許多應(yīng)用，其中希望快速和有效地最近鄰捜索數(shù)據(jù)集的多維特征（點(diǎn)）。例 如，該種類型的捜索有利于諸如圖像重建和機(jī)器學(xué)習(xí)之類的領(lǐng)域。存在最近鄰數(shù)據(jù)集捜索 的若干方法。在最近鄰捜索中，給定空間中的一組點(diǎn)和輸入實(shí)例（查詢點(diǎn)），進(jìn)行捜索W發(fā) 現(xiàn)集之中離輸入實(shí)例最近的點(diǎn)。
【附圖說明】
[0003] 在附圖的圖中通過示例而非限制的方式示出本發(fā)明，其中相同的標(biāo)號(hào)指示類似的 元件，其中：
[0004] 圖1示出具有多個(gè)特征（點(diǎn)）的特征空間的Voronoi圖的示例，其中對(duì)于Voronoi 區(qū)域中的任何點(diǎn)，最接近的特征是該區(qū)域中的特征（由黑點(diǎn)表示）。
[0005] 圖2示出示例性的基于iCAM的系統(tǒng)的實(shí)施例。
[0006] 圖3 (a)-(b)示出在iCAM實(shí)現(xiàn)中的原始和隨機(jī)子采樣的詞典的實(shí)施例。
[0007] 圖4(a)-(b)示出輸入實(shí)例和特征詞典的實(shí)施例。
[000引圖5示出用于關(guān)注的情境的邊界框的實(shí)施例。
[0009] 圖6示出二維空間（R2)中的示例性邊界框。
[0010] 圖7示出示例性的3-D邊界框。
[0011] 圖8示出非重疊的邊界框的示例。
[0012] 圖9示出用于發(fā)現(xiàn)最佳匹配的0MP方法的實(shí)施例。
[0013] 圖10示出0MP的示例性應(yīng)用。
[0014] 圖11示出使用角度W在每一次迭代中標(biāo)識(shí)最佳匹配特征的0MP的示例。
[0015] 圖12示出僅使用特征向量的正版本的示例性的iCAM 0MP實(shí)現(xiàn)。
[0016] 圖13示出根據(jù)一些實(shí)施例的用于使用匹配追蹤（"MP"或"CoSaMP")標(biāo)識(shí)特征的 方法。
[0017] 圖14(A)-炬）示出MP計(jì)算。
[00化]圖15(a)-(b)示出示例性的并行多維iCAM查找和輸入實(shí)例。
[0019] 圖16(a)-(b)示出示例性的特征間隔映射和iCAM條目。
[0020] 圖17(a)-化）分別示出在間隔重寫之后特征間隔映射的之前和之后的外觀。
[0021] 圖18示出示例性的多維查找。
[0022] 圖19示出示例性的多維iCAM方案。
[0023] 圖20示出用于特征間隔的高效編碼的方法的實(shí)施例。
[0024] 圖21示出五個(gè)特征（和它們的間隔）的示例，W及被選擇作為iCAM中的條目。
[0025] 圖22示出用于圖21中的五個(gè)特征的iCAM條目。
[0026] 圖23示出在iCAM中不關(guān)屯、（don'tcares)的使用的示例。
[0027] 圖24示出在投票中使用的五個(gè)4維特征的示例。
[002引圖25示出在維度上投票的示例。
[0029] 圖26 (a)-(c)示出CAM單元的示例性實(shí)施例。
[0030] 圖27示出對(duì)于維度上給定輸入的iRAM操作與基于TCAM的實(shí)現(xiàn)的對(duì)比。
[0031] 圖28示出滬個(gè)特征，a、b、C等，具有維度上的其特征間隔。
[0032] 圖29示出使用上面詳述的iCAM原理的高級(jí)別方法的實(shí)施例。
[0033] 圖30示出使用多個(gè)iCAM和多個(gè)核的基于iCAM的架構(gòu)的實(shí)施例。
[0034] 圖31示出用于使用多個(gè)核和相關(guān)聯(lián)的iCAM的方法的實(shí)施例。
[0035] 圖32示出用于iSearch的方法的實(shí)施例。
[0036] 圖33 (A)-似示出iCAM條目的示例性實(shí)施例。
[0037] 圖34(A)-化）示出利用iCAM的設(shè)備和系統(tǒng)的各種實(shí)施例。
[0038] 圖35是根據(jù)本發(fā)明的一個(gè)實(shí)施例的寄存器架構(gòu)的框圖。
[0039] 圖36A是示出根據(jù)本發(fā)明實(shí)施例的示例性有序流水線和示例性寄存器重命名的 無序發(fā)布/執(zhí)行流水線二者的框圖。
[0040] 圖36B是示出根據(jù)本發(fā)明實(shí)施例的將包括在處理器中的有序架構(gòu)核的示例性實(shí) 施例和示例性的寄存器重命名無序的發(fā)布/執(zhí)行架構(gòu)核的框圖。
[0041] 圖37A-B示出更具體的示例性有序核架構(gòu)的框圖，該核將是巧片中若干邏輯塊之 一（包括相同類型和/或不同類型的其它核）。
[0042] 圖38是根據(jù)本發(fā)明實(shí)施例的可能具有一個(gè)W上的核、可能具有集成存儲(chǔ)器控制 器W及可能具有集成圖形的處理器的框圖。
[0043] 圖39-42是示例性計(jì)算機(jī)架構(gòu)的框圖。
[0044] 圖43是根據(jù)本發(fā)明實(shí)施例的對(duì)照使用軟件指令轉(zhuǎn)換器W將源指令集中的二進(jìn)制 指令轉(zhuǎn)換為目標(biāo)指令集中的二進(jìn)制指令的框圖。
[0045] 圖44 (A)-炬）示出示例性角坐標(biāo)。
[0046] 圖45(A)-(C)不出角特征間隔和邊界框的不例。
【具體實(shí)施方式】
[0047] 在W下的描述中，闡述許多具體細(xì)節(jié)。然而，應(yīng)當(dāng)理解，本發(fā)明的實(shí)施例可能在沒 有該些具體細(xì)節(jié)的情況下實(shí)施。在其它實(shí)例中，公知的電路、結(jié)構(gòu)和技術(shù)沒有被詳細(xì)示出， W便不模糊對(duì)本說明書的理解。
[0048] 在說明書中對(duì)"一個(gè)實(shí)施例"、"實(shí)施例"、"示例性實(shí)施例"等的引用指示所描述的 實(shí)施例可能包括特定的特征、結(jié)構(gòu)或特性，但是每個(gè)實(shí)施例可能不一定包括該特定的特征、 結(jié)構(gòu)或特性。此外，該樣的短語不一定是指同一實(shí)施例。此外，當(dāng)結(jié)合實(shí)施例描述特定的特 征、結(jié)構(gòu)或特性時(shí)，無論是否明確地描述，應(yīng)當(dāng)認(rèn)為結(jié)合其它實(shí)施例W實(shí)現(xiàn)該樣的特征、結(jié) 構(gòu)或特性是在本領(lǐng)域技術(shù)人員的知識(shí)范圍內(nèi)。
[0049] 最近鄰捜索的方法是計(jì)算從輸入實(shí)例到數(shù)據(jù)集中每點(diǎn)的距離，并跟蹤最短距離。 然而，該種簡(jiǎn)單的方法對(duì)于較大數(shù)據(jù)集并不可行。距離計(jì)算可使用k維化-d)樹W每次一 個(gè)特征地執(zhí)行所有特征的詳盡檢查來完成。該種方法因此慢，并且另外具有高功耗。
[0化0] 另一個(gè)最近鄰方法使用Voronoi圖。圖1示出具有多個(gè)特征（點(diǎn)）的特征空間的 Voronoi圖的示例。每個(gè)Voronoi圖將平面劃分成相等的最近鄰調(diào)用單元的區(qū)域。該由多 個(gè)單元103示出，多個(gè)單元各自具有一個(gè)特征（點(diǎn)）101。理論上，使用Voronoi圖W在特定 小區(qū)中定位特征，可W為任何輸入實(shí)例發(fā)現(xiàn)"最佳匹配"特征。然而，正如所示的，Voronoi 單元是高度不規(guī)則的形狀，并且難W計(jì)算（它們是既時(shí)間密集的也處理器密集的）和使用。 換句話說，Voronoi圖自己不參與容易或有效的最近鄰特征捜索。
[005。 本發(fā)巧的連施例的高級(jí)別概i術(shù)
[0052] 本文詳述的是用于改進(jìn)的最近鄰捜索的系統(tǒng)、裝置和方法的實(shí)施例，改進(jìn)的最近 鄰捜索克服W上方法的缺點(diǎn)。簡(jiǎn)而言之，給定輸入（目P，觀察），在特征空間（即，特征的詞 典）中進(jìn)行對(duì)最佳匹配特征的捜索。該種方法特別適合于典型稀疏地在高維向量空間中呈 現(xiàn)（注意，在本說明書中的特征是向量，因此，特征和特征向量可互換使用）的特征向量。
[0053] 本文詳述的是特征捜索方法、系統(tǒng)和裝置的實(shí)施例，對(duì)于給定的輸入實(shí)例；（i)在 維度中并行查找對(duì)應(yīng)特征，然后，如果需要，（ii)組合結(jié)果，W確定對(duì)于該輸入的一個(gè)或多 個(gè)最佳匹配特征的集合。如下面將要詳述的，對(duì)情境的每個(gè)維度上的特征的間隔編碼方案 可用在特征捜索中。另外，在一些實(shí)施例中，捜索任務(wù)被劃分為至少兩個(gè)階段：階段（i)并 行處理所有維度W提供效率（例如，使用并行查找函數(shù)，諸如表或內(nèi)容可尋址存儲(chǔ)器），W 及階段（ii)允許組合來自各自的維度的捜索結(jié)果，W提供特征選擇策略的靈活性。在本說 明書中，描述多個(gè)特征查找方法、系統(tǒng)和裝置，其使用間隔編碼，并在可用于例如最近鄰捜 索的兩個(gè)階段的至少一個(gè)中執(zhí)行捜索任務(wù)。
[0化4] 在下面更徹底的處理之前，此處描述至少立個(gè)不同特征的查找方法，并且提供該 些查找方法的快速概述。該些查找方法使用一個(gè)或多個(gè)基于條目的捜索結(jié)構(gòu)，諸如內(nèi)容可 尋址存儲(chǔ)器（CAM)、捜索樹、存儲(chǔ)器等。第一特征查找方法是基于CAM的一種查找方法。CAM 是允許并行查找其內(nèi)容的物理設(shè)備。在計(jì)算設(shè)備中使用的CAM的一個(gè)普遍類型是轉(zhuǎn)換后備 緩沖器燈LB)。在一些實(shí)施例中，用于特征查找的CAM是；元CAM燈CAM)。然而，應(yīng)當(dāng)理解， 允許并行捜索的其它物理結(jié)構(gòu)也可下文關(guān)于CAM描述所詳述的方式使用。
[0055] 每個(gè)特征查找方法使用被稱為"間隔編碼"的技術(shù)。間隔編碼基于定義的維度間隔 間隔而允許特征查找的高效實(shí)現(xiàn)。第一種方法使用間隔內(nèi)容可尋址存儲(chǔ)器（iCAM)，間隔內(nèi) 容可尋址存儲(chǔ)器使用被稱為CAM的物理結(jié)構(gòu)。在一些實(shí)施例中，CAM被包括在處理器（CPU、 GPU、APU等）中，而在其它中是巧片組的一部分。并非和在常規(guī)方法中一樣為給定輸入計(jì)算 最佳匹配特征，給定輸入用于從CAM查找最佳匹配特征的索引（典型地，僅在一個(gè)CAM讀周 期中）。該種硬件輔助的查找可能是非?？焖俚?，并且顯著地快于通常在數(shù)據(jù)集中發(fā)現(xiàn)特征 所需的計(jì)算，并且可能更省電。雖然本文的討論利用硬件CAM,但是可使用提供類似功能的 其它方法。例如，樹捜索和散列設(shè)計(jì)可提供類似的功能（具有或沒有硬件輔助，諸如復(fù)制和 流水線操作）。另外，散列表查找可提供類似CAM的功能，而無需存在物理CAM。該些其它 的方法將典型地不需要并非已在計(jì)算設(shè)備中發(fā)現(xiàn)的硬件，并且因而更可能是向后兼容的。 [0化6] 存在iCAM系統(tǒng)的許多潛在應(yīng)用。特別是，iCAM系統(tǒng)可為存儲(chǔ)特征位置或特征的 給定詞典在計(jì)算輸入的稀疏表示中有效地執(zhí)行最內(nèi)環(huán)路的操作。稀疏表示的有效計(jì)算對(duì)于 諸如機(jī)器學(xué)習(xí)和數(shù)據(jù)壓縮之類的應(yīng)用是必不可少的。一般地，iCAM適用于任何多維最鄰近 捜索的問題。
[0化7]第二個(gè)特征查找方法是基于（iRAM)的隨機(jī)存取存儲(chǔ)器（RAM)，并且盡管基于RAM還允許有效的間隔編碼的查找。在一些實(shí)施例中，在每個(gè)維度上，輸入的位串用作存儲(chǔ)器地 址W檢索在RAM中存儲(chǔ)的最佳匹配特征間隔（典型地，僅在一個(gè)RAM讀循環(huán)中）。該個(gè)方案 快速并具有低功耗。它典型地適合于應(yīng)用，其中特征向量的分量具有相對(duì)小的動(dòng)態(tài)范圍，因 此它足W使用中等尺寸的RAM。雖然RAM被詳述為最可能使用的存儲(chǔ)器（特別是動(dòng)態(tài)RAM)， 但可使用其它存儲(chǔ)器類型，諸如磁盤、靜態(tài)RAM(SRAM)、磁性RAM(MRAM)、PCMS、閃存、寄存器 等。
[0化引第=個(gè)間隔編碼的特征查找方法基于二進(jìn)制捜索樹。與此方案中，在每個(gè)維度上， 二進(jìn)制捜索樹用于定位包含輸入的特征間隔。該種方法典型地適合于需要低功耗并且可容 忍查找速度的適度退化（對(duì)數(shù)時(shí)間，而不是固定時(shí)間）的應(yīng)用。
[0化9]正如將是顯而易見并在上面暗示的，可使用其它特征查找方法。例如，可使用基于 不同硬件的方案（基于FLASH,等）和/或不同的數(shù)據(jù)結(jié)構(gòu)，諸如具有h> 2的h-進(jìn)制捜索 樹。
[0060]iCAM實(shí)施例
[0061] 如上所指出，基于CAM的方案被描述為基線iCAM實(shí)現(xiàn)，W及其它實(shí)現(xiàn)（基于RAM 和基于二進(jìn)制捜索樹）被描述為擴(kuò)展/變化W滿足各種應(yīng)用的需要和/或硬件限制。在W 下的描述中，iCAM是指在每個(gè)維度上使用間隔編碼的查找方案。典型地，該通過使用邊界 框進(jìn)行，邊界框逼近特征的位置，并在后面被更詳細(xì)地描述。
[0062] 示例性的基于iCAM的系統(tǒng)的高級(jí)別實(shí)施例示于圖2中。在該實(shí)施例中，iCAM203 接收輸入實(shí)例"201形式的數(shù)據(jù)，該數(shù)據(jù)是用于定位在值的一個(gè)或多個(gè)維度中最接近特 征的內(nèi)容。典型地，每一個(gè)iCAM條目指向其中存儲(chǔ)對(duì)應(yīng)特征（Fi)的RAM205 (或其它存儲(chǔ) 器）中的地址。例如，該存儲(chǔ)器可W是RAM、盤（固態(tài)、光學(xué)或磁的）、PCM、多個(gè)寄存器（諸 如，緊縮數(shù)據(jù)寄存器）等。在典型的實(shí)現(xiàn)中，每個(gè)特征在RAM205中具有其自己的地址，然 而，在一些實(shí)施例中，一個(gè)W上的特征W緊縮數(shù)據(jù)格式被存儲(chǔ)在特定位置。對(duì)于給定的輸入 實(shí)例使用iCAM在iCAM203中存儲(chǔ)的給定特征（或其一部分）詞典中并行查找最佳匹配特 征是基于輸入實(shí)例發(fā)現(xiàn)關(guān)注的特征的至少一部分。
[0063] 輸入實(shí)例201是采樣測(cè)量的向量。該些可W從場(chǎng)中的傳感器（相機(jī)、音頻等）、計(jì) 算機(jī)系統(tǒng)中的計(jì)數(shù)器等獲得。在它們輸入到iCAM203中之前，輸入實(shí)例201也可W被存儲(chǔ) 在存儲(chǔ)器205 (諸如，RAM或非易失性存儲(chǔ)器）中。如下面將要詳述的，iCAM203捜索典型 地使用由為關(guān)注的當(dāng)前情境受訓(xùn)或獲得的詞典原子（特征）組成的詞典。例如，可W使用 房間的圖像來訓(xùn)練詞典。
[0064] 圖3 (a)和化）示出在iCAM實(shí)現(xiàn)中原始和隨機(jī)子采樣域的實(shí)施例。從輸入狂)305 的許多實(shí)例訓(xùn)練并基于D301所得的特征301的詞典值）用于計(jì)算X305的任何給定實(shí)例 的稀疏表示（Z) 303,用于分類目的。典型地，諸如K-均值的群集算法用于訓(xùn)練詞典301。該 些圖中的詞典301被存儲(chǔ)在禪合到iCAM中的存儲(chǔ)系統(tǒng)中。
[00化]從W-些合適的基礎(chǔ)（諸如適當(dāng)訓(xùn)練的詞典D301)表示輸入時(shí)它可被表達(dá)為少 量基本函數(shù)的線性組合的意義上說，應(yīng)用是稀疏的。
[0066] 為了降低處理成本，在一些實(shí)施例中，可W使用基于壓縮感測(cè)的隨機(jī)子采樣。隨機(jī) 子采樣矩陣0307被施加到圖3(a)中表達(dá)的兩側(cè)，W獲得圖3(b)中的第一表達(dá)。圖3(b) 中的第二表達(dá)僅僅是第一表達(dá)的重寫。
[0067] 注意，圖3(a)和化）都設(shè)及同一個(gè)Z303。因此，可基于原始X305或壓縮的； 311計(jì)算圖3(a)中的稀疏表示Z303。對(duì)于后一情況，壓縮感測(cè)理論規(guī)定，恢復(fù)將W很高的 概率成功。隨機(jī)選擇的采樣的數(shù)目只需要是和應(yīng)用相關(guān)聯(lián)的稀疏性的小數(shù)倍（諸如3)。對(duì) 于本說明書的其余部分，輸入X和詞典D要么表示原始域中的X和D，要么表示隨機(jī)子采樣 的域中的；和臺(tái)。對(duì)于機(jī)器學(xué)習(xí)，所計(jì)算的Z用于分類輸入對(duì)象X，而對(duì)于對(duì)象重建，從是計(jì) 算的Z用于形成X=化。
[0068] 在一些實(shí)施例中，圖3的不同組件可W使用不同的數(shù)據(jù)類型。例如，在一些實(shí)施例 中，詞典中的特征、它們的邊界框的端點(diǎn)和稀疏表示使用浮點(diǎn)（并且典型地有符號(hào)浮點(diǎn)）。 根據(jù)一些實(shí)施例，整數(shù)用于輸入實(shí)例。它可用于轉(zhuǎn)換浮點(diǎn)數(shù)為整數(shù)，例如當(dāng)指定每個(gè)維度的 特征間隔時(shí)在邊界框的端點(diǎn)上和/或當(dāng)進(jìn)行iCAM查找時(shí)在輸入實(shí)例上。執(zhí)行該轉(zhuǎn)換的一 種方式是在詞典和輸入實(shí)例中標(biāo)識(shí)浮點(diǎn)數(shù)的動(dòng)態(tài)范圍，并且然后將浮點(diǎn)數(shù)映射到整數(shù)范圍 中。另外，當(dāng)在下面討論計(jì)算（諸如，執(zhí)行最小二乘法、特征距離比較、殘余更新/計(jì)算、邊 界框的計(jì)算等）時(shí)，在大多數(shù)實(shí)施例中使用浮點(diǎn)執(zhí)行該些計(jì)算。
[0069] 圖4(a)示出輸入實(shí)例的實(shí)施例。例如，該輸入實(shí)例可W是輸入X305或隨機(jī)子采 樣的輸入X311。輸入實(shí)例是在對(duì)應(yīng)于m個(gè)采