用于圖像處理的空間金字塔池化網(wǎng)絡(luò)的制作方法
【專利摘要】空間金字塔池化(SPP)層與卷積層組合，并把輸入圖像從較精細(xì)到較粗略水平地劃分各部分，并且聚集這些部分中的局部特征。SPP層可不管輸入大小如何都生成固定長(zhǎng)度的輸出。SPP層使用的多層空間箱可向?qū)ο笞冃翁峁┓€(wěn)健性。基于SPP層的系統(tǒng)可池化由于輸入尺度的靈活性而以可變尺度提取的特征，從而使其能夠生成供測(cè)試的全圖像表示。此外，SPP網(wǎng)絡(luò)可允許在訓(xùn)練期間饋送具有不同大小或尺度的圖像，這可增加尺度不變性并降低過擬合的風(fēng)險(xiǎn)。
【專利說明】用于圖像處理的空間金字塔池化網(wǎng)絡(luò)
[0001 ] 背景
[0002] 計(jì)算機(jī)視覺包括對(duì)圖像以及，一般來說，來自現(xiàn)實(shí)世界的高維數(shù)據(jù)的獲取、處理、 分析和理解，以便產(chǎn)生數(shù)字或符號(hào)信息，例如，以決策的形式。所述圖像理解可被視為使用 由幾何、物理、統(tǒng)計(jì)和學(xué)習(xí)理論輔助構(gòu)造的模型對(duì)來自圖像數(shù)據(jù)的符號(hào)信息的剖析 (disentangle)。該圖像數(shù)據(jù)可采取許多形式，如視頻序列、來自多個(gè)相機(jī)的視圖、或來自醫(yī) 療掃描儀的多維數(shù)據(jù)。計(jì)算機(jī)視覺的進(jìn)一步領(lǐng)域可包括場(chǎng)景重構(gòu)、事件檢測(cè)、視頻跟蹤、對(duì) 象識(shí)別、學(xué)習(xí)、索引、運(yùn)動(dòng)估計(jì)以及圖像恢復(fù)。
[0003] 計(jì)算機(jī)視覺技術(shù)通常是復(fù)雜的工作，在許多情況下涉及大量的計(jì)算資源并且缺少 準(zhǔn)確性。例如，現(xiàn)有深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)涉及固定大?。ɡ?24 X 224)的輸入圖像。這 個(gè)要求是"人工的"并且可能降低對(duì)任意大小/尺度的圖像或子圖像的識(shí)別準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0004] 提供本概述以便以簡(jiǎn)化的形式介紹將在以下的詳細(xì)描述中進(jìn)一步描述的一些概 念。該概述不旨在窮盡地標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在幫助確 定所要求保護(hù)的主題的范圍。
[0005] 各實(shí)施例涉及使用空間金字塔池化網(wǎng)絡(luò)來處理圖像的方法、設(shè)備和系統(tǒng)。一示例 方法可包括接收輸入圖像；由神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè)濾波器生成特 征圖（f eature map);在跟隨所述頂部卷積層的空間金字塔池化(SPP)網(wǎng)絡(luò)處對(duì)頂部卷積層 的每個(gè)濾波器的響應(yīng)進(jìn)行空間池化，其中SPP網(wǎng)絡(luò)包括一個(gè)或多個(gè)層;將頂部SPP網(wǎng)絡(luò)層的 輸出作為固定維度向量提供給全連接層。
[0006] 從閱讀以下詳細(xì)描述及查看相關(guān)附圖后，這些及其它特征和優(yōu)點(diǎn)將顯而易見。應(yīng) 當(dāng)理解，以上一般描述及以下詳細(xì)描述兩者均是說明性的，而不限制所要求保護(hù)的各方面。
[0007] 附圖簡(jiǎn)述
[0008] 圖1概念性地例示出基于CNN的圖像處理和基于SPP的圖像處理的過程；
[0009] 圖2例示出具有空間金字塔池化層的示例神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；
[0010] 圖3例示出根據(jù)一些實(shí)施例的用于圖像處理的系統(tǒng)的框圖，該系統(tǒng)包括SPP層以及 卷積神經(jīng)網(wǎng)絡(luò)層；
[0011] 圖4是可用于管理用于自動(dòng)圖像處理的SPP網(wǎng)絡(luò)的示例通用計(jì)算設(shè)備的框圖；
[0012] 圖5例示出根據(jù)實(shí)施例的使用SPP網(wǎng)絡(luò)來進(jìn)行圖像處理的過程的邏輯流程圖。
[0013] 詳細(xì)描述
[0014]如上面簡(jiǎn)要描述的，空間金字塔池化(SPP)層可與卷積層組合，并把圖像從較精細(xì) 到較粗略水平地劃分成各部分，并且聚集這些部分中的局部特征。SPP層可不管輸入大小如 何都生成固定長(zhǎng)度的輸出。該SPP層使用的多層空間箱(spatial bin)可向?qū)ο笞冃翁峁┓€(wěn) 健性。基于SPP層的系統(tǒng)可池化由于輸入尺度的靈活性而以可變尺度提取的特征，從而使得 能夠生成供測(cè)試的全圖像表示。此外，SPP網(wǎng)絡(luò)可允許在訓(xùn)練期間饋送具有不同大小或尺度 的圖像，這可增加尺度不變性并降低過擬合的風(fēng)險(xiǎn)。
[0015] 在下面的詳細(xì)描述中，參考構(gòu)成其一部分的附圖，在附圖中，通過例圖，示出了具 體的實(shí)施例或示例?？梢詫⑦@些方面組合起來，也可以理由其它方面，并且可以作出結(jié)構(gòu)上 的改變而在不背離本公開的精神或范圍。因此，下面的詳細(xì)描述并不旨在進(jìn)行限制，并且本 發(fā)明的范圍由所附權(quán)利要求書以及其等效方案來限定。
[0016] 盡管將在與在個(gè)人計(jì)算機(jī)上的操作系統(tǒng)上運(yùn)行的應(yīng)用程序一起執(zhí)行的程序模塊 的一般上下文中來描述一些實(shí)施例，但是，本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，這些方面也可以與 其他程序模塊相結(jié)合地實(shí)現(xiàn)。
[0017] -般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、組 件、數(shù)據(jù)結(jié)構(gòu)及其它類型的結(jié)構(gòu)。此外，本領(lǐng)域的技術(shù)人員將理解，各實(shí)施例可以用其它計(jì) 算機(jī)系統(tǒng)配置來實(shí)現(xiàn)，包括手持設(shè)備、多處理器系統(tǒng)、基于微處理器的或可編程的消費(fèi)者電 子設(shè)備、小型計(jì)算機(jī)、大型計(jì)算機(jī)及類似的計(jì)算設(shè)備。各實(shí)施例也可以在分布式計(jì)算環(huán)境中 實(shí)現(xiàn)，在分布式計(jì)算環(huán)境中，多個(gè)任務(wù)由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備來執(zhí)行。在分布 式計(jì)算環(huán)境中，程序模塊可位于本地和遠(yuǎn)程的存儲(chǔ)器存儲(chǔ)設(shè)備兩者中。
[0018] -些實(shí)施例可以被實(shí)現(xiàn)為計(jì)算機(jī)實(shí)現(xiàn)的過程(方法）、計(jì)算系統(tǒng)、或者作為諸如計(jì) 算機(jī)程序產(chǎn)品或計(jì)算機(jī)可讀介質(zhì)之類的制品。計(jì)算機(jī)程序產(chǎn)品可以是可由計(jì)算機(jī)系統(tǒng)讀取 的計(jì)算機(jī)存儲(chǔ)介質(zhì)，該計(jì)算機(jī)存儲(chǔ)介質(zhì)對(duì)包括指令的計(jì)算機(jī)程序進(jìn)行編碼，這些指令用于 使計(jì)算機(jī)或計(jì)算系統(tǒng)執(zhí)行（多個(gè))示例進(jìn)程。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)是計(jì)算機(jī)可讀存儲(chǔ)器設(shè) 備。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以例如通過易失性計(jì)算機(jī)存儲(chǔ)器、非易失性存儲(chǔ)器、硬盤驅(qū)動(dòng) 器、閃存驅(qū)動(dòng)器、軟盤或緊致盤、以及類似硬件介質(zhì)中的一個(gè)或多個(gè)來實(shí)現(xiàn)。
[0019] 貫穿本說明書，術(shù)語(yǔ)"平臺(tái)"可以是用于圖像處理的軟件和硬件組件的組合。平臺(tái) 的示例包括、但不限于:在多個(gè)服務(wù)器上執(zhí)行的主存服務(wù)、在單個(gè)計(jì)算設(shè)備上執(zhí)行的應(yīng)用、 及類似的系統(tǒng)。術(shù)語(yǔ)"服務(wù)器"一般是指一般在聯(lián)網(wǎng)環(huán)境中執(zhí)行一個(gè)或多個(gè)軟件程序的計(jì)算 設(shè)備。然而，服務(wù)器也可以被實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算設(shè)備上執(zhí)行的虛擬服務(wù)器(軟件程 序），該虛擬服務(wù)器被視為網(wǎng)絡(luò)上的服務(wù)器。以下提供了關(guān)于這些技術(shù)和示例操作的更多細(xì)
[0020] 圖1概念性地例示出基于CNN的圖像處理和基于SPP的圖像處理的過程。
[0021] 對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)的使用以及大規(guī)模訓(xùn)練數(shù)據(jù)的可用性正導(dǎo)致視覺技術(shù) 的革命性變化，特別是在圖像分析與對(duì)象檢測(cè)方面?；谏疃染W(wǎng)絡(luò)的方法被用于圖像分類、 對(duì)象檢測(cè)、以及其它識(shí)別或非識(shí)別任務(wù)。如上所述，SPP層可不管輸入大小如何都生成固定 長(zhǎng)度的輸出，而常規(guī)深度網(wǎng)絡(luò)中所使用的滑動(dòng)窗口池化則不能。SPP層使用的多層空間箱可 向?qū)ο笞冃翁峁┓€(wěn)健性，而滑動(dòng)窗口池化僅使用單一窗口大小。
[0022] CNN的技術(shù)缺點(diǎn)是它們要求固定輸入圖像大小的事實(shí)。如圖示100示出的，常規(guī)的 基于CNN的圖像處理系統(tǒng)開始于輸入圖像102,如示例圖示106和108示出的，該輸入圖像可 能經(jīng)受裁剪或扭曲（warping)104。經(jīng)裁剪或扭曲的圖像然后可被卷積層110處理，接著由提 供輸出116的全連接層114處理。經(jīng)裁剪的區(qū)域可能不包含整個(gè)對(duì)象，而經(jīng)扭曲的內(nèi)容可能 導(dǎo)致不合需要的幾何失真。由于內(nèi)容丟失或失真，識(shí)別準(zhǔn)確性可能受到損害。此外，當(dāng)對(duì)象 尺度變化時(shí)，預(yù)定義尺度(例如224)可能不合適。固定輸入大小可能忽略了涉及尺度的問 題。卷積層可以按滑動(dòng)窗口方式操作并輸出特征圖，特征圖表示激活值(activation)的空 間排列。實(shí)際上，卷積層可不要求固定圖像大小并且可生成任何大小的特征圖。另一方面， 全連接層可能需要按其定義具有固定大小/長(zhǎng)度的輸入。因此，該固定大小約束可來自全連 接層，全連接層存在于網(wǎng)絡(luò)的較深階段。
[0023] 與用于圖像處理的常規(guī)神經(jīng)網(wǎng)絡(luò)相反，根據(jù)各實(shí)施例系統(tǒng)可首先在卷積層110處 理該輸入圖像102而不管輸入圖像的大小或尺度，然后在可向全連接層114提供所需的固定 大小輸入的SPP層112執(zhí)行進(jìn)一步的處理。
[0024] 圖1中的示例圖像已被描述為具有特定大小、類型和形狀的具體圖像。各實(shí)施例不 限于對(duì)特定大小、形狀或類型的對(duì)象的檢測(cè)，也不限于對(duì)特定大小、類型或內(nèi)容的圖像的檢 測(cè)。根據(jù)各實(shí)施例的使用空間金字塔池化來進(jìn)行圖像處理的系統(tǒng)可在能作用于任何大小、 類型或內(nèi)容的圖像且能使用本文所描述的原理檢測(cè)任何大小、形狀或類型的對(duì)象的配置中 實(shí)現(xiàn)。
[0025] 圖2例示出具有空間金字塔池化層的示例神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
[0026]卷積層204可接受任意輸入圖像202大小，但是它們產(chǎn)生可變大小的輸出。由預(yù)訓(xùn) 練網(wǎng)絡(luò)給出的固定長(zhǎng)度表示還可被用于在其它數(shù)據(jù)集上訓(xùn)練分類器(諸如SVM或softmax)。 在另一方面，分類器或全連接層可要求固定長(zhǎng)度向量作為輸入。空間金字塔池化可在生成 這樣的向量的同時(shí)通過在局部空間箱中的池化維護(hù)空間信息?？臻g箱可具有正比于圖像大 小的大小，所以箱的數(shù)量可不管圖像大小而固定，這與常規(guī)深度網(wǎng)絡(luò)的滑動(dòng)窗口池化相反， 其中滑動(dòng)窗口的數(shù)量取決于輸入大小。
[0027] 為了使深度網(wǎng)絡(luò)采用任意大小的圖像，卷積層5(conv5)之后的池化層可被例如空 間金字塔池化層210取代。在每個(gè)空間箱中，可池化每個(gè)濾波器的響應(yīng)。最大池化是池化的 一示例方法，但還可使用其它的池化方法。在一示例實(shí)現(xiàn)中，空間金字塔池化的輸出208可 以是kM維向量，箱的數(shù)量被表示成M(k為conv5濾波器的數(shù)量）。然后，固定維度向量可作為 全連接層(f c6) 212的輸入被提供。
[0028] 利用空間金字塔池化，輸入圖像可以是不僅允許任意寬高比而且允許任意尺度的 任何大小。輸入圖像可以被按任何尺度調(diào)整大小（例如min(w;h) = 180,224,...）并且相同 深度網(wǎng)絡(luò)被應(yīng)用于該輸入圖像。當(dāng)輸入圖像處于不同尺度時(shí)，網(wǎng)絡(luò)（具有相同的濾波器大 小)可以按不同尺度提取特征。
[0029] 可用標(biāo)準(zhǔn)反向傳播來訓(xùn)練上述網(wǎng)絡(luò)結(jié)構(gòu)而不管輸入圖像大小。然而，在實(shí)際圖形 處理單元(GPU)實(shí)現(xiàn)中，可使用固定輸入圖像。然而，GPU實(shí)現(xiàn)可在被利用的同時(shí)仍保留空間 金字塔池化行為。
[0030] 在一個(gè)示例場(chǎng)景中，網(wǎng)絡(luò)可收到從圖像裁剪出的固定大小輸入(224X224)。裁剪 可被用于數(shù)據(jù)擴(kuò)充的目的。對(duì)于具有給定大小的圖像，空間金字塔池化需要的箱大小可以 被預(yù)計(jì)算。
[0031] 考慮C〇nv5之后的具有aXa(例如13X13)大小的特征圖與一金字塔層的nXn個(gè) 箱，池化層可被實(shí)現(xiàn)為滑動(dòng)窗口池化，其中窗口大小will = la/nl并且步幅str = la/nj，其中 M和U表示向上和向下取整操作。
[0032]對(duì)于1層金字塔，可實(shí)現(xiàn)1個(gè)這樣的層。接下來的全連接層(fc6)可串接這1個(gè)輸出。 在一個(gè)示例配置中，具有conv5 13 X 13大小的特征圖的3層空間金字塔池化網(wǎng)絡(luò)可具有分 別具有3X3、2X2和1X1個(gè)箱的各池化層。單一大小訓(xùn)練可允許多層池化行為，并且還提供 增加的準(zhǔn)確性。
[0033] 為了解決訓(xùn)練中變化的圖像大小，可考慮一組預(yù)定義大小。例如，可使用兩種大小 (180 X 180和224 X 224)，但也可實(shí)現(xiàn)任何數(shù)量的大小。不是裁剪較小的180 X 180區(qū)域，而是 可將上述224X224區(qū)域調(diào)整到180X180大小。因此，兩個(gè)尺度的區(qū)域可僅在分辨率不同，而 不是在內(nèi)容和/或布局不同。為使網(wǎng)絡(luò)接受180X180輸入，可實(shí)現(xiàn)另一固定大小輸入（180 X 180)的網(wǎng)絡(luò)。這個(gè)情況下，在conv5之后的特征圖大小可以是a X a = 10 X 10。然后，窗口大小 \vin =『a/nl和步幅str= la/:nj可仍舊被用于實(shí)現(xiàn)每個(gè)金字塔池化層。該180-網(wǎng)絡(luò)的空間金 字塔池化層的輸出可具有與224-網(wǎng)絡(luò)相同的固定長(zhǎng)度。因此，這個(gè)180-網(wǎng)絡(luò)可在每個(gè)層具 有與224-網(wǎng)絡(luò)完全相同的參數(shù)。換言之，在訓(xùn)練期間，可由共享參數(shù)的兩個(gè)固定大小輸入的 網(wǎng)絡(luò)來實(shí)現(xiàn)不同大小輸入的SPP網(wǎng)絡(luò)。
[0034] 為了降低從一個(gè)網(wǎng)絡(luò)(例如224)切換到另一網(wǎng)絡(luò)(例如180)的開銷，每個(gè)完整時(shí)期 可在一個(gè)網(wǎng)絡(luò)上被訓(xùn)練，然后為了下一個(gè)完整時(shí)期切換到另一個(gè)網(wǎng)絡(luò)(復(fù)制所有權(quán)重）。這 可被迭代地執(zhí)行。該多大小訓(xùn)練的收斂速率可類似于以上討論的單一大小訓(xùn)練。多大小訓(xùn) 練可被用于模擬不同輸入大小，同時(shí)仍利用現(xiàn)有的良好優(yōu)化的固定大小實(shí)現(xiàn)。根據(jù)其它實(shí) 施例，還可使用附加尺度/寬高比，每個(gè)尺度/寬高比對(duì)應(yīng)一個(gè)網(wǎng)絡(luò)并且所有網(wǎng)絡(luò)共享權(quán)重。 或者，可使用不同大小的實(shí)現(xiàn)來避免網(wǎng)絡(luò)切換。應(yīng)當(dāng)注意，本文中描述的單一/多大小方法 可被用于訓(xùn)練。在測(cè)試階段，SPP網(wǎng)絡(luò)可被應(yīng)用于任何大小的圖像。
[0035]圖3例示出根據(jù)一些實(shí)施例的用于圖像處理的系統(tǒng)的框圖，該系統(tǒng)包括SPP層以及 卷積神經(jīng)網(wǎng)絡(luò)層。
[0036]在根據(jù)各實(shí)施例的系統(tǒng)中，多層池化的增益不是簡(jiǎn)單地歸因于較多參數(shù)。相反，它 是由于多層池化對(duì)對(duì)象變形和空間布局的變化是穩(wěn)健的。由于基于空間金字塔池化的網(wǎng)絡(luò) 的使用不取決于尺度，所以可調(diào)整圖像大小使得可用較小維度和相同網(wǎng)絡(luò)來提取特征。 [0037]如圖示300示出的，根據(jù)各實(shí)施例的圖像處理系統(tǒng)可采用一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)304 來處理輸入圖像302并提供可被用于訓(xùn)練分類器、場(chǎng)景重構(gòu)、事件檢測(cè)、視頻跟蹤、對(duì)象識(shí) 另IJ、圖像索引、或運(yùn)動(dòng)估計(jì)的輸出316。特征圖可從整個(gè)圖像中被提取一次(任選地以多個(gè)尺 度）。然后，空間金字塔池化可被應(yīng)用于特征圖的每個(gè)候選窗口以便池化此窗口的固定長(zhǎng)度 表示。因?yàn)榭赡芎臅r(shí)的卷積網(wǎng)絡(luò)被應(yīng)用了一次，該系統(tǒng)可以比諸如R-CNN之類的辦法快諸數(shù) 量級(jí)地檢測(cè)對(duì)象。
[0038]在一些實(shí)施例中，可從特征圖308的諸區(qū)域中提取(310)窗口級(jí)特征。從而，在來自 深度卷積特征圖308的任意窗口中可啟用特征提取。可調(diào)整輸入圖像302的大小以便適合網(wǎng) 絡(luò)的結(jié)構(gòu)。包括基于濾波器數(shù)量的空間箱的一層或多層的SPP網(wǎng)絡(luò)312,頂部卷積層可池化 所提取的特征，并為全連接層314生成固定大小輸出。
[0039]在一些示例中，輸入圖像302可被調(diào)整大小使得min(w;h) = s，其中w是寬度，h是高 度，s表示預(yù)定義尺度(例如256)，并且可從整個(gè)圖像提取conv5的特征圖。在一些示例實(shí)現(xiàn) 中，4層空間金字塔（1 X 1、2 X 2、3 X 3和6 X 6，總共50個(gè)箱)可被用于每個(gè)候選窗口以便池化 特征。這可為每個(gè)窗口生成12800維(256 X 50)表示。這些表示可被提供給網(wǎng)絡(luò)的全連接層。
[0040]在其它實(shí)施例中，也可使用多尺度特征提取。圖像可被調(diào)整大小使得min(W;h) = s G {480; 576; 688; 864; 1200}，并且可針對(duì)每個(gè)尺度計(jì)算conv5的特征圖。在一些示例中，可 通過逐通道地池化來自這些尺度的特征來組合它們。在其它示例中，可為每個(gè)候選窗口選 擇單一尺度s，以使得經(jīng)縮放的候選窗口具有與一預(yù)定義值(例如224X224)最接近的像素 數(shù)量。然后，根據(jù)這個(gè)尺度提取的特征圖可被用于計(jì)算該窗口的特征。
[0041]已經(jīng)使用具體示例、配置和基于空間金字塔池化的圖像處理過程描述了圖1至3中 的示例。使用空間金字塔池化執(zhí)行圖像處理的實(shí)施例并不限于根據(jù)這些示例描述的具體示 例、配置和過程。
[0042] 一種采用SPP網(wǎng)絡(luò)來處理圖像的系統(tǒng)，可有利地提高對(duì)象檢測(cè)在搜索、視覺系統(tǒng)和 其它圖像分析實(shí)現(xiàn)中的可用性，以及降低諸如處理器負(fù)載、存儲(chǔ)器負(fù)載之類的計(jì)算開銷，并 增強(qiáng)在例如衛(wèi)星成像、安全監(jiān)控和類似系統(tǒng)中的對(duì)象檢測(cè)的可靠性。
[0043]圖4是可使用空間金字塔池化來處理圖像的示例通用計(jì)算設(shè)備的框圖。
[0044]例如，計(jì)算設(shè)備400可被用作服務(wù)器、臺(tái)式計(jì)算機(jī)、便攜式計(jì)算機(jī)、智能電話、專用 計(jì)算機(jī)或類似設(shè)備。在示例基本配置402中，計(jì)算設(shè)備400可包括一個(gè)或多個(gè)處理器404和系 統(tǒng)存儲(chǔ)器406。存儲(chǔ)器總線408可用于處理器404與系統(tǒng)存儲(chǔ)器406之間的通信。該基本配置 402在圖4中用內(nèi)部虛線內(nèi)的那些組件例示出。
[0045] 取決于所期望的配置，處理器404可以是任何類型的，包括但不限于微處理器(y P)、微控制器(yC)、數(shù)字信號(hào)處理器(DSP)、或其任何組合。處理器404可包括諸如分級(jí)高速 緩存存儲(chǔ)器412之類的一級(jí)或多級(jí)高速緩存、一個(gè)或多個(gè)處理器核414、以及寄存器416。示 例處理器核414可（各自）包括算術(shù)邏輯單元(ALU)、浮點(diǎn)單元(FPU)、數(shù)字信號(hào)處理核(DSP 核）、或其任何組合。一示例存儲(chǔ)器控制器418也可與處理器404-起使用，或在一些實(shí)現(xiàn)中， 存儲(chǔ)器控制器418可以是處理器404的內(nèi)部部分。
[0046]取決于所期望的配置，系統(tǒng)存儲(chǔ)器406可以是任何類型的，包括但不限于易失性存 儲(chǔ)器(諸如RAM)、非易失性存儲(chǔ)器(諸如R0M、閃存等等）、或其任何組合系統(tǒng)存儲(chǔ)器406可包 括操作系統(tǒng)420、應(yīng)用422、以及程序數(shù)據(jù)424。應(yīng)用422可包括圖像處理模塊426,圖像處理模 塊426可以是應(yīng)用的一個(gè)組成部分或其本身就是一個(gè)獨(dú)立應(yīng)用。圖像處理模塊426可執(zhí)行圖 像大小調(diào)整、特征提取(使用深度卷積特征圖）、空間金字塔池化、以及分類器訓(xùn)練。任選地， 多個(gè)固定大小網(wǎng)絡(luò)可被用于不同大小的輸入圖像以及SPP層的結(jié)果在全連接層串接。如本 文所描述的，程序數(shù)據(jù)424可包括與使用SPP層的圖像處理的啟用有關(guān)的圖像數(shù)據(jù)428,以及 其它數(shù)據(jù)。
[0047]計(jì)算設(shè)備400可具有附加特征或功能，以及附加接口以便促進(jìn)基本配置402和任何 所需設(shè)備與接口之間的通信。例如，總線/接口控制器430可被用于促進(jìn)基本配置402與一個(gè) 或多個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備432之間經(jīng)由存儲(chǔ)接口總線434進(jìn)行的通信。數(shù)據(jù)存儲(chǔ)設(shè)備432可以是 一個(gè)或多個(gè)可移動(dòng)存儲(chǔ)設(shè)備436、一個(gè)或多個(gè)不可移動(dòng)存儲(chǔ)設(shè)備438、或其組合。僅舉數(shù)例， 可移動(dòng)存儲(chǔ)和不可移動(dòng)存儲(chǔ)設(shè)備的示例包括諸如軟盤驅(qū)動(dòng)器和硬盤驅(qū)動(dòng)器(HDD)之類的磁 盤設(shè)備、諸如緊致盤(CD)驅(qū)動(dòng)器或數(shù)字多功能盤(DVD)驅(qū)動(dòng)器之類的光盤驅(qū)動(dòng)器、固態(tài)驅(qū)動(dòng) 器(SSD)、以及帶驅(qū)動(dòng)器。示例計(jì)算機(jī)存儲(chǔ)介質(zhì)可包括以用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù) 據(jù)結(jié)構(gòu)、程序模塊、或其它數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng) 和不可移動(dòng)介質(zhì)。
[0048]系統(tǒng)存儲(chǔ)器406、可移動(dòng)存儲(chǔ)設(shè)備436和不可移動(dòng)存儲(chǔ)設(shè)備438都是計(jì)算機(jī)存儲(chǔ)介 質(zhì)的示例。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括，但不限于，1^11、如114￡?1?011、閃存或其它存儲(chǔ)器技術(shù)、〇0-R0M、數(shù)字多功能盤(DVD)、固態(tài)驅(qū)動(dòng)器或其他光學(xué)存儲(chǔ)、磁盒、磁帶、磁盤存儲(chǔ)或其他磁性存 儲(chǔ)設(shè)備、或能用于存儲(chǔ)所需信息且可以由計(jì)算設(shè)備400訪問的任何其他介質(zhì)。任何此類計(jì)算 機(jī)存儲(chǔ)介質(zhì)可以是計(jì)算設(shè)備400的一部分。
[0049] 計(jì)算設(shè)備400還可包括接口總線440用于促進(jìn)經(jīng)由總線/接口控制器430從各種接 口設(shè)備(例如一個(gè)或多個(gè)輸出設(shè)備442,一個(gè)或多個(gè)外圍接口 444、以及一個(gè)或多個(gè)通信設(shè)備 446)到基本配置402的通信。一些示例輸出設(shè)備442包括圖形處理單元448和音頻處理單元 450,可配置輸出設(shè)備442以便其經(jīng)由一個(gè)或多個(gè)A/V端口 452與諸如顯示器或揚(yáng)聲器的各種 外部設(shè)備通信。一個(gè)或多個(gè)示例外圍接口 444可包括串行接口控制器454或并行接口控制器 456,可配置外圍接口 444以便經(jīng)由一個(gè)或多個(gè)I/O端口 458與諸如輸入設(shè)備（例如鍵盤、鼠 標(biāo)、筆、語(yǔ)音輸入設(shè)備、觸摸輸入設(shè)備等等)或其它外圍設(shè)備(例如打印機(jī)、掃描儀等等)的外 部設(shè)備通信。一示例通信設(shè)備446包括網(wǎng)絡(luò)控制器460,網(wǎng)絡(luò)控制器460可被安排成促進(jìn)經(jīng)由 一個(gè)或多個(gè)通信端口 464通過網(wǎng)絡(luò)通信鏈接與一個(gè)或多個(gè)其它計(jì)算設(shè)備462進(jìn)行通信。該一 個(gè)或多個(gè)其它計(jì)算設(shè)備462可包括服務(wù)器、客戶端設(shè)備以及類似設(shè)備。
[0050] 網(wǎng)絡(luò)通信鏈路可以是通信介質(zhì)的一個(gè)示例。通信介質(zhì)通常可由計(jì)算機(jī)可讀指令、 數(shù)據(jù)結(jié)構(gòu)、程序模塊或諸如載波或其它傳輸機(jī)制等已調(diào)制數(shù)據(jù)信號(hào)中的其它數(shù)據(jù)來體現(xiàn)， 并可包括任何信息傳遞介質(zhì)。"已調(diào)制數(shù)據(jù)信號(hào)"可以是通過對(duì)信號(hào)中的信息進(jìn)行編碼的方 式設(shè)置或改變其具有的一個(gè)或多個(gè)特征的信號(hào)。通過示例而非限制，通信介質(zhì)可包括諸如 有線網(wǎng)絡(luò)或直接有線連接之類的有線介質(zhì)，以及諸如聲、射頻(RF)、微波、紅外（IR)和其它 無線介質(zhì)之類的無線介質(zhì)。如此處所使用的術(shù)語(yǔ)計(jì)算機(jī)可讀介質(zhì)可包括存儲(chǔ)介質(zhì)和通信介 質(zhì)兩者。
[0051] 計(jì)算設(shè)備400可被實(shí)現(xiàn)為包括任何上述功能的通用或?qū)ｉT的服務(wù)器、大型機(jī)或類 似的計(jì)算機(jī)的一部分。計(jì)算設(shè)備400還可被實(shí)現(xiàn)為包括膝上型計(jì)算機(jī)和非膝上型計(jì)算機(jī)配 置兩者的個(gè)人計(jì)算機(jī)。
[0052]示例實(shí)施例還可包括圖像中通用對(duì)象檢測(cè)的方法。這些方法可以以任何數(shù)量的方 式來實(shí)現(xiàn)，包括本文中描述的結(jié)構(gòu)。一種這樣的方式可以是通過具有本公開中描述的類型 的設(shè)備的機(jī)器操作。另一可任選方式可以是該方法的各個(gè)操作中的一個(gè)或多個(gè)操作結(jié)合一 個(gè)或多個(gè)人類操作者執(zhí)行某些操作來執(zhí)行，的同時(shí)其它操作可被機(jī)器執(zhí)行。這些人類操作 者不需要彼此位于同處，但每個(gè)人類操作者可以僅具有執(zhí)行程序的一部分的一臺(tái)機(jī)器。在 其它實(shí)施例中，人類交互可被自動(dòng)化，諸如通過可以是機(jī)器自動(dòng)化的預(yù)選標(biāo)準(zhǔn)。
[0053]圖5解說了根據(jù)各實(shí)施例的過程500的邏輯流程圖，即使用基于空間金字塔池化的 神經(jīng)網(wǎng)絡(luò)來處理圖像的過程?？稍诜?wù)器或其它系統(tǒng)上實(shí)現(xiàn)過程500。
[0054]過程500始于操作510,其中圖像處理應(yīng)用可接收輸入圖像以便處理。圖像處理應(yīng) 用可以是視覺應(yīng)用、分析應(yīng)用、監(jiān)視應(yīng)用、搜索引擎、或被配置為把使用SPP網(wǎng)絡(luò)處理圖像作 為其操作的一部分的任何類似應(yīng)用。
[0055]在操作520,可由處理輸入圖像的神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè) 濾波器生成特征圖。該濾波器可以是滑動(dòng)濾波器。在卷積層頂層的多個(gè)濾波器可確定在后 續(xù)SPP網(wǎng)絡(luò)中所需要的多個(gè)箱。特征圖可從整個(gè)輸入圖像以一個(gè)或多個(gè)尺度生成一次。 [0056]在操作530,圖像處理應(yīng)用對(duì)SPP網(wǎng)絡(luò)的一個(gè)或多個(gè)層上的每個(gè)濾波器的響應(yīng)進(jìn)行 空間池化。該SPP網(wǎng)絡(luò)可在多個(gè)空間箱中池化每個(gè)濾波器的響應(yīng)并且生成多維輸出向量，其 中輸出向量的維數(shù)基于該多個(gè)空間箱的數(shù)量乘以最后卷積層中的濾波器數(shù)量。
[0057]在操作540,可將SPP網(wǎng)絡(luò)的頂層的輸出作為固定維度向量提供給全連接層。全連 接層的輸出可被用于訓(xùn)練分類器、場(chǎng)景重構(gòu)、事件檢測(cè)、視頻跟蹤、目標(biāo)識(shí)別、圖像索引、運(yùn) 動(dòng)估計(jì)、或類似的目的。
[0058]過程500中包括的操作用于說明目的。使用SPP層的圖像處理可使用本文描述的各 原理通過具有更少或更多步驟、以及不同的操作次序的類似過程來實(shí)現(xiàn)。
[0059]在一些實(shí)施例中，用于使用SPP網(wǎng)絡(luò)的圖像處理裝置可包括用于接收輸入圖像的 裝置;用于由神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè)濾波器生成特征圖的裝置；用 于在跟隨該頂部卷積層的空間金字塔池化(SPP)網(wǎng)絡(luò)處對(duì)頂部卷積層的每個(gè)濾波器的響應(yīng) 進(jìn)行空間池化的裝置，其中該SPP網(wǎng)絡(luò)包括一個(gè)或多個(gè)層；以及用于將頂部SPP網(wǎng)絡(luò)層的輸 出作為固定維度向量提供給全連接層的裝置。
[0060] 根據(jù)一些示例，使用SPP網(wǎng)絡(luò)的圖像處理方法可包括接收輸入圖像；由神經(jīng)網(wǎng)絡(luò)的 一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè)濾波器生成特征圖；在跟隨該頂部卷積層的空間金字塔 池化(SPP)網(wǎng)絡(luò)處對(duì)頂部卷積層的每個(gè)濾波器的響應(yīng)進(jìn)行空間池化，其中該SPP網(wǎng)絡(luò)包括一 個(gè)或多個(gè)層;將頂部SPP網(wǎng)絡(luò)層的輸出作為固定維度向量提供給全連接層。
[0061] 根據(jù)其它示例，該方法可進(jìn)一步包括采用全連接層的輸出用于以下各項(xiàng)中的一個(gè) 或多個(gè):訓(xùn)練分類器、場(chǎng)景重構(gòu)、事件檢測(cè)、視頻跟蹤、目標(biāo)識(shí)別、圖像索引以及運(yùn)動(dòng)估計(jì)。在 SPP網(wǎng)絡(luò)處對(duì)頂部卷積層上的每個(gè)濾波器的響應(yīng)進(jìn)行空間池化可包括在SPP網(wǎng)絡(luò)的多個(gè)空 間箱中對(duì)每個(gè)濾波器的響應(yīng)進(jìn)行池化。將頂部SPP網(wǎng)絡(luò)層的輸出提供給全連接層可包括將 頂部SPP網(wǎng)絡(luò)層的輸出作為kM維向量來提供，其中M表示SPP網(wǎng)絡(luò)中空間箱的數(shù)量并且k表示 在頂部卷積層的濾波器數(shù)量。
[0062]根據(jù)進(jìn)一步的示例，該方法還可包括調(diào)整輸入圖像大小以適合SPP網(wǎng)絡(luò)的窗口大 小，使用反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)，和/或基于輸入圖像大小預(yù)計(jì)算SPP網(wǎng)絡(luò)的空間箱數(shù)量。該 方法可進(jìn)一步包括aXa的圖像大小以及包括nXn個(gè)箱的SPP網(wǎng)絡(luò)層，將SPP網(wǎng)絡(luò)層實(shí)現(xiàn)為滑 動(dòng)窗口池化層，其中由win=丨a/nl定義窗口大小并且由具有表示向上和向下取整操作的『.1 和U的str =〖a/nj定義步幅。該方法還可包括在全連接層串接SPP網(wǎng)絡(luò)層的輸出。在SPP網(wǎng)絡(luò) 處對(duì)頂部卷積層上的每個(gè)濾波器的響應(yīng)進(jìn)行空間池化還可包括對(duì)頂部卷積層上的濾波器 的響應(yīng)采用最大池化。
[0063] 根據(jù)又一些示例，描述了用于執(zhí)行圖像處理的計(jì)算設(shè)備。該計(jì)算設(shè)備可包括:被配 置為通過有線或無線通信中的一種或多種來接收輸入圖像的輸入模塊，被配置為存儲(chǔ)指令 的存儲(chǔ)器，以及耦合到該存儲(chǔ)器和該輸入模塊的處理器。處理器可執(zhí)行圖像處理應(yīng)用，其可 被配置為接收輸入圖像；由神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè)濾波器生成特征 圖；在跟隨頂部卷積層的空間金字塔池化(SPP)網(wǎng)絡(luò)的多個(gè)空間箱中對(duì)頂部卷積層的每個(gè) 濾波器的響應(yīng)進(jìn)行空間池化，其中該SPP網(wǎng)絡(luò)包括一個(gè)或多個(gè)層；以及將頂部SPP網(wǎng)絡(luò)層的 輸出作為固定維度向量提供給全連接層。
[0064] 根據(jù)又進(jìn)一步的示例，特征圖可從整個(gè)輸入圖像以一個(gè)或多個(gè)尺度生成一次。圖 像處理應(yīng)用可進(jìn)一步被配置為采用具有相應(yīng)的SPP網(wǎng)絡(luò)的兩個(gè)或更多個(gè)固定大小的神經(jīng)網(wǎng) 絡(luò)來處理兩個(gè)或更多個(gè)大小的圖像。兩個(gè)或更多個(gè)固定大小的神經(jīng)網(wǎng)絡(luò)的頂部SPP網(wǎng)絡(luò)層 的輸出可被配置為具有相同固定長(zhǎng)度。圖像處理應(yīng)用也可被配置為在兩個(gè)或更多個(gè)固定大 小的神經(jīng)網(wǎng)絡(luò)中的第一固定大小的神經(jīng)網(wǎng)絡(luò)上訓(xùn)練第一完整時(shí)期，并且在兩個(gè)或更多個(gè)固 定大小神經(jīng)網(wǎng)絡(luò)中的第二固定大小的神經(jīng)網(wǎng)絡(luò)上訓(xùn)練第二完整時(shí)期。圖像處理應(yīng)用還可被 配置為在兩個(gè)或更多個(gè)固定大小的神經(jīng)網(wǎng)絡(luò)中的第二固定大小的神經(jīng)網(wǎng)絡(luò)上訓(xùn)練第二個(gè) 時(shí)期之前將兩個(gè)或更多個(gè)固定大小的神經(jīng)網(wǎng)絡(luò)中的第一固定大小的神經(jīng)網(wǎng)絡(luò)的權(quán)重復(fù)制 給兩個(gè)或更多個(gè)固定大小的神經(jīng)網(wǎng)絡(luò)中的第二固定大小的神經(jīng)網(wǎng)絡(luò)，并且以迭代的方式在 不同的神經(jīng)網(wǎng)絡(luò)上執(zhí)行訓(xùn)練。
[0065] 根據(jù)其它示例，描述了具有存儲(chǔ)在其上的用于執(zhí)行圖像處理的指令的計(jì)算機(jī)可讀 存儲(chǔ)設(shè)備。這些指令可包括接收輸入圖像；由神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多 個(gè)濾波器生成特征圖；在跟隨該頂部卷積層的空間金字塔池化(SPP)網(wǎng)絡(luò)的多個(gè)空間箱中 對(duì)頂部卷積層的每個(gè)濾波器的響應(yīng)空間池化，其中該SPP網(wǎng)絡(luò)包括一個(gè)或多個(gè)層;將頂部 SPP網(wǎng)絡(luò)層的輸出作為固定維度向量提供給全連接層。
[0066] 根據(jù)進(jìn)一步的示例，該指令可進(jìn)一步包括調(diào)整該輸入圖像的大小，使得min(w;h) =s，其中w是圖像的寬度，h是圖像的高度，以及s代表針對(duì)圖像的預(yù)定義尺度，并且通過以 迭代的方式將第一固定大小的神經(jīng)網(wǎng)絡(luò)的權(quán)重復(fù)制給后續(xù)的固定大小的神經(jīng)網(wǎng)絡(luò)來在不 同的固定大小的神經(jīng)網(wǎng)絡(luò)上訓(xùn)練不同的完整時(shí)期。
[0067] 以上說明、示例和數(shù)據(jù)提供了各實(shí)施例的組成的制造和用途的完整描述。盡管用 結(jié)構(gòu)特征和/或方法動(dòng)作專用的語(yǔ)言描述了本主題，但可以理解，所附權(quán)利要求書中定義的 主題不必限于上述具體特征或動(dòng)作。相反，上述具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求和實(shí) 施例的示例形式公開的。
【主權(quán)項(xiàng)】
1. 一種執(zhí)行圖像處理的方法，所述方法包括： 接收輸入圖像； 由神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè)濾波器生成特征圖； 在跟隨頂部卷積層的空間金字塔池化(SPP)網(wǎng)絡(luò)處對(duì)所述頂部卷積層的每個(gè)濾波器的 響應(yīng)進(jìn)行空間池化，其中所述SPP網(wǎng)絡(luò)包括一個(gè)或多個(gè)層；以及將頂部SPP網(wǎng)絡(luò)層的輸出作 為固定維度向量提供給全連接層。2. 如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括： 采用全連接層的輸出用于以下各項(xiàng)中的一個(gè)或多個(gè)：訓(xùn)練分類器、場(chǎng)景重構(gòu)、事件檢 測(cè)、視頻跟蹤、目標(biāo)識(shí)別、圖像索引、和運(yùn)動(dòng)估計(jì)。3. 如權(quán)利要求1所述的方法，其特征在于，在所述SPP網(wǎng)絡(luò)處對(duì)所述頂部卷積層的每個(gè) 濾波器的響應(yīng)進(jìn)行空間池化包括： 在所述SPP網(wǎng)絡(luò)的多個(gè)空間箱中對(duì)每個(gè)濾波器的響應(yīng)進(jìn)行池化。4. 如權(quán)利要求3所述的方法，其特征在于，將所述頂部SPP網(wǎng)絡(luò)層的輸出提供給所述全 連接層包括： 將所述頂部SPP網(wǎng)絡(luò)層的輸出作為kM維向量來提供，其中M表示所述SPP網(wǎng)絡(luò)中的空間 箱的數(shù)量并且k表示所述頂部卷積層處的濾波器數(shù)量。5. 如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括： 調(diào)整所述輸入圖像大小以適合所述SPP網(wǎng)絡(luò)的窗口大小。6. 如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括： 在所述全連接層處串聯(lián)所述SPP網(wǎng)絡(luò)層的輸出。7. -種執(zhí)行圖像處理的計(jì)算設(shè)備，所述計(jì)算設(shè)備包括： 被配置為通過有線或無線通信中的一種或多種來接收輸入圖像的輸入模塊； 被配置為存儲(chǔ)指令的存儲(chǔ)器；以及 耦合到所述存儲(chǔ)器和所述輸入模塊的處理器，所述處理器執(zhí)行圖像處理應(yīng)用，其中所 述圖像處理應(yīng)用被配置為： 接收輸入圖像； 由神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè)濾波器生成特征圖； 在跟隨頂部卷積層的空間金字塔池化(SPP)網(wǎng)絡(luò)處的多個(gè)空間箱中對(duì)所述頂部卷積層 的每個(gè)濾波器的響應(yīng)進(jìn)行空間池化，其中所述SPP網(wǎng)絡(luò)包括一個(gè)或多個(gè)層；以及 將頂部SPP網(wǎng)絡(luò)層的輸出作為固定維度向量提供給全連接層。8. 如權(quán)利要求7所述的計(jì)算設(shè)備，其特征在于，所述圖像處理應(yīng)用被進(jìn)一步配置為： 采用具有相應(yīng)的SPP網(wǎng)絡(luò)的兩個(gè)或更多個(gè)固定大小的神經(jīng)網(wǎng)絡(luò)來處理兩個(gè)或更多個(gè)大 小的圖像。9. 如權(quán)利要求8所述的計(jì)算設(shè)備，其特征在于，所述兩個(gè)或更多個(gè)固定大小的神經(jīng)網(wǎng)絡(luò) 的頂部SPP網(wǎng)絡(luò)層的輸出被配置為具有相同固定長(zhǎng)度。10. -種其上存儲(chǔ)有執(zhí)行圖像處理的指令的計(jì)算機(jī)可讀存儲(chǔ)器設(shè)備，所述指令包括： 接收輸入圖像； 由神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層上的一個(gè)或多個(gè)濾波器生成特征圖； 在跟隨頂部卷積層的空間金字塔池化(SPP)網(wǎng)絡(luò)的多個(gè)空間箱中對(duì)所述頂部卷積層的 每個(gè)濾波器的響應(yīng)進(jìn)行空間池化，其中所述SPP網(wǎng)絡(luò)包括一個(gè)或多個(gè)層； 將頂部SPP網(wǎng)絡(luò)層的輸出作為固定維度向量提供給全連接層；以及 基于在所述全連接層處所接收到的所述固定維度向量來訓(xùn)練分類器以便標(biāo)記所述輸 入圖像。
【文檔編號(hào)】G06K9/00GK105917354SQ201480072125
【公開日】2016年8月31日
【申請(qǐng)日】2014年10月9日
【發(fā)明人】K·何, J·孫, X·張, S·任
【申請(qǐng)人】微軟技術(shù)許可有限責(zé)任公司