訓(xùn)練裝置、訓(xùn)練方法以及檢測裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本公開總體上涉及神經(jīng)網(wǎng)絡(luò)，具體而言，涉及基于卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置、 訓(xùn)練方法W及檢測裝置，并且尤其涉及一種用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的裝置和方 法W及一種通過該裝置或方法訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型來對(duì)輸入數(shù)據(jù)進(jìn)行檢測的裝 置。
【背景技術(shù)】
[0002] 人工神經(jīng)網(wǎng)絡(luò)也簡稱為神經(jīng)網(wǎng)絡(luò)或稱作連接模型，是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為 特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。送種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整 內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。
[0003] 卷積神經(jīng)網(wǎng)絡(luò)（CNN)是人工神經(jīng)網(wǎng)絡(luò)的一種，并且在語音分析、圖像識(shí)別等領(lǐng)域 取得越來越多的關(guān)注和應(yīng)用。例如，近幾十年來，手寫體中文字符識(shí)別技術(shù)在工業(yè)界和研究 領(lǐng)域得到了廣泛的關(guān)注并取得了很多進(jìn)展，而基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別技術(shù)是性能最好的 識(shí)別技術(shù)之一。存在改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的效率和準(zhǔn)確性的需求。

【發(fā)明內(nèi)容】

[0004] 在下文中給出了關(guān)于本發(fā)明的簡要概述，W便提供關(guān)于本發(fā)明的某些方面的基本 理解。應(yīng)當(dāng)理解，送個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是W簡化的形式給出某些概 念，W此作為稍后論述的更詳細(xì)描述的前序。
[0005] 鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的目的之一是提供一種在特征提取過程中提取 多個(gè)方面的特征并對(duì)送些方面的特征進(jìn)行競爭選擇的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練 的裝置和方法，W至少克服現(xiàn)有的問題。
[0006] 根據(jù)本公開的第一方面，提供一種用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的裝置，其 包括特征獲取及競爭單元W及模型訓(xùn)練單元。特征獲取及競爭單元包括：獲取子單元，被配 置成針對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型的至少一個(gè)卷積層、獲取訓(xùn)練樣本數(shù)據(jù)的至少兩個(gè)不同方 面的特征；W及競爭子單元，被配置成基于所述獲取子單元獲取的至少兩個(gè)不同方面的特 征的對(duì)應(yīng)元素，選擇每個(gè)元素位置處的最優(yōu)元素，W得到競爭結(jié)果特征。模型訓(xùn)練單元被配 置成在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的過程中，針對(duì)所述至少一個(gè)卷積層，應(yīng)用所述競爭結(jié)果特 征來執(zhí)行訓(xùn)練。
[0007] 根據(jù)本公開的另一方面，提供一種通過如本公開的第一方面所述的裝置訓(xùn)練得到 的卷積神經(jīng)網(wǎng)絡(luò)模型來對(duì)輸入數(shù)據(jù)進(jìn)行檢測的裝置，該裝置包括特征獲取及競爭單元W及 檢測單元。特征獲取及競爭單元包括：獲取子單元，被配置成提取所述輸入數(shù)據(jù)的至少兩個(gè) 不同方面的特征；W及競爭子單元，被配置成基于該獲取子單元獲取的至少兩個(gè)不同方面 的特征的對(duì)應(yīng)元素，選擇每個(gè)元素位置處的最優(yōu)元素，W得到競爭結(jié)果特征。檢測單元被配 置成利用所述卷積神經(jīng)網(wǎng)絡(luò)模型、基于該競爭結(jié)果特征來進(jìn)行檢測。在所述進(jìn)行檢測的裝 置中，所提取的所述輸入數(shù)據(jù)的至少兩個(gè)不同方面的特征與在訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型 時(shí)由所述進(jìn)行訓(xùn)練的裝置中的獲取子單元獲取的訓(xùn)練樣本數(shù)據(jù)的至少兩個(gè)不同方面的特 征是對(duì)應(yīng)的。
[0008] 根據(jù)本公開的又一個(gè)方面，還提供一種對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的方法，包 括：針對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型的至少一個(gè)卷積層，獲取訓(xùn)練樣本數(shù)據(jù)的至少兩個(gè)不同方 面的特征；基于所獲取的至少兩個(gè)不同方面的特征的對(duì)應(yīng)元素，選擇每個(gè)元素位置處的最 優(yōu)元素，W得到競爭結(jié)果特征；W及在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的過程中，針對(duì)所述至少一個(gè) 卷積層，應(yīng)用所述競爭結(jié)果特征來進(jìn)行訓(xùn)練。
[0009] 依據(jù)本公開的其它方面，還提供了一種使得計(jì)算機(jī)用作如上所述的對(duì)卷積神經(jīng)網(wǎng) 絡(luò)模型進(jìn)行訓(xùn)練的裝置的程序。
[0010] 依據(jù)本公開的又一方面，還提供了相應(yīng)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存 儲(chǔ)介質(zhì)上存儲(chǔ)有能夠由計(jì)算設(shè)備執(zhí)行的計(jì)算機(jī)程序，該計(jì)算機(jī)程序在執(zhí)行時(shí)能夠使計(jì)算設(shè) 備執(zhí)行上述對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的方法。
[0011] 上述根據(jù)本公開實(shí)施例的對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的裝置和方法，至少能夠 獲得W下益處至少之一；通過獲取訓(xùn)練樣本數(shù)據(jù)的多個(gè)不同方面的特征，可W充分利用訓(xùn) 練樣本數(shù)據(jù)的信息，而通過對(duì)送些不同方面的特征的競爭選擇，可W得到在充分信息的基 礎(chǔ)上，高效地應(yīng)用訓(xùn)練樣本數(shù)據(jù)中的優(yōu)選信息。
[0012] 通過W下結(jié)合附圖對(duì)本公開的最佳實(shí)施例的詳細(xì)說明，本公開的送些W及其他優(yōu) 點(diǎn)將更加明顯。
【附圖說明】
[0013] 本公開可W通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的 詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本 公開的優(yōu)選實(shí)施例和解釋本公開的原理和優(yōu)點(diǎn)。其中：
[0014] 圖1是示意性地示出根據(jù)本公開實(shí)施例的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的 裝置的示例結(jié)構(gòu)的框圖。
[0015] 圖2是示意性地示出卷積神經(jīng)網(wǎng)絡(luò)的示意圖。
[0016] 圖3是示意性地示出卷積操作的示意圖。
[0017] 圖4是示意性地示出非線性操作的示意圖。
[0018] 圖5是示意性地示出池化操作的示意圖。
[0019] 圖6A、圖6B是示意性地示出了根據(jù)本公開實(shí)施例的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn) 行訓(xùn)練的裝置中的特征獲取及競爭單元進(jìn)行的操作的示意圖。
[0020] 圖7是示出了根據(jù)本公開的一個(gè)優(yōu)選實(shí)施例的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn) 練的裝置中的模型訓(xùn)練單元中與特征過濾有關(guān)的部分的示例結(jié)構(gòu)的框圖。
[0021] 圖8是示意性地示出根據(jù)本公開實(shí)施例的、通過根據(jù)本公開實(shí)施例的訓(xùn)練裝置訓(xùn) 練得到的卷積神經(jīng)網(wǎng)絡(luò)模型來對(duì)輸入數(shù)據(jù)進(jìn)行檢測的裝置的示例結(jié)構(gòu)的框圖。
[0022] 圖9是示出了根據(jù)本公開實(shí)施例的對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的方法的示例 流程的流程圖。
[0023] 圖10是示出了可用來實(shí)現(xiàn)根據(jù)本公開實(shí)施例的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn) 練的裝置和方法的一種可能的硬件配置的結(jié)構(gòu)簡圖。
【具體實(shí)施方式】
[0024] 在下文中將結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡明起見， 在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何送種實(shí)際實(shí)施 例的過程中必須做出很多特定于實(shí)施方式的決定，W便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符 合與系統(tǒng)及業(yè)務(wù)相關(guān)的郝些限制條件，并且送些限制條件可能會(huì)隨著實(shí)施方式的不同而有 所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對(duì)得益于本公開 內(nèi)容的本領(lǐng)域技術(shù)人員來說，送種開發(fā)工作僅僅是例行的任務(wù)。
[00巧]在此，還需要說明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其他細(xì)節(jié)。
[0026] 本發(fā)明人發(fā)現(xiàn)，現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中，沒有充分利用輸入數(shù)據(jù)的多 方面的信息，并且為了訓(xùn)練得到最優(yōu)的參數(shù)組合需要很大的計(jì)算量。
[0027] 基于此，本公開提供了一種在特征提取過程中提取多個(gè)方面的特征并對(duì)送些方面 的特征進(jìn)行競爭選擇的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的裝置和方法。根據(jù)本公開的實(shí) 施例的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的裝置和方法，通過獲取訓(xùn)練樣本數(shù)據(jù)的多個(gè)不 同方面的特征，能夠充分利用訓(xùn)練樣本數(shù)據(jù)的信息，并且通過對(duì)送些不同方面的特征的競 爭選擇，可W得到在充分信息的基礎(chǔ)上，高效地應(yīng)用訓(xùn)練樣本數(shù)據(jù)中的優(yōu)選信息，從而降低 了計(jì)算量。
[0028] 圖1是示意性地示出根據(jù)本公開實(shí)施例的用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的 裝置的一種示例結(jié)構(gòu)的框圖。
[0029] 如圖1所示，用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的裝置1包括特征獲取及競爭單 元10和模型訓(xùn)練單元20。特征獲取及競爭單元10包括；獲取子單元101，被配置成針對(duì)所 述卷積神經(jīng)網(wǎng)絡(luò)模型的至少一個(gè)卷積層、獲取訓(xùn)練樣本數(shù)據(jù)的至少兩個(gè)不同方面的特征； W及競爭子單元102,被配置成基于所述獲取子單元101獲取的至少兩個(gè)不同方面的特征 的對(duì)應(yīng)元素，選擇每個(gè)元素位置處的最優(yōu)元素，W得到競爭結(jié)果特征。模型訓(xùn)練單元20被 配置成在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的過程中，針對(duì)所述至少一個(gè)卷積層，應(yīng)用所述競爭結(jié)果 特征來執(zhí)行訓(xùn)練。
[0030] 為了詳細(xì)說明根據(jù)本公開實(shí)施例的上述裝置1，在此簡要介紹現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò) 的一般結(jié)構(gòu)。圖2是示意性地示出現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)的示意圖。圖2上方示意性地示出 了典型的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，包含一個(gè)輸入層、若干個(gè)卷積層（在圖中具體示出了Η個(gè) 卷積層）、一個(gè)或多個(gè)全連接層（在圖中示出了一個(gè)全連接層）、W及一個(gè)輸出層。卷積神 經(jīng)網(wǎng)絡(luò)的各個(gè)層的定義在現(xiàn)有技術(shù)中是已知的，因此在此不進(jìn)行過多描述。
[0031] 圖2的下方示意性地示出了其中一個(gè)卷積層的結(jié)構(gòu)，其包括下述Η個(gè)操作：卷積 操作、非線性操作和池化操作。在下文中，有時(shí)也將送Η個(gè)操作描述為卷積操作子層、非線 性操作子層和池化操作子層的操作。
[0032] W下參照?qǐng)D3至圖5來描述卷積層中的各個(gè)子層的操作。作為示例，在一個(gè)卷積 層中，首先，在卷積操作子層中，利用若干個(gè)具有一定大小的卷積核來對(duì)從上一層輸入的數(shù) 據(jù)進(jìn)行卷積操作，并將得到的結(jié)果輸出到非線性操作子層。送里所述的上一層可W是整個(gè) 卷積神經(jīng)網(wǎng)絡(luò)的輸入層（即，當(dāng)前卷積層為卷積神經(jīng)網(wǎng)絡(luò)中的第一個(gè)卷積層），也可W是上 一個(gè)卷積層（即，當(dāng)前卷積層不是卷積神經(jīng)網(wǎng)絡(luò)中的第一個(gè)卷積層）。卷積模板也可W稱為 卷積核，其示例可W是一個(gè)二維矩陣，矩陣中的每一個(gè)元素都為實(shí)數(shù)。
[0033] 送里，卷積操作將輸入的圖像與卷積模板做卷積而得到輸出的特征圖。圖3顯示 了一個(gè)輸入圖像和大小為2 X 2的卷積模板做卷積而得到特征圖FM11的過程。在此，將卷積 模板與輸入圖像的左上角對(duì)齊，然后將輸入圖像和卷積模板對(duì)應(yīng)位置的元素相乘并求和， 就得到了特征圖FM11中第一個(gè)像素的像素值。然后將卷積模板在輸入圖像上向右移動(dòng)一 個(gè)像素的距離，重復(fù)上面的步驟，就得到了特征圖FM11的第二個(gè)像素的像素值。繼續(xù)上面 的步驟，最終得到整個(gè)特征圖FM11。卷積操作之后，一般還要加上一個(gè)偏置值（實(shí)數(shù)值）， 就得到了最后的輸出結(jié)果（