本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)方法及裝置。

背景技術(shù)：

隨著機(jī)器學(xué)習(xí)的不斷發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)的視頻圖像智能識(shí)別技術(shù)漸漸成為機(jī)器視覺(jué)領(lǐng)域的研發(fā)熱點(diǎn)之一。所謂“圖像智能識(shí)別技術(shù)”，就是利用深度學(xué)習(xí)算法實(shí)現(xiàn)從視頻圖像流中抽取的關(guān)鍵特征表示信息，并利用這種關(guān)鍵特征信息為用戶提供有價(jià)值的服務(wù)，主要價(jià)值體現(xiàn)在替代用人眼分辨事物等業(yè)務(wù)領(lǐng)域，減少人力投入，提高工作效率。比如，在數(shù)字識(shí)別的過(guò)程中，對(duì)于手寫(xiě)體的識(shí)別一直是一個(gè)難題，而其又在郵政編碼的識(shí)別、銀行業(yè)務(wù)等方面具有較為廣泛的應(yīng)用，但是其字體形式變化較大，導(dǎo)致提高對(duì)其的識(shí)別率成為了一個(gè)難題，精準(zhǔn)的識(shí)別存在著較大的困難。而采用人工智能中的神經(jīng)網(wǎng)絡(luò)技術(shù)后，系統(tǒng)可以利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)及快速并行功能來(lái)實(shí)現(xiàn)對(duì)手寫(xiě)數(shù)字的快速識(shí)別，有力的提高相關(guān)運(yùn)用領(lǐng)域的工作效率。

智能化運(yùn)動(dòng)檢測(cè)系統(tǒng)可以對(duì)生物肢體動(dòng)作進(jìn)行檢測(cè)識(shí)別并計(jì)數(shù)，同時(shí)也可做行為識(shí)別，對(duì)人體肢體行為進(jìn)行描述，在現(xiàn)實(shí)中有著極其重要的意義。在體育類運(yùn)動(dòng)中，可以完全替代裁判的角色，減少人為錯(cuò)誤及誤差。智能化運(yùn)動(dòng)檢測(cè)可以規(guī)范運(yùn)動(dòng)標(biāo)準(zhǔn)，在解決一些爭(zhēng)議性問(wèn)題上，使得運(yùn)動(dòng)員的成績(jī)更加公平。

實(shí)際上，目前大多數(shù)體育競(jìng)技運(yùn)動(dòng)評(píng)判系統(tǒng)都造價(jià)昂貴，常用的引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)方法主要是紅外線檢測(cè)的方式，采用的解決方法原始，智能性極低。同時(shí)設(shè)備系統(tǒng)部署困難，安裝、使用過(guò)程復(fù)雜，設(shè)備正常運(yùn)行對(duì)環(huán)境要求也較高，如光照、天氣環(huán)境。另外當(dāng)前的設(shè)備都存在準(zhǔn)確率不太高的問(wèn)題，如當(dāng)前基于rfid引體向上檢測(cè)計(jì)數(shù)電子設(shè)備判斷的出錯(cuò)率較高，且不能事后查驗(yàn)，很難排除一些作弊行為，當(dāng)有異物遮擋接收端和發(fā)射端也會(huì)計(jì)數(shù)，在引體向上運(yùn)動(dòng)計(jì)數(shù)中，很難準(zhǔn)確判定下巴過(guò)杠，手臂是否彎曲達(dá)標(biāo)等情況。

技術(shù)實(shí)現(xiàn)要素：

為解決上述問(wèn)題，本發(fā)明公開(kāi)一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上計(jì)數(shù)檢測(cè)方法和裝置，通過(guò)大量的引體向上運(yùn)動(dòng)肢體樣本訓(xùn)練網(wǎng)絡(luò)，得到一個(gè)準(zhǔn)確率極高的分類器，用于檢測(cè)引體向上動(dòng)作，將最新的深度學(xué)習(xí)技術(shù)應(yīng)用到引體向上檢測(cè)計(jì)數(shù)問(wèn)題中，解決了大多傳統(tǒng)設(shè)備在使用中準(zhǔn)確率低，不能判斷動(dòng)作規(guī)范性的缺陷和不足等問(wèn)題。

本發(fā)明公開(kāi)一種魯棒性較佳、檢測(cè)準(zhǔn)確率高的基于深度卷積網(wǎng)神經(jīng)絡(luò)的引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)方法及裝置，包括利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練生成標(biāo)準(zhǔn)動(dòng)作分類器的步驟和引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)步驟；

所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練并生成標(biāo)準(zhǔn)動(dòng)作分類器包括以下步驟：

s10、制作訓(xùn)練圖像樣本：從引體向上視頻圖像中選取多組樣本圖像數(shù)據(jù)，所述樣本圖像數(shù)據(jù)包括：

下巴過(guò)杠圖像樣本組數(shù)據(jù)；

頭部過(guò)杠但下巴未過(guò)杠圖像樣本組數(shù)據(jù)；

頭部低于單杠并且手臂彎曲狀態(tài)圖像樣本組數(shù)據(jù)；

頭部低于單杠并且手臂伸直狀態(tài)圖像樣本組；

每組樣本來(lái)源于不同的樣本空間，且樣本做好分類標(biāo)記；

s11、樣本圖像正則化：將原始樣本圖像進(jìn)行圖像大小變換操作，將其分辨率壓縮到256*256，并將圖像數(shù)據(jù)轉(zhuǎn)化為浮點(diǎn)向量數(shù)據(jù)；

s12、初始化深度卷積神經(jīng)網(wǎng)絡(luò)：構(gòu)建一個(gè)多層深度卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)初始設(shè)定權(quán)值參數(shù)初始化每一層的神經(jīng)網(wǎng)絡(luò)；

s13、訓(xùn)練網(wǎng)絡(luò):將標(biāo)記好的一個(gè)圖像樣本的浮點(diǎn)向量數(shù)據(jù)輸入完成初始化的深度卷積神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過(guò)多層卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算，得到最后一層的輸出向量；

s14、反向修改各層權(quán)值參數(shù)：將輸出向量和標(biāo)記類的理想輸出向量進(jìn)行比較，得到誤差值，利用誤差值反向自動(dòng)修正各層神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)，完成一組訓(xùn)練；

s15、訓(xùn)練完成后，生成一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的分類器。

所述引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)包括如下步驟：

s20、獲取視頻流：獲取待檢測(cè)計(jì)數(shù)的視頻圖像流；

s21、檢測(cè)識(shí)別：從視頻圖像流中按時(shí)間順序依次取出每一幀圖像，使用訓(xùn)練完成的深度卷積神經(jīng)網(wǎng)絡(luò)分類器，對(duì)圖像進(jìn)行目標(biāo)檢測(cè)和分類識(shí)別，依次輸出每一幀圖像的識(shí)別結(jié)果和分類得分值。

s22、計(jì)數(shù)判斷：將獲取到的分類得分值按照時(shí)間順序進(jìn)行串聯(lián)形成動(dòng)作序列，并與標(biāo)準(zhǔn)引體向上動(dòng)作序列進(jìn)行比對(duì)，判斷人員的此次引體向上是否標(biāo)準(zhǔn)，若序列匹配，則引體向上計(jì)數(shù)總和加1。

其中，所述多層深度卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)為九層，深度卷積神經(jīng)網(wǎng)絡(luò)包括九個(gè)卷積層、六個(gè)池化層和一個(gè)全連接層，并用初始設(shè)定權(quán)值參數(shù)初始化每一層的神經(jīng)網(wǎng)絡(luò)。

其中，在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練并生成標(biāo)準(zhǔn)動(dòng)作分類器的最后一個(gè)步驟生成一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的分類器之前，還有一個(gè)驗(yàn)證訓(xùn)練效果的步驟，如果效果不理想，則重復(fù)s13、s14兩個(gè)步驟，將更多的圖像樣本向量數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)大量的訓(xùn)練圖像樣本，不斷的自動(dòng)更新優(yōu)化各神經(jīng)網(wǎng)絡(luò)各層權(quán)值參數(shù)，如果效果理想，則完成訓(xùn)練。

其中，在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中，卷積層初始設(shè)定的權(quán)值更新推導(dǎo)如下：

在卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)于卷積層的每一種輸出的特征圖x(j)有：

其中，mj表示選擇的輸入特征圖組合，kij是輸入的第i種特征圖和輸出的第j種特征圖之間的連接所用的卷積核，bj是第j種特征圖對(duì)應(yīng)的偏置，f是激活函數(shù)；

計(jì)算靈敏度：

計(jì)算誤差代價(jià)函數(shù)對(duì)偏置b的偏導(dǎo)：

即對(duì)層l中的靈敏度中所有節(jié)點(diǎn)求和，這里(u,v)代表靈敏度矩陣中的元素位置：

計(jì)算誤差代價(jià)函數(shù)對(duì)卷積核k的偏導(dǎo)：

這里是在做卷積時(shí)，與kij做卷積的每一個(gè)patch，(u,v)是patch中心，輸出特征圖中(u,v)位置的值，是由輸入特征圖中(u,v)位置的patch和卷積核kij卷積所得的值；

池化層權(quán)值更新推到如下：

s30、在卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)于采樣層的每一種輸出特征圖xj有：

down表示池化操作，這里的β是乘性偏置，b是加性偏置；

s31、計(jì)算靈敏度

s32、計(jì)算誤差代價(jià)函數(shù)對(duì)偏置b的偏導(dǎo)

此處和卷積層的b是一樣的：

其中，所述卷積層對(duì)圖像進(jìn)行卷積運(yùn)算；所述池化層對(duì)卷積后的圖像進(jìn)行池化得到下一層輸入向量；所述全連接層將網(wǎng)絡(luò)學(xué)習(xí)到的分布式特征映射到樣本標(biāo)記空間。

本發(fā)明還公開(kāi)—種基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上運(yùn)動(dòng)檢測(cè)系統(tǒng)，包括卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊、引體向上運(yùn)動(dòng)檢測(cè)識(shí)別計(jì)數(shù)模塊和攝像頭；所述攝像頭正對(duì)測(cè)試人員，攝像頭與卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊電連接，并將拍攝的視頻圖像傳輸?shù)骄矸e神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊中，由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊進(jìn)行目標(biāo)檢測(cè)，識(shí)別運(yùn)動(dòng)員動(dòng)作，輸出動(dòng)作系列特征值，并輸出到引體向上運(yùn)動(dòng)檢測(cè)識(shí)別計(jì)數(shù)模塊中；并由引體向上運(yùn)動(dòng)檢測(cè)識(shí)別計(jì)數(shù)模塊中的主控模塊完成人機(jī)交互理，和計(jì)數(shù)結(jié)果輸出。

其中，所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊包括圖像采集標(biāo)注模塊、圖像導(dǎo)入模塊和gpu計(jì)算模塊；

所述圖像采集標(biāo)注模塊：用于從圖像樣本空間中選取多組樣本圖像數(shù)據(jù)，并標(biāo)記分類；

所述圖像導(dǎo)入模塊：根據(jù)硬件實(shí)際配置用于將一組(32張、64張、128張)樣本圖像數(shù)據(jù)分組(4組、8組、16組)依次導(dǎo)入內(nèi)存，并輸入到多層神經(jīng)網(wǎng)絡(luò)的輸入層；

所述gpu計(jì)算模塊：用于計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的各層的卷積、池化等運(yùn)算，得到下一層的輸入特征表示數(shù)據(jù)(特征向量)，將中間層的輸出特征表示數(shù)據(jù)以及輸出層的實(shí)際輸出特征表示數(shù)據(jù)中的特征向量元素分別與理想輸出特征向量中的元素比較，得出中間各層誤差以及輸出層誤差；計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出向量，將輸出向量中的元素與目標(biāo)向量中的元素進(jìn)行比較，計(jì)算出輸出誤差；對(duì)于中間層的隱單元也計(jì)算出誤差；計(jì)算出各權(quán)值的調(diào)整量和閾值的調(diào)整量；調(diào)整權(quán)值和調(diào)整閾值；當(dāng)經(jīng)歷n次迭代之后，判斷指標(biāo)是否滿足精度要求，如果不滿足，則繼續(xù)重復(fù)上述過(guò)程；通過(guò)不斷訓(xùn)練更新各層權(quán)值參數(shù)，網(wǎng)絡(luò)學(xué)習(xí)越來(lái)越好，離理想函數(shù)越來(lái)越近，當(dāng)滿足事先設(shè)定的誤差值時(shí)，結(jié)束卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，并將各層權(quán)值等參數(shù)寫(xiě)入文件，產(chǎn)生分類器文件。

其中，所述引體上向檢測(cè)計(jì)數(shù)模塊包括：主控模塊、視頻圖像流采集模塊、目標(biāo)檢測(cè)識(shí)別模塊和引體向上運(yùn)動(dòng)計(jì)數(shù)模塊；主控模塊與目標(biāo)檢測(cè)識(shí)別模塊和引體向上運(yùn)動(dòng)計(jì)數(shù)模塊電連接，視頻圖像流采集模塊與目標(biāo)檢測(cè)識(shí)別模塊電連接；

所述視頻圖像流采集模塊：用于從攝像頭采集實(shí)時(shí)視頻流；

所述目標(biāo)檢測(cè)識(shí)別模塊：將視頻流圖像幀依次輸入已經(jīng)加載分類器文件完成的卷積神經(jīng)網(wǎng)絡(luò)，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)當(dāng)前圖像幀進(jìn)行檢測(cè)識(shí)別，直接檢測(cè)出當(dāng)前人體動(dòng)作分類以及人體在圖像中的坐標(biāo)位置，依次處理后續(xù)圖像幀；

所述引體向上運(yùn)動(dòng)計(jì)數(shù)模塊：將目標(biāo)檢測(cè)模塊獲取到的人體動(dòng)作分類值按照時(shí)間順序進(jìn)行串聯(lián)形成動(dòng)作序列，并與標(biāo)準(zhǔn)引體向上動(dòng)作序列進(jìn)行比對(duì)，判斷人員的此次引體向上是否標(biāo)準(zhǔn)，條件滿足，則計(jì)數(shù)加1；

所述主控模塊：用于協(xié)調(diào)、調(diào)度和控制其它模塊的操作，并提供對(duì)外的服務(wù)接口，實(shí)現(xiàn)引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)模塊與其它系統(tǒng)之間的交互。

本發(fā)明的有益效果在于：基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上檢測(cè)計(jì)數(shù)方法先通過(guò)構(gòu)建多層深度卷積神經(jīng)網(wǎng)絡(luò)并對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其訓(xùn)練得出輸出層矢量元素到中間層輸出矢量元素的權(quán)值以及中間層輸出矢量元素到輸出層矢量元素的權(quán)值，并根據(jù)總誤差函數(shù)來(lái)與誤差閾值的關(guān)系來(lái)判斷進(jìn)一步調(diào)整權(quán)值得到良好的分類器，并利用該分類器對(duì)采集的視頻圖像進(jìn)行分析進(jìn)而檢測(cè)出人體動(dòng)作目標(biāo)及動(dòng)作分類，將獲取到的分類值按照時(shí)間順序進(jìn)行串聯(lián)形成動(dòng)作序列，并與標(biāo)準(zhǔn)引體向上動(dòng)作序列進(jìn)行比對(duì)，判斷人員的此次引體向上是否標(biāo)準(zhǔn)，若序列匹配，則引體向上計(jì)數(shù)總和加1，本發(fā)明具有泛化能力強(qiáng)、魯棒性強(qiáng)、計(jì)數(shù)準(zhǔn)確率高、計(jì)數(shù)速度快等優(yōu)點(diǎn)。

附圖說(shuō)明

圖1為本發(fā)明深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟和引體向上檢測(cè)計(jì)數(shù)步驟；

圖2為本發(fā)明引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)步驟；

圖3為本發(fā)明引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)裝置結(jié)構(gòu)示意圖；

圖4為本發(fā)明引體向上運(yùn)動(dòng)檢測(cè)技術(shù)裝置工作流程圖；

圖5為本發(fā)明的迭代次數(shù)樣本量。

具體實(shí)施方式

為了便于理解本發(fā)明，下面將參照相關(guān)附圖對(duì)本發(fā)明進(jìn)行更全面的描述。附圖中給出了本發(fā)明的較佳實(shí)施例。但是，本發(fā)明可以以許多不同的形式來(lái)實(shí)現(xiàn)，并不限于本文所描述的實(shí)施例。相反地，提供這些實(shí)施例的目的是使對(duì)本發(fā)明的公開(kāi)內(nèi)容的理解更加透徹全面。

本發(fā)明最關(guān)鍵的構(gòu)思在于：本發(fā)明先通過(guò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)并對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到一個(gè)良好的分類器，然后利用該分類器對(duì)采集的視頻圖像進(jìn)行人體動(dòng)作檢測(cè)及分類，具有泛化能力強(qiáng)、魯棒性強(qiáng)、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)。

請(qǐng)參閱圖1,一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上檢測(cè)計(jì)數(shù)方法，包括深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟和引體向上檢測(cè)計(jì)數(shù)步驟；

所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟包括如下步驟；

制作訓(xùn)練圖像樣本：從引體向上視頻圖像中選取4組樣本圖像數(shù)據(jù)，分別是：

(1)下巴過(guò)杠圖像樣本組；

(2)頭部過(guò)杠但下巴未過(guò)杠圖像樣本組；

(3)頭部低于單杠并且手臂彎曲狀態(tài)圖像樣本組；

(4)頭部低于單杠并且手臂伸直狀態(tài)圖像樣本組；

每組樣本圖像要求具有多樣性，樣本來(lái)源于不同的樣本空間，所有樣本做好分類標(biāo)記。

樣本圖像正則化：將原始樣本圖像進(jìn)行圖像大小變換操作，將其分辨率壓縮到256*256，并將圖像數(shù)據(jù)轉(zhuǎn)化為浮點(diǎn)向量數(shù)據(jù)。

將標(biāo)注過(guò)的樣本，輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行大量訓(xùn)練、學(xué)習(xí)生成標(biāo)準(zhǔn)合格的特征模型；

初始化深度卷積神經(jīng)網(wǎng)絡(luò)：構(gòu)建一個(gè)的九層深度卷積神經(jīng)網(wǎng)絡(luò)，此網(wǎng)絡(luò)分別由九個(gè)卷積層、六個(gè)池化層和一個(gè)全連接層構(gòu)成，并用初始設(shè)定權(quán)值參數(shù)初始化每一層的神經(jīng)網(wǎng)絡(luò)。

將標(biāo)記好的一個(gè)圖像樣本的浮點(diǎn)向量數(shù)據(jù)輸入完成初始化的深度卷積神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過(guò)九層卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算，得到最后一層的輸出向量。

將輸出向量和標(biāo)記類的理想輸出向量進(jìn)行比較，得到誤差值。利用誤差值反向自動(dòng)修正各層神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)，完成一組訓(xùn)練，輸出動(dòng)作序列。

重復(fù)訓(xùn)練網(wǎng)絡(luò)以及反向修改各層權(quán)值參數(shù)兩步驟，將所有圖像樣本向量數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。通過(guò)大量的訓(xùn)練圖像樣本，不斷的自動(dòng)更新優(yōu)化各神經(jīng)網(wǎng)絡(luò)各層權(quán)值參數(shù)。

訓(xùn)練完成后，生成一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的分類器。

在本實(shí)施例中，在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中，卷積層權(quán)值更新推導(dǎo)如下：

在卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)于卷積層的每一種輸出的特征圖x(j)有：

其中，mj表示選擇的輸入特征圖組合，kij是輸入的第i種特征圖和輸出的第j種特征圖之間的連接所用的卷積核，bj是第j種特征圖對(duì)應(yīng)的偏置，f是激活函數(shù)。

計(jì)算靈敏度采用一下算法：

因?yàn)閘+1層是采樣層，所以相當(dāng)于也是做卷積，例如做scale＝2的池化，就是用2*2的每個(gè)值為1/4的卷積核卷積圖像，所以這里的權(quán)值w實(shí)際上就是這個(gè)2*2的卷積核，它的值是βj。up表示上采樣操作，因?yàn)閘+1池化層層的靈敏度矩陣是l層靈敏度矩陣的尺寸的1/4(scale＝2時(shí))，所以這里要對(duì)l+1層的靈敏度矩陣做上采樣，使它們尺寸一致。

在計(jì)算誤差代價(jià)函數(shù)對(duì)偏置b的偏導(dǎo)，也就是對(duì)層l中的靈敏度中所有節(jié)點(diǎn)求和，這里(u,v)代表靈敏度矩陣中的元素位置：

計(jì)算誤差代價(jià)函數(shù)對(duì)卷積核k的偏導(dǎo)：

這里是在做卷積時(shí)，與kij做卷積的每一個(gè)patch，(u,v)是patch中心，輸出特征圖中(u,v)位置的值，是由輸入特征圖中(u,v)位置的patch和卷積核kij卷積所得的值。

池化層權(quán)值更新推到如下：

s30、在卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)于采樣層的每一種輸出特征圖xj有：

down表示池化操作，這里的β是乘性偏置，b是加性偏置。

s31、計(jì)算靈敏度

s32、計(jì)算誤差代價(jià)函數(shù)對(duì)偏置b的偏導(dǎo)

此處和卷積層的b是一樣的：

請(qǐng)參閱圖2，在本實(shí)施例中，引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)步驟包括如下步驟：

獲取待檢測(cè)計(jì)數(shù)的視頻圖像流；

從視頻圖像流中按時(shí)間順序依次取出每一幀圖像，使用訓(xùn)練完成的深度卷積神經(jīng)網(wǎng)絡(luò)分類器，對(duì)圖像進(jìn)行目標(biāo)檢測(cè)和分類識(shí)別。網(wǎng)絡(luò)輸出設(shè)計(jì)為一個(gè)一維向量，輸出層參數(shù)＝預(yù)測(cè)區(qū)域數(shù)量×(類數(shù)量+候選坐標(biāo)點(diǎn)數(shù)量+1)。在4類別問(wèn)題中，輸出層參數(shù)為5x(4+4+1)＝45個(gè)。得到的結(jié)果是類名與對(duì)應(yīng)類的百分比以及候選框坐標(biāo)，輸出其中百分比最高對(duì)應(yīng)的分類的候選框坐標(biāo)。例如輸出[0.002,0.981,0.01,0.007,0.1238,0.5292,0.8217,0.3265,0.1092]，通過(guò)前四個(gè)小數(shù)確定類別，中間四個(gè)小數(shù)計(jì)算檢測(cè)結(jié)果坐標(biāo)位置。根據(jù)本系統(tǒng)中定義類的順序可得出當(dāng)前檢測(cè)結(jié)果為頭過(guò)杠下巴未過(guò)杠，后四個(gè)數(shù)轉(zhuǎn)化為當(dāng)前檢測(cè)結(jié)果在圖像中的坐標(biāo)位置。依次輸出每一幀圖像的識(shí)別結(jié)果和分類值。

將獲取到的分類得分值按照時(shí)間順序進(jìn)行串聯(lián)形成動(dòng)作序列，并與標(biāo)準(zhǔn)引體向上動(dòng)作序列進(jìn)行比對(duì)，判斷人員的此次引體向上是否標(biāo)準(zhǔn)。若序列匹配，則引體向上計(jì)數(shù)總和加1。

從上述描述可知,本發(fā)明的有益效果在于：基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)方法先通過(guò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)并對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出向量，將輸出向量中的元素與目標(biāo)向量中的元素進(jìn)行比較，計(jì)算出輸出誤差；并根據(jù)總誤差函數(shù)來(lái)與誤差閾的關(guān)系來(lái)判斷進(jìn)一步調(diào)整權(quán)值得到良好的分類器,并利用該分類器對(duì)采集的視頻圖像進(jìn)行分析進(jìn)而識(shí)別行人圖像。具有泛化能力強(qiáng)、魯棒性強(qiáng)、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)。

本方案中的訓(xùn)練過(guò)程按照常用反向傳播算法，包括兩個(gè)環(huán)節(jié)(激勵(lì)傳播、權(quán)重更新)反復(fù)循環(huán)迭代過(guò)程，直到網(wǎng)絡(luò)的對(duì)輸入的響應(yīng)達(dá)到預(yù)定的目標(biāo)范圍為止。通過(guò)訓(xùn)練大量的圖像樣本，同時(shí)根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn),做出一些改進(jìn)，降低隨機(jī)性，提髙了效率。在獲得圖像數(shù)據(jù)后，通過(guò)一些歸一化和預(yù)處理步驟，減小圖像噪聲的影響和消除圖像亮度及對(duì)比度的差異,提高數(shù)據(jù)的針對(duì)性和魯棒性，得到統(tǒng)計(jì)的方法進(jìn)行學(xué)習(xí)處理樣本的最基本的特征向量。

具體的訓(xùn)練過(guò)程：

1)使用自下上升非監(jiān)督學(xué)習(xí)，從底層開(kāi)始，一層一層的往頂層訓(xùn)練：

2)采用有標(biāo)定數(shù)據(jù)分層進(jìn)行無(wú)監(jiān)督訓(xùn)練各層參數(shù)，進(jìn)行特征學(xué)習(xí)過(guò)程，先用無(wú)標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時(shí)先學(xué)習(xí)第一層的參數(shù)，這一層可以得到一個(gè)使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層，由于模型容量的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，分別得到各層的參數(shù)；

3)使用自頂向下的監(jiān)督學(xué)習(xí)，通過(guò)帶標(biāo)注的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)：基于上一步得到的各層參數(shù)進(jìn)一步適當(dāng)調(diào)整整個(gè)多層模型的參數(shù)，上一步類似神經(jīng)網(wǎng)絡(luò)的隨機(jī)初始化初值過(guò)程，卷積神經(jīng)網(wǎng)絡(luò)的初始化參數(shù)不是隨機(jī)的，而是通過(guò)學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的訓(xùn)練效果；

在上述條件下，深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下：

請(qǐng)參閱圖5，選定訓(xùn)練組四組(上述描述的四類樣本),從樣本集中隨機(jī)地抽取10000(共四類,4x10000＝40000)張樣本圖像作為訓(xùn)練樣本組；

將各權(quán)值、閾值等參數(shù)，置成小的趨近于0的浮點(diǎn)值，并初始化誤差閾值、訓(xùn)練迭代總數(shù)、衰減參數(shù)、樣本變化規(guī)格參數(shù)、學(xué)習(xí)率,本實(shí)施例的迭代次數(shù)樣本量如圖5所示。

前向傳播階段：

1)從樣本集中取一個(gè)樣本(x,yp)，將x輸入卷積神經(jīng)網(wǎng)絡(luò)；

2)計(jì)算相應(yīng)的深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)際輸出op；

3)在此階段，圖像信息從輸入層經(jīng)過(guò)逐級(jí)的變換，傳送到輸出層。這個(gè)過(guò)程也是卷積神經(jīng)網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過(guò)程。在此過(guò)程中，網(wǎng)絡(luò)執(zhí)行的是計(jì)算(實(shí)際上就是輸入與每層的權(quán)值矩陣相點(diǎn)乘，得到最后的輸出結(jié)果)：

op＝fn(…(f2(f1(xpw(1))w(2))…)w(n))

反向傳播階段：

4)算實(shí)際輸出op與相應(yīng)的理想輸出yp的差；

5)按極小化誤差的方法反向傳播調(diào)整權(quán)值矩陣；

6)當(dāng)每經(jīng)歷n至后，判斷指標(biāo)是否滿足精度要求，如果不滿足，就返回(1)，繼續(xù)迭代。如果滿足就進(jìn)入下一步；

7)訓(xùn)練結(jié)束，將權(quán)值參數(shù)和閥值保存在文件中。這時(shí)可以認(rèn)為每個(gè)權(quán)值參數(shù)已趨近理想權(quán)值參數(shù)，將權(quán)值參數(shù)和閾值分類器存入文件。再一次進(jìn)行訓(xùn)練時(shí)，直接從文件到出權(quán)值和閥值進(jìn)行訓(xùn)練，則不需要進(jìn)行初始化每層權(quán)值參數(shù)、閾值。

進(jìn)一步的，卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)為九層。第一層卷積神經(jīng)網(wǎng)絡(luò)用于粗略的預(yù)測(cè)人體在圖像中的位置，第二層至第九層網(wǎng)絡(luò)的卷積和池化層用于學(xué)習(xí)肢體形態(tài)深度特征信息，通過(guò)最后一層全連接層卷積神經(jīng)網(wǎng)絡(luò)合理擬合計(jì)結(jié)果，使行人體肢體檢測(cè)的誤差盡可能小。

進(jìn)一步的，中間層包括九個(gè)級(jí)聯(lián)的卷積層、六個(gè)最大池化層以及一個(gè)全連接層，所述卷積層對(duì)圖像進(jìn)行卷積運(yùn)算；所述最大池化層對(duì)收卷積后的圖像進(jìn)行最大池化得到特征圖；所述激活函數(shù)層對(duì)卷積后的特征圖進(jìn)行調(diào)整修正。在卷積層中本方案選定的是3x3和1x1的卷積核。采用更接近生物學(xué)的修正線性單元方法整激活函數(shù)，經(jīng)實(shí)踐證明，訓(xùn)練后的網(wǎng)絡(luò)完全具備適度的稀疏性，而且訓(xùn)練后的可視化效果和傳統(tǒng)預(yù)訓(xùn)練的效果很相似，可以減少數(shù)據(jù)的處理量同時(shí)保留有用信息。

池化層采用最大池化的方式進(jìn)行，本層把卷積層輸出特征圖作為輸入，分別進(jìn)行池化運(yùn)算后輸出下一個(gè)卷積層的輸入特征圖，該圖像保留了原圖像的絕大部分有用特征信息。新的最大池化點(diǎn)的值是原圖像中2x2像素的最大值。全連接層將深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)到的分布式特征表示映射到樣本標(biāo)記空間，從而達(dá)到完成分類的目的。在實(shí)際使用中，由于全連接層參數(shù)冗余，全連接層常常會(huì)用另一個(gè)卷積層操作實(shí)現(xiàn)。在當(dāng)前網(wǎng)絡(luò)中，對(duì)前層是全連接的全連接層可以轉(zhuǎn)化為卷積核為1x1的卷積計(jì)算，從而達(dá)到與全連接層同樣效果，參數(shù)數(shù)量大大減少。

綜上所述,本發(fā)明提供的基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)方法先通過(guò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)并對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出向量，將輸出向量中的元素與目標(biāo)向量中的元素進(jìn)行比較，計(jì)算出輸出誤差；并根據(jù)總誤差函數(shù)來(lái)與誤差閾的關(guān)系來(lái)判斷進(jìn)一步調(diào)整權(quán)值得到良好的分類器,并利用該分類器對(duì)采集的視頻圖像流進(jìn)行檢測(cè)進(jìn)而識(shí)別人體引體向上運(yùn)動(dòng)圖像，具有泛化能力強(qiáng)、魯棒性強(qiáng)、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)。由于卷積神經(jīng)網(wǎng)絡(luò)的特征提取通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)自動(dòng)提取,所以在使用卷積神經(jīng)網(wǎng)絡(luò)時(shí)，大大提高了圖像特征提取多樣性，特征復(fù)雜度更接近于真是情況，對(duì)后續(xù)檢測(cè)識(shí)別精度有著極其重要的意義。而自動(dòng)特征提取動(dòng)作是通過(guò)訓(xùn)練，在大量標(biāo)記的樣本數(shù)據(jù)中進(jìn)行學(xué)習(xí)，盡可能將所有的特征信息都學(xué)習(xí)到，從而達(dá)到極高的準(zhǔn)確率。由于圖像的空間聯(lián)系是局部的，就像人是通過(guò)一個(gè)局部的感受野去感受外界圖像一樣，每一個(gè)神經(jīng)元都不需要對(duì)全局圖像做感受，每個(gè)神經(jīng)元只感受局部的圖像區(qū)域(感受野)，然后在更高層，將這些感受不同局部的神經(jīng)元綜合起來(lái)就可以得到全局的信息?？梢詼p少連接的數(shù)目，也就是減少神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的權(quán)值參數(shù)的個(gè)數(shù)，于是認(rèn)為同一特征映射面上的神經(jīng)元權(quán)值相同,因此深度卷積神經(jīng)網(wǎng)絡(luò)可局部并行學(xué)習(xí)，可以通過(guò)gpu并行計(jì)算，極大減少訓(xùn)練時(shí)間和檢測(cè)時(shí)間。這是深度卷積網(wǎng)絡(luò)相對(duì)于其他神經(jīng)元節(jié)點(diǎn)相互相連網(wǎng)絡(luò)的一大優(yōu)勢(shì)。深度卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在圖像處理方面有著先天的優(yōu)勢(shì)。正如人觀察物體，先是看到局部的信息，每一個(gè)神經(jīng)元都不需要對(duì)全局圖像做感受，每個(gè)神經(jīng)元只需感受局部的圖像區(qū)域(感受野)，然后在更高層，將這些感受不同局部的神經(jīng)元綜合起來(lái)就可以得到全局圖像的信息。權(quán)值共享降低了深度卷積神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)之間連接的復(fù)雜性，特別是高維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類檢測(cè)過(guò)程中數(shù)據(jù)重組的復(fù)雜度。相對(duì)于淺層神經(jīng)網(wǎng)絡(luò)模型(一般3-5層)，深度卷積神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)非常多，具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫(huà)，從而有利于可視化或分類。深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，通過(guò)逐層初始化來(lái)有效克服，逐層初始化是通過(guò)無(wú)監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。

本發(fā)明還提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的引體向上運(yùn)動(dòng)檢測(cè)計(jì)數(shù)裝置，請(qǐng)參閱圖3-圖4，包括卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊、引體向上運(yùn)動(dòng)檢測(cè)識(shí)別計(jì)數(shù)模塊和攝像頭；所述攝像頭正對(duì)測(cè)試人員，攝像頭與卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊電連接，并將拍攝的視頻圖像傳輸?shù)骄矸e神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊中，由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊進(jìn)行目標(biāo)檢測(cè)，識(shí)別運(yùn)動(dòng)員動(dòng)作，輸出動(dòng)作系列特征值，并輸出到引體向上運(yùn)動(dòng)檢測(cè)識(shí)別計(jì)數(shù)模塊中；并由引體向上運(yùn)動(dòng)檢測(cè)識(shí)別計(jì)數(shù)模塊中的主控模塊完成人機(jī)交互理，和計(jì)數(shù)結(jié)果輸出。

(1)所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊包括圖像采集標(biāo)注模塊、圖像導(dǎo)入模塊、gpu計(jì)算模塊：

所述圖像采集標(biāo)注模塊，用于從圖像樣本空間中選取多組樣本圖像數(shù)據(jù)，并標(biāo)記分類；

所述圖像導(dǎo)入模塊，根據(jù)硬件實(shí)際配置用于將一組(32張、64張、128張)樣本圖像數(shù)據(jù)分組(4組、8組、16組)依次導(dǎo)入內(nèi)存，并輸入到多層神經(jīng)網(wǎng)絡(luò)的輸入層。

所述gpu計(jì)算模塊，用于計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的各層的卷積、池化等運(yùn)算，得到下一層的輸入特征表示數(shù)據(jù)(特征向量)，將中間層的輸出特征表示數(shù)據(jù)以及輸出層的實(shí)際輸出特征表示數(shù)據(jù)中的特征向量元素分別與理想輸出特征向量中的元素比較，得出中間各層誤差以及輸出層誤差；計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出向量，將輸出向量中的元素與目標(biāo)向量中的元素進(jìn)行比較，計(jì)算出輸出誤差；對(duì)于中間層的隱單元也計(jì)算出誤差；計(jì)算出各權(quán)值的調(diào)整量和閾值的調(diào)整量；調(diào)整權(quán)值和閾值；當(dāng)經(jīng)歷n次迭代之后，判斷指標(biāo)是否滿足精度要求，如果不滿足，則繼續(xù)重復(fù)上述過(guò)程。通過(guò)不斷訓(xùn)練更新各層權(quán)值參數(shù)，網(wǎng)絡(luò)學(xué)習(xí)越來(lái)越好，離理想函數(shù)越來(lái)越近，當(dāng)滿足事先設(shè)定的誤差值時(shí)，結(jié)束卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，并將各層權(quán)值等參數(shù)寫(xiě)入文件，即產(chǎn)生分類器文件。

(2)所述引體上向檢測(cè)識(shí)別計(jì)數(shù)模塊包括視頻圖像流采集模塊、目標(biāo)檢測(cè)模塊、引體向上運(yùn)動(dòng)計(jì)數(shù)模塊：

所述視頻圖像流采集模塊，用于從攝像頭采集實(shí)時(shí)視頻流；

所述目標(biāo)檢測(cè)模塊，將視頻流圖像幀依次輸入已經(jīng)加載分類器文件完成的卷積神經(jīng)網(wǎng)絡(luò)，利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)當(dāng)前圖像幀進(jìn)行檢測(cè)識(shí)別，直接檢測(cè)出當(dāng)前人體動(dòng)作分類以及人體在圖像中的坐標(biāo)位置，依次處理后續(xù)圖像幀。

所述引體向上運(yùn)動(dòng)計(jì)數(shù)模塊，將目標(biāo)檢測(cè)模塊獲取到的人體動(dòng)作分類得分值按照時(shí)間順序進(jìn)行串聯(lián)形成動(dòng)作序列，并與標(biāo)準(zhǔn)引體向上動(dòng)作序列進(jìn)行比對(duì)，判斷人員的此次引體向上是否標(biāo)準(zhǔn)，條件滿足，則計(jì)數(shù)總和加1。

本發(fā)明具有泛化能力強(qiáng)、魯棒性強(qiáng)、計(jì)數(shù)準(zhǔn)確率高等優(yōu)點(diǎn)。

應(yīng)該說(shuō)明的是，上述系統(tǒng)實(shí)施例中，所包括的各個(gè)模塊只是按照功能邏輯進(jìn)行劃分的，但并不局限于上述的劃分，只要能夠?qū)崿F(xiàn)相應(yīng)的功能即可；另外，各功能模塊的具體名稱也只是為了便于相互區(qū)分，并不用于限制本發(fā)明的保護(hù)范圍。

另外，本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述各實(shí)施例方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，相應(yīng)的程序可以存儲(chǔ)于可讀取存儲(chǔ)介質(zhì)中。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。