本發(fā)明涉及圖像識(shí)別以及視頻監(jiān)控領(lǐng)域，尤其涉及一種基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法。

背景技術(shù)：

釣魚(yú)是一項(xiàng)深受現(xiàn)代人喜愛(ài)的業(yè)余愛(ài)好，經(jīng)?？梢钥吹皆诤恿鬟吅秃呌写贯炚咴卺烎~(yú)，但是為了管理需要以及商業(yè)利益很多地方是不允許釣魚(yú)的，比如景區(qū)的湖泊、私人承包的水庫(kù)。

現(xiàn)有的禁止釣魚(yú)者在非法區(qū)域釣魚(yú)的方法主要有設(shè)置警示牌，安排管理人員巡邏，但是在實(shí)踐中設(shè)置警示牌并不能有效地起到驅(qū)離非法釣魚(yú)者的作用，而安排管理人員巡邏則極大的浪費(fèi)人力資源。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法，能夠自動(dòng)識(shí)別攝像頭拍攝到圖像中的非法釣魚(yú)者并向釣魚(yú)者發(fā)出語(yǔ)音警告和向管理人員發(fā)送提示信息。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案為：一種基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法，包括以下步驟：

步驟1，從安裝在禁止釣魚(yú)區(qū)域內(nèi)的攝像頭上實(shí)時(shí)提取視頻圖像序列；

步驟2，建立釣魚(yú)竿的邊緣提取模型，利用邊緣提取算子對(duì)輸入的視頻圖像序列提取圖像邊緣像素點(diǎn)；

步驟3，利用基于行程的連通性算法對(duì)步驟2中提取到的邊緣像素點(diǎn)進(jìn)行分類(lèi)，將上下左右相連的邊緣像素點(diǎn)標(biāo)記為一個(gè)連通區(qū)域；

步驟4，計(jì)算該連通區(qū)域跨越水域的長(zhǎng)度、跨越岸邊的長(zhǎng)度、總長(zhǎng)度以及平均寬度；

步驟5，對(duì)步驟4中獲得的連通區(qū)域參數(shù)采用證據(jù)融合理論綜合判定該連通區(qū)域是否為一根釣魚(yú)竿；

步驟6，重復(fù)步驟2到步驟5直到有連通區(qū)域被判定為一根釣魚(yú)竿；

步驟7，在步驟6檢測(cè)到釣魚(yú)竿的周?chē)鷳?yīng)用背景消除算法提取相對(duì)于記錄在系統(tǒng)內(nèi)的背景不同的前景目標(biāo)；

步驟8，統(tǒng)計(jì)步驟7獲得的前景目標(biāo)的像素點(diǎn)顏色分布直方圖，將顏色分布直方圖輸入到訓(xùn)練好的支持向量機(jī)分類(lèi)器中去，判斷前景目標(biāo)是否為人體目標(biāo)；

步驟9，如果步驟6判定視野中存在釣魚(yú)竿并且步驟8判定釣魚(yú)竿周?chē)嬖谌梭w目標(biāo)則進(jìn)行語(yǔ)音預(yù)警并將拍攝到的監(jiān)控畫(huà)面發(fā)送給管理員，如果步驟6判定視野中存在釣魚(yú)竿并且步驟8判定釣魚(yú)竿周?chē)淮嬖谌梭w目標(biāo)則僅將拍攝到的監(jiān)控畫(huà)面?zhèn)魉徒o管理員。

與現(xiàn)有技術(shù)相比，本發(fā)明的顯著優(yōu)點(diǎn)為：

(1)本發(fā)明能夠?qū)崿F(xiàn)對(duì)禁止釣魚(yú)區(qū)域的自動(dòng)化監(jiān)控，最大限度地降低昂貴的人力成本同時(shí)提高管理效率；(2)本發(fā)明監(jiān)控準(zhǔn)確率高，具有很大的工程應(yīng)用價(jià)值。

附圖說(shuō)明

圖1為本發(fā)明系統(tǒng)的功能模塊示意圖。

圖2為本發(fā)明基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法的流程示意圖。

圖3為基于行程的連通性算法步驟示意圖。

具體實(shí)施方式

本發(fā)明基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法所采用的技術(shù)方案是：如圖1所示，在需要監(jiān)控非法釣魚(yú)者的區(qū)域設(shè)立攝像頭、處理器模塊、語(yǔ)音告警裝置以及無(wú)線(xiàn)通信模塊，攝像頭拍攝到的圖像經(jīng)過(guò)處理器的實(shí)時(shí)處理之后判斷出區(qū)域內(nèi)是否存在非法釣魚(yú)者，如果存在，就啟動(dòng)語(yǔ)音模塊，播放預(yù)先錄制好的警示釣魚(yú)者的信息，并利用通信模塊將存在非法釣魚(yú)者的信息通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)的方式提供給管理員。

結(jié)合圖2，一種基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法，包括以下步驟：

步驟1，從安裝在禁止釣魚(yú)區(qū)域內(nèi)的攝像頭上實(shí)時(shí)提取視頻圖像序列；

步驟2，建立釣魚(yú)竿的邊緣提取模型，利用邊緣提取算子對(duì)輸入的視頻圖像序列提取圖像邊緣像素點(diǎn)；

步驟3，利用基于行程的連通性算法對(duì)步驟2中提取到的邊緣像素點(diǎn)進(jìn)行分類(lèi)，將上下左右相連的邊緣像素點(diǎn)標(biāo)記為一個(gè)連通區(qū)域；

步驟4，計(jì)算該連通區(qū)域跨越水域的長(zhǎng)度、跨越岸邊的長(zhǎng)度、總長(zhǎng)度以及平均寬度；

步驟5，對(duì)步驟4中獲得的連通區(qū)域參數(shù)采用證據(jù)融合理論綜合判定該連通區(qū)域是否為一根釣魚(yú)竿；

步驟6，重復(fù)步驟2到步驟5直到有連通區(qū)域被判定為一根釣魚(yú)竿；

步驟7，在步驟6檢測(cè)到釣魚(yú)竿的周?chē)鷳?yīng)用背景消除算法提取相對(duì)于記錄在系統(tǒng)內(nèi)的背景不同的前景目標(biāo)；

步驟8，統(tǒng)計(jì)步驟7獲得的前景目標(biāo)的像素點(diǎn)顏色分布直方圖，將顏色分布直方圖輸入到訓(xùn)練好的支持向量機(jī)分類(lèi)器中去，判斷前景目標(biāo)是否為人體目標(biāo)；

步驟9，如果步驟6判定視野中存在釣魚(yú)竿并且步驟8判定釣魚(yú)竿周?chē)嬖谌梭w目標(biāo)則進(jìn)行語(yǔ)音預(yù)警并將拍攝到的監(jiān)控畫(huà)面發(fā)送給管理員，如果步驟6判定視野中存在釣魚(yú)竿并且步驟8判定釣魚(yú)竿周?chē)淮嬖谌梭w目標(biāo)則僅將拍攝到的監(jiān)控畫(huà)面?zhèn)魉徒o管理員。

進(jìn)一步的，步驟1中監(jiān)控圖像尺寸通過(guò)圖像插值算法壓縮到標(biāo)準(zhǔn)的640*320圖像尺寸。

進(jìn)一步的，步驟2具體為：

采用內(nèi)核分別為G_x和G_y的邊緣提取算子對(duì)步驟1獲得的標(biāo)準(zhǔn)尺寸的圖像做卷積，提取出圖像中與周?chē)袼攸c(diǎn)顏色值的差值大于設(shè)定閾值的像素點(diǎn)，將這些提取出的像素點(diǎn)視為邊緣像素點(diǎn)；

進(jìn)一步的，步驟3具體為：

步驟3-1，從圖像的第一行開(kāi)始將每一行中連續(xù)相鄰的邊緣像素點(diǎn)標(biāo)記為一個(gè)連續(xù)點(diǎn)集合family，同時(shí)記錄下它的起點(diǎn)Pixel_start和終點(diǎn)Pixel_end以及這個(gè)連續(xù)點(diǎn)集合的行號(hào)rowNum，連續(xù)點(diǎn)集合編號(hào)Fid；

步驟3-2，從第二行開(kāi)始如果該行內(nèi)的連續(xù)點(diǎn)集合和上一行中的連續(xù)點(diǎn)集合在垂直方向上有相鄰的像素點(diǎn)就將前一行中連續(xù)點(diǎn)集合的編號(hào)賦給它，如果和前一行中的多個(gè)連續(xù)點(diǎn)集合垂直相鄰，就將前一行中較小編號(hào)的連續(xù)點(diǎn)集合的編號(hào)賦給它，并將上一行中的多個(gè)連續(xù)點(diǎn)集合的編號(hào)寫(xiě)入等價(jià)序列equal(Fid₁，F(xiàn)id₂，......)，表明這些連續(xù)點(diǎn)集合屬于同一個(gè)連通區(qū)域；

步驟3-3，遍歷所有的連續(xù)點(diǎn)集合，將所有等價(jià)序列中的連續(xù)點(diǎn)集合的編號(hào)用等價(jià)序列中最小的連續(xù)點(diǎn)集合編號(hào)替代；將連續(xù)點(diǎn)集合的編號(hào)填入圖像中，圖像中相同編號(hào)的一塊區(qū)域即為一個(gè)連通區(qū)域。

進(jìn)一步的，步驟4具體為：

攝像頭的安裝位置是固定的，水域和岸邊在圖像中相對(duì)位置的固定的，根據(jù)預(yù)設(shè)值判定步驟3中獲得的連通區(qū)域中的像素點(diǎn)位于水域還是岸邊；

連通區(qū)域跨越水域的長(zhǎng)度為像素點(diǎn)在水域中占據(jù)的像素列列數(shù)，連通區(qū)域跨越岸邊的長(zhǎng)度為像素點(diǎn)在岸邊占據(jù)的像素列列數(shù)，總長(zhǎng)度為跨越水域和跨越岸邊的長(zhǎng)度之和，平均寬度為連通區(qū)域中像素點(diǎn)在垂直方向上的平均厚度。

進(jìn)一步的，步驟5具體為：

步驟5-1，根據(jù)對(duì)大量魚(yú)竿樣本統(tǒng)計(jì)的實(shí)驗(yàn)結(jié)果為步驟4中獲得的連通區(qū)域跨越水域的長(zhǎng)度、跨越岸邊的長(zhǎng)度、總長(zhǎng)度以及平均寬度分別賦予一個(gè)信任值，形成4個(gè)證據(jù)；

步驟5-2，對(duì)于4個(gè)信任值分別為m₁，m₂，m₃，m₄的證據(jù)，證據(jù)的融合規(guī)則用式(2)表示：

其中，A代表證據(jù)判定為真，A₁,...A_n分別代表編號(hào)為1～n的證據(jù)為真；

步驟5-3，將步驟5-2得到的總的信任值與設(shè)定閾值進(jìn)行比較，判斷該連通區(qū)域是否為一根釣魚(yú)竿。

進(jìn)一步的，步驟7具體為：

記錄在系統(tǒng)內(nèi)的背景包括固定角度下拍攝到的不同季節(jié)不同時(shí)間段的背景圖像，根據(jù)當(dāng)時(shí)的時(shí)間選擇調(diào)用系統(tǒng)中記錄的背景圖片；

釣魚(yú)竿周?chē)鷧^(qū)域是指連通區(qū)域在岸邊的末端像素點(diǎn)附近100*80的圖像區(qū)域。

將100*80圖像區(qū)域中像素點(diǎn)的RGB顏色空間下的顏色值D_i，j(R，G，B)分別和對(duì)應(yīng)背景圖片中的像素點(diǎn)顏色值T_i，j(R，G，B)作差值，將差值大于設(shè)定閾值的像素點(diǎn)提取出來(lái)作為前景目標(biāo)像素點(diǎn)Q_i，j(R，G，B)。

進(jìn)一步的，步驟8具體為：

顏色分布直方圖的格式為P{{r₁，r₂…r₁₆}，{g₁，g₂，…g₁₆}，{b₁，b₂，…b₁₆}}，將步驟7中提取到的前景目標(biāo)像素點(diǎn)紅綠藍(lán)三個(gè)波段的顏色分量分別轉(zhuǎn)換為16級(jí)顏色量階，統(tǒng)計(jì)每一個(gè)量階中對(duì)應(yīng)的前景目標(biāo)像素點(diǎn)個(gè)數(shù)，統(tǒng)計(jì)的結(jié)果構(gòu)成顏色分布直方圖；

采用支持向量機(jī)來(lái)分類(lèi)獲得的前景目標(biāo)，訓(xùn)練支持向量機(jī)的過(guò)程采用真人示范完成，通過(guò)真人模擬釣魚(yú)者的行為，安裝在特定位置的攝像頭拍攝模擬的行為，將得到的視頻圖像序列中釣魚(yú)者的圖像區(qū)域統(tǒng)計(jì)成顏色分布直方圖的形式輸入到支持向量機(jī)中，訓(xùn)練得到向量機(jī)分類(lèi)模型。

為了便于使用本發(fā)明專(zhuān)利的工程人員具體使用本發(fā)明，下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的實(shí)施步驟進(jìn)行詳細(xì)說(shuō)明。

實(shí)施例

一種基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法，包括以下具體步驟：

步驟1，從安裝在禁止釣魚(yú)區(qū)域內(nèi)的攝像頭上實(shí)時(shí)提取視頻圖像序列。

1.1本發(fā)明采用的攝像頭為普通的監(jiān)控用攝像頭或者智能手機(jī)用高清攝像頭，從攝像頭記錄到的實(shí)時(shí)視頻中獲得RGB(Red,Green,Blue)顏色空間的監(jiān)控圖像；

1.2將1.1獲得的監(jiān)控圖像尺寸通過(guò)圖像插值算法壓縮到標(biāo)準(zhǔn)的640*320圖像尺寸。

步驟2，建立釣魚(yú)竿的邊緣提取模型，利用邊緣提取算子對(duì)輸入的視頻圖像序列提取圖像邊緣像素點(diǎn)，具體實(shí)施方法如下：

2.1本發(fā)明所指的釣魚(yú)竿邊緣提取模型是指釣魚(yú)竿具有細(xì)長(zhǎng)的特點(diǎn)并且在實(shí)施釣魚(yú)行為是魚(yú)竿傾斜于地面放置，另外魚(yú)竿的顏色和水面以及岸邊會(huì)有明顯的顏色區(qū)分。

2.2用內(nèi)核分別為G_x和G_y的邊緣提取算子對(duì)步驟1獲得的標(biāo)準(zhǔn)尺寸的圖像做卷積，提取出圖像中和周?chē)袼攸c(diǎn)顏色值的差值大于設(shè)定閾值的像素點(diǎn)，將這些提取出的像素點(diǎn)視為邊緣像素點(diǎn)。

步驟3，利用基于行程的連通性算法對(duì)步驟2中提取到的邊緣像素點(diǎn)進(jìn)行分類(lèi)，將上下左右相連的邊緣像素點(diǎn)標(biāo)記為一個(gè)連通區(qū)域，如圖3所示，基于行程的連通性算法的實(shí)施步驟為：

3.1從圖像的第一行開(kāi)始將每一行中連續(xù)相鄰的邊緣像素點(diǎn)標(biāo)記為一個(gè)連續(xù)點(diǎn)集合family，同時(shí)記錄下它的起點(diǎn)Pixel_start和終點(diǎn)Pixel_end以及這個(gè)連續(xù)點(diǎn)集合的行號(hào)rowNum，連續(xù)點(diǎn)集合編號(hào)Fid；

3.2從第二行開(kāi)始如果該行內(nèi)的連續(xù)點(diǎn)集合和上一行中的連續(xù)點(diǎn)集合在垂直方向上有相鄰的像素點(diǎn)就將前一行中連續(xù)點(diǎn)集合的編號(hào)賦給它，如果和前一行中的多個(gè)連續(xù)點(diǎn)集合垂直相鄰，就將前一行中較小編號(hào)的連續(xù)點(diǎn)集合的編號(hào)賦給它，并將上一行中的多個(gè)連續(xù)點(diǎn)集合的編號(hào)寫(xiě)入等價(jià)序列equal(Fid₁，F(xiàn)id₂，......)，表明這些連續(xù)點(diǎn)集合屬于同一個(gè)連通區(qū)域；

3.3遍歷所有的連續(xù)點(diǎn)集合，將所有等價(jià)序列中的連續(xù)點(diǎn)集合的編號(hào)用等價(jià)序列中最小的連續(xù)點(diǎn)集合編號(hào)替代；將連續(xù)點(diǎn)集合的編號(hào)填入圖像中，圖像中相同編號(hào)的一塊區(qū)域即為一個(gè)連通區(qū)域。

步驟4，統(tǒng)計(jì)步驟3中獲得的連通區(qū)域的參數(shù)，計(jì)算該連通區(qū)域跨越水域的長(zhǎng)度、跨越岸邊的長(zhǎng)度、總長(zhǎng)度以及平均寬度。

4.1本發(fā)明中攝像頭的安裝位置是固定的，水域和岸邊在圖像中相對(duì)位置的固定的，根據(jù)預(yù)設(shè)值判定步驟3中獲得的連通區(qū)域中的像素點(diǎn)位于水域還是岸邊；

4.2連通區(qū)域跨越水域的長(zhǎng)度為像素點(diǎn)在水域中占據(jù)的像素列列數(shù)，連通區(qū)域跨越岸邊的長(zhǎng)度為像素點(diǎn)在岸邊占據(jù)的像素列列數(shù)，總長(zhǎng)度為跨越水域和跨越岸邊的長(zhǎng)度之和，平均寬度為連通區(qū)域中像素點(diǎn)在垂直方向上的平均厚度。

步驟5，對(duì)步驟4中獲得的連通區(qū)域參數(shù)采用證據(jù)融合理論綜合判定該連通區(qū)域是否為一根釣魚(yú)竿。

5.1根據(jù)對(duì)大量魚(yú)竿樣本統(tǒng)計(jì)的實(shí)驗(yàn)結(jié)果為步驟4中獲得的連通區(qū)域跨越水域的長(zhǎng)度、跨越岸邊的長(zhǎng)度、總長(zhǎng)度以及平均寬度分別賦予一個(gè)信任值，形成4個(gè)證據(jù)。

5.2對(duì)于4個(gè)信任值分別為m₁，m₂，m₃，m₄的證據(jù)，證據(jù)的融合規(guī)則用式(4)表示：

其中，A代表證據(jù)判定為真，A₁,...A_n分別代表編號(hào)為1～n的證據(jù)為真；

5.3將步驟5.2得到的總的信任值與設(shè)定閾值進(jìn)行比較，判斷該連通區(qū)域是否為一根釣魚(yú)竿。

步驟6，重復(fù)步驟2到步驟5直到有連通區(qū)域被判定為一根釣魚(yú)竿。

步驟7，在步驟6檢測(cè)到釣魚(yú)竿的周?chē)鷳?yīng)用背景消除算法提取相對(duì)于記錄在系統(tǒng)內(nèi)的背景不同的前景目標(biāo)。

7.1本發(fā)明記錄在系統(tǒng)內(nèi)的背景包括固定角度下拍攝到的不同季節(jié)不同時(shí)間段的背景圖像，根據(jù)當(dāng)時(shí)的時(shí)間選擇調(diào)用系統(tǒng)中記錄的背景圖片；

7.2本發(fā)明所指的釣魚(yú)竿周?chē)鷧^(qū)域是指連通區(qū)域在岸邊的末端像素點(diǎn)附近100*80的圖像區(qū)域；

7.3將100*80圖像區(qū)域中像素點(diǎn)的RGB顏色空間下的顏色值D_i，j(R，G，B)分別和對(duì)應(yīng)背景圖片中的像素點(diǎn)顏色值T_i，j(R，G，B)作差值，將差值大于設(shè)定閾值的像素點(diǎn)提取出來(lái)作為前景目標(biāo)像素點(diǎn)Q_i，j(R，G，B)。

步驟8，統(tǒng)計(jì)步驟7獲得的前景目標(biāo)的像素點(diǎn)顏色分布直方圖，將顏色分布直方圖輸入到訓(xùn)練好的支持向量機(jī)分類(lèi)器中去，判斷前景目標(biāo)是否為人體目標(biāo)。

8.1顏色分布直方圖的格式為P{{r₁，r₂…r₁₆}，{g₁，g₂，…g₁₆}，{b₁，b₂，…b₁₆}}，將步驟7中提取到的前景目標(biāo)像素點(diǎn)紅綠藍(lán)三個(gè)波段的顏色分量分別轉(zhuǎn)換為16級(jí)顏色量階，統(tǒng)計(jì)每一個(gè)量階中對(duì)應(yīng)的前景目標(biāo)像素點(diǎn)個(gè)數(shù)，統(tǒng)計(jì)的結(jié)果構(gòu)成了本發(fā)明中的顏色分布直方圖；

8.2本發(fā)明采用支持向量機(jī)來(lái)分類(lèi)獲得的前景目標(biāo)，訓(xùn)練支持向量機(jī)的過(guò)程采用真人示范完成，通過(guò)真人模擬釣魚(yú)者的行為，安裝在特定位置的攝像頭拍攝模擬的行為，將得到的視頻圖像序列中釣魚(yú)者的圖像區(qū)域統(tǒng)計(jì)成顏色分布直方圖的形式輸入到支持向量機(jī)中，訓(xùn)練得到向量機(jī)分類(lèi)模型。

步驟9：如果步驟6判定視野中存在釣魚(yú)竿并且步驟8判定釣魚(yú)竿周?chē)嬖谌梭w目標(biāo)則語(yǔ)音模塊發(fā)出驅(qū)離警告聲并將拍攝到的監(jiān)控畫(huà)面通過(guò)無(wú)線(xiàn)通信模塊發(fā)送給管理員，如果步驟6判定視野中存在釣魚(yú)竿并且步驟8判定釣魚(yú)竿周?chē)淮嬖谌梭w目標(biāo)則只將拍攝到的監(jiān)控畫(huà)面通過(guò)無(wú)線(xiàn)通信模塊傳送給管理員并由管理員判定是否需要發(fā)出語(yǔ)音驅(qū)離聲。

本發(fā)明基于自動(dòng)圖像識(shí)別的非法釣魚(yú)行為識(shí)別方法，對(duì)攝像頭拍攝到的畫(huà)面進(jìn)行識(shí)別，一旦發(fā)現(xiàn)非法釣魚(yú)者即發(fā)出警報(bào)驅(qū)離聲，發(fā)出的警報(bào)驅(qū)離聲除了能夠?qū)Ψ欠ㄡ烎~(yú)者進(jìn)行警告外還可以強(qiáng)行破壞其釣魚(yú)行為，同時(shí)系統(tǒng)會(huì)給管理者發(fā)送監(jiān)控信息。