本發(fā)明涉及計算機視覺檢測，具體地涉及一種雜質(zhì)實時檢測方法和計算機程序產(chǎn)品。

背景技術(shù)：

1、經(jīng)濟類作物的原材料篩選對于確保農(nóng)產(chǎn)品的質(zhì)量和安全至關(guān)重要，尤其是對于莖葉類原材料(如煙草)，其在收割、初烤、復(fù)烤、發(fā)酵等工序中，會混雜多種不同形態(tài)的雜質(zhì)異物，例如麻繩、木屑、泡沫、紙片、羽毛、塑料、橡膠、金屬、石塊，或產(chǎn)生霉變的煙葉以及梗簽等。

2、根據(jù)上述雜質(zhì)，目前的篩選方法主要有：(1)利用篩網(wǎng)和風力分離器去除尺寸較大的雜質(zhì)，如麻繩、木屑、石塊等；(2)利用磁性設(shè)備吸附和去除金屬雜質(zhì)；(3)通過液體浮選法去除輕質(zhì)雜質(zhì)，如羽毛、紙片等；(4)使用光電色選機根據(jù)顏色差異識別和剔除霉變煙葉和其他顏色異常的雜質(zhì)。最后再人工復(fù)檢和挑選，以確保所有雜質(zhì)都被去除，從而提升原材料純凈度。

3、但在上述人工復(fù)檢和挑選中，依賴于工人的視覺和經(jīng)驗，容易出現(xiàn)疲勞和誤判現(xiàn)象，且上述挑選受主觀因素影響較大，導(dǎo)致挑選出的煙絲質(zhì)量參差不齊，難以保證生產(chǎn)所需的一致性和準確性?；诖?，目前已逐漸利用光電成像技術(shù)實時對煙絲進行拍照識別，通過物理光學(xué)信息的獲取和解譯，能夠在傳統(tǒng)幾何光學(xué)成像的基礎(chǔ)上引入更高維度的信息。

4、然而該技術(shù)目前主要適用于實時識別和剔除煙絲中的梗簽等雜質(zhì)，難以適用于大規(guī)模數(shù)據(jù)和多樣化任務(wù)，對于上述各類形態(tài)不固定、且與原材料特征相似的雜質(zhì)，其檢測與剔除的準確率較低，漏檢和誤檢概率大。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種雜質(zhì)實時檢測方法和計算機程序產(chǎn)品，以解決現(xiàn)有技術(shù)中實時識別檢測設(shè)備漏檢與誤檢概率較大的問題。

2、為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是提供一種雜質(zhì)實時檢測方法，所述雜質(zhì)實時檢測方法包括：實時獲取待檢圖像；輸入所述待檢圖像至訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型，并獲得第一雜質(zhì)檢測結(jié)果；輸入所述待檢圖像至訓(xùn)練后的分類預(yù)測模型，并獲得第二雜質(zhì)檢測結(jié)果；根據(jù)預(yù)設(shè)的權(quán)重占比計算所述第一雜質(zhì)檢測結(jié)果和所述第二雜質(zhì)檢測結(jié)果，并輸出檢測結(jié)果。

3、在一些實施方案中，所述輸入所述待檢圖像至訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型，并獲得第一雜質(zhì)檢測結(jié)果包括：預(yù)獲取第一圖像集x和第二圖像集x′，其中，所述第一圖像集x與所述第二圖像集x′為同一原材料的不同形態(tài)。

4、采用所述神經(jīng)網(wǎng)絡(luò)模型依次對所述第一圖像集x和所述第二圖像集x′進行訓(xùn)練，并計算所述第一圖像集x中雜質(zhì)特征的第一映射值ф(x)和所述第二圖像集x′中雜質(zhì)特征的第二映射值ф(x′)。

5、計算所述第一圖像集x和所述第二圖像集x′的聯(lián)合概率分布p，記為：

6、p(z＝c,z′＝c′|x,x′)＝фc(x)фc(x′)

7、其中，c為雜質(zhì)分類總數(shù)，z表示所述第一圖像集x的分類結(jié)果，z′表示所述第二圖像集x′的分類結(jié)果。

8、計算所述第一圖像集x和所述第二圖像集x′共有信息i的最大值，記為：

9、maxi(ф(x),ф(x′))

10、對i個所述第一圖像集x和所述第二圖像集x′進行邊緣化處理，得到：

11、

12、其中，t表示矩陣轉(zhuǎn)置。則所述第一圖像集x和所述第二圖像集x′共有信息i，可記為:

13、

14、最大化所述第一圖像集x和所述第二圖像集x′共有信息i。

15、采用上述技術(shù)方案，通過上述深度學(xué)習的方式來找尋一種映射關(guān)系，以盡可能的保留第一圖像集x和第二圖像集x′的共有特征，從而便于后續(xù)對原產(chǎn)品進行區(qū)別。

16、進一步地，所述神經(jīng)網(wǎng)絡(luò)模型包括輸入層、多個卷積層、池化層和全連接層，所述池化層為平均池化，所述全連接層用于將共有信息i映射至待檢圖像，其中，所述全連接層的輸入和輸出維度由所述待檢圖像的高和寬確定。

17、進一步地，多個所述卷積層包括第一卷積層、第二卷積層和第三卷積層，其中，所述第一卷積層的卷積核大小配置為4x4，所述第二卷積層的卷積核大小配置為4x4，所述第三卷積層的卷積核大小配置為2x2。

18、在一些實施方案中，所述輸入所述待檢圖像至訓(xùn)練后的分類預(yù)測模型，并獲得第二雜質(zhì)檢測結(jié)果包括：預(yù)獲取第四圖像集，并提取所述第四圖像集的特征，其中，所述特征為圖片灰度值的和。

19、定義k個簇數(shù)量，并重復(fù)迭代簇內(nèi)平方誤差總和以訓(xùn)練分類預(yù)測模型；將所述待檢圖像輸入至訓(xùn)練后的分類預(yù)測模型，并提取所述待檢圖像的圖像特征；將所述圖像特征分配到最近的聚類中心，并識別出所述待檢圖像的雜質(zhì)區(qū)域。通過增加分類預(yù)測模型再預(yù)測以雜質(zhì)分類的準確性和魯棒性。

20、在一些實施方案中，所述輸入所述待檢圖像至訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型，并獲得第一雜質(zhì)檢測結(jié)果包括：預(yù)獲取第三圖像集y，記為：

21、y＝{y1,y2...yn}

22、所述第三圖像集y中圖像yn與標簽mn∈{0，1}k一一對應(yīng)，其中，k表示雜質(zhì)的分類總數(shù)；最小化目標函數(shù)，記為：

23、

24、其中，gw表示分類器，fθ(yn)表示所述第三圖像集y的映射操作，loss表示多類邏輯損失函數(shù)，定義為：

25、

26、其中，n表示樣本數(shù)量，k表示雜質(zhì)的分類總數(shù)。

27、在一些實施方案中，所述輸入所述待檢圖像至訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型，并獲得第一雜質(zhì)檢測結(jié)果還包括：獲取fθ(yn)；學(xué)習重心矩陣c∈rd×k和n個圖像的分類結(jié)果zn，記為：

28、

29、其中，zn∈{0，1}k，分類結(jié)果作為后續(xù)標簽，并更新至mn∈{0，1}k；迭代交替上述過程，直至獲得最終解。

30、進一步地，所述神經(jīng)網(wǎng)絡(luò)模型為alexnet架構(gòu)，并包括輸入層，多個卷積層、多個最大池化層、多個droupt層、多個全連接層和輸出層，其中，所述卷積層的第一卷積層、第二卷積層和第五卷積層后設(shè)置所述最大池化層，所述全連接層的第一全連接層和第二全連接層后設(shè)置所述droupt層用于防止過擬合。

31、在一些實施方案中，所述實時獲取位于生產(chǎn)線上的待檢圖像包括：一個或多個攝像機實時拍攝位于所述生產(chǎn)線一側(cè)的反射圖像。

32、本發(fā)明提供的技術(shù)方案相較于現(xiàn)有技術(shù)帶來的有益效果是：

33、通過神經(jīng)網(wǎng)絡(luò)模型和分類預(yù)測模型相互獨立完成分類預(yù)測，并對不同模型的預(yù)測結(jié)果進行加權(quán)計算，形成最終的分類決策，能夠有效地結(jié)合兩種輸出結(jié)果，從而提高雜質(zhì)檢測的準確性。其中，當神經(jīng)網(wǎng)絡(luò)模型采取非監(jiān)督聚類的方法時，無需人工標記數(shù)據(jù)。該神經(jīng)網(wǎng)絡(luò)從輸入數(shù)據(jù)到聚類表示為端到端過程，即從輸入待檢圖片到最終的聚類輸出該圖片中存在的雜質(zhì)批注及其類型，無需額外的干預(yù)或調(diào)整。上述的目標函數(shù)為第一圖像集和第二圖像集之間分類之間的互信息，以優(yōu)化模型并提高不同分類雜質(zhì)所形成聚類的一致性和可區(qū)分性，進而可檢測識別出多種雜質(zhì)類型。

34、此外，采用神經(jīng)網(wǎng)絡(luò)模型結(jié)合分類預(yù)測模型識別生產(chǎn)線上的雜質(zhì)，例如麻繩、木屑、泡沫、紙片、羽毛、塑料、橡膠、金屬、石塊，或產(chǎn)生霉變的煙葉以及梗簽等，能夠?qū)崟r準確檢測并標記各類雜質(zhì)，提高生產(chǎn)線的篩選效率。

35、在一些實施方案中，本技術(shù)還提供了一種計算機程序產(chǎn)品，包括計算機程序/指令，所述計算機程序/指令被處理器執(zhí)行時實現(xiàn)上述的雜質(zhì)實時檢測方法。