本發(fā)明屬于目標(biāo)檢測(cè)與識(shí)別領(lǐng)域，涉及從圖像中檢測(cè)特定目標(biāo)，具體是檢測(cè)手機(jī)屏幕缺陷的方法。

背景技術(shù)：

傳統(tǒng)的用人工檢測(cè)屏幕瑕疵方法存在諸多不足之處，在工業(yè)生產(chǎn)高速發(fā)展的今天，它已經(jīng)完全無(wú)法適應(yīng)當(dāng)今工業(yè)生產(chǎn)高效、準(zhǔn)確的要求。對(duì)手機(jī)屏幕產(chǎn)商而言，尋找一種高效、準(zhǔn)確的自動(dòng)化檢測(cè)設(shè)備用以替代人工檢測(cè)環(huán)節(jié)，成為了迫切的需求。隨著計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域的發(fā)展，基于機(jī)器視覺(jué)的自動(dòng)化檢測(cè)系統(tǒng)成為了一種良好的解決方案。該方案通過(guò)高分辨率工業(yè)相機(jī)采集手機(jī)屏幕圖像，然后將圖像信息通過(guò)圖像分析模塊進(jìn)行實(shí)時(shí)的處理，從而判斷手機(jī)屏幕是否合格。

傳統(tǒng)的基于機(jī)器視覺(jué)的屏幕缺陷檢測(cè)算法，大多是針對(duì)一種或幾種類(lèi)別的屏幕缺陷進(jìn)行設(shè)計(jì)的，不具有通用性，所以對(duì)于特殊的瑕疵，需要寫(xiě)專(zhuān)門(mén)的算法。由于屏幕的特殊性，拍照時(shí)在成像上的摩爾紋是不可避免的，而傳統(tǒng)算法不能很好地解決摩爾紋問(wèn)題。另外，傳統(tǒng)的算法雖然可以檢測(cè)較明顯的線(xiàn)狀、點(diǎn)狀缺陷，但是對(duì)于成像上很淡的團(tuán)狀MURA缺陷，準(zhǔn)確率很低。最后，傳統(tǒng)的屏幕缺陷檢測(cè)算法需要調(diào)節(jié)大量參數(shù)，尤其是在屏幕產(chǎn)品換型時(shí)，調(diào)整大量參數(shù)會(huì)導(dǎo)致時(shí)間的浪費(fèi)。因此，設(shè)計(jì)一個(gè)具有良好泛化性的算法具有非常實(shí)用的價(jià)值。

近年來(lái)，深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)領(lǐng)域產(chǎn)生了巨大的影響。深度學(xué)習(xí)采用多層網(wǎng)絡(luò)結(jié)構(gòu)，模擬人腦中神經(jīng)系統(tǒng)的層次關(guān)系和傳遞方式，它已經(jīng)在模式識(shí)別的多個(gè)領(lǐng)域得到了廣泛的應(yīng)用并取得了良好的成績(jī)。本方法采用基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)算法，使用預(yù)處理后的手機(jī)屏幕局部圖像塊作為分類(lèi)器的輸入，然后抽取卷積神經(jīng)網(wǎng)絡(luò)的特征圖作為檢測(cè)結(jié)果，將缺陷檢測(cè)問(wèn)題轉(zhuǎn)變成一個(gè)圖像塊分類(lèi)問(wèn)題，通過(guò)此方法得到的深度模型不僅能夠有效地學(xué)習(xí)到圖像的背景紋理模式，從含有背景紋理的圖像塊中準(zhǔn)確地定位缺陷的位置，而且對(duì)于團(tuán)狀MURA缺陷有很高的準(zhǔn)確率。此外，使用卷積神經(jīng)網(wǎng)絡(luò)算法相比傳統(tǒng)算法，參數(shù)設(shè)置更少，由于算法具有良好的通用性，尤其適用于屏幕產(chǎn)品的快速換型，縮短換型時(shí)間，提高產(chǎn)線(xiàn)效率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要克服基于機(jī)器視覺(jué)的屏幕缺陷檢測(cè)算法的上述缺陷，提供一種基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機(jī)屏幕MURA缺陷檢測(cè)方法。

為實(shí)現(xiàn)上述目的，本發(fā)明所述的基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機(jī)屏幕MURA缺陷檢測(cè)方法包括如下步驟：

1)自定義卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)訓(xùn)練數(shù)據(jù)訓(xùn)練該網(wǎng)絡(luò)直到收斂并且有較高準(zhǔn)確率；

2)通過(guò)自適應(yīng)模板匹配的方法來(lái)進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的剪枝，縮小網(wǎng)絡(luò)規(guī)模和網(wǎng)絡(luò)參數(shù)；

3)采集手機(jī)屏幕圖片數(shù)據(jù)，生成圖片金字塔，分割成圖片塊，用于測(cè)試階段數(shù)據(jù)生成，送入到步驟2)獲得的剪枝后的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行運(yùn)算；

4)取中間隱層的特征圖之和作為響應(yīng)圖，采用閾值分割的方法獲得缺陷最終位置并圈出，該方法尤其用于檢測(cè)MURA缺陷。

步驟2)所述的自適應(yīng)模板匹配的剪枝具體是：把網(wǎng)絡(luò)中間隱層的特征圖有響應(yīng)的部分對(duì)應(yīng)到原圖中，該部分作為前景，剩下部分作為背景，計(jì)算前景和背景的平均亮度差異；取差異最大的若干個(gè)特征圖進(jìn)行保留；把剩下的特征圖和與之相關(guān)的卷積核從網(wǎng)絡(luò)上剪枝。

步驟3)所述的圖片金字塔具體是：將原始高分辨率圖片縮小成不同尺度的圖片，這些不同尺度的圖片合起來(lái)稱(chēng)為一組圖片金字塔。使用圖片金字塔的目的是來(lái)檢測(cè)不同尺度上、不同大小的瑕疵。

步驟4)所述的響應(yīng)圖具體是：采用的是第4個(gè)卷積層的輸出，把剪枝后網(wǎng)絡(luò)該層的特征圖之和作為缺陷的響應(yīng)圖。

本發(fā)明的有益效果如下：

本發(fā)明是一種基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機(jī)屏幕MURA缺陷檢測(cè)方法。它基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法，采用自適應(yīng)模板匹配的方法進(jìn)行網(wǎng)絡(luò)剪枝，壓縮網(wǎng)絡(luò)模型和參數(shù)，以達(dá)到接近實(shí)時(shí)的效果。另外，由于卷積神經(jīng)網(wǎng)絡(luò)算法能夠自動(dòng)地學(xué)習(xí)到背景紋理信息，可以較好地處理成像中的摩爾紋干擾。在屏幕產(chǎn)品換型時(shí)，只需要少量的訓(xùn)練圖片進(jìn)行網(wǎng)絡(luò)微調(diào)，就可以重新保證網(wǎng)絡(luò)的準(zhǔn)確率達(dá)標(biāo)。

與傳統(tǒng)方法相比，本發(fā)明能夠更有效地檢測(cè)成像較淡的缺陷，如團(tuán)狀MURA缺陷。此外，傳統(tǒng)方法需要設(shè)置大量參數(shù)，每次換型都需要調(diào)整參數(shù)才能保證算法的準(zhǔn)確性。本發(fā)明采用的神經(jīng)網(wǎng)絡(luò)算法具有良好的自適應(yīng)和泛化特性，能夠快速進(jìn)行屏幕產(chǎn)品換型，節(jié)省產(chǎn)線(xiàn)部署時(shí)間。

附圖說(shuō)明

圖1是本發(fā)明的自適應(yīng)模板匹配剪枝算法框架圖。

圖2是本發(fā)明的圖片金字塔到分割成圖片小塊的圖示。

具體實(shí)施方式

下面對(duì)本發(fā)明的技術(shù)方案進(jìn)行清晰、完整的解釋和描述。

本發(fā)明提出了基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機(jī)屏幕MURA缺陷檢測(cè)方法，該方法在已經(jīng)拍攝的手機(jī)屏幕圖片上，利用卷積神經(jīng)網(wǎng)絡(luò)算法確定瑕疵在圖片上的位置并圈出。

本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機(jī)屏幕MURA缺陷檢測(cè)方法包括如下步驟：

步驟1，訓(xùn)練階段數(shù)據(jù)采集：分別采集包含瑕疵和正常圖片小塊，進(jìn)行標(biāo)記(1表示包含瑕疵圖片，0表示正常圖片)。按照9：1的比例分成訓(xùn)練集和驗(yàn)證集；自定義卷積神經(jīng)網(wǎng)絡(luò)，利用上述的訓(xùn)練數(shù)據(jù)，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)直到收斂，并且能夠在驗(yàn)證集上達(dá)到較高的分類(lèi)準(zhǔn)確率。通過(guò)觀察可視化卷積神經(jīng)網(wǎng)絡(luò)中間隱層的特征圖，可以分析網(wǎng)絡(luò)是否很好的學(xué)到了瑕疵特征。

步驟2，利用自適應(yīng)模板匹配的方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝，縮小網(wǎng)絡(luò)規(guī)模和網(wǎng)絡(luò)參數(shù)。具體地，在第L個(gè)卷積層上的所有N個(gè)特征圖，將第i個(gè)(i＜N)特征圖學(xué)到的響應(yīng)位置對(duì)應(yīng)回原圖，該部分位置作為前景模板，原圖的剩余位置作為背景模板，計(jì)算前景模板和背景模板的平均亮度差異D_i。對(duì)所有的D_i進(jìn)行降序排序，取前K個(gè)(K＜N)平均亮度差異D_i最大的特征圖之和作為響應(yīng)圖。剩余的特征圖和其對(duì)應(yīng)的卷積核直接被剪枝，如圖1所示。剪枝后整個(gè)網(wǎng)絡(luò)再重新訓(xùn)練，確保剪枝后的網(wǎng)絡(luò)仍有較高的準(zhǔn)確率。

步驟3，測(cè)試階段數(shù)據(jù)生成：采集手機(jī)屏幕圖片數(shù)據(jù)，圖片包含且僅包含完整的手機(jī)屏幕位置。利用不同比例的縮放尺度將圖片展成圖像金字塔，用于多尺度檢測(cè)。對(duì)于每個(gè)尺度的圖片，分割成固定大小的圖片塊，將所有的圖片塊作為一組，作為卷積神經(jīng)網(wǎng)絡(luò)的一次輸入數(shù)據(jù)，如圖2所示。

步驟4，每一個(gè)圖片塊選取第4個(gè)卷積層的所有特征圖之和作為響應(yīng)圖，將響應(yīng)圖重新對(duì)應(yīng)到原圖，通過(guò)閾值分割的方法，獲得瑕疵的最終位置，并且圈出。