本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷方法和裝置。

背景技術(shù)：

通常儀表可分為數(shù)字式儀表和非數(shù)字式儀表兩大類，其中數(shù)字式儀表顯示的測量值為數(shù)字，因此具有讀數(shù)簡單、直觀、準(zhǔn)確的特點(diǎn)；非數(shù)字式儀表的外觀、讀數(shù)方式多種多樣，常見的非數(shù)字式儀表多為指針式儀表，例如家用水表、汽車的速度指示表、指針式歐姆表等，指針式儀表中包含至少一個(gè)指針和與該指針對應(yīng)的刻度盤，通過人為判斷指針與該指針對應(yīng)的刻度盤的交點(diǎn)，結(jié)合交點(diǎn)處刻度盤上的標(biāo)識來進(jìn)行讀數(shù)。

為了解決對指針式儀表進(jìn)行讀數(shù)時(shí)不直觀、操作復(fù)雜的缺陷，現(xiàn)有技術(shù)提出了一種基于數(shù)字圖像的指針式儀表自動(dòng)讀數(shù)方法，其基本實(shí)現(xiàn)原理為：通過攝像頭等圖像獲取設(shè)備獲取指針式儀表的數(shù)字圖像，并將獲取到的數(shù)字圖像與預(yù)定的圖像匹配模板進(jìn)行比較，若比較結(jié)果一致，通過進(jìn)一步分析表針和刻度盤的位置來確定指針式儀表的讀數(shù)，若比較結(jié)果不一致，則無法進(jìn)行讀數(shù)。因此要求攝像頭獲取圖像時(shí)的角度與獲取預(yù)定圖像匹配模板時(shí)相同，以使指針式儀表表盤在獲取到的圖像中的位置應(yīng)與指針式儀表表盤在預(yù)定的圖像匹配模板中的位置相同，否則就無法進(jìn)行讀數(shù)。

由于不同指針式儀表的外觀、結(jié)構(gòu)均存在差異，根據(jù)上述現(xiàn)有技術(shù)的實(shí)現(xiàn)原理，現(xiàn)有技術(shù)只能解決預(yù)定圖像匹配模板對應(yīng)類型的指針式儀表的讀數(shù)問題，通用性較差，而且使用不靈活。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了克服現(xiàn)有技術(shù)的不足，提出一種基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷方法和裝置，用以解決現(xiàn)有指針式儀表的自動(dòng)讀數(shù)技術(shù)通用性較差，使用不靈活的問題。

為了解決上述的技術(shù)問題，本發(fā)明提出的基本技術(shù)方案為：

一種基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷方法，包括以下步驟：

提供一云服務(wù)端及一客戶端；

采集不同拍攝條件下的樣本表盤圖像，根據(jù)預(yù)設(shè)的圖像分割方法分割所述樣本表盤圖像，在云服務(wù)端創(chuàng)造訓(xùn)練集；

根據(jù)所述訓(xùn)練集在云服務(wù)端構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行深度訓(xùn)練，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；

獲取各類表盤的正圓圖像，對所述正圓圖像在客戶端根據(jù)安全示數(shù)范圍和危險(xiǎn)示數(shù)范圍進(jìn)行區(qū)域劃分并分別疊加不同的顏色，以生成表盤模型圖像集；

基于所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，在云服務(wù)端對實(shí)際的表盤圖像進(jìn)行識別，得到表盤輪廓并返回至客戶端；

根據(jù)所述表盤輪廓，從所述表盤模型圖像集中獲取與之相匹配的表盤模型并將所述表盤模型與實(shí)際的表盤圖像進(jìn)行AR疊加。

本發(fā)明實(shí)施例還提供一種指針式儀表的讀數(shù)判斷裝置，其包括一個(gè)云服務(wù)端和一個(gè)客戶端，其中

其中，所述云服務(wù)端包括：

采集模塊，用于采集不同拍攝條件下的樣本表盤圖像，根據(jù)預(yù)設(shè)的圖像分割方法分割所述樣本表盤圖像，在云服務(wù)端創(chuàng)造訓(xùn)練集；

深度訓(xùn)練模塊，用于根據(jù)所述訓(xùn)練集在云服務(wù)端構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行深度訓(xùn)練，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；

表盤圖像識別模塊，基于所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，在云服務(wù)端對實(shí)際的表盤圖像進(jìn)行識別，得到表盤輪廓并返回至客戶端；

所述客戶端包括：

建模模塊，用于獲取各類表盤的正圓圖像，對所述正圓圖像在客戶端根據(jù)安全示數(shù)范圍和危險(xiǎn)示數(shù)范圍進(jìn)行區(qū)域劃分并分別疊加不同的顏色，以生成表盤模型圖像集；

AR疊加模塊，用于根據(jù)所述表盤輪廓從所述表盤模型圖像集中獲取與之相匹配的表盤模型并將所述表盤模型與實(shí)際的表盤圖像進(jìn)行AR疊加。

本發(fā)明的有益效果是：本發(fā)明實(shí)施例提供的基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷方法和裝置，其基于深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練并結(jié)合不同表盤的先驗(yàn)知識所得到表盤模型，同時(shí)輔以AR技術(shù)，使工人能夠準(zhǔn)確的判斷表盤讀數(shù)及安全范圍，取得了通用性強(qiáng)、能夠真實(shí)反映用戶體驗(yàn)且更加高效的有益效果。

附圖說明

圖1為本發(fā)明實(shí)施例提供的基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷方法流程圖。

圖2a為本發(fā)明實(shí)施例所采集的樣本表盤圖像示例圖。

圖2b為本發(fā)明實(shí)施例所提供的訓(xùn)練數(shù)據(jù)示意圖。

圖3為本發(fā)明施例提供的基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

以下將結(jié)合附圖和實(shí)施例對本發(fā)明做進(jìn)一步的說明，但不應(yīng)以此來限制本發(fā)明的保護(hù)范圍。

如圖1所示，本發(fā)明實(shí)施例公開一種基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷方法，包括以下步驟：

步驟S101：提供一個(gè)云服務(wù)端和一個(gè)客戶端。

步驟S102：采集不同拍攝條件下的樣本表盤圖像，根據(jù)預(yù)設(shè)的圖像分割方法分割所述樣本表盤圖像，在云服務(wù)端創(chuàng)造訓(xùn)練集。

在訓(xùn)練集的創(chuàng)建中，具體來說，收集各種不同客觀條件下的指針式儀表的表盤圖片，所述不同客觀條件，包括視角、幾何形變、光照、遮擋、場景等不同條件及上述條件的組合變化，且所采集到的表盤圖片應(yīng)與待判斷讀數(shù)的表盤形狀一致，如，同為圓形或同為正方形。

圖2a、2b為本本發(fā)明實(shí)施例提供的樣本表盤圖像分割示例圖，從圖中可以看出，圓形表盤經(jīng)分割后得到僅包含有表盤輪廓的圖像。

需要說明的是，在本發(fā)明的實(shí)施例中對樣本表盤圖像進(jìn)行分割可采用現(xiàn)有技術(shù)中的一些分割方法，再次不在贅述。

步驟S103：根據(jù)所述訓(xùn)練集在云服務(wù)端構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行深度訓(xùn)練，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)。

在步驟S103中，將所述訓(xùn)練集中的樣本表盤圖像依次輸入所構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行大量的學(xué)習(xí)和訓(xùn)練，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)模型包含有大量神經(jīng)網(wǎng)絡(luò)權(quán)值參數(shù)數(shù)據(jù)。

步驟S104：獲取各類表盤的正圓圖像，對所述正圓圖像在客戶端根據(jù)安全示數(shù)范圍和危險(xiǎn)示數(shù)范圍進(jìn)行區(qū)域劃分并分別疊加不同的顏色，以生成表盤模型圖像集。

在步驟S104中，針對每一類表盤，獲取一張正圓的模板圖，并指出表盤圓心的像素點(diǎn)和半徑長。根據(jù)每一類表盤的安全讀數(shù)范圍，在客戶端確定表盤指針的起始位置和終止位置，該起始位置和終止位置所形成的扇形區(qū)域即為表盤的安全范圍，除安全范圍以外的表盤區(qū)域即為讀數(shù)的危險(xiǎn)范圍。確定好安全示數(shù)范圍和危險(xiǎn)示數(shù)范圍之后，可以在安全示數(shù)范圍的區(qū)域和危險(xiǎn)示數(shù)范圍的區(qū)域疊加不同的顏色，以提醒工人判斷讀數(shù)是否正常。

具體的，在本實(shí)施例中，可以在安全范圍的表盤指針區(qū)域上疊加一層綠色，在危險(xiǎn)范圍的區(qū)域疊加一層紅色。

值得說明的是，本實(shí)施例中的顏色疊加，可采用現(xiàn)有技術(shù)中UI界面設(shè)計(jì)的常用操作，在這里不再贅述。

步驟S105：基于所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，在云服務(wù)端對實(shí)際的表盤圖像進(jìn)行識別，得到表盤輪廓并返回至客戶端。

客戶傳輸含有圓形表盤的圖片到云服務(wù)器，云服務(wù)器會(huì)根據(jù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對圖片進(jìn)行像素級別的判定，確定圖片中哪些像素集合構(gòu)成了表盤，將該表盤的輪廓像素點(diǎn)集合發(fā)送回客戶端，作下一步處理。

步驟S106：根據(jù)所述表盤輪廓，從所述表盤模型圖像集中獲取與之相匹配的表盤模型并將所述表盤模型與實(shí)際的表盤圖像進(jìn)行AR疊加。

通過AR疊加之后，工人就能一目了解的知道指針的讀數(shù)是否正常。在本實(shí)施例中，當(dāng)觀察到的指針處于綠色區(qū)域時(shí)，為安全讀數(shù)，當(dāng)觀察到的指針處于紅色區(qū)域時(shí)，為危險(xiǎn)讀數(shù)，這樣，就不用去記憶各種表盤的安全范圍，且其正確率高，不會(huì)因?yàn)楣と擞涘e(cuò)讀數(shù)而導(dǎo)致出現(xiàn)安全隱患。

在本發(fā)明的某些實(shí)施例中，所述判斷方法還包括如下步驟：

獲取所述訓(xùn)練集在客戶端構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行深度訓(xùn)練，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；

基于所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，在客戶端對實(shí)際的表盤圖像進(jìn)行識別，得到表盤輪廓。

這樣，在客戶端就可以直接進(jìn)行識別而不需要經(jīng)過云服務(wù)端，以滿足部分用戶想要保護(hù)工業(yè)機(jī)密的需求。

在本發(fā)明的某些實(shí)施例中，所述判斷方法還包括下述步驟：

當(dāng)?shù)玫降谋肀P輪廓為非圓形時(shí)，將非圓形的表盤輪廓與所述正圓圖像通過SURF算法進(jìn)行特征提取并匹配求出單應(yīng)矩陣，利用該單應(yīng)矩陣將非圓形的表盤輪廓矯正為圓形。

由于用戶在觀察表盤時(shí)不是正對著表盤，因而得到的表盤輪廓并不是圓形，可以證明也不一定是橢圓形，因此需要把非正圓的輪廓圖像矯正為正圓輪廓以便準(zhǔn)確的查找與之相匹配的輪廓圖像。

如圖3所示，本發(fā)明實(shí)施例還公開一種基于深度學(xué)習(xí)的指針式表盤的讀數(shù)判斷裝置，其包括一個(gè)云服務(wù)端200和一個(gè)客戶端300，

其中，所述云服務(wù)端包括：

采集模塊201，用于采集不同拍攝條件下的樣本表盤圖像，根據(jù)預(yù)設(shè)的圖像分割方法分割所述樣本表盤圖像，在云服務(wù)端創(chuàng)造訓(xùn)練集；

深度訓(xùn)練模塊202，用于根據(jù)所述訓(xùn)練集在云服務(wù)端構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行深度訓(xùn)練，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；

表盤圖像識別模塊203，基于所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，在云服務(wù)端對實(shí)際的表盤圖像進(jìn)行識別，得到表盤輪廓并返回至客戶端；

所述客戶端300包括：

建模模塊301，用于獲取各類表盤的正圓圖像，對所述正圓圖像在客戶端根據(jù)安全示數(shù)范圍和危險(xiǎn)示數(shù)范圍進(jìn)行區(qū)域劃分并分別疊加不同的顏色，以生成表盤模型圖像集；

AR疊加模塊302，用于根據(jù)所述表盤輪廓從所述表盤模型圖像集中獲取與之相匹配的表盤模型并將所述表盤模型與實(shí)際的表盤圖像進(jìn)行AR疊加。

在本發(fā)明的某些實(shí)施例中，所述客戶端還包括深度訓(xùn)練模塊和表盤圖像識別模塊，其中

所述深度訓(xùn)練模塊用于根據(jù)所述訓(xùn)練集在客戶端構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行深度訓(xùn)練，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；

所述表盤圖像識別模塊基于所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)在客戶端對實(shí)際的表盤圖像進(jìn)行識別，得到圓形表盤輪廓。

在本發(fā)明的某些實(shí)施例中，所述客戶端還包括一個(gè)矯正模塊，用于將非圓形的表盤輪廓與所述正圓圖像通過SURF算法進(jìn)行特征提取并匹配求出單應(yīng)矩陣，利用該單應(yīng)矩陣將非圓形的表盤輪廓矯正為圓形。

根據(jù)上述說明書的揭示和教導(dǎo)，本發(fā)明所屬領(lǐng)域的技術(shù)人員還可以對上述實(shí)施方式進(jìn)行變更和修改。因此，本發(fā)明并不局限于上面揭示和描述的具體實(shí)施方式，對本發(fā)明的一些修改和變更也應(yīng)當(dāng)落入本發(fā)明的權(quán)利要求的保護(hù)范圍內(nèi)。此外，盡管本說明書中使用了一些特定的術(shù)語，但這些術(shù)語只是為了方便說明，并不對本發(fā)明構(gòu)成任何限制。