本發(fā)明屬于儀器儀表，具體公開了一種結(jié)合yolov8n和透視校正的移動端圓形儀表讀數(shù)方法。

背景技術(shù)：

1、指針式儀表因結(jié)構(gòu)簡單、穩(wěn)定性好、成本低廉等優(yōu)勢，被廣泛應(yīng)用。由于自動化數(shù)據(jù)采集與傳輸受限于成本和技術(shù)，目前人工巡檢仍是常見且經(jīng)濟(jì)的方法。為了解決人工讀數(shù)誤差大、效率低、數(shù)據(jù)真實(shí)性差等問題，在手機(jī)移動端上實(shí)現(xiàn)儀表數(shù)字化并利用人工智能技術(shù)輔助讀數(shù)，以提高效率和準(zhǔn)確性，具有重要意義。

2、現(xiàn)實(shí)中巡檢工人在手持手機(jī)對儀表進(jìn)行讀數(shù)時，手機(jī)攝像頭的拍攝方向是隨機(jī)且時刻變化的。當(dāng)拍攝方向與儀表平面不垂直時，會導(dǎo)致儀表圖像幾何畸變，嚴(yán)重影響到后續(xù)讀數(shù)處理。

3、為了消除圓形儀表圖片的視差效應(yīng)，公開號為cn113378663a的“一種巡檢指針式圓形儀表識別方法及裝置”用sfit特征匹配和knn神經(jīng)網(wǎng)絡(luò)，對標(biāo)準(zhǔn)圖像與實(shí)際目標(biāo)圖像進(jìn)行特征匹配，從而校正圖像，但需要已知待測儀表的正視圖模版，通用性差。

4、公開號為cn115546794a的“一種基于深度學(xué)習(xí)和ocr技術(shù)的圓形儀表表盤校正方法”利用實(shí)例分割深度學(xué)習(xí)模型獲取儀表的表盤roi圖像和對應(yīng)的圖像掩膜，通過檢測儀表圖像掩膜的邊緣并進(jìn)行橢圓擬合。再利用表盤上印刻文字的矩形區(qū)域進(jìn)行轉(zhuǎn)正。該方法容易受到光照環(huán)境的影響，擬合準(zhǔn)確度有限，會導(dǎo)致透視校正不夠準(zhǔn)確。

5、公開號為cn118196414a的“一種多類型儀表智能定位和校正方法”使用u-net系列算法分割儀表表盤區(qū)域，擬合最小外接橢圓長短軸與最小外接圓對應(yīng)的四個點(diǎn)，計(jì)算單應(yīng)性矩陣，進(jìn)行透視變換校正。但該方法關(guān)鍵點(diǎn)數(shù)量過少，擬合的橢圓存在較大誤差。

6、在儀表讀數(shù)研究方面，傳統(tǒng)視覺儀表讀數(shù)方法通常采用形態(tài)學(xué)處理和閾值分割來計(jì)算讀數(shù)。公開號為cn118334668a的“一種指針式儀表讀數(shù)自動識別方法”使用直方圖均衡化、降噪、邊緣檢測和霍夫線檢測等方法檢測出儀表、刻度和指針。然而傳統(tǒng)方法容易受光線變化和背景干擾的影響，且對不同類型的儀表適應(yīng)性有限。

7、近年來，深度學(xué)習(xí)方法在儀表讀數(shù)中應(yīng)用廣泛。公開號為cn118172765a的“一種基于深度學(xué)習(xí)的變電站儀表自動化識別方法及系統(tǒng)”使用yolov5檢測儀表，結(jié)合傳統(tǒng)圖像識別算法，自動識別示數(shù)。但在目標(biāo)檢測和分割領(lǐng)域，其仍然面臨著復(fù)雜背景、小尺寸目標(biāo)以及遮擋等挑戰(zhàn)，影響讀數(shù)精度。

8、此外現(xiàn)有的儀表自動讀數(shù)系統(tǒng)基本部署在pc端或嵌入式系統(tǒng)中，在戶外環(huán)境下使用靈活性差。為了克服以上挑戰(zhàn)，本發(fā)明提出了一種結(jié)合輕量化yolov8n和透視校正的移動端圓形儀表讀數(shù)方法，并部署在手機(jī)移動端。能在復(fù)雜環(huán)境中，對圓形儀表進(jìn)行實(shí)時和精準(zhǔn)的讀數(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對上述現(xiàn)有方法的不足，提出了一種結(jié)合輕量化yolov8n和透視校正的移動端圓形儀表讀數(shù)方法。主要工作如下：(1)提出了改進(jìn)的輕量化yolov8n圓形儀表和關(guān)鍵目標(biāo)檢測模型，在保持高檢測精度的同時，大幅壓縮了模型體積，使其適合在移動端部署。(2)提出了基于儀表輪廓的傾斜校正算法和方位角校正算法，可將畸變的儀表圖像恢復(fù)為標(biāo)準(zhǔn)正視圖。結(jié)合增強(qiáng)角度讀數(shù)法，顯著減少了讀數(shù)誤差。(3)開發(fā)了儀表自動讀數(shù)app，并設(shè)計(jì)糾錯引導(dǎo)機(jī)制，幫助用戶快速拍攝儀表并獲取讀數(shù)。

2、本發(fā)明一種結(jié)合yolov8n和透視校正的移動端圓形儀表讀數(shù)方法，包括如下步驟：

3、(1)輸入圖像：

4、用手機(jī)拍照或從手機(jī)相冊中選擇原始儀表圖像，如果是實(shí)時讀數(shù)模式，則從手機(jī)攝像頭預(yù)覽視頻中截取幀圖像作為輸入圖像；

5、(2)設(shè)計(jì)輕量化的儀表檢測模型和關(guān)鍵目標(biāo)檢測模型：

6、基于yolov8n重新設(shè)計(jì)了輕量化的圓形儀表檢測模型和關(guān)鍵目標(biāo)檢測模型，首先縮減yolov8n網(wǎng)絡(luò)結(jié)構(gòu)；然后，采用集成pconv的liteffm模塊和lamp剪枝技術(shù)生成更適用于移動端的輕量化模型yolov8n-c-l-p；最后，訓(xùn)練出圓形儀表檢測模型從原始圖像中快速識別儀表roi，并裁剪出儀表roi，訓(xùn)練出關(guān)鍵目標(biāo)檢測模型檢測出圓形儀表盤的指針，刻度、標(biāo)記和圓心；

7、(3)儀表的傾斜角校正：

8、使用基于弧段鄰接矩陣的橢圓檢測算法對圓形儀表的橢圓輪廓進(jìn)行識別，再由橢圓坐標(biāo)點(diǎn)集合，利用新提出的透視校正算法計(jì)算出校正矩陣，最后使用雙線性插值對儀表roi進(jìn)行插值獲得校正后的儀表圖像，以消除拍攝傾斜角引起的畸變；

9、(4)儀表的方位角校正：

10、將標(biāo)記法與對稱法相結(jié)合，通過粘貼特定標(biāo)記和儀表原有的刻度字符的位置特征，對儀表進(jìn)行旋轉(zhuǎn)校正，消除方位角引起的畸變；

11、(5)增強(qiáng)角度法讀數(shù)：

12、采用增強(qiáng)角度法，結(jié)合關(guān)鍵目標(biāo)檢測模型和ocr獲得指針與旁邊主刻度的數(shù)值，利用指針與最近的兩個主刻度的旋轉(zhuǎn)角度來計(jì)算讀數(shù)值；

13、(6)移動端系統(tǒng)部署：

14、利用ncnn神經(jīng)網(wǎng)絡(luò)計(jì)算框架，在安卓端部署網(wǎng)絡(luò)模型，將儀表校正和讀數(shù)算法封裝成動態(tài)鏈接庫，利用jni將儀表讀數(shù)系統(tǒng)部署在安卓手機(jī)上，并在app中設(shè)計(jì)糾錯引導(dǎo)機(jī)制以優(yōu)化用戶拍攝體驗(yàn)，提高儀表圖像質(zhì)量。

15、本發(fā)明設(shè)計(jì)了基于yolov8n改進(jìn)檢測模型和透視校正的移動端圓形儀表讀數(shù)系統(tǒng)，主要包含輕量化檢測模型，儀表校正與讀數(shù)以及移動端部署三個部分。首先，在精簡yolov8n模型結(jié)構(gòu)后，通過liteffm模塊提升檢測效率，并且進(jìn)行l(wèi)amp剪枝操作，顯著提升了模型輕量化效果。其次，提出了基于儀表輪廓的透視校正的傾斜角校正算法，以及基于標(biāo)記和刻度字符對稱性的方位角校正算法，大幅減少了視差效應(yīng)導(dǎo)致的誤差，并利用增強(qiáng)角度法準(zhǔn)確計(jì)算讀數(shù)。最后，通過ncnn框架在移動端部署模型，并集成自動糾錯引導(dǎo)機(jī)制，優(yōu)化用戶拍攝。

技術(shù)特征：

1.一種結(jié)合yolov8n和透視校正的移動端圓形儀表讀數(shù)方法，其特征在于，所述方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的移動端圓形儀表讀數(shù)方法，其特征在于：步驟(2)所述設(shè)計(jì)輕量化的儀表檢測模型和關(guān)鍵目標(biāo)檢測模型，具體步驟為：

3.根據(jù)權(quán)利要求1所述的移動端圓形儀表讀數(shù)方法，其特征在于：步驟(3)所述儀表的傾斜角校正，具體方法是：

4.根據(jù)權(quán)利要求1所述的移動端圓形儀表讀數(shù)方法，其特征在于：步驟(4)所述儀表的方位角校正，將標(biāo)記法與對稱法相結(jié)合，在儀表表面的正下方粘貼標(biāo)記，為儀表添加了一個固定位置信息，計(jì)算這標(biāo)記與表盤中心連線與豎直向下方向的極角

5.根據(jù)權(quán)利要求1所述的移動端圓形儀表讀數(shù)方法，其特征在于：步驟(5)所述增強(qiáng)角度法讀數(shù)法，利用指針與最近的兩個主刻度的旋轉(zhuǎn)角度來計(jì)算讀數(shù)值rm:

6.根據(jù)權(quán)利要求1所述的移動端圓形儀表讀數(shù)方法，其特征在于：步驟(6)所述移動端系統(tǒng)部署，具體步驟包括：

技術(shù)總結(jié)
本發(fā)明公開了一種結(jié)合YOLOv8n和透視校正的移動端圓形儀表讀數(shù)方法，首先基于YOLOv8n重新設(shè)計(jì)了輕量化的儀表檢測模型和關(guān)鍵目標(biāo)檢測模型，縮減網(wǎng)絡(luò)結(jié)構(gòu)后，采用集成PConv的LiteFFM模塊和LAMP剪枝技術(shù)生成更適用于移動端的輕量化模型。提出了高效的圓形儀表校正方法，通過儀表邊緣輪廓點(diǎn)集構(gòu)造校正矩陣，有效消除拍攝傾斜引起的畸變，并結(jié)合標(biāo)記和刻度字符進(jìn)行旋轉(zhuǎn)校正。最后通過增強(qiáng)角度法準(zhǔn)確計(jì)算出讀數(shù)，并在APP中設(shè)計(jì)糾錯引導(dǎo)機(jī)制以優(yōu)化用戶拍攝。實(shí)驗(yàn)驗(yàn)證表明，在拍攝角度嚴(yán)重傾斜時，校正算法能減少60.68%的平均相對誤差。系統(tǒng)在手機(jī)上運(yùn)行速度可達(dá)9?FPS，且在復(fù)雜環(huán)境下的讀數(shù)平均相對誤差僅為1.76%，優(yōu)于現(xiàn)有先進(jìn)方法，展示出高魯棒性。

技術(shù)研發(fā)人員：閆坤,肖霄,吳孝純,劉冠男
受保護(hù)的技術(shù)使用者：桂林電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6