本發(fā)明涉及自動(dòng)化，具體涉及一種視覺校正設(shè)備擰緊位置系統(tǒng)及其方法。

背景技術(shù)：

1、在各類裝配過程中，工人從抓取到手持旋入并擰緊零部件，難免出現(xiàn)差錯(cuò)。而機(jī)器人擰緊裝配技術(shù)則可以大幅減少人工參與，甚至實(shí)現(xiàn)完全無人化操作，具備顯著的優(yōu)勢(shì)。這些優(yōu)勢(shì)包括提高生產(chǎn)效率、減少人工成本和避免人為錯(cuò)誤，因而在現(xiàn)代制造業(yè)中得到了廣泛應(yīng)用。

2、然而，現(xiàn)有的機(jī)器人擰緊系統(tǒng)在實(shí)際應(yīng)用中面臨一些挑戰(zhàn)。它們通常是先建立機(jī)器人與產(chǎn)品的相對(duì)坐標(biāo)關(guān)系，然后拍攝擰緊位置特征，識(shí)別位置特征后進(jìn)行擰緊，循環(huán)這個(gè)步驟從而導(dǎo)致效率低下。同時(shí)由于實(shí)際操作環(huán)境中存在多種變量，例如工件的位置誤差、視覺系統(tǒng)的畸變等，這種固定坐標(biāo)的方法在實(shí)踐中常常會(huì)導(dǎo)致定位不準(zhǔn)的問題。具體來說，當(dāng)工件未能準(zhǔn)確放置在預(yù)定位置時(shí)，機(jī)器人可能會(huì)產(chǎn)生偏差，導(dǎo)致無法正確完成擰緊操作。此外，視覺系統(tǒng)的畸變、工件高度和環(huán)境光線的變化也會(huì)影響機(jī)器人的定位精度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的被擰緊對(duì)象為機(jī)加工產(chǎn)品，其定位基準(zhǔn)和待擰緊點(diǎn)位的重復(fù)精度較好，可設(shè)計(jì)配套的定位工作臺(tái)可保證產(chǎn)品的擰緊點(diǎn)位只出現(xiàn)在固定點(diǎn)位置，如附圖1所示，但產(chǎn)品種類多，各產(chǎn)品需擰緊點(diǎn)位分布多樣。因此，通過大視場(chǎng)相機(jī)拍攝可一次獲得待擰緊點(diǎn)位，而大視場(chǎng)相機(jī)拍攝精度低，外加機(jī)器人絕對(duì)定位精度低，導(dǎo)致無法按照識(shí)別的點(diǎn)位坐標(biāo)來讓機(jī)器人完成擰緊。

2、本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的缺陷和不足，提供一種能夠自動(dòng)校正和精確定位的方法，所有的固定擰緊點(diǎn)位可以預(yù)先分別示教機(jī)器人程序并且編制點(diǎn)位序號(hào)，相機(jī)識(shí)別所有固定擰緊點(diǎn)位中的其中幾個(gè)需要擰緊的點(diǎn)位，自動(dòng)匹配點(diǎn)位序號(hào)，調(diào)用機(jī)器人對(duì)應(yīng)的示教程序。優(yōu)勢(shì)在于可以去除相機(jī)毫米級(jí)識(shí)別誤差和機(jī)器人毫米級(jí)定位誤差，誤差僅為機(jī)器人的低至0.05mm的重復(fù)定位誤差。

3、為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：一種視覺校正設(shè)備擰緊位置系統(tǒng)，其創(chuàng)新點(diǎn)包括以下組件：

4、第一相機(jī)：為了匹配實(shí)際場(chǎng)景中的操作環(huán)境，設(shè)計(jì)布置在工件斜上方，同時(shí)與背光源位于同一側(cè)，且位于背光源的上方，用于確定擰緊孔位置；

5、第二相機(jī)：位于工件的另一側(cè)，與背光源位于同一水平線，用于拍攝工件側(cè)面圖像；

6、背光源：位于第一相機(jī)下方，且與第二相機(jī)位于同一水平線，用于幫助獲取工件外輪廓圖像，減少環(huán)境因素影響，同時(shí)可以為確定孔位提供合適的亮度。

7、一種視覺校正設(shè)備擰緊位置方法，其創(chuàng)新點(diǎn)包括以下步驟：

8、（1）相機(jī)標(biāo)定：

9、通過標(biāo)定獲得內(nèi)參外參的有效參數(shù)，對(duì)棋盤格拍攝多張圖像，并通過opencv計(jì)算相機(jī)內(nèi)外參數(shù)；

10、（2）圖像獲取：

11、通過第一相機(jī)和第二相機(jī)分別獲取擰緊孔位置和工件的圖像；

12、（3）透視校正：

13、在圖像處理中，對(duì)拍攝角度造成的透視失真進(jìn)行矯正，采用透視變換算法進(jìn)行校正，且使用opencv進(jìn)行開發(fā)；

14、（4）模板匹配：

15、模板匹配是通過在圖像中找到與預(yù)先設(shè)定的模板圖像最匹配的區(qū)域；基于相關(guān)系數(shù)（normalized?cross?correlation,?ncc）的匹配方法；

16、（5）坐標(biāo)誤差匹配：

17、計(jì)算實(shí)際坐標(biāo)和理論坐標(biāo)之間的差值，使用歐氏距離判斷誤差最小的兩個(gè)點(diǎn)，匹配孔的序號(hào)；

18、（6）工件高度測(cè)量：

19、計(jì)算工件的最高高度，發(fā)送給擰緊設(shè)備避免在擰釘時(shí)與工件發(fā)生碰撞。

20、進(jìn)一步的，所述步驟3中的透視變換算法在圖像處理中用來矯正由于拍攝角度造成的圖像畸變；

21、在圖像處理中，透視變換是一種重要的技術(shù)，用于矯正拍攝角度引起的透視失真。特別是在從斜上方拍攝帶有多個(gè)孔的平面時(shí)，近處的孔看起來比遠(yuǎn)處的孔大，導(dǎo)致圖像畸變。為了進(jìn)行孔位匹配，采用透視變換算法進(jìn)行校正，使用opencv進(jìn)行開發(fā)。

22、基本原理是利用四個(gè)對(duì)應(yīng)點(diǎn)（源圖像中的四點(diǎn)與目標(biāo)圖像中的四點(diǎn)），計(jì)算出一個(gè)3×3的透視變換矩陣h，然后應(yīng)用該矩陣對(duì)圖像進(jìn)行變換。

23、設(shè)源圖像中的四個(gè)點(diǎn)為?(x1,y1),(x2,y2),(x3,y3),(x4,y4)，目標(biāo)圖像中的四個(gè)對(duì)應(yīng)點(diǎn)為?(x1′,y1′),(x2′,y2′),(x3′,y3′),(x4′,y4′)。透視變換矩陣h可以表示為：

24、

25、透視變換的計(jì)算公式為：

26、

27、其中?(x,y)是源圖像中的點(diǎn)，(x′,y′)是目標(biāo)圖像中的點(diǎn)，是歸一化因子。通過歸一化，我們可以得到目標(biāo)點(diǎn)的坐標(biāo)，為進(jìn)一步提高透視矯正的精度，引入一個(gè)誤差校正因子??，考慮到實(shí)際拍攝過程中可能存在的微小誤差。修正后的透視變換公式可以表示為：

28、

29、其中，?是一個(gè)通過實(shí)驗(yàn)數(shù)據(jù)擬合得到的校正因子，可以進(jìn)一步減小透視變換中的微小誤差，提高矯正后的圖像精度。通過這種方式，可以更加精準(zhǔn)地進(jìn)行圖像透視校正，適用于高精度要求的工業(yè)檢測(cè)和圖像分析任務(wù)。

30、實(shí)現(xiàn)步驟如下

31、讀取圖像；獲取四個(gè)點(diǎn)：獲取目標(biāo)區(qū)域圖像上的四個(gè)點(diǎn)，這四個(gè)點(diǎn)是需要校正區(qū)域的四個(gè)頂點(diǎn)；計(jì)算透視變換矩陣：使用?cv2.getperspectivetransform?函數(shù)計(jì)算透視變換矩陣；應(yīng)用透視變換：使用?cv2.warpperspective?函數(shù)應(yīng)用透視變換矩陣，將源圖像變換為校正后的圖像。

32、進(jìn)一步的，所述步驟4中匹配方法的計(jì)算公式為：

33、

34、其中，r(x,y)表示模板圖像t在位置(x,y)與圖像i的匹配程度，值越大表示匹配度越高，w和h分別為模板圖像的寬度和高度。

35、進(jìn)一步的，所述步驟5中歐氏距離計(jì)算公式如下：

36、。

37、進(jìn)一步的，所述模板匹配算法可以采用yolov5算法代替，所述yolov5算法的網(wǎng)絡(luò)結(jié)構(gòu)主要包括backbone、neck和head三個(gè)部分：

38、（1）backbone：在不同圖像細(xì)粒度上聚合并形成圖像特征的卷積神經(jīng)網(wǎng)絡(luò)；yolov5采用了cspdarknet53作為backbone，該網(wǎng)絡(luò)在保持較高精度的同時(shí)，通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，提高了模型的推理速度；

39、（2）neck：一系列混合和組合圖像特征的網(wǎng)絡(luò)層，并將圖像特征傳遞到預(yù)測(cè)層；yolov5采用了panet（path?aggregation?network）作為neck，通過自頂向下的路徑增強(qiáng)和自底向上的特征融合，實(shí)現(xiàn)了多尺度特征的融合和利用；

40、（3）head：對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框并預(yù)測(cè)類別；yolov5采用了yolov3的anchor-free方式，通過計(jì)算預(yù)測(cè)框與gt框之間的損失，優(yōu)化網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)目標(biāo)的準(zhǔn)確檢測(cè)。

41、進(jìn)一步的，yolov5算法在輸入端采用了mosaic數(shù)據(jù)增強(qiáng)的方式，通過隨機(jī)縮放、裁剪、排布和拼接四張圖片，生成一張新的訓(xùn)練樣本，使得模型在訓(xùn)練過程中能夠?qū)W習(xí)到更多的目標(biāo)特征。

42、進(jìn)一步的，在yolov5算法中，算法將自適應(yīng)錨點(diǎn)框計(jì)算嵌入到代碼中，使得模型在訓(xùn)練過程中能夠自動(dòng)調(diào)整錨點(diǎn)框的大小和比例，以適應(yīng)不同數(shù)據(jù)集的特點(diǎn)。

43、本發(fā)明有益效果為：

44、1.高精度：

45、（1）透視校正：通過透視校正算法，解決了由于相機(jī)位置和角度引起的圖像畸變問題，確保了識(shí)別孔位的高精度。引入了一個(gè)校正因子，提升校正過程中的準(zhǔn)確度，保證了在不同角度和位置拍攝的圖像可以統(tǒng)一到同一坐標(biāo)系下進(jìn)行處理。

46、（2）模板匹配：通過基于相關(guān)系數(shù)的模板匹配算法，提高了孔位識(shí)別的準(zhǔn)確性。模板匹配算法能夠在復(fù)雜背景下根據(jù)模板準(zhǔn)確找到目標(biāo)孔位，減少誤判的發(fā)生，為后面匹配孔位提升精度。

47、（3）點(diǎn)位匹配：所有的固定擰緊點(diǎn)位可以預(yù)先分別示教機(jī)器人程序并且編制點(diǎn)位序號(hào)，相機(jī)識(shí)別所有固定擰緊點(diǎn)位中的其中幾個(gè)需要擰緊的點(diǎn)位，自動(dòng)匹配點(diǎn)位序號(hào)，調(diào)用機(jī)器人對(duì)應(yīng)的示教程序。優(yōu)勢(shì)在于可以去除相機(jī)毫米級(jí)識(shí)別誤差和機(jī)器人毫米級(jí)定位誤差，誤差僅為機(jī)器人的低至0.05mm的重復(fù)定位誤差。

48、2.安全性：

49、工件高度測(cè)量：通過在工件的側(cè)邊安裝相機(jī)，實(shí)時(shí)監(jiān)測(cè)工件的最高高度，避免設(shè)備與工件的碰撞。

50、3.?高效性：

51、（1）?自動(dòng)化處理：整個(gè)系統(tǒng)實(shí)現(xiàn)了全自動(dòng)化處理，從圖像獲取、透視校正、模板匹配到最終的擰緊位置校正，全部自動(dòng)完成，提高工作效率。

52、（2）實(shí)時(shí)性：采用高效的圖像處理算法，確保了系統(tǒng)能夠在實(shí)時(shí)情況下進(jìn)行擰緊位置的孔位校正和工件高度的測(cè)量。