本發(fā)明涉及型材檢測的，更具體地，涉及一種基于二維圖像和三維點云的型材斷面尺寸測量方法與系統(tǒng)。

背景技術(shù)：

1、在型材的生產(chǎn)過程中，材料通過擠壓成型并經(jīng)過切割工藝形成特定的斷面形狀。為了確保這些斷面的尺寸符合設(shè)計規(guī)范，并保證擠壓模具不出現(xiàn)影響產(chǎn)品質(zhì)量的磨損，對型材斷面進(jìn)行精確測量是至關(guān)重要的步驟。而在實際生產(chǎn)中，切割后獲得的型材斷面往往伴隨著毛刺的產(chǎn)生，這些毛刺對斷面尺寸的測量造成了顯著干擾。

2、現(xiàn)有技術(shù)中，型材斷面尺寸的測量方法通常是先由人工打磨去除毛刺，之后進(jìn)行測量。這種方法存在以下問題：人工打磨過程費時費力，人力成本高昂，難以滿足現(xiàn)代工業(yè)生產(chǎn)的需求。人工測量則依賴于操作者的經(jīng)驗和判斷，具有較強(qiáng)的主觀性，容易因個體差異或判斷失誤導(dǎo)致測量結(jié)果不一致，降低了檢測的可靠性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的之一在于提供一種基于二維圖像和三維點云的型材斷面尺寸測量方法，以克服上述在工業(yè)生產(chǎn)中因毛刺影響無法準(zhǔn)確測量型材斷面尺寸的缺陷；目的之二在于提供一種基于二維圖像和三維點云的型材斷面尺寸測量系統(tǒng)。

2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

3、本發(fā)明提供了一種基于二維圖像和三維點云的型材斷面尺寸測量方法，包括：

4、獲取待測量型材斷面的二維圖像和深度圖像，根據(jù)所述深度圖像生成三維點云數(shù)據(jù)；

5、分別對所述二維圖像和三維點云數(shù)據(jù)進(jìn)行預(yù)處理，對應(yīng)獲得預(yù)處理后的二維圖像和三維點云數(shù)據(jù)；

6、將所述預(yù)處理后的二維圖像和三維點云數(shù)據(jù)輸入訓(xùn)練好的毛刺檢測模型中，獲得二維圖像中的毛刺區(qū)域；

7、在所述二維圖像上去除所述毛刺區(qū)域，獲得待測量型材斷面的無毛刺圖像；

8、對所述待測量型材斷面的無毛刺圖像進(jìn)行校正，獲得待測量型材斷面的校正圖像，在所述待測量型材斷面的校正圖像上測量尺寸參數(shù)。

9、優(yōu)選地，所述獲取待測量型材斷面的二維圖像和深度圖像，包括：

10、固定所述待測量型材斷面，利用二維工業(yè)相機(jī)獲取待測量型材斷面的二維圖像，利用三維深度相機(jī)獲取待測量型材斷面的深度圖像，并保存三維深度相機(jī)和二維工業(yè)相機(jī)的位姿信息。

11、優(yōu)選地，根據(jù)所述深度圖像生成三維點云數(shù)據(jù)，包括：

12、由深度圖像生成三維點云數(shù)據(jù)的公式為：

13、

14、式中，xi，yi，zi表示三維點云數(shù)據(jù)中第i個點云的三維坐標(biāo)，ui，vi表示深度圖像中第i個像素點的二維坐標(biāo)，depth(ui，vi)表示第i個像素點的深度值，cx，cy表示三維深度相機(jī)的光心坐標(biāo)，fx，fy分別表示三維深度相機(jī)x，y方向上的焦距。

15、優(yōu)選地，所述三維深度相機(jī)的位姿信息包括三維相機(jī)旋轉(zhuǎn)矩陣和三維相機(jī)平移向量；

16、根據(jù)三維深度相機(jī)和二維工業(yè)相機(jī)之間的相對位置關(guān)系，計算二維工業(yè)相機(jī)的位姿信息，包括二維相機(jī)旋轉(zhuǎn)矩陣和二維相機(jī)平移向量；計算公式：

17、r2d＝rrel·r3d

18、t2d＝rrel·t3d+trel

19、式中，r3d，t3d分別表示三維相機(jī)旋轉(zhuǎn)矩陣和三維相機(jī)平移向量，rrel，trel表示三維深度相機(jī)與二維工業(yè)相機(jī)的相對位置旋轉(zhuǎn)矩陣和相對位置平移向量，r2d，t2d分別表示二維相機(jī)旋轉(zhuǎn)矩陣和二維相機(jī)平移向量。

20、優(yōu)選地，分別對所述二維圖像和三維點云數(shù)據(jù)進(jìn)行預(yù)處理，對應(yīng)獲得預(yù)處理后的二維圖像和三維點云數(shù)據(jù)，包括：

21、對所述二維圖像依次進(jìn)行灰度化處理、去噪處理、自適應(yīng)閾值二值化處理和連通域分析，獲得預(yù)處理后的二維圖像；

22、對所述三維點云數(shù)據(jù)進(jìn)行去噪處理，獲得預(yù)處理后的三維點云數(shù)據(jù)。

23、優(yōu)選地，所述灰度化處理的計算公式具體為：

24、

25、其中，i(x，y)表示坐標(biāo)(x，y)處像素點灰度化后的像素值，r(x，y)，g(x，y)，b(x，y)分別表示二維圖像中坐標(biāo)(x，y)處像素點的紅、綠、藍(lán)分量。

26、優(yōu)選地，采用中值濾波算法進(jìn)行去噪處理，中值濾波的計算公式為：

27、i′(x，y)＝median(i(x+i，y+j))，-k≤i，j≤k

28、式中，i′(x，y)表示坐標(biāo)(x，y)處像素點去噪處理后的像素值，i(x+i，y+j)表示灰度化后的二維圖像中以(x，y)處像素點為中心的(2k+1)×(2k+1)窗口內(nèi)的像素值，median表示求取該窗口內(nèi)的所有像素值的中值。

29、可以理解的是，圖像采集過程中，會存在不可避免會的噪聲，如因光照不均勻引起的；為了去除這些噪聲，同時保留圖像中的邊緣信息，采用中值濾波算法進(jìn)行去噪，中值濾波的原理是將圖像中每個像素的值替換為其鄰域像素的中值，從而有效地去除孤立的噪聲點，而不模糊邊緣。

30、優(yōu)選地，所述自適應(yīng)閾值二值化處理包括：

31、計算自適應(yīng)閾值：

32、

33、式中，t(x，y)表示坐標(biāo)(x，y)處像素點的自適應(yīng)閾值，ω表示二值化窗口的大小，c表示常數(shù)，用于調(diào)節(jié)前景和背景的分離程度；

34、根據(jù)自適應(yīng)閾值進(jìn)行二值化處理：

35、

36、式中，i_b(x，y)表示坐標(biāo)(x，y)處像素點二值化處理后的像素值，0表示背景像素，255表示前景像素。

37、優(yōu)選地，所述連通域分析包括：

38、使用廣度優(yōu)先搜索算法對二值化處理后的二維圖像進(jìn)行連通域標(biāo)記，識別出所有連通域；

39、計算每個連通域的像素個數(shù)，并根據(jù)像素個數(shù)和像素值計算每個連通域的面積；

40、保留面積最大的連通域，剩余連通域設(shè)為背景，獲得預(yù)處理后的二維圖像。

41、優(yōu)選地，連通域的面積的計算公式具體為：

42、

43、其中，ai表示第i個連通域的面積，regioni表示第i個連通域中所有前景像素的坐標(biāo)集合。

44、優(yōu)選地，對所述三維點云數(shù)據(jù)進(jìn)行去噪處理，獲得預(yù)處理后的三維點云數(shù)據(jù)，包括：

45、對于所述三維點云數(shù)據(jù)中的每個點，在預(yù)設(shè)半徑的范圍內(nèi)搜索臨近點集；

46、計算該點與其臨近點集的均值距離，計算公式為：

47、

48、式中，dmean(pi)表示第i個點與其臨近點集的均值距離，ni表示第i個點的臨近點集，pj表示臨近點集中的第j個點，||*||表示求取歐式距離；

49、遍歷所述三維點云數(shù)據(jù)中的每個點，獲得每個點與其臨近點集的均值距離；

50、根據(jù)所述每個點與其臨近點集的均值距離，計算全局點云的均值和標(biāo)準(zhǔn)差；

51、根據(jù)所述全局點云的均值和標(biāo)準(zhǔn)差計算閾值，計算公式為：

52、τ＝μ+α·f

53、式中，τ表示閾值，μ表示全局點云的均值，f表示全局點云的標(biāo)準(zhǔn)差，f表示比例系數(shù)；

54、依次比較每個點與其臨近點集的均值距離和閾值的大小，若該點與其臨近點集的均值距離大于閾值，則該點為異常點去除；否則，該點保留。

55、優(yōu)選地，獲得所述訓(xùn)練好的毛刺檢測模型，包括：

56、獲取若干個型材斷面的三維點云數(shù)據(jù)和對應(yīng)的二維圖像；

57、對所有所述型材斷面的三維點云數(shù)據(jù)和對應(yīng)的二維圖像進(jìn)行歸一化處理，獲得型材斷面歸一化后的三維點云數(shù)據(jù)和對應(yīng)的二維圖像；

58、對所有所述型材斷面歸一化后的三維點云數(shù)據(jù)中每個點進(jìn)行類別標(biāo)注，獲得型材斷面具有類別標(biāo)簽的三維點云數(shù)據(jù)；

59、構(gòu)建毛刺檢測模型，輸入型材斷面具有類別標(biāo)簽的三維點云數(shù)據(jù)和對應(yīng)的二維圖像，設(shè)置損失函數(shù)進(jìn)行優(yōu)化訓(xùn)練，當(dāng)損失函數(shù)值達(dá)到最小值時，保存相應(yīng)的模型參數(shù)，獲得訓(xùn)練好的毛刺檢測模型。

60、優(yōu)選地，所述毛刺檢測模型包括二維特征提取單元、第一多層感知機(jī)、第一三維特征下采樣單元、第一特征融合單元、第二三維特征下采樣單元、第二特征融合單元、第三三維特征下采樣單元、第三特征融合單元、第四三維特征下采樣單元、第四特征融合單元、第二多層感知機(jī)、第一三維特征上采樣單元、第二三維特征上采樣單元、第三三維特征上采樣單元、第四三維特征上采樣單元和第三多層感知機(jī)；

61、所述二維特征提取單元的輸出端分別與第一特征融合單元、第二特征融合單元、第三特征融合單元、第四特征融合單元的第一輸入端連接；

62、所述第一多層感知機(jī)的輸出端與第一三維特征下采樣單元的輸入端連接，第一三維特征下采樣單元的輸出端與第一特征融合單元的第二輸入端連接，第一特征融合單元的輸出端與第二三維特征下采樣單元的輸入端連接，第二三維特征下采樣單元的輸出端與第二特征融合單元的第二輸入端連接，第二特征融合單元的輸出端與第三三維特征下采樣單元的輸入端連接，第三三維特征下采樣單元的輸出端與第三特征融合單元的第二輸入端連接，第三特征融合單元的輸出端與第四三維特征下采樣單元的輸入端連接，第四三維特征下采樣單元的輸出端與第四特征融合單元的第二輸入端連接，第四特征融合單元的輸出端與第二多層感知機(jī)的輸入端連接；

63、所述第二多層感知機(jī)的輸出端與第一三維特征上采樣單元的第一輸入端連接，第一三維特征上采樣單元的輸出端與第二三維特征上采樣單元的第一輸入端連接，第二三維特征上采樣單元的輸出端與第三三維特征上采樣單元的第一輸入端連接，第三三維特征上采樣單元的輸出端與第四三維特征上采樣單元的第一輸入端連接，第四三維特征上采樣單元的輸出端與第三多層感知機(jī)的輸入端連接；

64、所述第一特征融合單元的輸出端還與第四三維特征上采樣單元的第二輸入端連接，第二特征融合單元的輸出端還與第三三維特征上采樣單元的第二輸入端連接，第三特征融合單元的輸出端還與第二三維特征上采樣單元的第二輸入端連接，第四特征融合單元的輸出端還與第一三維特征上采樣單元的第二輸入端連接。

65、優(yōu)選地，所述第一三維特征下采樣單元、第二三維特征下采樣單元、第三三維特征下采樣單元和第四三維特征下采樣單元的結(jié)構(gòu)形同，均包括依次連接的最遠(yuǎn)點采樣層、k近鄰分組層、鄰域最大池化層、第一全連接層、第一注意力層和第二全連接層；所述鄰域最大池化層的輸出端還與第二全連接層的輸出端連接。

66、優(yōu)選地，所述第一特征融合單元、第二特征融合單元、第三特征融合單元和第四特征融合單元的結(jié)構(gòu)相同，均包括依次連接的第一交叉注意力層、第一自注意力層、第二交叉注意力層、第二自注意力層和第三交叉注意力層；

67、所述二維特征提取單元的輸出端分別與第一交叉注意力層、第二交叉注意力層的第一輸入端連接，第二全連接層的輸出端與第一交叉注意力層的第二輸入端來連接；所述第一自注意力層的輸出端還與第三交叉注意力層的第一輸入端連接。

68、優(yōu)選地，所述第一三維特征上采樣單元、第二三維特征上采樣單元、第三三維特征上采樣單元和第四三維特征上采樣單元的結(jié)構(gòu)相同，均包括第三全連接層、第四全連接層、三線性插值層、逐元素相加層、第五全連接層、第三自注意力層和第六全連接層；

69、所述第四全連接層、三線性插值層、逐元素相加層、第五全連接層、第三自注意力層和第六全連接層依次連接；

70、所述第三全連接層的輸入端與第三交叉注意力層的輸出端連接，第三全連接層的輸出端與逐元素相加層的第二輸入端連接，所述逐元素相加層的輸出端還與第六全連接層的輸出端連接。

71、優(yōu)選地，在所述待測量型材斷面的校正圖像上測量尺寸參數(shù)，包括：

72、利用邊緣檢測算法對所述待測量型材斷面的校正圖像進(jìn)行邊緣檢測，獲得待測量型材斷面的輪廓線集合；

73、任意選擇預(yù)設(shè)測量部位，從所述待測量型材斷面的輪廓線集合中選取對應(yīng)的兩條目標(biāo)輪廓線；

74、計算兩條目標(biāo)輪廓線在所述待測量型材斷面的校正圖像中的像素距離；

75、根據(jù)預(yù)設(shè)比例系數(shù)和所述像素距離，計算兩條目標(biāo)輪廓線的實際距離，將所述實際距離作為該預(yù)設(shè)測量部位的實際尺寸；

76、遍歷預(yù)設(shè)測量部位，獲得所有預(yù)設(shè)測量部位的實際尺寸，組成所述待測量型材斷面的校正圖像的尺寸參數(shù)。

77、本發(fā)明還提供了一種基于二維圖像和三維點云的型材斷面尺寸測量系統(tǒng)，用于實現(xiàn)上述的方法，包括：

78、數(shù)據(jù)獲取模塊，用于獲取待測量型材斷面的二維圖像和深度圖像，根據(jù)所述深度圖像生成三維點云數(shù)據(jù)；

79、數(shù)據(jù)處理模塊，用于分別對所述二維圖像和三維點云數(shù)據(jù)進(jìn)行預(yù)處理，對應(yīng)獲得預(yù)處理后的二維圖像和三維點云數(shù)據(jù)；

80、毛刺檢測模塊，用于將所述預(yù)處理后的二維圖像和三維點云數(shù)據(jù)輸入訓(xùn)練好的毛刺檢測模型中，獲得二維圖像中的毛刺區(qū)域；

81、毛刺去除模塊，用于在所述二維圖像上去除所述毛刺區(qū)域，獲得待測量型材斷面的無毛刺圖像；

82、尺寸測量模塊，用于對所述待測量型材斷面的無毛刺圖像進(jìn)行校正，獲得待測量型材斷面的校正圖像，在所述待測量型材斷面的校正圖像上測量尺寸參數(shù)。

83、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

84、本發(fā)明首先獲取待測量型材斷面的二維圖像和深度圖像，并根據(jù)深度圖像生成三維點云數(shù)據(jù)，通過融合二維圖像的平面幾何信息和三維點云的空間幾何信息，確保后續(xù)毛刺檢測過程中能夠充分利用不同維度的特征，提高檢測精度；之后對二維圖像和三維點云數(shù)據(jù)進(jìn)行預(yù)處理，去除無關(guān)的環(huán)境信息；將預(yù)處理后的二維圖像和三維點云數(shù)據(jù)輸入訓(xùn)練好的毛刺檢測模型中，自動進(jìn)行毛刺檢測，獲得二維圖像中的毛刺區(qū)域，代替真實去毛刺工藝處理的操作，降低因操作者經(jīng)驗和主觀判斷差異導(dǎo)致的誤差，減少人工打磨的時間成本，提高毛刺檢測的一致性、可靠性和效率；最后，在二維圖像上去除檢測出的毛刺區(qū)域，生成無毛刺圖像并進(jìn)行矯正，獲得待測量型材斷面的校正圖像，在待測量型材斷面的校正圖像上測量尺寸參數(shù)，消除了成像和投影過程中的誤差，確?；跓o干擾的型材斷面輪廓獲得尺寸參數(shù)，從而大幅提高檢測的精度和可靠性。