本技術(shù)涉及圖像采集的，尤其是涉及一種基于雙目數(shù)據(jù)采集設(shè)備的透視變換圖像采集方法及系統(tǒng)。

背景技術(shù)：

1、在課堂上，使用單目攝像頭采集學(xué)生桌面上的物品圖像時(shí)，圖像矯正方面的不足之處主要表現(xiàn)在：?jiǎn)文繑z像頭由于缺乏立體視覺(jué)，難以在圖像矯正過(guò)程中準(zhǔn)確消除透視畸變和鏡頭畸變。這意味著，采集到的圖像可能會(huì)出現(xiàn)扭曲，尤其是在邊緣區(qū)域，導(dǎo)致物品的實(shí)際尺寸和形狀難以準(zhǔn)確還原。因此，需要改進(jìn)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本技術(shù)提供了一種基于雙目數(shù)據(jù)采集設(shè)備的透視變換圖像采集方法及系統(tǒng)。

2、一種基于雙目數(shù)據(jù)采集設(shè)備的透視變換圖像采集方法，包括步驟：

3、s10:當(dāng)接收到教師終端發(fā)出的圖像獲取指令時(shí)，從圖像獲取指令中提取待識(shí)別桌面的原物品圖像；

4、s20:基于攝像裝置的參數(shù)，計(jì)算將攝像裝置坐標(biāo)系中的原物品圖像轉(zhuǎn)換到預(yù)設(shè)坐標(biāo)系下的終物品圖像所需的透視變換矩陣及其逆矩陣，并調(diào)整攝像裝置的對(duì)焦和變倍；

5、s30:基于預(yù)設(shè)實(shí)例分割ai模型，對(duì)原物品圖像進(jìn)行邊界識(shí)別并輸出原物品圖像邊界坐標(biāo)；

6、s40:基于所述透視變換矩陣、所述原物品圖像邊界坐標(biāo)和最小外接矩形法，輸出終物品圖像的邊界角點(diǎn)坐標(biāo)；

7、s50:基于預(yù)設(shè)透視變換處理模型和所述終物品圖像的邊界角點(diǎn)坐標(biāo)，輸出矯正后的終物品圖像；

8、s60:對(duì)矯正后的終物品圖像進(jìn)行圖像優(yōu)化處理，輸出優(yōu)化處理后的終物品圖像。

9、在一較佳實(shí)施例中，所述基于攝像裝置的參數(shù)，計(jì)算將攝像裝置坐標(biāo)系中的原物品圖像轉(zhuǎn)換到預(yù)設(shè)坐標(biāo)系下的終物品圖像所需的透視變換矩陣及其逆矩陣，并調(diào)整攝像裝置的對(duì)焦和變倍的步驟，包括步驟：

10、s201:輸出攝像裝置的參數(shù)，參數(shù)包括內(nèi)置參數(shù)和外置參數(shù)，內(nèi)置參數(shù)包括焦距和內(nèi)置參數(shù)矩陣，外置參數(shù)包括攝像裝置在預(yù)設(shè)坐標(biāo)系中的位置、旋轉(zhuǎn)矩陣和平移向量；

11、s202:基于攝像裝置的參數(shù)和預(yù)設(shè)公式，計(jì)算透視變換矩陣，表示攝像裝置的內(nèi)置參數(shù)矩陣，表示旋轉(zhuǎn)矩陣，表示平移向量。

12、在一較佳實(shí)施例中，所述基于攝像裝置的參數(shù)，計(jì)算將攝像裝置坐標(biāo)系中的原物品圖像轉(zhuǎn)換到預(yù)設(shè)坐標(biāo)系下的終物品圖像所需的透視變換矩陣及其逆矩陣，并調(diào)整攝像裝置的對(duì)焦和變倍的步驟，還包括步驟：

13、s203:基于原物品圖像的深度和焦距，計(jì)算焦距調(diào)整量，發(fā)送焦距調(diào)整量和焦距調(diào)整指令到攝像裝置，調(diào)整鏡頭的焦距；

14、s204:基于原物品圖像的尺寸和圖像分辨率，計(jì)算變倍調(diào)整量，發(fā)送變倍調(diào)整量和變倍調(diào)整指令到攝像裝置，調(diào)整鏡頭的變倍；

15、s205:基于實(shí)時(shí)圖像反饋模型，檢查對(duì)焦和變倍調(diào)整后的原物品圖像是否滿足清晰度和分辨率要求，當(dāng)不滿足要求時(shí)，則重復(fù)執(zhí)行s203和s204，至滿足要求。

16、在一較佳實(shí)例中，所述基于預(yù)設(shè)實(shí)例分割ai模型，對(duì)原物品圖像進(jìn)行邊界識(shí)別并輸出原物品圖像邊界坐標(biāo)的步驟，包括步驟：

17、s301:基于預(yù)設(shè)實(shí)例分割ai模型，對(duì)原物品圖像選擇矩形邊界框，識(shí)別定位邊界角點(diǎn)；

18、s302:對(duì)選擇的邊界角點(diǎn)進(jìn)行優(yōu)化并輸出邊界坐標(biāo)，所述優(yōu)化包括平滑角點(diǎn)、去除異常值、細(xì)化角點(diǎn)位置。

19、在一較佳實(shí)例中，所述基于所述透視變換矩陣、所述原物品圖像邊界坐標(biāo)和最小外接矩形法，輸出終物品圖像的邊界角點(diǎn)坐標(biāo)的步驟，包括步驟：

20、s401:基于原物品圖像邊界坐標(biāo)和最小外接矩形法，定位以原物品圖像邊界坐標(biāo)為邊界的最小外接矩形，輸出最小外接矩形的參數(shù)，參數(shù)包括水平視場(chǎng)角、寬度、高度以及放大倍數(shù)；

21、s402:基于、、、和預(yù)設(shè)公式，計(jì)算虛擬像素距離；

22、s403:預(yù)設(shè)攝像裝置為原點(diǎn)，將最小外接矩形的每個(gè)角點(diǎn)坐標(biāo)表示為；

23、s404:當(dāng)，最小外接矩形的第一角點(diǎn)坐標(biāo)表示為，基于預(yù)設(shè)公式，計(jì)算得到最小外接矩形的第一角點(diǎn)坐標(biāo)；

24、s405:當(dāng)，最小外接矩形的第二角點(diǎn)坐標(biāo)表示為，基于預(yù)設(shè)公式，計(jì)算得到最小外接矩形的第二角點(diǎn)坐標(biāo)；

25、s406:當(dāng)，最小外接矩形的第三角點(diǎn)坐標(biāo)表示為，基于預(yù)設(shè)公式，計(jì)算得到最小外接矩形的第三角點(diǎn)坐標(biāo)；

26、s407:當(dāng)，最小外接矩形的第四角點(diǎn)坐標(biāo)表示為，基于預(yù)設(shè)公式，計(jì)算得到最小外接矩形的第四角點(diǎn)坐標(biāo)。

27、在一較佳實(shí)例中，所述基于所述透視變換矩陣、所述原物品圖像邊界坐標(biāo)和最小外接矩形法，輸出終物品圖像的邊界角點(diǎn)坐標(biāo)的步驟，還包括步驟：

28、s408:將最小外接矩形的每個(gè)角點(diǎn)坐標(biāo)轉(zhuǎn)換為齊次坐標(biāo)角點(diǎn)；

29、s409:基于預(yù)設(shè)公式和透視變換矩陣，對(duì)每個(gè)齊次坐標(biāo)角點(diǎn)進(jìn)行變換，得到變換后的坐標(biāo)；

30、s410:基于預(yù)設(shè)公式，，對(duì)變換后的坐標(biāo)進(jìn)行歸一化，以得到二維圖像坐標(biāo)；

31、s411:重復(fù)步驟s408-s410獲取所有四個(gè)角點(diǎn)的二維圖像坐標(biāo),將二維圖像坐標(biāo)作為終物品圖像的邊界角點(diǎn)坐標(biāo)輸出。

32、本技術(shù)的上述目的二是通過(guò)以下技術(shù)方案得以實(shí)現(xiàn)的：

33、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述一種基于雙目數(shù)據(jù)采集設(shè)備的透視變換圖像采集方法的步驟。

34、本技術(shù)的上述目的三是通過(guò)以下技術(shù)方案得以實(shí)現(xiàn)的：

35、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述一種基于雙目數(shù)據(jù)采集設(shè)備的透視變換圖像采集方法的步驟。

36、綜上所述，本技術(shù)包括以下至少一種有益技術(shù)效果：

37、1.首先，涉及對(duì)教師終端發(fā)出的圖像獲取指令的響應(yīng)和處理。當(dāng)接收到來(lái)自教師終端的指令時(shí)，首先解析該指令，以確定需要捕獲圖像的特定學(xué)生桌面區(qū)域，即待識(shí)別桌面。接下來(lái)，激活攝像裝置，并確保其正確對(duì)準(zhǔn)待識(shí)別桌面。最終，從攝像裝置捕獲的圖像數(shù)據(jù)中提取出原物品圖像，這是指包含在待識(shí)別桌面上的、未經(jīng)處理的原始圖像，其中包含了后續(xù)步驟中將進(jìn)行識(shí)別的物品。這一過(guò)程是自動(dòng)化的，確保了圖像獲取的準(zhǔn)確性和效率，為后續(xù)的圖像分析和物品識(shí)別打下了基礎(chǔ)。然后，涉及到對(duì)攝像裝置捕獲的圖像進(jìn)行坐標(biāo)變換處理，以便將圖像中的物品位置從攝像裝置的二維坐標(biāo)系映射到現(xiàn)實(shí)世界的三維坐標(biāo)系中。在這個(gè)過(guò)程中，首先基于攝像裝置的參數(shù)，計(jì)算出透視變換矩陣。這個(gè)矩陣的作用是將攝像裝置坐標(biāo)系中的原物品圖像轉(zhuǎn)換到預(yù)設(shè)坐標(biāo)系下的終物品圖像，從而實(shí)現(xiàn)對(duì)物品在現(xiàn)實(shí)世界中的準(zhǔn)確位置和方向的描述。同時(shí)，也會(huì)計(jì)算透視變換矩陣的逆矩陣，它允許從預(yù)設(shè)坐標(biāo)系反向轉(zhuǎn)換到攝像裝置坐標(biāo)系，這在某些情況下是必要的，比如當(dāng)需要將現(xiàn)實(shí)世界中的坐標(biāo)映射回圖像平面時(shí)。此外，為了確保圖像清晰，還會(huì)根據(jù)需要調(diào)整攝像裝置的對(duì)焦和變倍，以優(yōu)化圖像質(zhì)量，為后續(xù)的圖像分析和識(shí)別提供更準(zhǔn)確的數(shù)據(jù)。然后，利用預(yù)設(shè)的實(shí)例分割ai模型來(lái)處理原物品圖像，目的是識(shí)別圖像中各個(gè)物品的邊界。實(shí)例分割ai模型是一種先進(jìn)的圖像處理技術(shù)，它能夠區(qū)分圖像中的不同物體，并且為每個(gè)物體繪制出精確的邊界。在這個(gè)步驟中，模型會(huì)對(duì)原物品圖像進(jìn)行分析，識(shí)別出每個(gè)物品的輪廓，并輸出這些輪廓的邊界坐標(biāo)。這些坐標(biāo)是圖像中物品邊界的精確位置點(diǎn)，它們定義了每個(gè)物品在圖像中的形狀和位置。通過(guò)這種方式，可以準(zhǔn)確地從圖像中分離出不同的物品，為進(jìn)一步的圖像分析和物品識(shí)別打下了基礎(chǔ)。然后，涉及到使用透視變換矩陣和原物品圖像邊界坐標(biāo)來(lái)計(jì)算終物品圖像的四個(gè)邊界角點(diǎn)坐標(biāo)。在這一步驟中，應(yīng)用了最小外接矩形法，用于確定能夠完全包圍圖像中物體的最小矩形，并計(jì)算出該矩形的四個(gè)角點(diǎn)坐標(biāo)。透視變換矩陣在此過(guò)程中用于將原物品圖像的邊界坐標(biāo)從攝像裝置坐標(biāo)系轉(zhuǎn)換到預(yù)設(shè)坐標(biāo)系，確保了坐標(biāo)的準(zhǔn)確性。最終，輸出的是經(jīng)過(guò)透視變換和矯正處理后的終物品圖像的四個(gè)邊界角點(diǎn)坐標(biāo)。然后，利用預(yù)設(shè)的透視變換處理模型和之前計(jì)算出的終物品圖像的四個(gè)邊界角點(diǎn)坐標(biāo)，來(lái)輸出矯正后的終物品圖像。在這一步驟中，透視變換處理模型根據(jù)四個(gè)邊界角點(diǎn)坐標(biāo)執(zhí)行透視變換，這是一種圖像處理技術(shù)，用于矯正圖像中的視角失真，使得圖像呈現(xiàn)出從正前方看的視角。通過(guò)這種變換，圖像中的物品被重新映射，以消除由于攝像裝置位置和角度引起的透視效果，從而得到一個(gè)視角被矯正的圖像。矯正后的終物品圖像更加適合于后續(xù)的分析和處理，因?yàn)樗峁┝艘粋€(gè)統(tǒng)一和標(biāo)準(zhǔn)的視角，有助于提高圖像識(shí)別的準(zhǔn)確性和效率。最后，是對(duì)已經(jīng)經(jīng)過(guò)透視矯正的終物品圖像進(jìn)行進(jìn)一步的圖像優(yōu)化處理。在這一步驟中，圖像優(yōu)化處理包括了一系列的圖像增強(qiáng)和改善技術(shù)，例如增強(qiáng)圖像的對(duì)比度、減少圖像中的噪聲、調(diào)整圖像的亮度和色彩，以及可能的銳化處理等。這些操作的目的是提升圖像的整體視覺(jué)質(zhì)量，使得圖像中的物品細(xì)節(jié)更加清晰，顏色更加逼真，從而為后續(xù)的分析或展示工作做好準(zhǔn)備。完成這些優(yōu)化步驟后，系統(tǒng)將輸出優(yōu)化處理后的終物品圖像，這是一個(gè)經(jīng)過(guò)質(zhì)量提升的圖像，它將更加適合于機(jī)器學(xué)習(xí)模型的訓(xùn)練、目標(biāo)檢測(cè)、特征提取或任何需要高質(zhì)量圖像輸入的應(yīng)用場(chǎng)景。