本發(fā)明涉及圖像處理，尤其涉及基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法。

背景技術(shù)：

1、光伏跟蹤系統(tǒng)是能夠自動跟蹤太陽并提高總體發(fā)電量的光伏系統(tǒng)。太陽光伏陣列自動跟蹤系統(tǒng)通過實(shí)時(shí)跟蹤太陽運(yùn)動，使太陽光直射光伏陣列，從而增加光伏陣列接收到的太陽輻射量，提高太陽光伏發(fā)電系統(tǒng)的總體發(fā)電量。使用廣泛的有四種太陽光伏自動跟蹤系統(tǒng)，包括水平單軸跟蹤、雙立柱斜單軸跟蹤、垂直單軸跟蹤和雙軸跟蹤，其中水平單軸跟蹤和傾斜單軸跟蹤、垂直單軸跟蹤只有一個(gè)旋轉(zhuǎn)自由度，雙軸跟蹤具有兩個(gè)旋轉(zhuǎn)自由度。

2、預(yù)測太陽附近云團(tuán)的移動軌跡，可為優(yōu)化光伏跟蹤系統(tǒng)的控制策略、減少無效跟蹤提供有效參考。但是，現(xiàn)有技術(shù)鮮有基于預(yù)測太陽附近云團(tuán)的移動軌跡作為優(yōu)化光伏跟蹤系統(tǒng)的控制策略參考的技術(shù)方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，以解決背景技術(shù)中現(xiàn)有技術(shù)所述不足。

2、基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，包括以下步驟：

3、構(gòu)建多目標(biāo)云團(tuán)數(shù)據(jù)集，然后進(jìn)行圖像預(yù)處理；

4、輸入待檢測圖像，并依次進(jìn)行特征提取、特征融合；

5、對處理后云圖數(shù)據(jù)進(jìn)行目標(biāo)檢測；

6、對目標(biāo)檢測結(jié)果通過目標(biāo)跟蹤算法實(shí)現(xiàn)跟蹤處理并記錄歷史云團(tuán)移動軌跡；

7、對跟蹤處理的數(shù)據(jù)添加卡爾曼濾波算法，實(shí)現(xiàn)軌跡預(yù)測。

8、進(jìn)一步的，所述構(gòu)建多目標(biāo)云團(tuán)數(shù)據(jù)集，然后進(jìn)行圖像預(yù)處理，具體為：

9、利用追蹤攝像頭獲取太陽附近的實(shí)時(shí)視頻流數(shù)據(jù)，視頻經(jīng)抽幀處理，排除掉相似度過高以及清晰度較差的圖片作為多目標(biāo)云團(tuán)的初始數(shù)據(jù)集;

10、將初始數(shù)據(jù)集進(jìn)行圖像預(yù)處理操作，其中離線數(shù)據(jù)增強(qiáng)選用在初始數(shù)據(jù)集中添加高斯噪聲，在線數(shù)據(jù)增強(qiáng)通過9-mosaic數(shù)據(jù)增強(qiáng)算法對初始數(shù)據(jù)集進(jìn)行處理。

11、進(jìn)一步的，所述輸入待檢測圖像，并依次進(jìn)行特征提取、特征融合，具體為：選用yolov5作為目標(biāo)檢測模型，yolov5分為輸入端、backbone骨干網(wǎng)絡(luò)、neck網(wǎng)絡(luò)層、head輸出端四個(gè)部分，其中輸入端實(shí)現(xiàn)前期對圖像的預(yù)處理操作，backbone骨干網(wǎng)絡(luò)和neck網(wǎng)絡(luò)層則分別對輸入的圖像數(shù)據(jù)進(jìn)行特征提取以及特征融合操作，head輸出端則主要將從neck網(wǎng)絡(luò)層輸出而來的多尺度特征分別進(jìn)行解析并進(jìn)行最后的檢測結(jié)果輸出。

12、進(jìn)一步的，所述對處理后云圖數(shù)據(jù)進(jìn)行目標(biāo)檢測，具體為：構(gòu)建的多目標(biāo)云團(tuán)數(shù)據(jù)集經(jīng)yolov5模型輸入端圖像預(yù)處理、backbone特征提取以及neck網(wǎng)絡(luò)層特征融合后，head輸出端將從neck網(wǎng)絡(luò)層輸出而來的不同尺度的特征圖分別進(jìn)行解析，再利用ciou_loss作為邊界框損失函數(shù)以及通過采用加權(quán)nms非極大值抑制去除冗余的預(yù)測框，尋找最優(yōu)值。

13、進(jìn)一步的，所述對目標(biāo)檢測結(jié)果通過目標(biāo)跟蹤算法實(shí)現(xiàn)跟蹤處理并記錄歷史云團(tuán)移動軌跡，具體為：在目標(biāo)檢測器yolov5中添加多目標(biāo)跟蹤器deepsort實(shí)現(xiàn)針對多目標(biāo)云團(tuán)的追蹤任務(wù)；其中，deepsort多目標(biāo)跟蹤流程包括：首先獲取原始視頻幀，之后利用目標(biāo)檢測器對視頻幀中的目標(biāo)進(jìn)行檢測，隨后提取目標(biāo)框中的特征，該特征包括表觀特征和運(yùn)動特征，其中運(yùn)動特征利用卡爾曼濾波算法對其進(jìn)行預(yù)測，最后利用匈牙利算法和級聯(lián)匹配計(jì)算前后兩幀目標(biāo)之間的匹配程度，為每個(gè)追蹤到的目標(biāo)分配id。

14、進(jìn)一步的，所述對跟蹤處理的數(shù)據(jù)添加卡爾曼濾波算法，實(shí)現(xiàn)軌跡預(yù)測，具體為：在目標(biāo)檢測器yolov5和多目標(biāo)跟蹤器deepsort組成的目標(biāo)追蹤模型后增添卡爾曼濾波算法，利用追蹤模型回饋的一系列歷史邊界框坐標(biāo)，通過左上、右下兩點(diǎn)坐標(biāo)，進(jìn)而獲取一系列歷史邊界框中心點(diǎn)坐標(biāo)；再基于歷史邊界框中心點(diǎn)坐標(biāo)利用卡爾曼濾波耦合預(yù)測出未來時(shí)刻的移動軌跡，從而實(shí)現(xiàn)針對多目標(biāo)云團(tuán)的軌跡預(yù)測；

15、所述卡爾曼濾波包含預(yù)測和更新兩個(gè)階段，在預(yù)測階段，利用對上一狀態(tài)的估計(jì)，做出對當(dāng)前狀態(tài)的估計(jì)；在更新階段，基于當(dāng)前狀態(tài)觀測值優(yōu)化預(yù)測階段預(yù)測值，獲取更高預(yù)測精度；其預(yù)測公式為：

16、

17、

18、其中，為k-1時(shí)刻的最優(yōu)估計(jì)值，為k-1時(shí)刻在k時(shí)刻的最優(yōu)估計(jì)值，為k-1時(shí)刻估計(jì)值的協(xié)方差矩陣，為k-1時(shí)刻在k時(shí)刻估計(jì)值的協(xié)方差矩陣，為作用在上的狀態(tài)變換模型，為作用在控制器向量上的輸入控制模型，為控制向量，為過程噪聲的協(xié)方差矩陣；

19、在更新階段，計(jì)算三個(gè)變量，其計(jì)算公式為：

20、

21、

22、

23、其中，測量殘差，測量殘差協(xié)方差，最優(yōu)卡爾曼增益

24、然后，更新x與p

25、

26、

27、上述兩公式為卡爾曼濾波在更新時(shí)的公式，其中為k時(shí)刻的最優(yōu)估計(jì)值，是k時(shí)刻估計(jì)值的協(xié)方差矩陣，是觀察噪聲的協(xié)方差矩陣，為觀測模型，將真實(shí)空間狀態(tài)映射成觀測空間，為k時(shí)刻真實(shí)狀態(tài)的一個(gè)測量值。

28、本發(fā)明實(shí)施例采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果：

29、本發(fā)明追蹤攝像頭通過追蹤太陽獲取太陽附近的實(shí)時(shí)視頻流數(shù)據(jù)。捕獲的數(shù)據(jù)經(jīng)yolov5（目標(biāo)監(jiān)測模型）處理實(shí)現(xiàn)對云團(tuán)的目標(biāo)監(jiān)測，再通過添加deepsort（多目標(biāo)追蹤模型）實(shí)現(xiàn)對云團(tuán)的多目標(biāo)追蹤并記錄歷史云團(tuán)移動軌跡，最后添加卡爾曼濾波，卡爾曼濾波基于歷史云團(tuán)移動軌跡擬合預(yù)測出未來時(shí)刻云團(tuán)的移動軌跡，最終實(shí)現(xiàn)云團(tuán)的軌跡預(yù)測，預(yù)測精度較高。本發(fā)明預(yù)測太陽附近云團(tuán)的移動軌跡，可為優(yōu)化光伏跟蹤系統(tǒng)的控制策略、減少無效跟蹤提供有效參考。

技術(shù)特征：

1.基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，其特征在于，所述構(gòu)建多目標(biāo)云團(tuán)數(shù)據(jù)集，然后進(jìn)行圖像預(yù)處理，具體為：

3.根據(jù)權(quán)利要求1所述的基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，其特征在于，所述輸入待檢測圖像，并依次進(jìn)行特征提取、特征融合，具體為：選用yolov5作為目標(biāo)檢測模型，yolov5分為輸入端、backbone骨干網(wǎng)絡(luò)、neck網(wǎng)絡(luò)層、head輸出端四個(gè)部分，其中輸入端實(shí)現(xiàn)前期對圖像的預(yù)處理操作，backbone骨干網(wǎng)絡(luò)和neck網(wǎng)絡(luò)層則分別對輸入的圖像數(shù)據(jù)進(jìn)行特征提取以及特征融合操作，head輸出端則主要將從neck網(wǎng)絡(luò)層輸出而來的多尺度特征分別進(jìn)行解析并進(jìn)行最后的檢測結(jié)果輸出。

4.根據(jù)權(quán)利要求1所述的基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，其特征在于，所述對處理后云圖數(shù)據(jù)進(jìn)行目標(biāo)檢測，具體為：構(gòu)建的多目標(biāo)云團(tuán)數(shù)據(jù)集經(jīng)yolov5模型輸入端圖像預(yù)處理、backbone特征提取以及neck網(wǎng)絡(luò)層特征融合后，head輸出端將從neck網(wǎng)絡(luò)層輸出而來的不同尺度的特征圖分別進(jìn)行解析，再利用ciou_loss作為邊界框損失函數(shù)以及通過采用加權(quán)nms非極大值抑制去除冗余的預(yù)測框，尋找最優(yōu)值。

5.根據(jù)權(quán)利要求1所述的基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，其特征在于，所述對目標(biāo)檢測結(jié)果通過目標(biāo)跟蹤算法實(shí)現(xiàn)跟蹤處理并記錄歷史云團(tuán)移動軌跡，具體為：在目標(biāo)檢測器yolov5中添加多目標(biāo)跟蹤器deepsort實(shí)現(xiàn)針對多目標(biāo)云團(tuán)的追蹤任務(wù)；其中，deepsort多目標(biāo)跟蹤流程包括：首先獲取原始視頻幀，之后利用目標(biāo)檢測器對視頻幀中的目標(biāo)進(jìn)行檢測，隨后提取目標(biāo)框中的特征，該特征包括表觀特征和運(yùn)動特征，其中運(yùn)動特征利用卡爾曼濾波算法對其進(jìn)行預(yù)測，最后利用匈牙利算法和級聯(lián)匹配計(jì)算前后兩幀目標(biāo)之間的匹配程度，為每個(gè)追蹤到的目標(biāo)分配id。

6.根據(jù)權(quán)利要求1所述的基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，其特征在于，所述對跟蹤處理的數(shù)據(jù)添加卡爾曼濾波算法，實(shí)現(xiàn)軌跡預(yù)測，具體為：在目標(biāo)檢測器yolov5和多目標(biāo)跟蹤器deepsort組成的目標(biāo)追蹤模型后增添卡爾曼濾波算法，利用追蹤模型回饋的一系列歷史邊界框坐標(biāo)，通過左上、右下兩點(diǎn)坐標(biāo)，進(jìn)而獲取一系列歷史邊界框中心點(diǎn)坐標(biāo)；再基于歷史邊界框中心點(diǎn)坐標(biāo)利用卡爾曼濾波耦合預(yù)測出未來時(shí)刻的移動軌跡，從而實(shí)現(xiàn)針對多目標(biāo)云團(tuán)的軌跡預(yù)測；

技術(shù)總結(jié)
本發(fā)明公開了基于追蹤攝像頭動態(tài)特征快速捕捉的云團(tuán)軌跡預(yù)測方法，包括以下步驟：構(gòu)建多目標(biāo)云團(tuán)數(shù)據(jù)集，然后進(jìn)行圖像預(yù)處理；輸入待檢測圖像，并依次進(jìn)行特征提取、特征融合；對處理后云圖數(shù)據(jù)進(jìn)行目標(biāo)檢測；對目標(biāo)檢測結(jié)果通過目標(biāo)跟蹤算法實(shí)現(xiàn)跟蹤處理并記錄歷史云團(tuán)移動軌跡；對跟蹤處理的數(shù)據(jù)添加卡爾曼濾波算法，實(shí)現(xiàn)軌跡預(yù)測。本發(fā)明追蹤攝像頭通過追蹤太陽獲取太陽附近的實(shí)時(shí)視頻流數(shù)據(jù)。捕獲的數(shù)據(jù)經(jīng)目標(biāo)監(jiān)測模型處理實(shí)現(xiàn)對云團(tuán)的目標(biāo)監(jiān)測，再通過添加多目標(biāo)追蹤模型實(shí)現(xiàn)對云團(tuán)的多目標(biāo)追蹤并記錄歷史云團(tuán)移動軌跡，最后添加卡爾曼濾波，卡爾曼濾波基于歷史云團(tuán)移動軌跡擬合預(yù)測出未來時(shí)刻云團(tuán)的移動軌跡，最終實(shí)現(xiàn)云團(tuán)的軌跡預(yù)測。

技術(shù)研發(fā)人員：廖金偉,舒建棋,劉文,陳淑婷,曾洋彪,喬藝,陳旭,余正楠,嚴(yán)翔,王航
受保護(hù)的技術(shù)使用者：浙江萬里學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30