本發(fā)明屬于機(jī)器視覺(jué)領(lǐng)域，具體涉及一種基于mrs-yolo模型的環(huán)衛(wèi)工作評(píng)價(jià)方法。

背景技術(shù)：

1、在全球經(jīng)濟(jì)迅速發(fā)展和科技水平持續(xù)進(jìn)步的背景下，環(huán)境問(wèn)題變得更加緊迫，環(huán)衛(wèi)工作評(píng)價(jià)已是形勢(shì)所趨。垃圾分類、檢測(cè)回收和和清潔度評(píng)價(jià)是進(jìn)行環(huán)衛(wèi)工作評(píng)價(jià)的前提。然而，垃圾分類仍然是一個(gè)巨大的挑戰(zhàn)，存在任務(wù)繁重、種類繁多、資源浪費(fèi)等問(wèn)題。目前，主流的垃圾分類模型方法存在效率低下、成本高昂、回收利用率低的問(wèn)題，嚴(yán)重阻礙了垃圾回收的進(jìn)程。在這一背景下，迫切需要一種智能化、自動(dòng)化的技術(shù)，能夠在保持高精度的同時(shí)提高分揀速度，以更好地實(shí)現(xiàn)垃圾回收利用，保護(hù)環(huán)境。

2、目前，垃圾檢測(cè)回收方法主要依賴于目標(biāo)檢測(cè)算法對(duì)垃圾進(jìn)行識(shí)別。目前的目標(biāo)檢測(cè)算法主要分為two-stage和one-stage兩種，其中two-stage算法如r-cnn、mask?r-cnn、faster-rcnn等，雖然在目標(biāo)檢測(cè)領(lǐng)域取得了一定效果，但在垃圾檢測(cè)分類應(yīng)用中存在諸多不足。與傳統(tǒng)的two-stage算法相比，以yolo、ssd、cornernet等為代表的one-stage算法具有一次性檢測(cè)圖像中多個(gè)目標(biāo)的能力，這對(duì)于需要快速處理大量垃圾的分類系統(tǒng)至關(guān)重要。然而，當(dāng)前的one-stage算法在小目標(biāo)檢測(cè)和模型泛化能力方面仍有待提升。

3、此外，傳統(tǒng)的垃圾分類和清潔度評(píng)價(jià)方法存在多種問(wèn)題。例如，近紅外光譜(nirs)技術(shù)雖然在某些情況下有效，但在區(qū)分化學(xué)成分相似的樣本(如pet和pet-g)時(shí)存在困難。近年來(lái)，利用深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)，諸如efficientnet和yolo模型被用于提高垃圾分類的準(zhǔn)確性和效率?，F(xiàn)有的垃圾分類技術(shù)中，基于深度學(xué)習(xí)的圖像識(shí)別模型顯示出較高的潛力。例如，通過(guò)調(diào)優(yōu)efficientnet-b0模型，可以實(shí)現(xiàn)高效的區(qū)域特定垃圾分類，大大提高了分類準(zhǔn)確性和計(jì)算效率。同時(shí)，結(jié)合人工智能和物聯(lián)網(wǎng)(aiot)的智能垃圾桶系統(tǒng)，也顯著提升了垃圾管理的效率和準(zhǔn)確性。

4、綜上所述，現(xiàn)有技術(shù)中在垃圾識(shí)別和清潔度評(píng)價(jià)方面存在諸多不足，亟需開(kāi)發(fā)更加先進(jìn)和高效的技術(shù)，以滿足城市治理和環(huán)境保護(hù)的需求。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本發(fā)明提出了一種基于mrs-yolo模型的環(huán)衛(wèi)工作評(píng)價(jià)方法；首先，本發(fā)明提出了一種全新的垃圾檢測(cè)模型mrs-yolo，基于現(xiàn)有的目標(biāo)檢測(cè)訓(xùn)練方法slideloss，本發(fā)明對(duì)其進(jìn)行了改進(jìn)，提出了一種能夠提升對(duì)小目標(biāo)識(shí)別能力的方法slideloss_iou方法；其次，針對(duì)yolo模型魯棒性差的問(wèn)題，采用了一種多維度卷積機(jī)制和動(dòng)態(tài)卷積機(jī)制改進(jìn)了原有的特征提方法，最后引入了一種transformer機(jī)制，以進(jìn)一步加強(qiáng)模型對(duì)各種垃圾的檢測(cè)能力，并在降低計(jì)算成本的同時(shí)提高特征的利用率以提升檢測(cè)精度。另外，相比傳統(tǒng)的檢測(cè)方法只能單純的檢測(cè)垃圾，本發(fā)明還通過(guò)對(duì)垃圾識(shí)別結(jié)果進(jìn)行計(jì)算分析，進(jìn)而對(duì)環(huán)衛(wèi)工作進(jìn)行評(píng)價(jià)。本發(fā)明提出的垃圾檢測(cè)模型mrs-yolo具有更好的魯棒性、更快的推理速度和更高的檢測(cè)精度，能夠?qū)崿F(xiàn)高效率、低成本的智能垃圾分類，同時(shí)評(píng)價(jià)方法的提出也能為環(huán)衛(wèi)工作的管理提供更為可靠的數(shù)據(jù)支持。本發(fā)明的提出旨在提升垃圾檢測(cè)的精度和效率，提供科學(xué)、客觀的環(huán)衛(wèi)工作評(píng)價(jià)方法。

2、本發(fā)明的技術(shù)方案如下：

3、一種基于mrs-yolo模型的環(huán)衛(wèi)工作評(píng)價(jià)方法，通過(guò)mrs-yolo模型進(jìn)行小目標(biāo)檢測(cè)與多尺度垃圾識(shí)別，具體包括如下步驟：

4、步驟1、通過(guò)攝像頭拍攝目標(biāo)區(qū)域內(nèi)的視頻流數(shù)據(jù)并進(jìn)行預(yù)處理；

5、步驟2、構(gòu)建并訓(xùn)練垃圾檢測(cè)模型mrs-yolo，得到最終的垃圾檢測(cè)模型；

6、步驟3、從目標(biāo)區(qū)域的攝像頭視頻流中提取圖像幀，采用訓(xùn)練完成的垃圾檢測(cè)模型mrs-yolo對(duì)視頻流的每個(gè)圖像進(jìn)行垃圾檢測(cè)，識(shí)別每個(gè)圖像中的垃圾數(shù)量和種類，并對(duì)識(shí)別到的垃圾進(jìn)行分類；

7、步驟4、基于垃圾數(shù)量和覆蓋面積計(jì)算清潔指數(shù)，通過(guò)設(shè)定的評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)環(huán)衛(wèi)工作的表現(xiàn)進(jìn)行評(píng)估。

8、進(jìn)一步地，所述步驟1的具體過(guò)程為：在目標(biāo)區(qū)域內(nèi)安裝攝像頭，確保攝像頭的視角覆蓋整個(gè)區(qū)域的每個(gè)角落，避免出現(xiàn)盲區(qū)；攝像頭定期獲取視頻流數(shù)據(jù)，并將視頻流數(shù)據(jù)實(shí)時(shí)或批量存儲(chǔ)到本地服務(wù)器或云端服務(wù)器；隨后，使用自動(dòng)化腳本從視頻流中提取圖像幀，并對(duì)圖像進(jìn)行分割預(yù)處理，確定每個(gè)圖像中每種垃圾的具體位置和面積；分割預(yù)處理過(guò)程包括圖像的去噪、增強(qiáng)和分割；接著，將預(yù)處理后的圖像數(shù)據(jù)構(gòu)建為原始數(shù)據(jù)集，并根據(jù)3:7的比例劃分為訓(xùn)練集和測(cè)試集；訓(xùn)練集用于模型的訓(xùn)練，測(cè)試集用于模型的驗(yàn)證。

9、進(jìn)一步地，所述步驟2的具體過(guò)程為：

10、步驟2.1、進(jìn)行模型框架選擇；

11、選擇yolov8模型作為基礎(chǔ)框架，yolov8模型由骨干網(wǎng)絡(luò)和頭頸部網(wǎng)絡(luò)兩部分組成；將尺寸為b×h×w×c的照片圖像輸入骨干網(wǎng)絡(luò)，b為批量大小；h為圖像高度；w為圖像寬度；c為通道數(shù)；骨干網(wǎng)絡(luò)部分用于特征提取，包括卷積層和瓶頸塊，以及空間金字塔池化層；頭頸部網(wǎng)絡(luò)部分用于處理特征圖以及進(jìn)行結(jié)果預(yù)測(cè)，包括上采樣層、連接層和卷積層，以及用于預(yù)測(cè)回歸框偏移量和類別概率的卷積層；

12、步驟2.2、建立小目標(biāo)檢測(cè)策略；

13、改進(jìn)原有目標(biāo)檢測(cè)訓(xùn)練方法slideloss的懲罰權(quán)重閾值選擇方式，相比于原有的固定閾值，提出了一種slideloss_iou方法，slideloss_iou方法通過(guò)動(dòng)態(tài)調(diào)整懲罰權(quán)重閾值來(lái)優(yōu)化損失函數(shù)對(duì)于權(quán)重的選擇，提高對(duì)小目標(biāo)的檢測(cè)能力，原理如下所示：

14、

15、

16、μ＝ioumean；

17、其中，ioumean代表計(jì)算出的交集超并集均值；指上一代未更新的值；d為衰減因子；表示自動(dòng)計(jì)算的交集超并集值，用于動(dòng)態(tài)調(diào)整損失函數(shù)；decay為人為設(shè)置控制衰減速率的參數(shù)；x為訓(xùn)練迭代次數(shù)；τ是時(shí)間常數(shù)；μ為懲罰權(quán)重閾值；根據(jù)訓(xùn)練集中不同種類樣本的分布情況，通過(guò)計(jì)算得到的ioumean對(duì)懲罰權(quán)重閾值μ進(jìn)行更新；

18、步驟2.3、改進(jìn)特征提取方法；

19、對(duì)yolo原有的特征提取方法進(jìn)行改進(jìn)，提出一種新的特征提取模塊cp；保留yolo原有c2f核心功能的前提下，使用一種多維度的池化卷積機(jī)制替換原有的單一卷積模塊，隨后提出一種動(dòng)態(tài)卷積機(jī)制以對(duì)卷積得到的不同特征圖采用不同的卷積策略；具體來(lái)說(shuō)，在卷積部分，新的特征提取模塊cp加入多維度的池化卷積機(jī)制進(jìn)行特征提取，對(duì)輸入特征圖x進(jìn)行選擇池化操作；選擇池化操作的過(guò)程為：首先進(jìn)行維度變換得到三種不同視角的特征圖，然后分別對(duì)不同視角的特征圖進(jìn)行不同池化操作得到不同的池化結(jié)果，隨后將池化結(jié)果進(jìn)行線性組合，同時(shí)加入偏置防止過(guò)擬合，公式如下：

20、poolingout＝avgpooling(x)+maxpooling(x)+stdpooling(x)；

21、

22、out＝avgpooling(x)×ω1+maxpooling(x)×ω2+stdpooling(x)×ω3+n；

23、

24、其中，poolingout為多維度的池化卷積機(jī)制的輸出；avgpooling(·)為平均池化，用于計(jì)算特征圖區(qū)域的平均值；maxpooling(·)為最大池化，用于選擇特征圖區(qū)域的最大值；stdpooling(·)為標(biāo)準(zhǔn)差池化，用于計(jì)算特征圖區(qū)域的標(biāo)準(zhǔn)差；out為經(jīng)過(guò)多維度的池化卷積機(jī)制輸出的特征圖；n為偏置；為池化操作的數(shù)量；sigmoid(·)為sigmoid激活函數(shù)；x為輸入到sigmoid激活函數(shù)的值；ω1、ω2、ω3為不同池化操作的權(quán)重；

25、接著，在特征提取中加入動(dòng)態(tài)卷積機(jī)制，動(dòng)態(tài)卷積的實(shí)施基于輸入特征標(biāo)準(zhǔn)差的動(dòng)態(tài)特征圖切割策略，通過(guò)得到的每個(gè)特征圖的標(biāo)準(zhǔn)差來(lái)獲取其特征分布情況，根據(jù)訓(xùn)練得到的標(biāo)準(zhǔn)差閾值動(dòng)態(tài)決定切分?jǐn)?shù)量，其中標(biāo)準(zhǔn)差計(jì)算原理如下所示：

26、

27、

28、

29、其中，μi為計(jì)算通道i對(duì)應(yīng)特征圖所得的均值；j為通道i下所對(duì)應(yīng)的特征圖矩陣數(shù)量；xij為通道i所對(duì)應(yīng)的第j個(gè)特征圖矩陣；為通道i所計(jì)算得到的方差；σi為通道i的標(biāo)準(zhǔn)差；

30、步驟2.4、進(jìn)行repvit網(wǎng)絡(luò)架構(gòu)優(yōu)化；

31、提出結(jié)合重參數(shù)化技術(shù)的改進(jìn)型transformer視覺(jué)模型repvit；在repvit模塊的架構(gòu)中，將不同的大小卷積核卷積得到的特征圖進(jìn)行拼接，得到含有豐富特征的特征圖，輸入圖像首先通過(guò)起始層的初始特征提取模塊的3×3卷積核進(jìn)行特征提取，并減半其空間維度；在接下來(lái)第一至第四的每個(gè)特征提取階段，包含了一個(gè)或多個(gè)repvit模塊進(jìn)行計(jì)算；在相鄰兩個(gè)階段之間，通過(guò)下采樣步驟進(jìn)一步降低圖像的空間維度并增加深度；下采樣的過(guò)程為：將尺度為b×c1×h/4×w/4的特征圖依次送入重復(fù)卷積塊、步幅為2的3×3卷積塊、3×3卷積塊、前饋神經(jīng)網(wǎng)絡(luò)，輸出尺度為b×c2×h/8×w/8的特征圖，c1與c2為人為設(shè)定的通道數(shù)，即特征圖的深度；前饋神經(jīng)網(wǎng)絡(luò)中，依次對(duì)特征圖進(jìn)行1×1卷積、激活函數(shù)激活、1×1卷積，最后進(jìn)行特征融合；第四特征提取階段中，特征圖送入模塊repvitseblock、重參數(shù)化視覺(jué)變換器模塊repviblock進(jìn)行進(jìn)一步的特征提?。荒Krepvitseblock中，特征圖分別進(jìn)行經(jīng)過(guò)3×3卷積塊、1×1卷積塊，然后將兩個(gè)結(jié)果融合，送入模塊se，最后送入前饋神經(jīng)網(wǎng)絡(luò)中；repvit模塊中，特征圖分別進(jìn)行經(jīng)過(guò)3×3卷積塊、1×1卷積塊，然后將兩個(gè)結(jié)果融合，送入前饋神經(jīng)網(wǎng)絡(luò)中；完成第四特征提取階段后，將結(jié)果送入池化層，將池化結(jié)果送入分類模塊進(jìn)行分類；

32、步驟2.5、進(jìn)行模型訓(xùn)練；將垃圾檢測(cè)模型mrs-yolo在訓(xùn)練集上學(xué)習(xí)識(shí)別垃圾，在測(cè)試集上進(jìn)行測(cè)試，根據(jù)測(cè)試結(jié)果，選取性能最佳的訓(xùn)練模型作為訓(xùn)練完成的模型。

33、進(jìn)一步地，所述步驟4的具體過(guò)程為：

34、步驟4.1、通過(guò)提出的垃圾檢測(cè)模型mrs-yolo檢測(cè)待識(shí)別區(qū)域中的垃圾，并統(tǒng)計(jì)區(qū)域中的垃圾數(shù)量及其種類；

35、步驟4.2、對(duì)該區(qū)域下不同種類的垃圾設(shè)定不同的分值，并進(jìn)行數(shù)量統(tǒng)計(jì)；根據(jù)大數(shù)據(jù)統(tǒng)計(jì)得到包含所有垃圾種類及分值的總分值表，從總分值表中獲取每種垃圾所對(duì)應(yīng)的分值；

36、步驟4.3、將分值和數(shù)量相乘計(jì)算得到每種垃圾的分?jǐn)?shù)，并將所有垃圾種類的分?jǐn)?shù)相加，得到總分?jǐn)?shù)stotal；

37、步驟4.4、通過(guò)攝像頭的光學(xué)參數(shù)及其與目標(biāo)區(qū)域的角度位置參數(shù)，計(jì)算采集設(shè)備覆蓋目標(biāo)區(qū)域的實(shí)際總面積a，計(jì)算過(guò)程為：

38、步驟4.4.1、計(jì)算標(biāo)定物的比例因子r：

39、

40、其中，s為標(biāo)定物的實(shí)際尺寸；p為標(biāo)定物在照片中的像素尺寸；

41、步驟4.4.2、計(jì)算照片中的像素尺寸對(duì)應(yīng)的實(shí)際尺寸；對(duì)于垂直于相機(jī)的平面，實(shí)際尺寸與像素尺寸的比例因子根據(jù)標(biāo)定物的比例因子的計(jì)算公式直接獲取，如果有拍攝角度，則需要考慮角度的影響；

42、步驟4.4.3、考慮拍攝距離和焦距，使用相似三角形的原理，計(jì)算相機(jī)到目標(biāo)區(qū)域距離對(duì)尺寸的影響，計(jì)算公式如下：

43、

44、

45、其中，wactual為目標(biāo)區(qū)域在照片中的實(shí)際寬度；hactual為目標(biāo)區(qū)域在照片中的實(shí)際高度；w為目標(biāo)區(qū)域在照片中的寬度；h為目標(biāo)區(qū)域在照片中的實(shí)際高度；d為相機(jī)到目標(biāo)區(qū)域的距離；f為相機(jī)的焦距；

46、步驟4.4.4、當(dāng)多拍攝角度不是垂直時(shí)，考慮拍攝角度對(duì)實(shí)際尺寸的影響；假設(shè)拍攝角度為θ，則目標(biāo)區(qū)域的投影長(zhǎng)度會(huì)變短；計(jì)算公式如下：

47、wadjusted＝wactual×cos(θ)；

48、hadjusted＝hactual×cos(θ)；

49、其中，wactual為目標(biāo)區(qū)域在照片中的調(diào)整寬度；hactual為目標(biāo)區(qū)域在照片中的調(diào)整高度；

50、步驟4.4.5、計(jì)算目標(biāo)區(qū)域的實(shí)際面積，公式如下：

51、

52、步驟4.5、基于總分?jǐn)?shù)和目標(biāo)區(qū)域的實(shí)際面積計(jì)算清潔指數(shù)ci，公式為：

53、

54、其中，α是一個(gè)調(diào)整參數(shù)，用于控制清潔指數(shù)的靈敏度；

55、步驟4.6、設(shè)定環(huán)衛(wèi)工作評(píng)價(jià)標(biāo)準(zhǔn)；當(dāng)清潔指數(shù)>0.8時(shí)，環(huán)衛(wèi)工作判定為合格，表明清潔度達(dá)到優(yōu)良水平；當(dāng)0.5<清潔指數(shù)≤0.8時(shí)，環(huán)衛(wèi)工作判定為需要改進(jìn)，表明清潔度中等，但仍有提升空間；當(dāng)清潔指數(shù)≤0.5時(shí)，環(huán)衛(wèi)工作判定為不合格，表明清潔度較差，需要立即采取改進(jìn)措施；

56、步驟4.7、定期計(jì)算和記錄清潔指數(shù)，對(duì)環(huán)衛(wèi)工作的表現(xiàn)進(jìn)行評(píng)估；定期對(duì)清潔指數(shù)進(jìn)行計(jì)算和記錄，形成系統(tǒng)性的環(huán)衛(wèi)工作評(píng)估報(bào)告；具體過(guò)程如下：每日或每周定期從攝像頭視頻流中提取圖像幀，并計(jì)算清潔指數(shù)，記錄每次計(jì)算的清潔指數(shù)，并匯總生成時(shí)間序列數(shù)據(jù)；通過(guò)對(duì)比不同時(shí)間段的清潔指數(shù)變化，評(píng)估環(huán)衛(wèi)工作的有效性和持續(xù)改進(jìn)情況，生成清潔度報(bào)告，并提出相應(yīng)的改進(jìn)建議。

57、本發(fā)明所帶來(lái)的有益技術(shù)效果：

58、本發(fā)明mrs-yolo模型的設(shè)計(jì)和優(yōu)化顯著提升了垃圾檢測(cè)的準(zhǔn)確性和效率，這對(duì)于實(shí)際垃圾分類和環(huán)境保護(hù)具有重要意義。首先，slideloss_iou訓(xùn)練方法提高了對(duì)不常見(jiàn)垃圾類型的檢測(cè)能力，確保在實(shí)際應(yīng)用中能夠更全面地檢測(cè)各類垃圾。其次，多維度卷積方法和動(dòng)態(tài)卷積方式顯著增強(qiáng)了模型的特征提取能力，使得模型能夠更準(zhǔn)確地識(shí)別和分類垃圾，從而提升整體檢測(cè)性能。為了更好地處理復(fù)雜的垃圾檢測(cè)任務(wù)并充分利用全局特征，在模型檢測(cè)頭部分引入了transformer機(jī)制，使得模型能夠更好地處理長(zhǎng)距離依賴，并在降低計(jì)算成本和時(shí)間的同時(shí)，提高了模型在復(fù)雜場(chǎng)景下的檢測(cè)效果。這些改進(jìn)不僅提升了模型的檢測(cè)精度和速度，還增強(qiáng)了其在實(shí)際場(chǎng)景中的適用性，為智能垃圾分類和環(huán)境保護(hù)提供了更可靠的技術(shù)支持。通過(guò)以上模型改進(jìn)和優(yōu)化，本發(fā)明旨在推動(dòng)yolo模型在垃圾檢測(cè)方面的發(fā)展，提高模型的特征提取效率和魯棒性，為各類垃圾檢測(cè)任務(wù)提供更加有效的解決方案。在保持高精度的同時(shí)提高分揀速度，以便更好地實(shí)現(xiàn)垃圾回收利用，保護(hù)環(huán)境。

59、本發(fā)明還提出了一種環(huán)衛(wèi)工作評(píng)價(jià)方法，基于垃圾數(shù)量和覆蓋面積計(jì)算清潔指數(shù)，并通過(guò)設(shè)定的評(píng)價(jià)標(biāo)準(zhǔn)，實(shí)現(xiàn)環(huán)衛(wèi)工作評(píng)價(jià)。本發(fā)明可以更加科學(xué)、客觀地評(píng)價(jià)環(huán)衛(wèi)工作的表現(xiàn)，并且能夠根據(jù)不同種類垃圾對(duì)清潔度的影響進(jìn)行差異化處理。這不僅提升了垃圾檢測(cè)的精度，也為環(huán)衛(wèi)工作的管理提供了更為可靠的數(shù)據(jù)支持。通過(guò)mrs-yolo模型的設(shè)計(jì)和優(yōu)化，本發(fā)明在提高垃圾分類和環(huán)境保護(hù)效率方面具有重要的應(yīng)用價(jià)值。