本發(fā)明屬于深度學習人臉超分辨率重建領域，尤其涉及一種應用在視頻監(jiān)控中的人臉超分辨率重建與識別方法及系統(tǒng)。

背景技術：

1、人臉識別技術在智能監(jiān)控、身份驗證等多個領域扮演著關鍵角色，其核心目標在于準確識別圖片及視頻中人臉的身份信息。然而，實際應用中常遭遇低質量人臉圖像的挑戰(zhàn)，如分辨率低、噪聲大或光照不足等，這些問題嚴重阻礙了人臉識別系統(tǒng)的性能。人臉超分辨率重建技術（face?super-resolution,?fsr）應運而生，旨在從低質量（low-quality,lq）的輸入圖像中復原出高質量（high-quality,?hq）的人臉圖像，實現(xiàn)人臉恢復，對于提升人臉識別系統(tǒng)的準確性和魯棒性至關重要。

2、深度學習技術的發(fā)展為解決上述問題提供了新的思路?；谏疃葘W習的人臉恢復方法采用不同的技術來構建最先進的網絡，主要集中在以下幾個方面：不同的深度學習架構、不同的面部先驗、不同的損失函數、不同的學習策略等。深度學習模型能夠從大量數據中學習到復雜的特征表示，從而在人臉超分辨率重建任務中取得更好的效果。

3、盡管傳統(tǒng)人臉恢復方法在一定程度上推動了技術發(fā)展，但在面對復雜多變的實際應用場景時，其重建效果往往難以達到理想狀態(tài)?，F(xiàn)有技術的問題和缺點主要源于以下幾個方面：復雜場景適應性不足，現(xiàn)有方法在面對光照變化、姿態(tài)多樣、遮擋物存在等非限定條件時，難以保持穩(wěn)定的重建效果，尤其在夜間或噪聲干擾嚴重的情況下；計算效率與資源消耗，超分辨率重建通常需要大量的計算資源，如何在保證重建質量的同時，降低計算復雜度和資源消耗，是實際應用中亟待解決的問題；模型魯棒性不足，實際應用中，輸入圖像質量參差不齊，噪聲、模糊等問題時有發(fā)生，現(xiàn)有模型缺乏應對這些不利因素的魯棒性；實時性與交互性要求，在實時應用場景中，如視頻監(jiān)控、人臉識別等，要求超分辨率重建具有較快的處理速度和良好的交互性能，這對算法優(yōu)化和硬件支持提出了較高要求。

4、鑒于現(xiàn)有技術的局限性，創(chuàng)新設計一種基于深度學習的人臉超分辨率重建與識別方法顯得尤為必要。

技術實現(xiàn)思路

1、本發(fā)明的目的在于解決現(xiàn)有技術中存在的問題，并提供一種應用在視頻監(jiān)控中的人臉超分辨率重建與識別方法及系統(tǒng)，旨在克服傳統(tǒng)方法的局限性，通過深度學習模型的強大學習能力，從低質量人臉圖像中高效、準確地恢復出高質量的人臉圖像，進而為人臉識別系統(tǒng)提供更加清晰、可靠的輸入，提升整體識別精度和魯棒性。

2、為了實現(xiàn)上述發(fā)明目的，本發(fā)明具體采用如下技術方案：

3、第一方面，本發(fā)明提供了一種應用在視頻監(jiān)控中的人臉超分辨率重建與識別方法，其包括以下步驟：

4、s1、獲取由圖像采集設備實時采集的原始視頻流，并對原始視頻流進行預處理；

5、s2、在目標區(qū)域內，由人臉檢測算法對預處理后的視頻流進行人臉位置定位，輸出帶有檢測框的低分辨率人臉圖像，用于超分辨率重建；

6、s3、將低分辨率人臉圖像輸入到訓練好的人臉超分辨率重建網絡中，對低分辨率人臉圖像進行雙線性插值，得到插值后的人臉圖像，將低分辨率人臉圖像經過第一逐點卷積層處理，得到初始融合特征圖，將初始融合特征圖依次經過骨干網絡以及超分辨率重建模塊處理后，得到最終融合特征圖，將插值后的人臉圖像與最終融合特征圖進行特征堆疊，輸出重建好的超分辨率人臉圖像；

7、所述人臉超分辨率重建網絡在訓練過程中，首先獲取由人臉圖像組成的原始數據集，并對原始數據集進行預處理，得到預處理后的數據集，并在預處理后的數據集上對人臉超分辨率重建網絡進行訓練；所述骨干網絡由多個關鍵模塊和一個偏移空洞卷積-自注意力機制模塊依次級聯(lián)而成，每個關鍵模塊均由一個偏移空洞卷積-轉置殘差塊和一個雙聚合自注意力機制模塊依次級聯(lián)而成，雙聚合自注意力機制模塊由一個空間聚合模塊和一個通道聚合模塊依次級聯(lián)而成，空間聚合模塊包含空間自注意力機制、閾值可調節(jié)的激活函數以及門控機制反饋網絡，通道聚合模塊包含通道自注意力機制、閾值可調節(jié)的激活函數以及門控機制反饋網絡；在超分辨率重建模塊中，將骨干網絡輸出的特征圖依次經過一個偏移空洞卷積-自注意力機制模塊、第二逐點卷積層、像素混洗操作以及第三逐點卷積層處理后，得到最終融合特征圖；

8、s4、將重建好的超分辨率人臉圖像由人臉識別算法進行人臉識別，輸出人臉識別結果，對人臉識別結果進行可視化并將識別到的人員進行存儲。

9、在上述方案基礎上，各步驟可以采用如下優(yōu)選的具體方式實現(xiàn)。

10、作為上述第一方面的優(yōu)選，步驟s3中，偏移空洞卷積-轉置殘差塊中的具體處理流程如下：將輸入到偏移空洞卷積-轉置殘差塊的特征圖經過第一偏移空洞逐點卷積層，將輸入特征圖的特征通道分離，得到第一特征圖，將第一特征圖依次經過第一深度卷積層、第二偏移空洞逐點卷積層、第二深度卷積層、第三偏移空洞逐點卷積層以及第三深度卷積層處理后，得到第二特征圖，將第一特征圖和第二特征圖相加，得到第三特征圖，將輸入的特征圖與第三特征圖和第一特征圖進行拼接，得到第一拼接特征圖，將第一拼接特征圖經過第四偏移空洞逐點卷積層處理后，得到偏移空洞卷積-轉置殘差塊的輸出。

11、作為上述第一方面的優(yōu)選，第一深度卷積層、第二深度卷積層以及第三深度卷積層的卷積核大小均為3×3。

12、作為上述第一方面的優(yōu)選，步驟s3中，偏移空洞卷積-自注意力機制模塊中的具體處理流程如下：將輸入到偏移空洞卷積-自注意力機制模塊的特征圖經過第五偏移空洞逐點卷積層，將輸入特征圖的特征通道分離，得到第四特征圖，將第四特征圖輸入到多頭自注意力機制模塊，得到第五特征圖，將第四特征圖和第五特征圖相加，得到第六特征圖，將第六特征圖輸入到前饋神經網絡，得到第七特征圖，將第六特征圖和第七特征圖相加后再與第四特征圖進行拼接，得到第二拼接特征圖，將第二拼接特征圖經過第六偏移空洞逐點卷積層處理后，得到偏移空洞卷積-自注意力機制模塊的輸出。

13、作為上述第一方面的優(yōu)選，步驟s3中，空間聚合模塊中的具體處理流程如下：將輸入到空間聚合模塊的特征圖依次經過層歸一化，得到第一層歸一化特征圖，第一層歸一化特征圖再經過特征投影層，得到第一空間特征重塑矩陣；對第一空間特征重塑矩陣處理后，得到空間查詢矩陣、空間鍵矩陣以及空間值矩陣，由空間查詢矩陣和空間鍵矩陣進行矩陣相乘并應用空間自注意力機制由softmax激活函數處理后，輸出第一空間特征圖，將空間值矩陣和第一空間特征圖進行矩陣相乘，得到第二空間特征重塑矩陣，將第二空間特征重塑矩陣依次經過第一逐點卷積層、閾值可調節(jié)的激活函數、第二逐點卷積層、sigmoid激活函數處理后，得到第一空間權重圖；將第一空間特征重塑矩陣經過第一深度可分離卷積層處理，輸出第二空間特征圖，將第二空間特征圖依次經過第三逐點卷積層、閾值可調節(jié)的激活函數、第四逐點卷積層、sigmoid激活函數處理后，得到第二空間權重圖；將第二空間權重圖與第二空間特征重塑矩陣的對應元素進行元素級相乘，得到第一空間加權特征，將第一空間權重圖與第二空間特征圖的對應元素進行元素級相乘，得到第二空間加權特征，將第一空間加權特征和第二空間加權特征相加后經過一個特征投影層，得到第三空間特征重塑矩陣，將第一層歸一化特征圖與第三空間特征重塑矩陣相加后，得到第三空間特征圖，將第三空間特征圖依次經過層歸一化以及門控機制反饋網絡處理后，得到第四空間特征圖，將第三空間特征圖和第四空間特征圖相加后作為空間聚合模塊的輸出。

14、作為上述第一方面的優(yōu)選，步驟s3中，通道聚合模塊中的具體處理流程如下：將輸入到通道聚合模塊的特征圖依次經過層歸一化，得到第二層歸一化特征圖，第二層歸一化特征圖再經過特征投影層，得到第一通道特征重塑矩陣；對第一通道特征重塑矩陣處理后，得到通道查詢矩陣、通道鍵矩陣以及通道值矩陣，由通道查詢矩陣和通道鍵矩陣進行矩陣相乘并應用通道自注意力機制由softmax激活函數處理后，輸出第一通道特征圖，將通道值矩陣和第一通道特征圖進行矩陣相乘，得到第二通道特征重塑矩陣，將第二通道特征重塑矩陣依次經過第五逐點卷積層、閾值可調節(jié)的激活函數、第六逐點卷積層、sigmoid激活函數處理后，得到第一通道權重圖；將第一通道特征重塑矩陣經過第二深度可分離卷積層處理，輸出第二通道特征圖，將第二通道特征圖依次經過第七逐點卷積層、閾值可調節(jié)的激活函數、第八逐點卷積層、sigmoid激活函數處理后，得到第二通道權重圖；將第二通道權重圖與第二通道特征重塑矩陣的對應元素進行元素級相乘，得到第一通道加權特征，將第一通道權重圖與第二通道特征圖的對應元素進行元素級相乘，得到第二通道加權特征，將第一通道加權特征和第二通道加權特征相加后經過一個特征投影層，得到第三通道特征重塑矩陣，將第二層歸一化特征圖與第三通道特征重塑矩陣相加后，得到第三通道特征圖，將第三通道特征圖依次經過層歸一化以及門控機制反饋網絡處理后，得到第四通道特征圖，將第三通道特征圖和第四通道特征圖相加后作為通道聚合模塊的輸出。

15、作為上述第一方面的優(yōu)選，門控機制反饋網絡中的具體處理流程如下：將輸入到門控機制反饋網絡的特征圖依次經過一個線性投影層、閾值可調節(jié)的激活函數以及沿通道維度進行的特征分離操作后，將特征分離得到的第一部分經過第三深度可分離卷積層處理，得到第八特征圖，將第八特征圖和特征分離得到的第二部分的對應元素進行元素級相乘，得到第九特征圖，將第九特征圖經過線性投影層后，得到門控機制反饋網絡的輸出。

16、作為上述第一方面的優(yōu)選，閾值可調節(jié)的激活函數的函數形式為：

17、

18、式中，表示可調整的閾值；表示輸入激活函數的特征值；表示取最大值操作。

19、作為上述第一方面的優(yōu)選，關鍵模塊的數量為正整數且為3的倍數。

20、第二方面，本發(fā)明提供了一種應用在視頻監(jiān)控中的人臉超分辨率重建與識別系統(tǒng)，其包括：

21、數據獲取模塊，用于獲取由圖像采集設備實時采集的原始視頻流，并對原始視頻流進行預處理；

22、檢測模塊，用于在目標區(qū)域內，由人臉檢測算法對預處理后的視頻流進行人臉位置定位，輸出帶有檢測框的低分辨率人臉圖像，用于超分辨率重建；

23、超分辨率重建模塊，用于將低分辨率人臉圖像輸入到訓練好的人臉超分辨率重建網絡中，對低分辨率人臉圖像進行雙線性插值，得到插值后的人臉圖像，將低分辨率人臉圖像經過第一逐點卷積層處理，得到初始融合特征圖，將初始融合特征圖依次經過骨干網絡以及超分辨率重建模塊處理后，得到最終融合特征圖，將插值后的人臉圖像與最終融合特征圖進行特征堆疊，輸出重建好的超分辨率人臉圖像；

24、所述人臉超分辨率重建網絡在訓練過程中，首先獲取由人臉圖像組成的原始數據集，并對原始數據集進行預處理，得到預處理后的數據集，并在預處理后的數據集上對人臉超分辨率重建網絡進行訓練；所述骨干網絡由多個關鍵模塊和一個偏移空洞卷積-自注意力機制模塊依次級聯(lián)而成，每個關鍵模塊均由一個偏移空洞卷積-轉置殘差塊和一個雙聚合自注意力機制模塊依次級聯(lián)而成，雙聚合自注意力機制模塊由一個空間聚合模塊和一個通道聚合模塊依次級聯(lián)而成，空間聚合模塊包含空間自注意力機制、閾值可調節(jié)的激活函數以及門控機制反饋網絡，通道聚合模塊包含通道自注意力機制、閾值可調節(jié)的激活函數以及門控機制反饋網絡；在超分辨率重建模塊中，將骨干網絡輸出的特征圖依次經過一個偏移空洞卷積-自注意力機制模塊、第二逐點卷積層、像素混洗操作以及第三逐點卷積層處理后，得到最終融合特征圖；

25、識別模塊，用于將重建好的超分辨率人臉圖像由人臉識別算法進行人臉識別，輸出人臉識別結果，對人臉識別結果進行可視化并將識別到的人員進行存儲。

26、本發(fā)明相對于現(xiàn)有技術而言，具有以下有益效果：

27、本發(fā)明的方法利用現(xiàn)有的定點固定攝像頭基礎設施，通過先進的算法，自動完成監(jiān)控畫面中的人臉超分辨率重建和人臉識別。具體而言，本發(fā)明通過對視頻流的實時分析，實現(xiàn)對指定區(qū)域內人員活動的智能預警。本發(fā)明的人臉超分辨率重建與識別方法能夠顯著提升視頻中人臉圖像的清晰度，即使在低分辨率條件下也能生成高精度的面部細節(jié)。這不僅增強了圖像的視覺效果，還為后續(xù)的人臉識別提供了高質量的基礎數據。通過深度學習技術的應用，本發(fā)明能夠從低分辨率圖像中恢復出更多的細節(jié)，使得重建的人臉圖像更加逼真。人臉識別方面，本發(fā)明采用了先進的深度學習算法，能夠在重建后的高分辨率圖像中準確地識別出個體的身份。本發(fā)明通過對大量人臉特征的學習，具備了較高的識別準確率和魯棒性，能夠在復雜的背景和光照條件下可靠地工作。該方法不僅為指定場所周界的安防管理提供了一個便捷、高效且開放的信息管理平臺，還通過深度學習技術的應用，顯著提升了其智能化水平，以確保能夠高效運行。

28、在對人臉圖像進行超分辨率重建中，本發(fā)明設計了人臉超分辨率重建網絡，其關鍵點在于：

29、（1）構建了閾值可調節(jié)的激活函數relu-t，以減弱非主要亮度信息，對面部超分辨率重建有一定的改進效果；

30、（2）構建了偏移空洞卷積-轉置殘差塊，該模塊通過偏移空洞卷積增強了局部特征聚合，通過relu-t激活函數引入了非線性，并通過殘差連接解決了梯度消失問題。

31、（3）構建了偏移空洞卷積-自注意力機制模塊，旨在通過選擇性地計算部分特征的自我注意力來提高效率。

32、（4）構建雙聚合自注意力機制模塊，其通過雙重方式聚合空間和通道特征，增強自注意力機制的建模能力，實現(xiàn)注意力機制內部特征聚合，同時保持較低的復雜性和模型大小?？臻g注意力機制能夠增強每個特征圖的空間表達；通道注意力機制用于更好地構建通道之間的依賴關系，擴大感受野，從而輔助捕獲空間特征?？臻g和通道信息在連續(xù)的自注意力機制之間流動，以此實現(xiàn)塊間特征聚合。此外，對特征的空間維度動態(tài)調制引入了通道信息，而對特征的通道維度動態(tài)調制則引入了空間信息，實現(xiàn)了對特征的空間維度和通道維度的動態(tài)調制，促進局部（卷積）和全局（注意力）更好的耦合，使得互補的通道信息提高通道建模能力，而空間交互則增強特征表征能力。