本發(fā)明屬于三維視覺，涉及一種面向大場景視頻的動態(tài)三維人群重建方法。

背景技術：

1、在3d大場景中，動態(tài)人群的三維位置、姿態(tài)與形狀重建對于公共安全、應急管理、體育運動等領域具有重要意義。通過準確重建動態(tài)人群，可以監(jiān)控并分析人群行為，從而識別潛在的安全威脅和異常情況，或者進行事故反演重現。此外，在體育賽事和大型活動中，這種技術也能夠提供精確的賽場行為分析或觀眾行為分析，幫助提升運動策略和優(yōu)化賽場安排。

2、盡管目前已經開發(fā)了各種方法來從中小場景視頻中重建多人姿態(tài)與形狀，但由于個體尺度的變化和差異化的相機空間，它們難以應對大場景中的動態(tài)人體重建。具體來說，現有技術首先跟蹤圖像中每個人的局部位置，再進行單人動態(tài)重建，但是該方法依賴于弱透視投影假設，而且丟棄了個體的關鍵位置信息?；蛲ㄟ^一個端到端的方法來估計smpl模型，但是卻難以應用在大場景中，因為將大場景圖像縮放到網絡輸入分辨率會導致大多數中小型個體的丟失。crowd3d和grouprec是大場景靜態(tài)多人重建的兩種最先進的方法，可以從單張大場景圖像中預測統一相機坐標系內的數百個個體的三維位置、姿態(tài)與形狀。然而，當應用于大場景視頻的每一幀時，這些方法通常會產生時間不穩(wěn)定和不平滑的3d運動，并且由于嚴重遮擋或完全遮擋而經常丟失對象。在大場景視頻中，移動個體密度高且遮擋頻繁發(fā)生，造成時空的不連續(xù)性，從而嚴重影響大場景中動態(tài)人體重建的精度。

3、為了解決上述問題，本發(fā)明提出一種面向大場景視頻的動態(tài)三維人群重建方法；從大場景視頻中重建動態(tài)人群三維位置，姿態(tài)和形狀的框架，解決了由于動態(tài)遮擋而導致的姿態(tài)特征損失；通過設計人群分組優(yōu)化范式來聚類具有相似運動軌跡的個體，并自適應地使用高質量的未遮擋序列來修復低質量序列，解決了動態(tài)遮擋帶來的運動丟失問題；設計了異步運動一致性損失，利用時間規(guī)整技術找到姿勢序列之間的最佳對齊，實現由對齊的高質量姿勢序列引導的遮擋序列；通過使用變分自編碼器(vae)訓練了人體運動先驗模型，有效增強了運動的真實感和平滑度；并創(chuàng)建了一個新的合成數據集virtualcrowd，用于驗證和推進大規(guī)模動態(tài)人群重建領域的研究。

技術實現思路

1、本發(fā)明的目的在于提出一種面向大場景視頻的動態(tài)三維人群重建方法以解決背景技術中所提出的問題：

2、現有方法無法在大場景中得到具有連貫性、真實感、遮擋魯棒以及與地面交互和諧的人群動態(tài)三維重建結果。

3、為了實現上述目的，本發(fā)明采用了如下技術方案：

4、一種面向大場景視頻的動態(tài)三維人群重建方法，包括如下步驟：

5、s1、通過自適應裁切方法將大場景圖像分割成若干個圖像切塊，并在保持圖像原有長寬比的基礎上將圖像切塊縮放到統一大?。?/p>

6、s2、基于所述s1處理后得到的圖像切塊檢測二維信息，通過合并去重操作后得到大場景圖像中所有人物的二維信息，并選取若干人物二維關鍵點估計相機參數和地面方程；

7、s3、基于s2中得到的所有人物的二維信息和相機參數，估計大場景中每個人物的初始化參數模型smpl與三維人景虛擬交互點，進而通過檢測和預測結合的匹配跟蹤方法得到每個人物的運動軌跡，同時使用人物二維關鍵點對初始化smpl模型進行初步優(yōu)化；

8、s4、基于s3的初步優(yōu)化結果，使用人體姿態(tài)先驗優(yōu)化器對每一幀的smpl模型進行位置優(yōu)化和姿態(tài)優(yōu)化；

9、s5、使用變分自編碼器訓練人體運動先驗模型，考慮人群在運動時的姿態(tài)變化，對每一幀的smpl模型進行進一步優(yōu)化；

10、s6、設計人群分組優(yōu)化范式，根據軌跡將大場景中的人群分成若干組，引入異步運動一致性損失進行約束，使用未遮擋序列指導遮擋序列，最終得到人群動態(tài)重建結果。

11、優(yōu)選地，所述s1具體如下：

12、s101、依據大場景中人物近大遠小的原理，根據垂直方向的人物大小按比例設置圖像切塊大??；

13、s102、通過雙線性插值法將低分辨率圖像統一到(n,n)，不足部分用0填充。

14、優(yōu)選地，所述s2中選取若干人物二維關鍵點估計相機參數和地面方程的步驟如下：

15、

16、z's×p's＝k(za×k-1pa+h×n)

17、其中，k表示相機參數矩陣；n表示地面法向；d表示地面方程的常數項；lcos是余弦距離；λangle和λmod是對應損失項的權重；ps和pa分別是人體二維關鍵點兩肩膀的中心點與兩腳踝的中心點；p's是根據使用相機參數與地面方程估計的預測肩膀中心點；||·||2是第二范數；za是腳踝中心點的深度；z's是預測肩膀中心點的深度；h為假定人物身高。

18、優(yōu)選地，所述s3具體如下：

19、s301、根據圖像切塊和所有人物的二維信息在局部坐標系中估計初始化參數模型smpl模型與三維人景虛擬交互點；

20、s302、采用自下而上的檢測與自上而下的預測相結合的方式進行三維重建，根據三維人景虛擬交互點提供重建后的三維位置信息，實現對空間上相鄰人員的跨時間姿態(tài)、位置和外觀的匹配；

21、s303、使用人體運動軌跡信息與檢測到的二維關鍵點初步優(yōu)化smpl模型的姿態(tài)動作。

22、優(yōu)選地，所述s4具體如下：

23、s401、使用人體姿態(tài)先驗優(yōu)化器進行根優(yōu)化，調整初步優(yōu)化的smpl模型根節(jié)點的旋轉矩陣與平移矩陣；

24、s402、使用人體姿態(tài)先驗優(yōu)化器進行smpl優(yōu)化，進一步調整smpl模型各個關節(jié)點的旋轉矩陣。

25、優(yōu)選地，所述s5中，通過一個編碼器-解碼器結構的變分自編碼器(vae)結構訓練人體運動先驗模型；在優(yōu)化時從運動中提取得到隱變量編碼，將隱變量編碼作為優(yōu)化變量，然后解碼得到優(yōu)化后的smpl模型。

26、優(yōu)選地，所述s6具體如下：

27、s601、設計人群分組新范式，將全局空間中人群的運動序列分為若干段，再對運動序列進行聚類分析，將大場景中的人群劃分為若干個運動模式相似的小組；

28、s602、根據二維關鍵點檢測置信度和關節(jié)重要性，以此計算每個人物運動的未遮擋分數，自適應選定待修復的遮擋序列和未遮擋序列，以及未遮擋序列的相應優(yōu)化權重；

29、s603、引入異步運動一致性損失進行聯合優(yōu)化，使用時間規(guī)整進行姿勢序列之間的對齊，從而由未遮擋序列引導重建遮擋序列。

30、與現有技術相比，本發(fā)明提供了一種面向大場景視頻的動態(tài)三維人群重建方法，具備以下有益效果：

31、本發(fā)明從大場景視頻中重建動態(tài)人群三維位置，姿態(tài)和形狀的框架，通過輸入動態(tài)大場景單目視頻，能夠在大場景中得到具有連貫性、真實感、遮擋魯棒以及與地面交互和諧的人群動態(tài)重建結果；通過設計人群分組優(yōu)化范式來聚類具有相似運動軌跡的個體，并自適應地使用高質量的未遮擋序列來修復的低質量序列，解決了動態(tài)遮擋帶來的運動丟失問題；設計了異步運動一致性損失利用時間規(guī)整技術找到姿勢序列之間的最佳對齊，實現由對齊的高質量姿勢序列引導的遮擋序列；同時，通過使用變分自編碼器訓練了人體運動先驗模型，有效增強了運動的真實感和平滑度。