本發(fā)明涉及深度學(xué)習(xí)和計算機視覺,尤其涉及一種基于al技術(shù)的中學(xué)生廣播體操教學(xué)評估系統(tǒng)及方法。
背景技術(shù):
1、對于中學(xué)生廣播體操的線上評價,目前沒有針對中學(xué)生廣播體操進行分析和評價的完整系統(tǒng)流程以及方法,因此中學(xué)生廣播體操線上化評估與教學(xué)仍存在以下挑戰(zhàn)。第一,現(xiàn)有中學(xué)生廣播體操的評價方法缺乏精確的評價標(biāo)尺,現(xiàn)行標(biāo)準(zhǔn)多為描述性詞匯而非量化性數(shù)值,致使個體評價具有弱客觀量化性和弱可重復(fù)性的特征。第二,線上中學(xué)生廣播體操教學(xué)模式使得教師手動評價工作量大,教師急需一種高效、精確、科學(xué)的系統(tǒng)降低工作負(fù)擔(dān)。第三,一對多的教學(xué)模式使得教師難以準(zhǔn)確把握整體教學(xué)質(zhì)量以及個體水平。第四,現(xiàn)有的ai技術(shù)模型只是由操舞類運動項目融合的模版制作的。第五,除了課內(nèi)學(xué)習(xí)外,學(xué)生無法在課外隨時進行自主練習(xí)及糾錯。
2、結(jié)合以上五點分析,由此可知現(xiàn)有技術(shù)無法高效準(zhǔn)確地對中學(xué)生廣播體操訓(xùn)練動作進行評價,會影響操舞教學(xué)訓(xùn)練效果。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于克服現(xiàn)有的缺陷提供一種基于al技術(shù)的中學(xué)生廣播體操教學(xué)評估系統(tǒng)及方法,能高效準(zhǔn)確地對廣播操訓(xùn)練動作進行評價,提升教學(xué)質(zhì)量和水平。
2、實現(xiàn)上述目的的技術(shù)方案是:一種基于al技術(shù)的中學(xué)生廣播體操教學(xué)評估系統(tǒng),包括視覺采集模塊、圖像處理模塊、運算模塊和顯示模塊,所述視覺采集模塊與所述圖像處理模塊電性連接,所述圖像處理模塊與運算模塊電性連接,所述運算模塊與所述顯示模塊電性連接,所述顯示模塊上還設(shè)有語音播報器;
3、廣播體操教學(xué)評估方法包括上述廣播體操教學(xué)評估系統(tǒng),所述評估方法包括以下步驟:
4、s1學(xué)生面對視覺采集模塊中的攝像頭做操,由視覺采集模塊將畫面數(shù)據(jù)傳輸?shù)綀D像處理模塊;
5、s2所述圖像處理模塊提取圖像幀數(shù)據(jù),將原始數(shù)據(jù)轉(zhuǎn)化為機器學(xué)習(xí)算法能夠理解的形式,通過mediapipe處理框架從圖像幀內(nèi)提取人體的13個關(guān)鍵點位置,計算得出8個部位的身體姿態(tài)夾角數(shù)據(jù)生成特征向量;
6、s3圖像處理模塊將處理完后的特征向量導(dǎo)入運算模塊中的操舞模型中,得到處理后的數(shù)據(jù),模型輸出數(shù)據(jù)是由人為分類的數(shù)字編號,根據(jù)分類字典表將數(shù)字編號解析為直觀的文字動作名稱信息;
7、s4?運算模塊將處理后的信息傳輸至顯示模塊,由顯示模塊將動作判定及總體打分信息顯示出。
8、優(yōu)選的,所述操舞模型建立步驟如下:
9、s11根據(jù)提供的標(biāo)準(zhǔn)動作視頻,將視頻傳輸至圖像處理模塊內(nèi);
10、s12通過opencv框架提取視頻文件中有效的圖像幀;
11、s13刪除錯誤數(shù)據(jù)及亂碼圖像,將動作評分影響較小或幾無影響的五官、手腳末端節(jié)點數(shù)據(jù)坐標(biāo)值去除;
12、s14選取鼻頭、左右腕、肘、肩、胯、膝、腳腕共13個人體關(guān)鍵點,用mediapipe自動預(yù)測點位坐標(biāo)后,計算預(yù)設(shè)的左肘角度、右肘角度、左臂離身角度、右臂離身角度、左肩-胯-膝蓋角度、右肩-胯-膝蓋角度、左腿角度、右腿角度,將這8個部位的身體姿態(tài)角度數(shù)據(jù)歸一化處理;
13、s15對廣播操各節(jié)各動作的8個部位的身體姿態(tài)歸一化夾角建立標(biāo)準(zhǔn);
14、s16在結(jié)合了廣播體操視頻動作的復(fù)雜度、數(shù)據(jù)的維度以及模型的解釋性,使用scikit-learn的k近鄰分類器進行數(shù)據(jù)的訓(xùn)練,生成模型;
15、s17對模型進行評估,通過大量學(xué)生操舞視頻與模型進行比對,以求達(dá)到最標(biāo)準(zhǔn)模型;
16、s18數(shù)據(jù)分割,將數(shù)據(jù)集劃分為訓(xùn)練集和測試集,其中比例為75%訓(xùn)練,25%測試,然后進行模型訓(xùn)練,使用訓(xùn)練集數(shù)據(jù)擬合出模型,最后通過交叉驗證來評估模型的泛化能力,通過參數(shù)及數(shù)據(jù)調(diào)整對模型進行調(diào)優(yōu);
17、s19將訓(xùn)練好的模型使用joblib導(dǎo)出為“.pkl”模型文件,然后通過joblib加載存儲的模型文件到運算模塊的系統(tǒng)中,運行時環(huán)境庫版本與模型訓(xùn)練時的python庫版本一致。
18、優(yōu)選的,在步驟s14中,通過對圖像中的人體關(guān)鍵點進行識別和定位,對人體姿態(tài)進行有效重構(gòu),在進行身體姿態(tài)角度檢測時,利用了卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型,實現(xiàn)了對多類別身體姿態(tài)的精準(zhǔn)定位和識別。
19、優(yōu)選的,對人體姿態(tài)進行有效重構(gòu)的方法還包括漸進式重建算法和骨骼建模技術(shù)。
20、本發(fā)明的有益效果是:學(xué)生面對視覺采集模塊中的攝像頭做操,通過運算模塊將處理后的信息傳輸至顯示模塊,由顯示模塊將動作判定及總體打分信息顯示出來,這種系統(tǒng)能高效準(zhǔn)確地對中學(xué)生廣播體操各訓(xùn)練動作進行評價,方便提升操舞教學(xué)訓(xùn)練的教學(xué)質(zhì)量和水平,為中學(xué)生廣播體操線上化教育提供新的分析手段。
1.一種基于al技術(shù)的中學(xué)生廣播體操教學(xué)評估系統(tǒng),其特征在于,包括視覺采集模塊、圖像處理模塊、運算模塊和顯示模塊,所述視覺采集模塊與所述圖像處理模塊電性連接,所述圖像處理模塊與運算模塊電性連接,所述運算模塊與所述顯示模塊電性連接,所述顯示模塊上還設(shè)有語音播報器;
2.根據(jù)權(quán)利要求1所述的基于al技術(shù)的中學(xué)生廣播體操教學(xué)評估方法,其特征在于,所述操舞模型建立步驟如下:
3.根據(jù)權(quán)利要求2所述的基于al技術(shù)的中學(xué)生廣播體操教學(xué)評估方法,其特征在于,在步驟s14中,通過對圖像中的人體關(guān)鍵點進行識別和定位,對人體姿態(tài)進行有效重構(gòu),在進行身體姿態(tài)角度檢測時,利用了卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型,實現(xiàn)了對多類別身體姿態(tài)的精準(zhǔn)定位和識別。
4.根據(jù)權(quán)利要求3所述的基于al技術(shù)的中學(xué)生廣播體操教學(xué)評估方法,其特征在于,對人體姿態(tài)進行有效重構(gòu)的方法還包括漸進式重建算法和骨骼建模技術(shù)。