本發(fā)明涉及一種通過監(jiān)測互動行為自動評估兒童社交能力的方法。

背景技術(shù)：

社交能力是兒童發(fā)展中需要大力培養(yǎng)的重要能力，但目前對兒童社交能力的評估只能依賴于教師或家長在長期觀察后獲得的模糊印象，而難以客觀、及時地評估。本發(fā)明提出一種客觀、定量、快速的評估方法，自動獲取兒童游戲及日常溝通中的特點，利用人工智能算法評估兒童社交能力的各個維度。

兒童的社交能力是兒童從幼年就開始發(fā)展的一項重要能力。從兒童會說話開始，社會能力就開始發(fā)展，具體體現(xiàn)為與他人溝通的興趣、能否清晰表達自己的意圖、是否愿意聽從他人的建議、是否能吸引他人的關(guān)注等。與我們熟知的語言、專注、邏輯運算等能力相比，社交能力更為高級和綜合，對兒童的成長過程及成年后的事業(yè)、生活均有至關(guān)重要的影響。社交能力有缺陷的兒童難以從同伴中有效學習，難以適應(yīng)社會、生活，事業(yè)可能遭受更多挫折；社交能力好且全面的兒童更能有效地從團體中學習、受到更多同伴和教師的關(guān)注和理解、更可能擁有幸福的生活和成功的事業(yè)。

但是，由于社交能力是綜合能力，難以像專注、語言、邏輯運算、藝術(shù)特長等方面的能力一樣通過簡單手段測量。盡管心理學研究早已建立了社交能力的理論體系，但對兒童社交能力的測量方法卻僅停留于主觀觀察的手段。在學術(shù)研究中，對兒童社會能力的測量通常是對錄像的人工觀察和評分，即在預(yù)先設(shè)計好的標準環(huán)境中讓兒童進行預(yù)設(shè)好的游戲，事后由研究者根據(jù)典型行為對兒童的各方面行為進行評分。通常由兩名及以上研究者獨立評分，以減少評分者的主觀偏差。在實踐中，兒童社會能力通常由教師或家長通過長期觀察和主觀印象在問卷上評定，如班主任老師根據(jù)一年的觀察，為每位兒童填寫問卷，記錄其典型行為的表現(xiàn)情況。

這些手段存在的缺陷是：1)主觀性強：不同觀察者對同一行為有不同的理解和評判標準，使得評估偏差很大；2)難以定量化比較：每個兒童獲得的評分通常是個“等級”，因而難以定量化地比較，更難于確定兒童的社交能力是否正常，或者說距離所有人的普遍水平有多遠；3)時效性低：兒童的能力發(fā)展非常迅速，某些能力具有“時間敏感期”。傳統(tǒng)評估手段通常需要至少幾個月的觀察或數(shù)據(jù)分析才能獲得初步結(jié)論，無法及時對兒童當下的發(fā)展狀況給予反饋，有錯過最佳干預(yù)時機的風險；4)難以大規(guī)模應(yīng)用：傳統(tǒng)方式對評估者的要求較高，評估者通常需要按照統(tǒng)一標準經(jīng)過集中的理論和實操培訓才能開展評估工作。教委要求幼兒園需要有經(jīng)過培訓的“兒童行為觀察師”，但真正具備該資格的幼兒教師很少，這反映了培訓評估者在實際操作中的施行難度。

技術(shù)實現(xiàn)要素：

本發(fā)明公開一套自動評估兒童社交能力的系統(tǒng)，以克服上述的傳統(tǒng)評估方式的四個缺陷。該系統(tǒng)利用可穿戴設(shè)備收集兒童在游戲和日常溝通中的對話、動作、及距離數(shù)據(jù)，分析這些數(shù)據(jù)，并利用數(shù)學模型對兒童的社會能力進行客觀、定量、及時地評估。

本發(fā)明通過以下技術(shù)方案來實現(xiàn)上述目的：

一種通過監(jiān)測互動行為自動評估兒童社交能力的方法，包括個人傳感器和服務(wù)器，個人傳感器負責采集兒童在游戲和日常溝通中的語音、運動和距離數(shù)據(jù)，并將數(shù)據(jù)傳輸至服務(wù)器，服務(wù)器負責分析客戶端傳輸?shù)臄?shù)據(jù)、通過運算評估每個兒童的社交能力，并提供結(jié)果反饋和可視化接口。

作為本發(fā)明的進一步優(yōu)化方案，所述的個人傳感器包括語音傳感器模塊、加速度傳感器模塊、陀螺儀模塊、紅外傳感器模塊、藍牙傳感器模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)傳輸模塊、中央控制模塊、供電及充電保護模塊；所述的服務(wù)器包括數(shù)據(jù)輸入接口模塊、語音數(shù)據(jù)處理模塊、運動數(shù)據(jù)處理模塊、距離數(shù)據(jù)處理模塊、人際交互網(wǎng)絡(luò)計算模塊、數(shù)據(jù)輸出接口、結(jié)果可視化模塊。

作為本發(fā)明的進一步優(yōu)化方案，所述的陀螺儀模塊采樣轉(zhuǎn)動量，采樣頻率100hz，由標準陀螺儀芯片構(gòu)成；所述的紅外傳感器模塊為探測和傳感器正面1m且在30°范圍內(nèi)的其他紅外傳感器，由紅外編碼發(fā)射和接收芯片構(gòu)成；所述的藍牙傳感器模塊為探測在5m范圍內(nèi)的其他藍牙傳感器模塊，由低功耗藍牙芯片構(gòu)成；所述的數(shù)據(jù)存儲模塊能夠存儲各傳感器模塊采集的數(shù)據(jù)，由標準tf卡及讀寫芯片構(gòu)成；所述的數(shù)據(jù)傳輸模塊能夠通過wifi設(shè)備向服務(wù)器傳輸數(shù)據(jù)，由wifi天線及控制芯片構(gòu)成，網(wǎng)絡(luò)傳輸協(xié)議采用udp協(xié)議；所述的中央控制模塊：控制各模塊的采樣和數(shù)據(jù)的存儲和傳輸，由微處理器構(gòu)成；所述的供電及充電保護模塊能夠提供電源；

所述的數(shù)據(jù)輸入接口模塊包含一個數(shù)據(jù)庫及相應(yīng)的數(shù)據(jù)接口，或以用戶組為單位對每一個客戶端的數(shù)據(jù)進行管理，校驗每一組內(nèi)各客戶端數(shù)據(jù)的完整性和時間一致性，經(jīng)過完整性校驗的用戶組，其數(shù)據(jù)將分別傳遞給不同數(shù)據(jù)處理模塊；所述的語音數(shù)據(jù)處理模塊能夠?qū)τ脩艚M中的每個用戶的語音數(shù)據(jù)分別計算，提取語音學特征和情緒狀態(tài)特征，將特征集作為個人語音特征輸出；所述的運動數(shù)據(jù)處理模塊為處理用戶組中的每個用戶的加速度傳感器和陀螺儀數(shù)據(jù)，從以上數(shù)據(jù)中提取運動特征，并計算情緒喚醒度特征，將以上特征集作為個人運動特征輸出；所述的距離數(shù)據(jù)處理模塊能夠處理個人傳感器中的紅外傳感器模塊和藍牙傳感器模塊上傳的數(shù)據(jù)；依據(jù)藍牙傳感器檢測到的附近的其他個人傳感器的藍牙標識碼來判別兒童是否在同一個空間，依據(jù)紅外傳感器接收到的其他個人傳感器的紅外標識碼判別兒童是否處于面對面的狀態(tài)；所述的人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊為利用語音數(shù)據(jù)處理模塊輸出的個人語音特征，運動數(shù)據(jù)處理模塊輸出的個人運動特征，及距離數(shù)據(jù)處理模塊輸出的人際距離數(shù)據(jù)構(gòu)建人際互動網(wǎng)絡(luò)；所述的數(shù)據(jù)輸出接口能將人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊的輸出以標記語言形式輸出，并保存至數(shù)據(jù)庫，用戶可通過網(wǎng)絡(luò)api查詢；所述的結(jié)果可視化模塊能將人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊的輸出生成動態(tài)網(wǎng)頁，以圖表形式可視化，供用戶通過電腦或手機的網(wǎng)路瀏覽器查看。

作為本發(fā)明的進一步優(yōu)化方案，所述的語音數(shù)據(jù)處理模塊的計算步驟依次為：

步驟一：截取有效時間段：根據(jù)數(shù)據(jù)輸入接口模塊傳入的開始和結(jié)束時間戳截取有效數(shù)據(jù)段；

步驟二：重采樣：對有效數(shù)據(jù)段進行重采樣，使其采樣頻率為8000hz；

步驟三：語音端點檢測：自動檢測語音的起始和截止點；實現(xiàn)和應(yīng)用sohn等人2001年公開發(fā)表的語音端點檢測算法；其輸出為語音端點數(shù)據(jù)，即每一段語音的起始和結(jié)束時刻；

步驟四：語音段長度統(tǒng)計：計算語音段的平均長度、標準差、信息熵、隨時間的變化趨勢；各語音段的長度由語音端點檢測算法判定的起始和結(jié)束時刻的差值計算；

步驟五：音色變化統(tǒng)計：計算各語音段的音色特征及其平均值、標準差、信息熵，音色的隨時間的變化趨勢。音色特征由12個頻段的功率譜量化；

步驟六：音調(diào)變化統(tǒng)計：計算各語音段的音高特征及其平均值，標準差、信息熵，音調(diào)特征隨時間的變化趨勢；音高特征以基頻量化；

步驟七：情緒狀態(tài)判別：根據(jù)音色和音調(diào)變化判別兒童情緒喚醒度的變化趨勢。情緒喚醒度依據(jù)音調(diào)的變化、音色變化和音量變化計算。

作為本發(fā)明的進一步優(yōu)化方案，所述的運動數(shù)據(jù)處理模塊的計算步驟依次為：

步驟一：截取有效時間段：根據(jù)數(shù)據(jù)輸入接口模塊傳入的開始和結(jié)束時間戳截取有效數(shù)據(jù)段；

步驟二：濾波：對運動數(shù)據(jù)進行濾波，去除高頻分量和低頻漂移后，將數(shù)據(jù)劃分為長度為1分鐘的數(shù)據(jù)段；

步驟三：運動能量計算：計算各段數(shù)據(jù)的運動能量，以各方向加速度的平方和量化；

步驟四：大幅運動檢測：檢測各方向的大幅度運動，以加速度向量在1秒內(nèi)的積分量化；

步驟五：情緒喚醒度計算：依據(jù)運動能量和大幅運動測量預(yù)測情緒喚醒度；

步驟六：個人運動特征：將運動能量、大幅運動、及情緒喚醒度作為個人運動特征輸出。

作為本發(fā)明的進一步優(yōu)化方案，所述的人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊的計算步驟依次為：

步驟一：個人狀態(tài)量化：依據(jù)輸入數(shù)據(jù)判別個人在不同時刻的狀態(tài)，分為4種狀態(tài)：沉默低喚醒、沉默高喚醒、說話低喚醒、說話高喚醒；

步驟二：擬合人際互動模型：用所有人的狀態(tài)變化數(shù)據(jù)擬合人際互動模型，估算所有人之間的相互影響及所有人之間的相互響應(yīng)關(guān)系；

步驟三：個人角色和影響力計算：依據(jù)所有人之間的相互影響及所有人之間的相互響應(yīng)關(guān)系計算個人在互動中的角色和對其他人的影響力指標；

步驟四：個人社會性特質(zhì)評估：依據(jù)個人在互動中的角色、對其他人的影響力指標及個人語音特征預(yù)測個人社會性特質(zhì)，分為社交能力總分、領(lǐng)導(dǎo)去向、工作取向、自主、共處、行動、依賴、情緒八個維度。

作為本發(fā)明的進一步優(yōu)化方案，所述的個人傳感器的數(shù)量為一個或一個以上。

本發(fā)明的有益效果是：

該系統(tǒng)可替代傳統(tǒng)的兒童社會能力評估方法，避免傳統(tǒng)方法的客觀性低、定量能力弱、時效性低等缺陷，為評估兒童社會能力提供科學、易用、可大規(guī)模應(yīng)用的方案。

附圖說明

圖1是本發(fā)明的語音數(shù)據(jù)處理模塊的工作原理圖；

圖2是本發(fā)明的運動數(shù)據(jù)處理模塊的工作原理圖；

圖3是本發(fā)明的人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊的工作原理圖；

圖4是本發(fā)明的結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明作進一步說明：

如圖1-圖4所示，一種通過監(jiān)測互動行為自動評估兒童社交能力的方法，包括個人傳感器和服務(wù)器，個人傳感器負責采集兒童在游戲和日常溝通中的語音、運動和距離數(shù)據(jù)，并將數(shù)據(jù)傳輸至服務(wù)器，服務(wù)器負責分析客戶端傳輸?shù)臄?shù)據(jù)、通過運算評估每個兒童的社交能力，并提供結(jié)果反饋和可視化接口。

所述的個人傳感器包括語音傳感器模塊、加速度傳感器模塊、陀螺儀模塊、紅外傳感器模塊、藍牙傳感器模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)傳輸模塊、中央控制模塊、供電及充電保護模塊；所述的服務(wù)器包括數(shù)據(jù)輸入接口模塊、語音數(shù)據(jù)處理模塊、運動數(shù)據(jù)處理模塊、距離數(shù)據(jù)處理模塊、人際交互網(wǎng)絡(luò)計算模塊、數(shù)據(jù)輸出接口、結(jié)果可視化模塊。

所述的陀螺儀模塊采樣轉(zhuǎn)動量，采樣頻率100hz，由標準陀螺儀芯片構(gòu)成；所述的紅外傳感器模塊為探測和傳感器正面1m且在30°范圍內(nèi)的其他紅外傳感器，由紅外編碼發(fā)射和接收芯片構(gòu)成；所述的藍牙傳感器模塊為探測在5m范圍內(nèi)的其他藍牙傳感器模塊，由低功耗藍牙芯片構(gòu)成；所述的數(shù)據(jù)存儲模塊能夠存儲各傳感器模塊采集的數(shù)據(jù)，由標準tf卡及讀寫芯片構(gòu)成；所述的數(shù)據(jù)傳輸模塊能夠通過wifi設(shè)備向服務(wù)器傳輸數(shù)據(jù)，由wifi天線及控制芯片構(gòu)成，網(wǎng)絡(luò)傳輸協(xié)議采用udp協(xié)議；所述的中央控制模塊：控制各模塊的采樣和數(shù)據(jù)的存儲和傳輸，由微處理器構(gòu)成；所述的供電及充電保護模塊能夠提供電源；

所述的數(shù)據(jù)輸入接口模塊包含一個數(shù)據(jù)庫及相應(yīng)的數(shù)據(jù)接口，或以用戶組為單位對每一個客戶端的數(shù)據(jù)進行管理，校驗每一組內(nèi)各客戶端數(shù)據(jù)的完整性和時間一致性，經(jīng)過完整性校驗的用戶組，其數(shù)據(jù)將分別傳遞給不同數(shù)據(jù)處理模塊；所述的語音數(shù)據(jù)處理模塊能夠?qū)τ脩艚M中的每個用戶的語音數(shù)據(jù)分別計算，提取語音學特征和情緒狀態(tài)特征，將特征集作為個人語音特征輸出；所述的運動數(shù)據(jù)處理模塊為處理用戶組中的每個用戶的加速度傳感器和陀螺儀數(shù)據(jù)，從以上數(shù)據(jù)中提取運動特征，并計算情緒喚醒度特征，將以上特征集作為個人運動特征輸出；所述的距離數(shù)據(jù)處理模塊能夠處理個人傳感器中的紅外傳感器模塊和藍牙傳感器模塊上傳的數(shù)據(jù)；依據(jù)藍牙傳感器檢測到的附近的其他個人傳感器的藍牙標識碼來判別兒童是否在同一個空間，依據(jù)紅外傳感器接收到的其他個人傳感器的紅外標識碼判別兒童是否處于面對面的狀態(tài)；所述的人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊為利用語音數(shù)據(jù)處理模塊輸出的個人語音特征，運動數(shù)據(jù)處理模塊輸出的個人運動特征，及距離數(shù)據(jù)處理模塊輸出的人際距離數(shù)據(jù)構(gòu)建人際互動網(wǎng)絡(luò)；所述的數(shù)據(jù)輸出接口能將人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊的輸出以標記語言形式輸出，并保存至數(shù)據(jù)庫，用戶可通過網(wǎng)絡(luò)api查詢；所述的結(jié)果可視化模塊能將人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊的輸出生成動態(tài)網(wǎng)頁，以圖表形式可視化，供用戶通過電腦或手機的網(wǎng)路瀏覽器查看。

所述的語音數(shù)據(jù)處理模塊的計算步驟依次為：

步驟一：截取有效時間段：根據(jù)數(shù)據(jù)輸入接口模塊傳入的開始和結(jié)束時間戳截取有效數(shù)據(jù)段；

步驟二：重采樣：對有效數(shù)據(jù)段進行重采樣，使其采樣頻率為8000hz；

步驟三：語音端點檢測：自動檢測語音的起始和截止點；實現(xiàn)和應(yīng)用sohn等人2001年公開發(fā)表的語音端點檢測算法；其輸出為語音端點數(shù)據(jù)，即每一段語音的起始和結(jié)束時刻；

步驟四：語音段長度統(tǒng)計：計算語音段的平均長度、標準差、信息熵、隨時間的變化趨勢；各語音段的長度由語音端點檢測算法判定的起始和結(jié)束時刻的差值計算；

步驟五：音色變化統(tǒng)計：計算各語音段的音色特征及其平均值、標準差、信息熵，音色的隨時間的變化趨勢。音色特征由12個頻段的功率譜量化；

步驟六：音調(diào)變化統(tǒng)計：計算各語音段的音高特征及其平均值，標準差、信息熵，音調(diào)特征隨時間的變化趨勢；音高特征以基頻量化；

步驟七：情緒狀態(tài)判別：根據(jù)音色和音調(diào)變化判別兒童情緒喚醒度的變化趨勢。情緒喚醒度依據(jù)音調(diào)的變化、音色變化和音量變化計算。

所述的運動數(shù)據(jù)處理模塊的計算步驟依次為：

步驟一：截取有效時間段：根據(jù)數(shù)據(jù)輸入接口模塊傳入的開始和結(jié)束時間戳截取有效數(shù)據(jù)段；

步驟二：濾波：對運動數(shù)據(jù)進行濾波，去除高頻分量和低頻漂移后，將數(shù)據(jù)劃分為長度為1分鐘的數(shù)據(jù)段；

步驟三：運動能量計算：計算各段數(shù)據(jù)的運動能量，以各方向加速度的平方和量化；

步驟四：大幅運動檢測：檢測各方向的大幅度運動，以加速度向量在1秒內(nèi)的積分量化；

步驟五：情緒喚醒度計算：依據(jù)運動能量和大幅運動測量預(yù)測情緒喚醒度；

步驟六：個人運動特征：將運動能量、大幅運動、及情緒喚醒度作為個人運動特征輸出。

所述的人際互動網(wǎng)絡(luò)計算及社會性特質(zhì)評估模塊的計算步驟依次為：

步驟一：個人狀態(tài)量化：依據(jù)輸入數(shù)據(jù)判別個人在不同時刻的狀態(tài)，分為4種狀態(tài)：沉默低喚醒、沉默高喚醒、說話低喚醒、說話高喚醒；

步驟二：擬合人際互動模型：用所有人的狀態(tài)變化數(shù)據(jù)擬合人際互動模型，估算所有人之間的相互影響及所有人之間的相互響應(yīng)關(guān)系；

步驟三：個人角色和影響力計算：依據(jù)所有人之間的相互影響及所有人之間的相互響應(yīng)關(guān)系計算個人在互動中的角色和對其他人的影響力指標；

步驟四：個人社會性特質(zhì)評估：依據(jù)個人在互動中的角色、對其他人的影響力指標及個人語音特征預(yù)測個人社會性特質(zhì)，分為社交能力總分、領(lǐng)導(dǎo)去向、工作取向、自主、共處、行動、依賴、情緒八個維度。

所述的個人傳感器的數(shù)量為一個或一個以上。

最后所應(yīng)說明的是：以上實施例僅用以說明而非限制本發(fā)明的技術(shù)方案，盡管參照上述實施例對本發(fā)明進行了詳細說明，本領(lǐng)域的普通技術(shù)人員應(yīng)該理解：依然可以對本發(fā)明進行修改或者等同替換，而不脫離本發(fā)明的精神和范圍的任何修改或局部替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當中。