本發(fā)明涉及控制領域，尤其涉及一種終端設備控制方法和裝置。

背景技術：

目前，在智能家居領域，對終端設備(如：空調、電視、風扇、電燈、窗簾等)的控制，盡管已經超越了傳統(tǒng)的遙控器和按鈕控制時代，但利用無線藍牙、wifi和移動互聯(lián)網技術的手機app控制技術依然停留在需要用戶進行點擊操作的階段，并且功能越多，操作步驟越復雜，導致了很用戶不會操作，例如不知道怎么對智能電視切換頻道，不會用app操作家里的空調。

現(xiàn)有的技術，不論是人手動控制、遙控器控制還是手機app控制終端設備，都是需要人的參與，終端設備被動接受控制指令。更為重要的是，終端設備不能夠主動識別用戶的行為，并自動下發(fā)指令。

技術實現(xiàn)要素：

本發(fā)明的主要目的在于克服上述現(xiàn)有技術的缺陷，提供一種終端設備控制方法和裝置，以解決現(xiàn)有技術中終端設備被動接受控制指令，不能夠主動識別用戶的行為的問題。

本發(fā)明一方面提供了一種終端設備控制方法，包括：通過所述終端設備連接的拍攝設備捕獲用戶行為信息；識別捕獲到的用戶行為信息對應的終端設備控制指令；根據(jù)識別出的終端設備控制指令控制所述終端設備。

可選地，識別捕獲到的用戶行為信息對應的終端設備控制指令，包括；對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；

將轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

可選地，識別捕獲到的用戶行為信息對應的終端設備控制指令，還包括：若所述終端設備設置為使用用戶自定義行為信息進行終端設備控制指令匹配，則根據(jù)預先設置的用戶自定義信息與終端設備控制指令的對應關系，獲取與所述捕獲到的用戶行為信息對應的終端設備控制指令。

可選地，所述用戶自定義信息與終端設備控制指令的對應關系通過如下方式進行預先設置：在任意終端設備控制指令的自定義行為信息設置模式下，采集用戶自定義行為信息，并保存采集到的用戶自定義信息與所述終端設備控制指令的對應關系。

可選地，對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息，包括：基于預先建立的行為信息識別模型對捕獲到的用戶行為信息進行識別，以獲取所述捕獲到的用戶行為信息對應的行為含義信息；其中，所述用戶行為信息包括用戶行為圖像和/或用戶行為視頻；所述行為信息識別模型包括圖像識別模型和/或動作識別模型。

可選地，對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令，包括：在預先保存的語義信息中查找與所述行為含義信息匹配的語義信息；根據(jù)預先配置的語義信息與終端設備控制指令的對應關系，查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令；其中，所述預先配置的語義信息與終端設備控制指令的對應關系中每個終端設備控制指令對應至少一個語義信息。

可選地，在預先保存的語義信息中查找與所述行為含義信息匹配的語義信息，包括：在預先保存的語義信息中查找與所述行為含義信息的相似度達到預定閾值的語義信息，作為候選語義信息；將所述候選語義信息中與所述行為含義信息的相似度最高的語義信息作為與所述行為含義信息匹配的語義信息。

可選地，所述方法還包括：保存所述捕獲到的用戶行為信息與所述識別出的終端設備控制指令的對應關系，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

可選地，所述方法還包括：采集多個用戶觸發(fā)所述終端設備的終端設備控制指令之前的用戶行為信息，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

可選地，識別捕獲到的用戶行為信息對應的終端設備控制指令，包括；將捕獲到的用戶行為信息上傳到服務器，由服務器識別所述捕獲到的用戶行為信息對應的終端設備控制指令；接收所述服務器返回的所述捕獲到的用戶行為信息對應的終端設備控制指令。

可選地，識別捕獲到的用戶行為信息對應的終端設備控制指令，包括：識別所述捕獲到的用戶行為信息中的用戶，以獲取所述用戶對應行為信息識別模型；基于所述用戶對應的行為信息識別模型對所述捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

可選地，所述用戶對應的行為信息識別模型通過如下方式建立：采集所述用戶觸發(fā)所述終端設備的終端設備控制指令之前的行為信息，作為所述用戶的行為信息訓練樣本；基于所述用戶的行為信息訓練樣本進行模型訓練，建立用于對所述用戶的用戶行為信息進行識別的行為信息識別模型。

可選地，根據(jù)識別出的終端設備控制指令控制所述終端設備，包括：通過語音信息提示用戶是否執(zhí)行所述識別出的終端設備控制指令；若用戶確定執(zhí)行所述識別出的終端設備控制指令，則根據(jù)所述識別出的終端設備控制指令控制所述終端設備。

可選地，所述拍攝設備為3d拍攝設備。

可選地，所述終端設備包括空調、洗衣機、冰箱、電視機、電風扇、窗簾、電燈。

本發(fā)明另一方面提供了一種終端設備控制裝置，包括：捕獲單元，用于通過所述終端設備連接的拍攝設備捕獲用戶行為信息；識別單元，用于識別捕獲到的用戶行為信息對應的終端設備控制指令；控制單元，用于根據(jù)識別出的終端設備控制指令控制所述終端設備。

可選地，所述識別單元包括；轉換單元，用于對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；匹配單元，用于將轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

可選地，所述識別單元進一步用于：若所述終端設備設置為使用用戶自定義行為信息進行終端設備控制指令匹配，則根據(jù)預先設置的用戶自定義信息與終端設備控制指令的對應關系，獲取與所述捕獲到的用戶行為信息對應的終端設備控制指令。

可選地，所述用戶自定義信息與終端設備控制指令的對應關系通過如下方式進行預先設置：在任意終端設備控制指令的自定義行為信息設置模式下，采集用戶自定義行為信息；保存采集到的用戶自定義信息與所述終端設備控制指令的對應關系。

可選地，所述轉換單元進一步用于：基于預先建立的行為信息識別模型對捕獲到的用戶行為信息進行識別，以獲取所述捕獲到的用戶行為信息對應的行為含義信息；其中，所述用戶行為信息包括用戶行為圖像和/或用戶行為視頻；所述行為信息識別模型包括圖像識別模型和/或動作識別模型。

可選地，所述匹配單元包括：第一查找子單元，用于在預先保存的語義信息中查找與所述行為含義信息匹配的語義信息；第二查找子單元，用于根據(jù)預先配置的語義信息與終端設備控制指令的對應關系，查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令；其中，所述預先配置的語義信息與終端設備控制指令的對應關系中每個終端設備控制指令對應至少一個語義信息。

可選地，所述第一查找子單元進一步用于：在預先保存的語義信息中查找與所述行為含義信息的相似度達到預定閾值的語義信息，作為候選語義信息；將所述候選語義信息中與所述行為含義信息的相似度最高的語義信息作為與所述行為含義信息匹配的語義信息。

可選地，所述裝置還包括：保存單元，用于保存所述捕獲到的用戶行為信息與所述識別出的所述捕獲到的用戶行為信息對應的終端設備控制指令的對應關系，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

可選地，所述裝置還包括：采集單元，用于采集多個用戶觸發(fā)所述終端設備的終端設備控制指令之前的用戶行為信息，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

可選地，所述識別單元進一步用于：將捕獲到的用戶行為信息上傳到服務器，由服務器識別所述捕獲到的用戶行為信息對應的終端設備控制指令；接收所述服務器返回的所述捕獲到的用戶行為信息對應的終端設備控制指令。

可選地，所述識別單元，包括：用戶識別單元，用于識別所述捕獲到的用戶行為信息中的用戶，以獲取所述用戶對應行為信息識別模型；信息識別單元，用于基于所述用戶對應的行為信息模型對所述捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；指令匹配單元，用于對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

可選地，所述用戶對應的行為信息識別模型通過如下方式建立：采集所述用戶觸發(fā)所述終端設備的終端設備控制指令之前的行為信息，作為所述用戶的行為信息訓練樣本；基于所述用戶的行為信息訓練樣本進行模型訓練，建立用于對所述用戶的用戶行為信息進行識別的行為信息識別模型。

可選地，所述控制單元進一步用于：通過語音信息提示用戶是否執(zhí)行所述識別出的終端設備控制指令；若用戶確定執(zhí)行所述識別出的終端設備控制指令，則根據(jù)所述識別出的終端設備控制指令控制所述終端設備。

可選地，所述拍攝設備為3d拍攝設備。

可選地，所述終端設備包括空調、洗衣機、冰箱、電視機、電風扇、窗簾、電燈。

根據(jù)本發(fā)明的技術方案，通過所述終端設備連接的拍攝設備捕獲用戶行為信息，并識別捕獲到的用戶行為信息對應的終端設備控制指令，以根據(jù)識別出的終端設備控制指令控制所述終端設備，實現(xiàn)了根據(jù)識別用戶行為自動執(zhí)行相應的終端設備控制指令；并且本發(fā)明能夠實現(xiàn)針對特定用戶個人對終端設備做出的相關行為進行采集和分析訓練，建立針對該特定用戶的行為信息識別模型，以針對特定用戶的行為實現(xiàn)終端設備的自動控制；本發(fā)明還能針對不同用戶做出的行為均可以進行識別，從而實現(xiàn)根據(jù)用戶行為洞悉用戶的行為意圖和動機，進行終端設備的自動控制。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進一步理解，構成本發(fā)明的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構成對本發(fā)明的不當限定。在附圖中：

圖1是本發(fā)明提供的終端設備控制方法的一實施例的方法示意圖；

圖2是根據(jù)本發(fā)明一具體實施方式的識別捕獲到的用戶行為信息對應的終端設備控制指令的步驟的具體流程圖；

圖3是根據(jù)本發(fā)明再一具體實施方式的識別捕獲到的用戶行為信息對應的終端設備控制指令的步驟的具體流程圖；

圖4是本發(fā)明提供的終端設備控制方法的一具體實施例的流程示意圖；

圖5是本發(fā)明提供的終端設備控制裝置的一實施例的結構示意圖；

圖6是根據(jù)本發(fā)明一具體實施方式的識別單元的結構框圖；

圖7是根據(jù)本發(fā)明再一具體實施方式的識別單元的結構框圖。

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合本發(fā)明具體實施例及相應的附圖對本發(fā)明技術方案進行清楚、完整地描述。顯然，所描述的實施例僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

需要說明的是，本發(fā)明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應該理解這樣使用的數(shù)據(jù)在適當情況下可以互換，以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產品或設備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或單元。

圖1是本發(fā)明提供的終端設備控制方法的一實施例的方法示意圖。

如圖1所示，根據(jù)本發(fā)明的一個實施例，所述終端設備控制方法至少包括步驟s110、步驟s120和步驟s130。

步驟s110，通過所述終端設備連接的拍攝設備捕獲用戶行為信息。

所述終端設備具體可以為空調、洗衣機、冰箱、電視機、電風扇、窗簾、電燈等。所述終端設備連接的拍攝設備具體可以為照相機、3d攝像機等；所述拍攝設備捕獲的用戶行為信息具體可以包括用戶行為圖像和/或用戶行為視頻。

步驟s120，識別捕獲到的用戶行為信息對應的終端設備控制指令。

圖2是根據(jù)本發(fā)明一具體實施方式的識別捕獲到的用戶行為信息對應的終端設備控制指令的步驟的具體流程圖，如圖2所示，在一種具體實施方式中，所述步驟s120具體包括步驟s121和步驟s122。

步驟s121，對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息。

在一種具體實施方式中，基于預先建立的行為信息識別模型對捕獲到的用戶行為信息進行識別，以獲取所述捕獲到的用戶行為信息對應的行為含義信息。其中，所述用戶行為信息包括用戶行為圖像和/或用戶行為視頻；所述行為信息識別模型包括圖像識別模型和/或動作識別模型。當所述捕獲到的用戶行為信息為用戶行為圖像時，根據(jù)預先建立的圖像識別模型對捕獲到的用戶行為圖像進行圖像識別，以獲取所述用戶行為圖像對應的行為含義信息；和/或，當所述捕獲到的用戶行為信息為用戶行為視頻時，根據(jù)預先建立的動作識別模型對捕獲到的用戶行為視頻進行動作識別，以獲取所述用戶行為視頻對應的行為含義信息。其中，將進行圖像識別后識別出的所述用戶行為圖像的語義信息，作為所述用戶行為圖像的行為含義信息，和/或，將進行動作識別后識別出的所述用戶行為視頻的語義信息，作為所述用戶行為視頻的行為含義信息。例如，識別出用戶行為圖像中的ok手勢為“好的”的意思，則將“好的”作為用戶行為圖像的行為含義信息。

步驟s122，對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

具體地，在預先保存的語義信息中查找與所述行為含義信息匹配的語義信息；根據(jù)預先配置的語義信息與終端設備控制指令的對應關系，查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令。

更具體而言，在預先保存的語義信息中查找與所述行為含義信息的相似度達到預定閾值的語義信息，作為候選語義信息；將所述候選語義信息中與所述行為含義信息的相似度最高的語義信息作為與所述行為含義信息匹配的語義信息；再從預先配置的語義信息與終端設備控制指令的對應關系中查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令。其中，所述預先配置的語義信息與終端設備控制指令的對應關系中每個終端設備控制指令對應至少一個語義信息，也就是說，每個終端設備控制指令可以對應多個語義信息。例如，“是”、“好的”、“ok”、“同意”等語義信息含義相似或相同，它們可以均對應同一個終端設備控制指令。

在另一種具體實施方式中，步驟s120還包括：若所述終端設備設置為使用用戶自定義行為信息進行終端設備控制指令匹配，則根據(jù)預先設置的用戶自定義行為信息與終端設備控制指令的對應關系，獲取與所述捕獲到的用戶行為信息對應的終端設備控制指令。

具體地，在對所述捕獲到的用戶行為信息進行識別之前，先判斷所述終端設備是否設置為使用用戶自定義行為信息進行終端設備控制指令匹配，若是，則根據(jù)預先設置的用戶自定義信息與終端設備控制指令的對應關系，獲取與所述捕獲到的用戶行為信息對應的終端設備控制指令。

首先，在所述預先設置的用戶自定義信息與終端設備控制指令的對應關系中查找與所述捕獲到的用戶行為信息匹配的用戶自定義行為信息；具體地，將所述捕獲到的用戶行為信息分別與每一個用戶行為信息進行特征匹配；將與所述捕獲到的用戶行為信息的匹配度超過預定閾值的用戶自定義行為信息作為與所述捕獲到的用戶行為信息匹配的用戶自定義行為信息；然后，根據(jù)所述對應關系查找與所述捕獲到的用戶行為信息匹配的用戶自定義行為信息對應的終端設備控制指令，以作為所述捕獲到的用戶行為信息對應的終端設備控制指令。所述預先設置的用戶自定義行為信息與終端設備控制指令的對應關系可以保存在服務器端。

所述用戶自定義信息與終端設備控制指令的對應關系通過如下方式進行預先設置：在任意終端設備控制指令的自定義行為信息設置模式下，采集用戶自定義行為信息，并保存采集到的用戶自定義行為信息與所述終端設備控制指令的對應關系。

例如，在開機指令的自定義行為信息設置模式下，通過所述終端設備連接的拍攝設備采集用戶行為圖像和/或用戶行為視頻，并保存采集到的用戶行為圖像和/或用戶行為視頻與開機指令的對應關系。其中，可通過語音提示的方式提示用戶設置終端設備控制指令對應的用戶自定義行為信息，例如，在設置開機指令對應的用戶自定義行為信息時，語音提示用戶“請做出一個動作用來開機”，并通過攝像設備采集用戶做出的動作的圖像和/或視頻。

在上述具體實施方式中，若所述終端設備未設置為使用用戶自定義行為信息進行終端設備控制指令匹配，或者，根據(jù)預先設置的用戶自定義信息與終端設備控制指令的對應關系，未能獲取到與所述捕獲到的用戶行為信息對應的終端設備控制指令，則執(zhí)行步驟s121和步驟s122。

在又一種具體實施方式中，所述步驟s120具體包括：將捕獲到的用戶行為信息上傳到服務器，由服務器識別所述捕獲到的用戶行為信息對應的終端設備控制指令；接收所述服務器返回的所述捕獲到的用戶行為信息對應的終端設備控制指令。

其中，所述服務器識別所述捕獲到的用戶行為信息對應的終端設備控制指令具體包括：對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。所述服務器識別所述捕獲到的用戶行為信息對應的終端設備控制指令的具體步驟與前述具體實施方式中的步驟s121和步驟s122基本一致，可參考前述具體實施方式中對步驟s121和步驟s122的描述。

圖3是根據(jù)本發(fā)明再一具體實施方式的識別捕獲到的用戶行為信息對應的終端設備控制指令的步驟的具體流程圖；如圖3所示，根據(jù)本發(fā)明的再一種具體實施方式中，步驟s120包括步驟s123、步驟s124和步驟s125。

步驟s123，識別所述捕獲到的用戶行為信息中的用戶，以獲取所述用戶對應行為信息識別模型。

具體而言，可通過人臉識別來識別所述捕獲到的用戶行為信息中的行為用戶，再獲取識別出的行為用戶對應的行為信息識別模型。

步驟s124，基于所述用戶對應的行為信息識別模型對所述捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息。

所述用戶行為信息包括用戶行為圖像和/或用戶行為視頻；所述行為信息識別模型包括圖像識別模型和/或動作識別模型。所述用戶對應的行為信息識別模型通過如下方式建立：采集所述用戶觸發(fā)所述終端設備的終端設備控制指令之前的行為信息，作為所述用戶的行為信息訓練樣本；基于所述用戶的行為信息訓練樣本進行模型訓練，建立用于對所述用戶的用戶行為信息進行識別的行為信息識別模型。例如，該用戶每次坐在電視機前方，并拿起電視機遙控器時，就會用遙控器打開電視機，若通過電視機連接的拍攝設備采集到多次用戶進行上述行為后打開了電視機，則建立的該用戶的行為識別模型中就會將用戶打開電視機之前進行的上述行為識別為“打開電視機”，則捕獲到該用戶再次進行上述行為后通過該用戶對應的行為信息識別模型進行識別，可識別出該用戶的上述行為的含義為打開電視機。

步驟s125，對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

具體地，在預先保存的語義信息中查找與所述行為含義信息匹配的語義信息；根據(jù)預先配置的語義信息與終端設備控制指令的對應關系，查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令。其中，所述預先配置的語義信息與終端設備控制指令的對應關系中每個終端設備控制指令對應至少一個語義信息。例如，捕獲到將用戶坐在電視機前方并拿起電視機遙控器的行為視頻，并通過識別轉換為“打開電視機”的行為含義信息，并查找到“打開電視機”對應電視機的“開機”指令，則將電視機的“開機”指令作為捕獲到的用戶行為信息對應的終端設備控制指令。

由于不同用戶在進行對終端設備的某項操作時的行為可能會不同，通過上述步驟s123～步驟s125能夠實現(xiàn)針對特定用戶個人對終端設備做出的相關行為進行采集和分析訓練，建立針對該特定用戶的行為信息識別模型，以針對特定用戶的行為實現(xiàn)終端設備的自動控制。

步驟s130，根據(jù)識別出的終端設備控制指令控制所述終端設備。

在一種具體實施方式中，直接控制所述終端設備執(zhí)行所述終端設備控制指令。例如。識別出的終端設備控制指令為開機，則控制所述終端設備開機。

在另一種具體實施方式中，通過語音信息提示用戶是否執(zhí)行所述識別出的終端設備控制指令；若用戶確定執(zhí)行所述識別出的終端設備控制指令，則根據(jù)所述識別出的終端設備控制指令控制所述終端設備。

具體地，當識別出捕獲到的用戶行為信息對應的終端設備控制指令時，發(fā)出語音信息以提示用戶是否執(zhí)行該終端設備控制指令，根據(jù)接收到的用戶語音命令確定是否執(zhí)行該識別出的終端控制指令，若用戶確定執(zhí)行，則根據(jù)該識別出的終端設備控制指令控制所述終端設備。其中，通過對用戶發(fā)出的語音命令進行語音識別，確定是否執(zhí)行該識別出的終端控制指令。例如，向用戶發(fā)出語音提示“請問現(xiàn)在為您開啟空調嗎？”若接收到用戶的語音命令為“是”，則控制空調開啟。

基于上述實施例，該方法還包括：保存所述捕獲到的用戶行為信息與識別出的終端設備控制指令的對應關系，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

具體地，每次通過對捕獲到的用戶行為信息進行識別得到對應的終端設備控制指令，并根據(jù)識別出的終端設備控制指令控制所述終端設備后，就將該用戶行為信息和得到的對應的終端設備控制指令作為行為信息訓練樣本進行保存，用于建立行為信息識別模型。

基于上述任意實施例，該方法還包括：采集多個用戶觸發(fā)所述終端設備的終端設備控制指令之前的用戶行為信息，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

例如，大多數(shù)的用戶每次坐在電視機前方，并拿起電視機遙控器時，就會用遙控器打開電視機，若通過電視機連接的拍攝設備采集到多個用戶進行上述行為后打開了電視機，則建立的行為識別模型中就會將用戶打開電視機之前進行的上述行為識別為“打開電視機”。

通過對多個用戶對終端設備做出的相關行為進行采集和分析訓練，建立針對終端設備控制指令地用戶行為信息進行識別的行為信息識別模型，提高了行為信息識別的可靠性，從而針對不同用戶做出的行為均可以進行識別，從而實現(xiàn)根據(jù)用戶行為洞悉用戶的行為意圖和動機，用以進行終端設備的自動控制。

圖4是本發(fā)明提供的終端設備控制方法的一具體實施例的流程示意圖，以下結合圖4對該終端設備控制方法的具體實施例進行描述。

步驟s201，通過終端設備連接的拍攝設備捕獲用戶行為信息。

步驟s202，判斷所述終端設備是否設置了使用用戶自定義行為信息進行終端設備控制指令匹配，若是，則執(zhí)行步驟s203，若否，則執(zhí)行步驟s205。

步驟s203，若所述終端設備設置了使用自定義行為信息進行終端設備控制指令匹配，則根據(jù)預設的用戶自定義行為信息與終端設備控制指令的對應關系，獲取對應的終端設備控制指令。

步驟s204，確定是否獲取到對應的終端設備控制指令，若是，則執(zhí)行步驟s207，若否，則執(zhí)行步驟s205。

步驟s205，對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息。

步驟s206，對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取對應的終端設備控制指令。

步驟s207，語音提示用戶是否執(zhí)行識別出的終端設備控制指令，若是，則執(zhí)行步驟s208，若否，則放棄對終端設備進行控制，并返回步驟s201。

步驟s208，根據(jù)識別出的終端設備控制指令控制所述終端設備。

步驟s209，保存捕獲到的用戶行為信息與識別出的終端設備控制指令的對應關系作為行為信息訓練樣本，流程結束。

圖5是本發(fā)明提供的終端設備控制裝置的一實施例的結構示意圖。如圖5所示，終端設備控制裝置100包括：捕獲單元110、識別單元120和控制單元130。

捕獲單元110用于通過所述終端設備連接的拍攝設備捕獲用戶行為信息；識別單元120用于識別捕獲到的用戶行為信息對應的終端設備控制指令；控制單元130用于根據(jù)識別出的終端設備控制指令控制所述終端設備。

所述終端設備具體可以為空調、洗衣機、冰箱、電視機、電風扇、窗簾、電燈等。所述終端設備連接的拍攝設備具體可以為照相機、3d攝像機等；所述拍攝設備捕獲的用戶行為信息具體可以包括用戶行為圖像和/或用戶行為視頻。

圖6是根據(jù)本發(fā)明一具體實施方式的識別單元的結構框圖。如圖6所示，在一種具體實施方式中，所述識別單元120包括轉換單元121和匹配單元122。

轉換單元121用于對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；匹配單元122用于將轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

具體地，所述轉換單元121基于預先建立的行為信息識別模型對捕獲到的用戶行為信息進行識別，以獲取所述捕獲到的用戶行為信息對應的行為含義信息。其中，所述用戶行為信息包括用戶行為圖像和/或用戶行為視頻；所述行為信息識別模型包括圖像識別模型和/或動作識別模型。

當所述捕獲到的用戶行為信息為用戶行為圖像時，轉換單元121根據(jù)預先建立的圖像識別模型對捕獲到的用戶行為圖像進行圖像識別，以獲取所述用戶行為圖像對應的行為含義信息；和/或，當所述捕獲到的用戶行為信息為用戶行為視頻時，轉換單元121根據(jù)預先建立的動作識別模型對捕獲到的用戶行為視頻進行動作識別，以獲取所述用戶行為視頻對應的行為含義信息。其中，轉換單元121將進行圖像識別后識別出的所述用戶行為圖像的語義信息，作為所述用戶行為圖像的行為含義信息，和/或，將進行動作識別后識別出的所述用戶行為視頻的語義信息，作為所述用戶行為視頻的行為含義信息。例如，轉換單元121識別出用戶行為圖像中的ok手勢為“好的”的意思，則將“好的”作為用戶行為圖像的行為含義信息。

所述匹配單元122包括：第一查找子單元和第二查找子單元。

第一查找子單元，用于在預先保存的語義信息中查找與所述行為含義信息匹配的語義信息；第二查找子單元，用于根據(jù)預先配置的語義信息與終端設備控制指令的對應關系，查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令；其中，所述預先配置的語義信息與終端設備控制指令的對應關系中每個終端設備控制指令對應至少一個語義信息。

所述第一查找子單元進一步用于：在預先保存的語義信息中查找與所述行為含義信息的相似度達到預定閾值的語義信息，作為候選語義信息；將所述候選語義信息中與所述行為含義信息的相似度最高的語義信息作為與所述行為含義信息匹配的語義信息。

具體而言，第一查找子單元在預先保存的語義信息中查找與所述行為含義信息的相似度達到預定閾值的語義信息，作為候選語義信息；將所述候選語義信息中與所述行為含義信息的相似度最高的語義信息作為與所述行為含義信息匹配的語義信息；第二查找子單元從預先配置的語義信息與終端設備控制指令的對應關系中查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令。其中，所述預先配置的語義信息與終端設備控制指令的對應關系中每個終端設備控制指令對應至少一個語義信息，也就是說，每個終端設備控制指令可以對應多個語義信息。例如，“是”、“好的”、“ok”、“同意”等語義信息含義相似或相同，它們可以均對應同一個終端設備控制指令。

在另一種具體實施方式中，所述識別單元120進一步用于：若所述終端設備設置為使用用戶自定義行為信息進行終端設備控制指令匹配，則根據(jù)預先設置的用戶自定義信息與終端設備控制指令的對應關系，獲取與所述捕獲到的用戶行為信息對應的終端設備控制指令。

首先，識別單元120在所述預先設置的用戶自定義信息與終端設備控制指令的對應關系中查找與所述捕獲到的用戶行為信息匹配的用戶自定義行為信息。具體地，識別單元120將所述捕獲到的用戶行為信息分別與每一個用戶行為信息進行特征匹配；將與所述捕獲到的用戶行為信息的匹配度超過預定閾值的用戶自定義行為信息作為與所述捕獲到的用戶行為信息匹配的用戶自定義行為信息；然后，識別單元120根據(jù)所述對應關系查找與所述捕獲到的用戶行為信息匹配的用戶自定義行為信息對應的終端設備控制指令，以作為所述捕獲到的用戶行為信息對應的終端設備控制指令。所述預先設置的用戶自定義行為信息與終端設備控制指令的對應關系可以保存在服務器端。

其中，所述用戶自定義信息與終端設備控制指令的對應關系通過如下方式進行預先設置：在任意終端設備控制指令的自定義行為信息設置模式下，采集用戶自定義行為信息；保存采集到的用戶自定義信息與所述終端設備控制指令的對應關系。

例如，在開機指令的自定義行為信息設置模式下，通過所述終端設備連接的拍攝設備采集用戶行為圖像和/或用戶行為視頻，并保存采集到的用戶行為圖像和/或用戶行為視頻與開機指令的對應關系。其中，可通過語音提示的方式提示用戶設置終端設備控制指令對應的用戶自定義行為信息，例如，在設置開機指令對應的用戶自定義行為信息時，語音提示用戶“請做出一個動作用來開機”，并通過攝像設備采集用戶做出的動作的圖像和/或視頻。

在又一種具體實施方式中，所述識別單元120進一步用于：將捕獲到的用戶行為信息上傳到服務器，由服務器識別所述捕獲到的用戶行為信息對應的終端設備控制指令；接收所述服務器返回的所述捕獲到的用戶行為信息對應的終端設備控制指令。

所述服務器識別所述捕獲到的用戶行為信息對應的終端設備控制指令，具體包括：對捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

圖7是根據(jù)本發(fā)明再一具體實施方式的識別單元的結構框圖。如圖7所示，根據(jù)本發(fā)明的再一種具體實施方式，所述識別單元120包括：用戶識別單元123、信息識別單元124和指令匹配單元125。

用戶識別單元123用于識別所述捕獲到的用戶行為信息中的用戶，以獲取所述用戶對應行為信息識別模型；信息識別單元124用于基于所述用戶對應的行為信息模型對所述捕獲到的用戶行為信息進行識別，以轉換成相應的行為含義信息；指令匹配單元125用于對轉換成的行為含義信息進行終端設備控制指令匹配，以獲取所述用戶行為信息對應的終端設備控制指令。

其中，用戶識別單元123可通過人臉識別來識別所述捕獲到的用戶行為信息中的行為用戶，再獲取識別出的行為用戶對應的行為信息識別模型。所述用戶行為信息包括用戶行為圖像和/或用戶行為視頻；所述行為信息識別模型包括圖像識別模型和/或動作識別模型。所述用戶對應的行為信息識別模型通過如下方式建立：采集所述用戶觸發(fā)所述終端設備的終端設備控制指令之前的行為信息，作為所述用戶的行為信息訓練樣本；基于所述用戶的行為信息訓練樣本進行模型訓練，建立用于對所述用戶的用戶行為信息進行識別的行為信息識別模型。例如，該用戶每次坐在電視機前方，并拿起電視機遙控器時，就會用遙控器打開電視機，若通過電視機連接的拍攝設備采集到多次用戶進行上述行為后打開了電視機，則建立的該用戶的行為識別模型中就會將用戶打開電視機之前進行的上述行為識別為“打開電視機”，則捕獲到該用戶再次進行上述行為后，信息識別單元124通過該用戶對應的行為信息識別模型對該用戶的行為進行識別，可識別出該用戶的上述行為的含義為打開電視機。

指令匹配單元125在預先保存的語義信息中查找與所述行為含義信息匹配的語義信息；根據(jù)預先配置的語義信息與終端設備控制指令的對應關系，查找與所述行為含義信息匹配的語義信息所對應的終端設備控制指令，以作為所述用戶行為信息對應的終端設備控制指令。其中，所述預先配置的語義信息與終端設備控制指令的對應關系中每個終端設備控制指令對應至少一個語義信息。例如，捕獲到將用戶坐在電視機前方并拿起電視機遙控器的行為視頻，并通過識別轉換為“打開電視機”的行為含義信息，并查找到“打開電視機”對應電視機的“開機”指令，則將電視機的“開機”指令作為捕獲到的用戶行為信息對應的終端設備控制指令。

所述控制單元130根據(jù)識別出的終端設備控制指令控制所述終端設備。在一種具體實施方式中，所述控制單元130直接控制所述終端設備執(zhí)行所述終端設備控制指令。例如。識別出的終端設備控制指令為開機，則控制所述終端設備開機。在另一種具體實施方式中，所述控制單元130通過語音信息提示用戶是否執(zhí)行所述識別出的終端設備控制指令；若用戶確定執(zhí)行所述識別出的終端設備控制指令，則根據(jù)所述識別出的終端設備控制指令控制所述終端設備。

進一步地，基于上述實施例，所述裝置還包括：保存單元，用于保存所述捕獲到的用戶行為信息與識別出的終端設備控制指令的對應關系，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

具體地，每次通過對捕獲到的用戶行為信息進行識別得到對應的終端設備控制指令，并根據(jù)識別出的終端設備控制指令控制所述終端設備后，所述保存單元就將該用戶行為信息和得到的對應的終端設備控制指令作為行為信息訓練樣本進行保存，用于建立行為信息識別模型。

進一步地，基于上述任意實施例，所述裝置還包括：采集單元，用于采集多個用戶觸發(fā)所述終端設備的終端設備控制指令之前的用戶行為信息，作為針對所述終端設備的終端設備控制指令的行為信息訓練樣本，以用于建立對用戶行為信息進行識別的行為信息識別模型。

例如，大多數(shù)的用戶每次坐在電視機前方，并拿起電視機遙控器時，就會用遙控器打開電視機，若通過電視機連接的拍攝設備采集到多個用戶進行上述行為后打開了電視機，則建立的行為識別模型中就會將用戶打開電視機之前進行的上述行為識別為“打開電視機”。

據(jù)此，本發(fā)明提供的方案通過所述終端設備連接的拍攝設備捕獲用戶行為信息，并識別捕獲到的用戶行為信息對應的終端設備控制指令，以根據(jù)識別出的終端設備控制指令控制所述終端設備，實現(xiàn)了根據(jù)識別用戶行為自動執(zhí)行相應的終端設備控制指令；并且本發(fā)明能夠實現(xiàn)針對特定用戶個人對終端設備做出的相關行為進行采集和分析訓練，建立針對該特定用戶的行為信息識別模型，以針對特定用戶的行為實現(xiàn)終端設備的自動控制；本發(fā)明還能針對不同用戶做出的行為均可以進行識別，從而實現(xiàn)根據(jù)用戶行為洞悉用戶的行為意圖和動機，進行終端設備的自動控制。

本文中所描述的功能可在硬件、由處理器執(zhí)行的軟件、固件或其任何組合中實施。如果在由處理器執(zhí)行的軟件中實施，那么可將功能作為一或多個指令或代碼存儲于計算機可讀媒體上或經由計算機可讀媒體予以傳輸。其它實例及實施方案在本發(fā)明及所附權利要求書的范圍及精神內。舉例來說，歸因于軟件的性質，上文所描述的功能可使用由處理器、硬件、固件、硬連線或這些中的任何者的組合執(zhí)行的軟件實施。此外，各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

在本申請所提供的幾個實施例中，應該理解到，所揭露的技術內容，可通過其它的方式實現(xiàn)。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為控制裝置的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可為個人計算機、服務器或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。

以上所述僅為本發(fā)明的實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的權利要求范圍之內。