本發(fā)明涉及智能視頻分析和人機(jī)交互技術(shù)領(lǐng)域，更具體地，涉及一種交互式智能家庭服務(wù)系統(tǒng)及方法。

背景技術(shù)：

隨著物聯(lián)網(wǎng)和無線通信技術(shù)的發(fā)展，智能家居領(lǐng)域得到了迅速發(fā)展。目前的智能家居設(shè)備主要包括攝像頭和傳感器等，通過將智能家居設(shè)備與云端相連，利用手機(jī)終端app對(duì)所有智能設(shè)備進(jìn)行控制，但這種“被動(dòng)式”的交互方式較為繁瑣，不夠“智能”。未來的智能設(shè)備將超越傳統(tǒng)的gui交互界面，無需鍵盤或者觸摸屏，能與人及環(huán)境進(jìn)行主動(dòng)感知和交互。用戶不需要對(duì)設(shè)備主動(dòng)輸入任何指令，智能設(shè)備依舊可以隨時(shí)交互。而且網(wǎng)絡(luò)攝像頭多與云端相連，通過第三方向用戶推送視頻數(shù)據(jù)，用戶隱私得不到保障，家庭安全也容易受到外部網(wǎng)絡(luò)的影響。此外，目前的智能家居設(shè)備品類繁多，不同品牌、不同功能的智能設(shè)備得不到有效整合，無法提供兼顧安全和服務(wù)功能的全套自動(dòng)化解決方案。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決被動(dòng)交互操作繁瑣的技術(shù)問題，本發(fā)明提供了一種交互式智能家庭服務(wù)系統(tǒng)及方法。

一種交互式智能家庭服務(wù)系統(tǒng)對(duì)用戶場(chǎng)景、身份和行為進(jìn)行智能分析，主動(dòng)探知不同情景下用戶的需求，智能化地實(shí)現(xiàn)交互和服務(wù)，并通過分布式的語(yǔ)音交互系統(tǒng)整合不同智能設(shè)備的功能，從而實(shí)現(xiàn)信息的主動(dòng)交互，降低結(jié)構(gòu)連接的復(fù)雜程度。所述交互式智能家庭服務(wù)系統(tǒng)包括：

視頻監(jiān)控單元，用于實(shí)時(shí)自動(dòng)獲取門前或者室內(nèi)的人員的面部圖像、和/或室內(nèi)物體的圖像；

語(yǔ)音單元，用于采集室內(nèi)人員的語(yǔ)音指令和/或發(fā)出語(yǔ)音提醒信息；

交互終端，與所述語(yǔ)音單元連接，用于推送語(yǔ)音提醒指令到所述語(yǔ)音單元中，使所述語(yǔ)音單元發(fā)出對(duì)應(yīng)所述語(yǔ)音提醒指令的語(yǔ)音提醒信息；或者接收所述語(yǔ)音單元采集的語(yǔ)音指令，并將對(duì)應(yīng)指令發(fā)送給分析服務(wù)器進(jìn)行對(duì)應(yīng)處理；

分析服務(wù)器，分別與所述視頻監(jiān)控單元和交互終端連接，用于進(jìn)行語(yǔ)音交互和視覺感知交互；在進(jìn)行視覺感知交互時(shí)，根據(jù)所述門前或者室內(nèi)的人員的面部圖像，進(jìn)行人臉驗(yàn)證，自動(dòng)切換模式類別；對(duì)室內(nèi)人體和物體進(jìn)行智能視頻分析，自動(dòng)生成不同應(yīng)用場(chǎng)景下的語(yǔ)音提醒指令；在進(jìn)行語(yǔ)音交互時(shí)，根據(jù)智能視頻分析自動(dòng)挖掘用戶需求，生成相應(yīng)的語(yǔ)音提醒指令，并通過所述交互終端推送到所述語(yǔ)音單元，或者根據(jù)所述交互終端推送的語(yǔ)音指令，進(jìn)行人臉驗(yàn)證，自動(dòng)切換模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令；其中，所述模式類別包括安全模式和服務(wù)模式。

可選的，所述交互式智能家庭服務(wù)系統(tǒng)還包括：

傳感器單元，所述傳感器單元與所述分析服務(wù)器連接，用于實(shí)時(shí)檢測(cè)與房屋相關(guān)的狀態(tài)信息，并將所述狀態(tài)信息發(fā)送至所述分析服務(wù)器，以輔助視頻監(jiān)控單元的智能視頻分析，對(duì)用戶需求進(jìn)行精準(zhǔn)分析。

可選的，傳感器單元包括設(shè)置于房屋各門窗入口處的門磁傳感器、設(shè)置于室內(nèi)且用于檢測(cè)室內(nèi)人員的人體傳感器、用于檢測(cè)煙霧的煙霧傳感器、用于檢測(cè)室內(nèi)氣候環(huán)境的溫濕度傳感器以及與家庭內(nèi)的物件綁定的尋物傳感器中至少一項(xiàng)。

可選的，所述尋物傳感器連接有語(yǔ)音報(bào)警器，用于當(dāng)用戶發(fā)出尋找指令以尋找指定物品時(shí)，所述語(yǔ)音單元通過交互終端將尋找指令發(fā)送至所述分析服務(wù)器，所述分析服務(wù)器與對(duì)應(yīng)的尋物傳感器通信，使與所述尋物傳感器連接的語(yǔ)音報(bào)警器發(fā)出報(bào)警信號(hào)，以提醒用戶。

可選的，所述交互式智能家庭服務(wù)系統(tǒng)還包括：

智能網(wǎng)關(guān)，所述傳感器單元通過zigbee協(xié)議接入所述智能網(wǎng)關(guān)；

路由器，所述智能網(wǎng)關(guān)和分析服務(wù)器全部連入所述路由器建立的無線局域網(wǎng)，所述分析服務(wù)器通過無線網(wǎng)分別與交互終端、視頻監(jiān)控單元和智能網(wǎng)關(guān)相連，所述分析服務(wù)器通過http協(xié)議對(duì)所述傳感器單元進(jìn)行通信和控制。

可選的，所述分析服務(wù)器還用于當(dāng)初次使用時(shí)，主動(dòng)進(jìn)行用戶人臉注冊(cè)，并設(shè)置用戶的使用權(quán)限。

可選的，所述分析服務(wù)器還用于在自動(dòng)對(duì)視頻監(jiān)控單元采集到的人臉進(jìn)行身份認(rèn)證時(shí)，確認(rèn)所述門前或者室內(nèi)的人員的身份，并根據(jù)所述人員的身份開啟或關(guān)閉對(duì)應(yīng)的使用權(quán)限。

可選的，所述服務(wù)模式包括定時(shí)提醒、訪客提醒、智能尋物、喝水提醒及久坐提醒中至少一項(xiàng)；

所述安全模式包括身份認(rèn)證、入侵提醒、財(cái)務(wù)守護(hù)、異?；胤偶白晕以\斷中至少一項(xiàng)。

可選的，所述交互式智能家庭服務(wù)系統(tǒng)還包括移動(dòng)終端，用于通過移動(dòng)終端對(duì)室內(nèi)物體進(jìn)行拍照和標(biāo)簽，將所拍照的物體圖像樣本傳輸?shù)皆贫?，自?dòng)更新所述分析服務(wù)器中存儲(chǔ)的目標(biāo)檢測(cè)模型。

根據(jù)本發(fā)明的實(shí)施例，本發(fā)明公開了以下技術(shù)效果：

本發(fā)明交互式智能家庭服務(wù)系統(tǒng)通過視頻監(jiān)控單元實(shí)時(shí)自動(dòng)獲取門前或者室內(nèi)的人員的面部圖像、和/或室內(nèi)物體的圖像；通過分析服務(wù)器進(jìn)行語(yǔ)音交互和視覺感知交互，根據(jù)所述圖像進(jìn)行人臉驗(yàn)證和智能視頻分析，確定模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令；將自動(dòng)生成的語(yǔ)音提醒指令通過所述交互終端推送到所述語(yǔ)音單元，或者根據(jù)語(yǔ)音單元采集的用戶語(yǔ)音指令，進(jìn)行人臉驗(yàn)證，切換模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令，從而實(shí)現(xiàn)信息的主動(dòng)交互，降低結(jié)構(gòu)連接的復(fù)雜程度。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種交互式智能家庭服務(wù)方法，所述交互式智能家庭服務(wù)方法包括：

通過視頻監(jiān)控單元實(shí)時(shí)自動(dòng)獲取門前或者室內(nèi)的人員的面部圖像、和/或室內(nèi)物體的圖像；

通過語(yǔ)音單元采集室內(nèi)人員的語(yǔ)音指令和/或發(fā)出語(yǔ)音提醒信息；

通過分析服務(wù)器進(jìn)行語(yǔ)音交互和視覺感知交互，在進(jìn)行視覺感知交互時(shí)，根據(jù)所述門前或者室內(nèi)的人員的面部圖像，進(jìn)行人臉驗(yàn)證，自動(dòng)切換模式類別；對(duì)室內(nèi)人體和物體進(jìn)行智能視頻分析，自動(dòng)生成不同應(yīng)用場(chǎng)景下的語(yǔ)音提醒指令；

在進(jìn)行語(yǔ)音交互時(shí)，根據(jù)智能視頻分析自動(dòng)挖掘用戶需求，生成相應(yīng)的語(yǔ)音提醒指令，并通過交互終端將所述語(yǔ)音提醒指令推送到語(yǔ)音單元中，使所述語(yǔ)音單元發(fā)出對(duì)應(yīng)所述語(yǔ)音提醒指令的語(yǔ)音提醒信息；或者根據(jù)所述交互終端推送的語(yǔ)音指令，進(jìn)行人臉驗(yàn)證，切換模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令；其中，所述模式類別包括安全模式和服務(wù)模式。

可選的，所述服務(wù)模式包括定時(shí)提醒、訪客提醒、智能尋物、喝水提醒及久坐提醒中至少一項(xiàng)；

所述安全模式包括身份認(rèn)證、入侵提醒、財(cái)務(wù)守護(hù)、異?；胤偶白晕以\斷中至少一項(xiàng)。

根據(jù)本發(fā)明的實(shí)施例，本發(fā)明公開了以下技術(shù)效果：

本發(fā)明交互式智能家庭服務(wù)方法通過視頻監(jiān)控單元實(shí)時(shí)自動(dòng)獲取門前或者室內(nèi)的人員的面部圖像、和/或室內(nèi)物體的圖像；通過分析服務(wù)器進(jìn)行語(yǔ)音交互和視覺感知交互，根據(jù)所述圖像進(jìn)行人臉驗(yàn)證和智能視頻分析，確定模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令；將自動(dòng)生成的語(yǔ)音提醒指令通過所述交互終端推送到所述語(yǔ)音單元，或者根據(jù)語(yǔ)音單元采集的用戶語(yǔ)音指令，進(jìn)行人臉驗(yàn)證，切換模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令，從而信息的主動(dòng)交互，降低結(jié)構(gòu)連接的復(fù)雜程度。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種交互式智能家庭服務(wù)系統(tǒng)，所述交互式智能家庭服務(wù)系統(tǒng)采用主動(dòng)式智能的人機(jī)交互技術(shù)，通過以語(yǔ)音交互為載體、人工智能算法為核心，能與人及環(huán)境進(jìn)行主動(dòng)的感知和交互，針對(duì)不同的情景應(yīng)用提供智慧服務(wù)；通過各視頻監(jiān)控單元的實(shí)時(shí)分析實(shí)現(xiàn)對(duì)用戶場(chǎng)景的理解和分析、對(duì)用戶行為和需求的感知，并主動(dòng)發(fā)送對(duì)應(yīng)消息給語(yǔ)音終端與用戶進(jìn)行交互，而不需要額外的用戶操作。

相對(duì)于現(xiàn)有技術(shù)，本發(fā)明交互式智能家庭服務(wù)系統(tǒng)與上述交互式智能家庭服務(wù)系統(tǒng)及交互式智能家庭服務(wù)方法的有益效果相同，在此不再贅述。

附圖說明

圖1是本發(fā)明交互式智能家庭服務(wù)系統(tǒng)的模塊結(jié)構(gòu)示意圖；

圖2是本發(fā)明交互式智能家庭服務(wù)系統(tǒng)的模式功能圖；

圖3為本發(fā)明交互式智能家庭服務(wù)系統(tǒng)中分析服務(wù)器多線程接收信息的實(shí)施例流程圖；

圖4為本發(fā)明交互式智能家庭服務(wù)系統(tǒng)中喝水提醒和休息提醒的流程圖。

符號(hào)說明：

視頻監(jiān)控單元—1，分析服務(wù)器—2，語(yǔ)音單元—3，交互終端—4，傳感器單元—5，智能網(wǎng)關(guān)—6，路由器—7。

具體實(shí)施方式

下面參照附圖來描述本發(fā)明的優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些實(shí)施方式僅僅用于解釋本發(fā)明的技術(shù)原理，并非旨在限制本發(fā)明的保護(hù)范圍。

本發(fā)明提供了一種交互式智能家庭服務(wù)系統(tǒng)及方法，采用一種“主動(dòng)式智能”的人機(jī)交互技術(shù)，通過以語(yǔ)音交互為載體、人工智能算法為核心，能與人及環(huán)境進(jìn)行主動(dòng)的感知和交互，并針對(duì)不同的情景應(yīng)用提供智能服務(wù)。

用戶不需要對(duì)設(shè)備主動(dòng)輸入任何指令，智能設(shè)備依舊可以隨時(shí)交互。與其他智能家居系統(tǒng)的“被動(dòng)式交互”不同，本發(fā)明交互式智能家庭服務(wù)系統(tǒng)可以通過對(duì)用戶場(chǎng)景、身份和行為進(jìn)行智能分析，主動(dòng)探知不同情景下用戶的需求，智能化地實(shí)現(xiàn)交互和服務(wù)，而不需要額外的用戶操作。

此外，本發(fā)明交互式智能家庭服務(wù)系統(tǒng)兼具家庭服務(wù)、安防監(jiān)控等多重功能，且可以通過多重智能感知的交互方式進(jìn)行切換。其中家庭服務(wù)功能包括但不限于：定時(shí)提醒、智能尋物、喝水提醒和久坐提醒等；安防監(jiān)控功能包括但不限于：入侵提醒、身份認(rèn)證、財(cái)物守護(hù)、自我診斷等。切換方式有語(yǔ)音交互和視覺感知交互兩種，語(yǔ)音交互通過語(yǔ)音指令對(duì)多種模式進(jìn)行切換，視覺感知交互是通過檢測(cè)用戶的出入行為自動(dòng)進(jìn)行切換，是一種主動(dòng)式的場(chǎng)景功能。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。

如圖1所示，本發(fā)明交互式智能家庭服務(wù)系統(tǒng)包括視頻監(jiān)控單元1、分析服務(wù)器2、語(yǔ)音單元3及交互終端4。

其中，所述視頻監(jiān)控單元1用于實(shí)時(shí)自動(dòng)獲取門前或者室內(nèi)的人員的面部圖像、和/或室內(nèi)物體的圖像；所述語(yǔ)音單元3用于采集室內(nèi)人員的語(yǔ)音指令和/或發(fā)出語(yǔ)音提醒信息；所述交互終端4與所述語(yǔ)音單元3連接，用于推送語(yǔ)音提醒指令到所述語(yǔ)音單元3中，使所述語(yǔ)音單元3發(fā)出對(duì)應(yīng)所述語(yǔ)音提醒指令的語(yǔ)音提醒信息；或者接收所述語(yǔ)音單元3采集的語(yǔ)音指令，并將對(duì)應(yīng)指令發(fā)送給分析服務(wù)器2進(jìn)行對(duì)應(yīng)處理；所述分析服務(wù)器2分別與所述視頻監(jiān)控單元1和交互終端4連接，用于進(jìn)行語(yǔ)音交互和視覺感知交互的切換；在進(jìn)行視覺感知交互時(shí)，根據(jù)所述門前或者室內(nèi)的人員的面部圖像進(jìn)行人臉驗(yàn)證，自動(dòng)切換模式類別；對(duì)室內(nèi)人體和物體進(jìn)行智能視頻分析，自動(dòng)生成不同應(yīng)用場(chǎng)景下的語(yǔ)音提醒指令；在進(jìn)行語(yǔ)音交互時(shí)，根據(jù)智能視頻分析自動(dòng)挖掘用戶需求，生成相應(yīng)的語(yǔ)音提醒指令，并通過所述交互終端4推送到所述語(yǔ)音單元3，或者根據(jù)所述交互終端4推送的語(yǔ)音指令，進(jìn)行人臉驗(yàn)證，自動(dòng)切換模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令；其中，所述模式類別包括安全模式和服務(wù)模式。

其中，所述視頻監(jiān)控單元1包括可視門鈴和多組室內(nèi)攝像頭，其中，可視門鈴安裝在房屋大門的貓眼處，用于實(shí)現(xiàn)訪客提醒。例如，在客廳和書房各安裝一個(gè)1080p的無線網(wǎng)絡(luò)攝像頭，用于認(rèn)證用戶身份、行為檢測(cè)。通過攝像頭采集的視頻流傳輸?shù)椒治龇?wù)器進(jìn)行人臉比對(duì)、目標(biāo)檢測(cè)和目標(biāo)跟蹤算法，用視覺感知的交互方式自動(dòng)進(jìn)行服務(wù)模式或安全模式的提醒。

如圖2所示，所述模式類別包括安全模式和服務(wù)模式，所述服務(wù)模式包括定時(shí)提醒、訪客提醒、智能尋物、喝水提醒及久坐提醒中至少一項(xiàng)；所述安全模式包括身份認(rèn)證、入侵提醒、財(cái)務(wù)守護(hù)、異常回放及自我診斷中至少一項(xiàng)。

其中，定時(shí)提醒是通過用戶語(yǔ)音指令的方式進(jìn)行記錄和提醒。喝水提醒和久坐提醒是通過攝像頭自動(dòng)檢測(cè)用戶行為進(jìn)行提醒。

訪客提醒是通過可視門鈴對(duì)訪客的面部識(shí)別來通知用戶訪客身份。具體的，對(duì)訪客進(jìn)行人臉識(shí)別，提醒室內(nèi)用戶有客到訪、來者是誰；當(dāng)有訪客按下門鈴時(shí)，可視門鈴向分析服務(wù)器2發(fā)送門鈴消息和訪客面部截圖，所述分析服務(wù)器2發(fā)送語(yǔ)音提醒指令通過交互終端給各個(gè)房間內(nèi)的語(yǔ)音單元3，提醒用戶有客到訪，并通過語(yǔ)音進(jìn)行合成，確定人臉識(shí)別結(jié)果。

智能尋物是通過尋物傳感器來對(duì)鑰匙、錢包等小物所在位置發(fā)出提醒；身份認(rèn)證是通過各房間攝像頭對(duì)主人身份進(jìn)行認(rèn)證，開啟或關(guān)閉隱私服務(wù)。

入侵提醒是當(dāng)安全模式下，有人從門窗等進(jìn)入室內(nèi)時(shí)，身份認(rèn)證失敗，則進(jìn)行入侵提醒，并進(jìn)行錄像；財(cái)物守護(hù)可以幫助用戶看管區(qū)域內(nèi)貴重物品，防止被移走。自我診斷是指當(dāng)攝像頭發(fā)生斷電或者被遮擋等異常情況時(shí)，可以自動(dòng)進(jìn)行提醒和錄像。

此外，本發(fā)明交互式智能家庭服務(wù)系統(tǒng)還包括移動(dòng)終端，用于通過移動(dòng)終端對(duì)室內(nèi)物體進(jìn)行拍照和標(biāo)簽，將所拍照的物體圖像樣本傳輸?shù)皆贫?，自?dòng)更新所述分析服務(wù)器中存儲(chǔ)的檢測(cè)模型，以識(shí)別新樣本，滿足家庭的個(gè)性化需求。用戶可以用移動(dòng)終端指導(dǎo)本發(fā)明交互式智能家庭服務(wù)系統(tǒng)認(rèn)識(shí)重要的物品，幫助系統(tǒng)更好地檢測(cè)該物品的狀態(tài)。其中，所述移動(dòng)終端可為手機(jī)、ipad等。

其中，所述檢測(cè)模型是事先用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)大規(guī)模圖片進(jìn)行訓(xùn)練得到的網(wǎng)絡(luò)模型，可以從視頻流中檢測(cè)到室內(nèi)物體和人體的區(qū)域和標(biāo)簽。

本發(fā)明采用基于深度學(xué)習(xí)的視頻分析技術(shù)解析用戶行為、驗(yàn)證用戶身份安全、定制多場(chǎng)景多模式的家庭服務(wù)，并通過分布式的語(yǔ)音交互系統(tǒng)整合不同智能設(shè)備的功能與用戶進(jìn)行主動(dòng)交互。

如圖1所示，本發(fā)明交互式智能家庭服務(wù)系統(tǒng)還包括傳感器單元5，所述傳感器單元5與所述分析服務(wù)器2連接，用于實(shí)時(shí)檢測(cè)與房屋相關(guān)的狀態(tài)信息，并將所述狀態(tài)信息發(fā)送至所述分析服務(wù)器2，以輔助視頻監(jiān)控單元1的智能視頻分析，對(duì)用戶需求進(jìn)行精準(zhǔn)分析。

其中，所述傳感器單元5包括設(shè)置于房屋各門窗入口處的門磁傳感器、設(shè)置于室內(nèi)且用于檢測(cè)室內(nèi)人員的人體傳感器、用于檢測(cè)煙霧的煙霧傳感器以及與家庭內(nèi)的物件綁定的尋物傳感器中至少一項(xiàng)，但并不以此為限。

其中，所述門磁傳感器用于對(duì)各門窗入口處進(jìn)行入侵檢測(cè)，人體傳感器的檢測(cè)信息作為對(duì)房?jī)?nèi)有無人體進(jìn)出判定的輔助參考，在主人不在家時(shí)實(shí)現(xiàn)全面覆蓋的安防傳感網(wǎng)絡(luò)；并在主人抵家時(shí)，將異常情況進(jìn)行回放。

優(yōu)選的，所述尋物傳感器連接有語(yǔ)音報(bào)警器，用于當(dāng)用戶發(fā)出尋找指令以尋找指定物品時(shí)，所述語(yǔ)音單元3通過交互終端4將尋找指令發(fā)送至所述分析服務(wù)器2，所述分析服務(wù)器2與對(duì)應(yīng)的尋物傳感器通信，使與所述尋物傳感器連接的語(yǔ)音報(bào)警器發(fā)出報(bào)警信號(hào)，以提醒用戶。在本實(shí)施例中，尋物傳感器通過藍(lán)牙與分析服務(wù)器2進(jìn)行通信連接。

例如，尋物傳感器可綁定在鑰匙等易丟物品上，通過藍(lán)牙與分析服務(wù)器2保持通信，當(dāng)用戶需要尋找物品時(shí)，通過語(yǔ)音單元3把查找信息發(fā)送給分析服務(wù)器2，所述分析服務(wù)器2通過藍(lán)牙與尋物傳感器通信，觸發(fā)傳感器的語(yǔ)音報(bào)警，從而實(shí)現(xiàn)室內(nèi)智能尋物功能。

進(jìn)一步地，本發(fā)明交互式智能家庭服務(wù)系統(tǒng)還包括智能網(wǎng)關(guān)6和路由器7；其中，所述傳感器單元5通過zigbee協(xié)議接入所述智能網(wǎng)關(guān)6；所述智能網(wǎng)關(guān)6和分析服務(wù)器2全部連入所述路由器7建立的無線局域網(wǎng)，所述分析服務(wù)器2通過無線網(wǎng)分別與交互終端4、視頻監(jiān)控單元1和智能網(wǎng)關(guān)6相連，所述分析服務(wù)器2通過http協(xié)議對(duì)所述傳感器單元5進(jìn)行通信和控制。

其中，所述語(yǔ)音單元3包括離線語(yǔ)音模塊和麥克風(fēng)，通過在不同房間的交互終端4搭載的語(yǔ)音單元對(duì)用戶語(yǔ)音指令進(jìn)行采集，發(fā)送給分析服務(wù)器2進(jìn)行處理。

此外，所述分析服務(wù)器2還用于當(dāng)初次使用時(shí)，主動(dòng)進(jìn)行用戶人臉注冊(cè)，并設(shè)置用戶的使用權(quán)限，用戶可以開啟其他家庭成員的身份注冊(cè)。在自動(dòng)對(duì)視頻監(jiān)控單元1采集到的人臉進(jìn)行身份認(rèn)證時(shí)，所述分析服務(wù)器2還用于確認(rèn)所述門前或者室內(nèi)的人員的身份，并根據(jù)所述人員的身份開啟或關(guān)閉對(duì)應(yīng)的使用權(quán)限。例如，當(dāng)有人對(duì)語(yǔ)音終端下達(dá)指令時(shí)，各交互終端搭載的攝像頭會(huì)自動(dòng)開啟人臉身份認(rèn)證，分析服務(wù)器2對(duì)普通用戶自動(dòng)關(guān)閉部分服務(wù)，保障操作的私密性。

所述分析服務(wù)器2搭載深度學(xué)習(xí)計(jì)算芯片、語(yǔ)音識(shí)別模塊和usb攝像頭，是一種能完成系統(tǒng)初始化、用戶注冊(cè)、算法分析等功能的綜合性中樞。所述分析服務(wù)器2采用多線程接收來自各個(gè)交互終端采集到的語(yǔ)音指令信息、視頻監(jiān)控單元1獲取的視頻圖像及各傳感器檢測(cè)的與房屋相關(guān)的狀態(tài)信息，并根據(jù)不同智能設(shè)備發(fā)送信息或指令的優(yōu)先級(jí)進(jìn)行排序和相應(yīng)處理。

如圖3所示，所述分析服務(wù)器2開啟多個(gè)線程，分別用于接收語(yǔ)音信息和視頻流數(shù)據(jù)。當(dāng)本發(fā)明交互式智能家庭服務(wù)系統(tǒng)第一次開機(jī)使用時(shí)需通過采集人臉注冊(cè)用戶身份。完成注冊(cè)以后，房屋各個(gè)房間的攝像頭檢測(cè)到人臉時(shí)，交互終端會(huì)自動(dòng)開啟人臉驗(yàn)證，如果識(shí)別結(jié)果是用戶則以“主人”進(jìn)行稱呼，并開啟私密提醒服務(wù)，比如訪客提醒、喝水提醒、久坐提醒和智能尋物。如果識(shí)別結(jié)果不是用戶或則切換到安全模式，屏蔽私人服務(wù)，開啟財(cái)物守護(hù)和自我診斷等功能。除了用人臉驗(yàn)證自動(dòng)進(jìn)行模式切換，還可以通過在服務(wù)模式下用語(yǔ)言指令切換到安全模式，但安全模式下只有檢測(cè)到用戶時(shí)才會(huì)切換到服務(wù)模式，如喝水提醒和久坐提醒等。

如圖4所示，所述喝水提醒具體包括以下步驟：

1)對(duì)每幀視頻流進(jìn)行目標(biāo)檢測(cè)，當(dāng)檢測(cè)到人臉和水杯時(shí)開始計(jì)時(shí)；

2)對(duì)檢測(cè)到的水杯區(qū)域和人臉區(qū)域同時(shí)進(jìn)行目標(biāo)跟蹤，如果跟蹤失敗，則再對(duì)該幀進(jìn)行目標(biāo)檢測(cè)；

3)當(dāng)水杯區(qū)域和人臉區(qū)域的重合比例大于比例閾值時(shí)，判定為一次喝水；

4)每次檢測(cè)到喝水時(shí)，將喝水間隔的計(jì)時(shí)器重新清零，重新開始計(jì)時(shí)；

5)如果計(jì)時(shí)達(dá)到第一時(shí)間閾值且沒有檢測(cè)到用戶喝水時(shí)，則發(fā)送信息給語(yǔ)音單元進(jìn)行喝水提醒。

所述久坐提醒具體包括以下步驟：

1)對(duì)每幀視頻流進(jìn)行人體檢測(cè)，當(dāng)檢測(cè)到人體時(shí)開始計(jì)時(shí)；

2)對(duì)檢測(cè)到的人體區(qū)域進(jìn)行目標(biāo)跟蹤，當(dāng)該人體區(qū)域設(shè)定時(shí)間內(nèi)的位移小于位移閾值時(shí)，判定用戶開始保持久坐或者站立，開啟久坐計(jì)時(shí)；

3)當(dāng)人體區(qū)域的重心在縱向上偏移大于偏移閾值時(shí)，判定為一次起身活動(dòng)；

4)每次檢測(cè)到起身活動(dòng)時(shí)，將久坐間隔的計(jì)時(shí)器重新清零，開始計(jì)時(shí)；

5)如果計(jì)時(shí)達(dá)到第二時(shí)間閾值且沒有檢測(cè)到用戶起身活動(dòng)，則給語(yǔ)音單元發(fā)送久坐提醒。

本發(fā)明交互式智能家庭服務(wù)系統(tǒng)采用主動(dòng)式智能的人機(jī)交互技術(shù)，通過以語(yǔ)音交互為載體、人工智能算法為核心，能與人及環(huán)境進(jìn)行主動(dòng)的感知和交互，針對(duì)不同的應(yīng)用情景提供智慧服務(wù)；通過各視頻監(jiān)控單元的實(shí)時(shí)分析實(shí)現(xiàn)對(duì)用戶場(chǎng)景的理解和分析、對(duì)用戶行為和需求的感知，并主動(dòng)發(fā)送對(duì)應(yīng)消息給語(yǔ)音終端與用戶進(jìn)行交互，而不需要額外的用戶操作。

本發(fā)明交互式智能家庭服務(wù)系統(tǒng)具有以下優(yōu)點(diǎn)：

1)數(shù)據(jù)私密性，全部智能設(shè)備連接在局域網(wǎng)，無需連接外網(wǎng)，不受第三方網(wǎng)絡(luò)穩(wěn)定性的影響；

2)操作安全性，開啟高級(jí)服務(wù)需進(jìn)行人臉身份認(rèn)證，為不同權(quán)限的用戶提供不同的服務(wù)內(nèi)容；

3)服務(wù)智能化，通過攝像頭和傳感器的自動(dòng)感知了解用戶的生活習(xí)慣，為用戶提供細(xì)心周到的智能家庭服務(wù)。

此外，本發(fā)明還提供一種交互式智能家庭服務(wù)方法，本發(fā)明交互式智能家庭服務(wù)方法包括：

通過視頻監(jiān)控單元實(shí)時(shí)自動(dòng)獲取門前或者室內(nèi)的人員的面部圖像和/或室內(nèi)物體的圖像；

通過語(yǔ)音單元采集室內(nèi)人員的語(yǔ)音指令和/或發(fā)出語(yǔ)音提醒信息；

通過分析服務(wù)器進(jìn)行語(yǔ)音交互和視覺感知交互，在進(jìn)行視覺感知交互時(shí)，根據(jù)所述門前或者室內(nèi)的人員的面部圖像，進(jìn)行人臉驗(yàn)證，自動(dòng)切換模式類別；對(duì)室內(nèi)人體和物體進(jìn)行智能視頻分析，自動(dòng)生成不同應(yīng)用場(chǎng)景下的語(yǔ)音提醒指令；

在進(jìn)行語(yǔ)音交互時(shí)，根據(jù)智能視頻分析自動(dòng)挖掘用戶需求，生成相應(yīng)的語(yǔ)音提醒指令，并通過交互終端將所述語(yǔ)音提醒指令推送到語(yǔ)音單元中，使所述語(yǔ)音單元發(fā)出對(duì)應(yīng)所述語(yǔ)音提醒指令的語(yǔ)音提醒信息；或者根據(jù)所述交互終端推送的語(yǔ)音指令，進(jìn)行人臉驗(yàn)證，切換模式類別，并生成對(duì)應(yīng)的語(yǔ)音提醒指令；其中，所述模式類別包括安全模式和服務(wù)模式。

其中，所述服務(wù)模式包括定時(shí)提醒、訪客提醒、智能尋物、喝水提醒及久坐提醒中至少一項(xiàng)；所述安全模式包括身份認(rèn)證、入侵提醒、財(cái)務(wù)守護(hù)、異?；胤偶白晕以\斷中至少一項(xiàng)。

上述交互式智能家庭服務(wù)系統(tǒng)實(shí)施例可以用于執(zhí)行上述交互式智能家庭服務(wù)方法實(shí)施例，其技術(shù)原理、所解決的技術(shù)問題及產(chǎn)生的技術(shù)效果相似，所屬技術(shù)領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的交互式智能家庭服務(wù)方法的有關(guān)說明，可以參考前述交互式智能家庭服務(wù)系統(tǒng)實(shí)施例中的對(duì)應(yīng)內(nèi)容，在此不再贅述。

相對(duì)于現(xiàn)有技術(shù)，本發(fā)明交互式智能家庭服務(wù)方法與上述交互式智能家庭服務(wù)系統(tǒng)的有益效果相同，在此不再贅述。

至此，已經(jīng)結(jié)合附圖所示的優(yōu)選實(shí)施方式描述了本發(fā)明的技術(shù)方案，但是，本領(lǐng)域技術(shù)人員容易理解的是，本發(fā)明的保護(hù)范圍顯然不局限于這些具體實(shí)施方式。在不偏離本發(fā)明的原理的前提下，本領(lǐng)域技術(shù)人員可以對(duì)相關(guān)技術(shù)特征作出等同的更改或替換，這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護(hù)范圍之內(nèi)。