本發(fā)明屬于智能冰箱領(lǐng)域，具體涉及一種基于深度學習的多傳感器智能冰箱控制方法和智能冰箱。

背景技術(shù)：

隨著智能時代和互聯(lián)網(wǎng)時代的到來，人民的生活水平不斷提高，生活節(jié)奏也不斷加快，智能冰箱作為智能家電的代表，已經(jīng)成為各大企業(yè)爭相開發(fā)的突破性產(chǎn)品，物品自動識別技術(shù)無疑是一項非常重要的關(guān)鍵技術(shù)，只有獲取物品種類，才談得上其他服務(wù)功能，深度學習的出現(xiàn)使高效率、高準確率的物品識別成為了可能。

目前智能冰箱的功能主要包括食品管理功能、物聯(lián)云服務(wù)功能和各種冰箱控制系統(tǒng)，其中食品管理功能包括針對冰箱內(nèi)食物信息的查詢功能，但是針對這一功能目前市場上普遍采用rfid射頻標簽以及圖像識別來進行查詢，這兩種方法的識別率都不高，原因在于食品種類繁多，沒有相對規(guī)則的形態(tài)，受限于技術(shù)本身，目前的方案無法具有相對高的食品識別率。

深度學習是目前機器學習發(fā)展的最高度，人工神經(jīng)網(wǎng)絡(luò)作為深度學習中的一種方法，在物體識別、圖像處理、音頻識別等領(lǐng)域有著較高的效果。對目標識別和語音識別，人工神經(jīng)網(wǎng)絡(luò)有著可以自動學習目標特征和寓意特征的優(yōu)勢，減少人工干預，提取出高質(zhì)量的特征，從而為提高目標識別和語音識別的準確率打下了堅實的基礎(chǔ)。

云計算是一種新的計算模式，它運用先進的存儲架構(gòu)和分布式計算為用戶提供成本低廉、方便快速的體驗。云計算技術(shù)的出現(xiàn)使得海量的視頻數(shù)據(jù)處理、挖掘成為可能。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)中存在的不足，本發(fā)明提出了一種基于深度學習的多傳感器智能冰箱控制方法，結(jié)合圖像處理、深度學習、云計算實現(xiàn)了冰箱內(nèi)部食材的種類識別、重量計算和語音識別。

本發(fā)明采用下面的技術(shù)方案：

一種基于深度學習的多傳感器智能冰箱控制方法，所述冰箱具有冰箱本體和多個門，冰箱本體和每個門均形成冰箱儲藏室，該方法包括：

獲取向冰箱儲藏室內(nèi)放置食材前的第一圖像與放置食材后的第二圖像，基于所述第一圖像和第二圖像采用視覺檢測方法獲取待測食材圖像，采用預訓練好的第一卷積神經(jīng)網(wǎng)絡(luò)模型對上述待測食材圖像進行識別，得到冰箱儲藏室內(nèi)的待測食材種類；

獲取向冰箱儲藏室內(nèi)放置食材前儲藏室的第一壓力與放置食材后儲藏室的第二壓力，基于所述第一壓力和第二壓力，得到待測食材重量；

獲取語音開門或閉門指令，采用預訓練好的第二卷積神經(jīng)網(wǎng)絡(luò)模型對上述待語音開門或閉門指令進行識別，用于控制冰箱門開啟與關(guān)閉。

進一步的，所述第一卷積神經(jīng)網(wǎng)絡(luò)模型與第二卷積神經(jīng)網(wǎng)絡(luò)模型采用三層結(jié)構(gòu)，分別為輸入層、隱含層和輸出層。

進一步的，當向冰箱儲藏室內(nèi)放置食材后，關(guān)聯(lián)所述待測食材種類和待測食材重量，同時顯示所述信息，存儲歷史食材種類和相應(yīng)的重量。

進一步的，所述第一圖像或第二圖像包括靜態(tài)圖像與視頻流圖像，當為視頻流圖像時，對其進行解碼得到一系列靜態(tài)圖像，取一系列靜態(tài)圖像的中間圖像作為待測圖像。

進一步的，對所述第一圖像和第二圖像進行預處理，提取圖像的roi區(qū)域。

本發(fā)明還提出了一種基于深度學習的多傳感器智能冰箱，包括處理器和與處理器相連的：

多個攝像裝置，用于獲取冰箱儲藏室內(nèi)部各個區(qū)域的圖像；

壓力傳感器，用于獲取冰箱儲藏室內(nèi)部來自全部食材的壓力；

語音采集器，用于獲取語音開門或閉門指令；

驅(qū)動機構(gòu)，用于驅(qū)動冰箱門開啟與關(guān)閉；

所述處理器具有無線通信模塊，處理器將所述多個攝像裝置、壓力傳感器和語音采集器獲取的數(shù)據(jù)發(fā)送至云計算平臺，所述云計算平臺內(nèi)置有視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型，云計算平臺采用視覺檢測算法獲取待測食材圖像，采用第一卷積神經(jīng)網(wǎng)絡(luò)模型對所述待測食材圖像進行識別，得到冰箱儲藏室內(nèi)的待測食材種類；基于所述第一壓力和第二壓力，得到待測食材重量；采用第二卷積神經(jīng)網(wǎng)絡(luò)模型識別語音開門或閉門指令；將所述待測食材種類的識別結(jié)果、待測食材重量的計算結(jié)果和語音識別結(jié)果返回至處理器，處理器通過驅(qū)動機構(gòu)控制冰箱門開啟與關(guān)閉。

進一步的，在所述冰箱門外側(cè)還具有觸敏顯示器，用于顯示歷史食材種類和相應(yīng)的重量，并可選擇得刪除記錄的食材種類及相應(yīng)的重量。

進一步的，在所述攝像裝置的取景窗前涂有防霧層，用于在冰箱運行溫度下獲取清晰的待測食材圖像。

進一步的，所述驅(qū)動機構(gòu)包括在冰箱門與冰箱本體之間設(shè)置的控制器和電機驅(qū)動模塊，控制器分別與電機驅(qū)動模塊和處理器相連，包括有電機和電機驅(qū)動芯片，電機的轉(zhuǎn)軸與冰箱門的旋轉(zhuǎn)軸連接。

進一步的，對所述云計算平臺內(nèi)置的視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型進行修改或更換，用以適應(yīng)不同的待測食材與語音。

本發(fā)明的有益效果是：

(1)將深度學習與云計算技術(shù)結(jié)合，形成了具有高準確率、高效率、大規(guī)模計算能力的后臺云服務(wù)系統(tǒng)；

(2)將圖像目標識別與深度學習相結(jié)合，提高了目標識別的準確率和效率。

(3)將冰箱管理系統(tǒng)與目標識別和語音識別相結(jié)合，使冰箱更加智能化、操作更方便。

(4)本發(fā)明利用云計算平臺，可以隨時對視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型進行修改或更換，用以適應(yīng)更多食材形態(tài)的識別和語義識別。

附圖說明

圖1為本發(fā)明的方法流程圖；

具體實施方式：

下面結(jié)合附圖與實施例對本發(fā)明作進一步說明：

應(yīng)該指出，以下詳細說明都是例示性的，旨在對本申請?zhí)峁┻M一步的說明。除非另有指明，本文使用的所有技術(shù)和科學術(shù)語具有與本申請所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。

需要注意的是，這里所使用的術(shù)語僅是為了描述具體實施方式，而非意圖限制根據(jù)本申請的示例性實施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復數(shù)形式，此外，還應(yīng)當理解的是，當在本說明書中使用術(shù)語“包含”和/或“包括”時，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。

本發(fā)明的一種典型實施例是一種基于深度學習的多傳感器智能冰箱控制方法，如圖1所示：冰箱具有冰箱本體和多個門，冰箱本體和每個門均形成冰箱儲藏室，該方法包括以下步驟：

獲取向冰箱儲藏室內(nèi)放置食材前的第一圖像與放置食材后的第二圖像，基于第一圖像和第二圖像采用視覺檢測方法獲取待測食材圖像，采用預訓練好的第一卷積神經(jīng)網(wǎng)絡(luò)模型對上述待測食材圖像進行識別，得到冰箱儲藏室內(nèi)的待測食材種類；

獲取向冰箱儲藏室內(nèi)放置食材前儲藏室的第一壓力與放置食材后儲藏室的第二壓力，基于第一壓力和第二壓力，得到待測食材重量；

獲取語音開門或閉門指令，采用預訓練好的第二卷積神經(jīng)網(wǎng)絡(luò)模型對上述待語音開門或閉門指令進行識別，用于控制冰箱門開啟與關(guān)閉。

本實施例中獲取的放置食材前后圖像可以是靜態(tài)圖像，也可以是視頻流，對于靜態(tài)圖像，我們直接采用視覺檢測方法對其進行預處理，得到圖像的roi區(qū)域；對于視頻流，我們首先對其進行解碼操作，得到一系列的靜態(tài)圖像，分別選取放置食材前后的兩幅圖像，對其進行視覺檢測，同樣的，得到圖像的roi區(qū)域。通過模式識別或者特征提取對第一圖像和第二圖像的roi區(qū)域進行檢測，獲得待測的食材圖像，也就是本次放入冰箱的食材圖像，將該食材圖像輸入至第一卷積神經(jīng)網(wǎng)絡(luò)中進行訓練。

本實施例中的第一卷積神經(jīng)網(wǎng)絡(luò)是預訓練好的，它具有三層結(jié)構(gòu)，分別為輸入層、隱含層和輸出層。本實施例中第一卷積神經(jīng)網(wǎng)絡(luò)的訓練樣本包括各種水果、蔬菜、蛋類、飲料、肉類、魚類的規(guī)則圖像，但也不限于上述類別；同時本實施例中的第一卷積神經(jīng)網(wǎng)絡(luò)并非一成不變，可以在使用過程中重新訓練，調(diào)整參數(shù)。通過對上述訓練樣本的識別，采用預訓練好的第一卷積神經(jīng)網(wǎng)絡(luò)對待測食材圖像進行檢測，就可以預測出本次放置在冰箱內(nèi)的食材是什么種類。本實施例將圖像目標識別與深度學習相結(jié)合，提高了目標也就是待測食材種類識別的準確率和效率。

在對食材進行種類識別的同時，本實施例中還對放置食材前后的儲藏室的壓力進行檢測，所述儲藏室的壓力是指儲藏室內(nèi)全部食材作用于儲藏室的壓力，通過獲取該壓力，可以計算出放置食材的重量，將該重量與食材的種類進行關(guān)聯(lián)，同時存儲，并顯示在冰箱外部，供用戶了解冰箱內(nèi)部的食材及其重量。

本實施例還包括對語義進行識別的第二卷積神經(jīng)網(wǎng)絡(luò)，該第二卷積神經(jīng)網(wǎng)絡(luò)也是預訓練好的，其目的是用于對用戶的開門和關(guān)門指令進行識別，這里第二卷積神經(jīng)網(wǎng)絡(luò)的訓練樣本包括具有“開”和“關(guān)”之中文意思的各種表達形式，包括方言、外語以及各種經(jīng)過解釋后可以理解為“開”和“關(guān)”的語音；通過對上述訓練樣本的訓練，得到第二卷積神經(jīng)網(wǎng)絡(luò)模型，采用該模型對用戶的語音進行識別，如果識別為開門或關(guān)門，則控制冰箱門自動開啟或關(guān)閉。本實施將冰箱管理系統(tǒng)與語音識別相結(jié)合，使冰箱更加智能化、操作更方便。

作為對上述實施例的一種改進，第二卷積神經(jīng)網(wǎng)絡(luò)的訓練樣本可以排除兒童語音所在頻率的樣本，這樣就形成了一種“兒童鎖”，可以排除兒童隨便開關(guān)冰箱門。

本實施例將冰箱的控制與目標識別、語音識別相結(jié)合，可以獲取冰箱內(nèi)部食材的種類及重量，并向用戶展示，無需手動開關(guān)冰箱門，通過語義識別控制冰箱門的開閉。

本發(fā)明的再一實施例是采用上述方法的智能冰箱：包括處理器和與處理器相連的多個攝像裝置，用于獲取冰箱儲藏室內(nèi)部各個區(qū)域的圖像；壓力傳感器，用于獲取冰箱儲藏室內(nèi)部來自全部食材的壓力；語音采集器，用于獲取語音開門或閉門指令；驅(qū)動機構(gòu)，用于驅(qū)動冰箱門開啟與關(guān)閉。

本實施例中的處理器具有無線通信模塊，處理器將多個攝像裝置、壓力傳感器和語音采集器獲取的數(shù)據(jù)發(fā)送至云計算平臺，云計算平臺內(nèi)置有視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型，云計算平臺采用視覺檢測算法獲取待測食材圖像，采用第一卷積神經(jīng)網(wǎng)絡(luò)模型對所述待測食材圖像進行識別，得到冰箱儲藏室內(nèi)的待測食材種類；基于所述第一壓力和第二壓力，得到待測食材重量；采用第二卷積神經(jīng)網(wǎng)絡(luò)模型識別語音開門或閉門指令；將所述待測食材種類的識別結(jié)果、待測食材重量的計算結(jié)果和語音識別結(jié)果返回至處理器，處理器通過驅(qū)動機構(gòu)控制冰箱門開啟與關(guān)閉。

本實施例中在所述冰箱門外側(cè)設(shè)置有觸敏顯示器，用于顯示歷史食材種類和相應(yīng)的重量，并可選擇得刪除記錄的食材種類及相應(yīng)的重量。用戶可以通過該觸敏顯示器獲知冰箱內(nèi)部的食材種類以及重量，對于錯誤的信息予以刪除，對于已取出的食材也可以予以刪除，實現(xiàn)冰箱內(nèi)食材種類以及重量的正確表達。

由于冰箱內(nèi)部的溫度較低，普通的攝像裝置不適于應(yīng)用在冰箱內(nèi)部，我們在本實施例中設(shè)置防凝露層或者防霧層，也可以是其他提高攝像清晰度的涂層于取景窗前，使得在冰箱運行溫度下也可以獲取清晰的待測食材圖像。

當用戶通過語音采集器傳達開門或關(guān)門的語義時，控制器解析到該語義，進一步的控制驅(qū)動機構(gòu)實現(xiàn)對冰箱門的開啟與關(guān)閉，驅(qū)動機構(gòu)包括在冰箱門與冰箱本體之間設(shè)置的控制器和電機驅(qū)動模塊，電機驅(qū)動模塊與控制器相連，包括有電機和電機驅(qū)動芯片，電機的轉(zhuǎn)軸與冰箱門的旋轉(zhuǎn)軸連接。

本實施例中的視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型均設(shè)置在云計算平臺上，處理器用過無線通信模塊與云計算平臺相連，云計算可以運用先進的存儲架構(gòu)和分布式計算為用戶提供成本低廉、方便快速的體驗，其可以處理海量的視頻數(shù)據(jù)。本實施例采用云計算平臺對待測食材進行種類識別、重量計算以及對語音識別，得出結(jié)果后通過無線通信模塊再返回至處理器，處理器將食材的種類及其重量存儲并顯示，并控制冰箱門的開啟與閉合。

本實施例中云計算平臺內(nèi)置的視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型可以進行修改或更換，用以適應(yīng)不同的待測食材與語音。

本實施例將深度學習與云計算技術(shù)結(jié)合，形成了具有高準確率、高效率、大規(guī)模計算能力的后臺云服務(wù)系統(tǒng)；同時將冰箱的控制與目標識別、語音識別相結(jié)合，獲取冰箱內(nèi)部食材的種類及重量，并向用戶展示，無需手動開關(guān)冰箱門，通過語義識別控制冰箱門的開閉。

以上所述僅為本申請的優(yōu)選實施例而已，并不用于限制本申請，對于本領(lǐng)域的技術(shù)人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本申請的保護范圍之內(nèi)。