本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種能夠自動(dòng)識(shí)別食物種類的智能營(yíng)養(yǎng)秤系統(tǒng)及提供膳食建議的方法。

背景技術(shù)：

民以食為天，膳食不合理會(huì)造成營(yíng)養(yǎng)缺乏或營(yíng)養(yǎng)過剩，科學(xué)膳食是提高膳食質(zhì)量、促進(jìn)健康的一個(gè)重要因素，它講究膳食結(jié)構(gòu)均衡多樣化，我們的先輩很早就總結(jié)出了“五谷為養(yǎng)，五果為助，五畜為益，五菜為充”的膳食構(gòu)成?？茖W(xué)膳食不僅對(duì)于孕婦、生長(zhǎng)發(fā)育期的青少年兒童、一些與飲食密切相關(guān)的疾病患者(如糖尿病人)等至關(guān)重要，而且對(duì)于廣大普通民眾來說也是非常重要的。為了真正達(dá)到科學(xué)膳食，采用營(yíng)養(yǎng)秤并通過計(jì)算機(jī)軟件程序進(jìn)行膳食分析和指導(dǎo)是最有效地方法。

現(xiàn)有的營(yíng)養(yǎng)秤主要由中央處理器、稱重傳感模塊、數(shù)據(jù)存儲(chǔ)模塊、顯示模塊、按鍵模塊等模塊組成，有些營(yíng)養(yǎng)秤還有藍(lán)牙功能或者是wifi功能的網(wǎng)絡(luò)模塊。采用計(jì)算機(jī)軟件程序進(jìn)行膳食分析需要知道食物的重量和種類，食物的重量可以通過營(yíng)養(yǎng)秤稱量然后通過通訊鏈路直接輸入計(jì)算機(jī)軟件程序，食物的具體種類則需要另外的方式輸入，目前的輸入方式有：1.)鍵盤直接輸入；2.)采用手寫設(shè)備輸入；3.)在智能終端軟件中選擇輸入；4.)使用條碼掃描或者二維碼掃描的方式輸入；上述輸入方式中前三種均需要使用者的直接介入，最后一種條碼掃描和二維碼掃描的輸入方式需要事先準(zhǔn)備好各種食物的條碼或者二維碼，稱量時(shí)需將相應(yīng)的條碼或二維碼取過來掃描。授權(quán)公告號(hào)為cn204788619u的專利“一種智能營(yíng)養(yǎng)秤”中提到了可以通過掃描儀識(shí)別食物種類的思路，但專利中對(duì)掃描儀未做進(jìn)一步的說明與通用掃描儀的區(qū)別，且文中所提到的使用微處理器來識(shí)別食物種類的做法可行性有待商榷。對(duì)于食物具體種類的輸入至今為止尚未有簡(jiǎn)潔有效的一鍵解決方案。

技術(shù)實(shí)現(xiàn)要素：

為了進(jìn)一步簡(jiǎn)化智能營(yíng)養(yǎng)秤食物種類輸入問題，本發(fā)明提供了一種采用圖像識(shí)別和語(yǔ)音識(shí)別功能的智能營(yíng)養(yǎng)秤系統(tǒng)，可以一鍵解決食物種類的輸入問題。

本發(fā)明所采用的技術(shù)方案如下：

一種智能營(yíng)養(yǎng)秤系統(tǒng)，其特點(diǎn)在于包括智能營(yíng)養(yǎng)秤、云端服務(wù)器和客戶端；

所述的智能營(yíng)養(yǎng)秤包括中央處理器、語(yǔ)音采集模塊、機(jī)器視覺模塊、稱重傳感模塊、顯示模塊、數(shù)據(jù)存儲(chǔ)模塊、按鍵模塊和網(wǎng)絡(luò)模塊；所述的語(yǔ)音采集模塊、機(jī)器視覺模塊、稱重傳感模塊、顯示模塊、數(shù)據(jù)存儲(chǔ)模塊、按鍵模塊和網(wǎng)絡(luò)模塊分別與所述的中央處理器相連；

所述的網(wǎng)絡(luò)模塊與所述的云端服務(wù)器相連，所述的客戶端與云端服務(wù)器相連。

所述的智能營(yíng)養(yǎng)秤具有一個(gè)唯一標(biāo)識(shí)符，能夠在連接入云端服務(wù)器的時(shí)候標(biāo)識(shí)出自己。

所述的云端服務(wù)器加載有食物種類圖像識(shí)別和語(yǔ)音識(shí)別程序以及食物和營(yíng)養(yǎng)成分對(duì)應(yīng)關(guān)系數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)記載有包括食物所含的熱量、蛋白質(zhì)、脂肪、碳水化合物、維生素和微量元素信息。

所述的按鍵模塊至少包括一個(gè)記錄鍵。

所述的機(jī)器視覺模塊包括ccd相機(jī)和自動(dòng)調(diào)焦鏡頭，能夠采集用戶所放食物的圖像信號(hào)。

所述的語(yǔ)音采集模塊能夠采集用戶所報(bào)的食物名稱的語(yǔ)音信號(hào)。

所述的客戶端包括智能手機(jī)、平板電腦或個(gè)人電腦。

一種利用所述的智能營(yíng)養(yǎng)秤系統(tǒng)的給出膳食建議的方法，其特點(diǎn)在于，該方法包括如下步驟：

步驟1)將食物放置在稱量區(qū)域，稱重傳感模塊采集食物重量信號(hào)后，傳遞至中央處理器，中央處理器向顯示模塊發(fā)送穩(wěn)定信號(hào)；

步驟2)顯示模塊顯示穩(wěn)定后，用戶按下按鍵模塊的記錄鍵，中央處理器接收后，控制機(jī)器視覺模塊對(duì)食物進(jìn)行拍照，采集食物圖像數(shù)據(jù)，與此同時(shí)，用戶報(bào)出食物的名稱，語(yǔ)音采集模塊采集語(yǔ)音數(shù)據(jù)；

步驟3)圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)連同食物的重量信息一同通過網(wǎng)絡(luò)模塊傳輸?shù)皆贫朔?wù)器，云端服務(wù)器通過圖像識(shí)別和/或語(yǔ)音識(shí)別判斷食物的分類，并根據(jù)云端服務(wù)器上的營(yíng)養(yǎng)成分?jǐn)?shù)據(jù)庫(kù)查找食物的營(yíng)養(yǎng)成分，并給出膳食建議；

當(dāng)處于斷網(wǎng)狀態(tài)，則圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)連同食物的重量信息一同存儲(chǔ)在本地?cái)?shù)據(jù)存儲(chǔ)模塊上，一旦恢復(fù)聯(lián)網(wǎng)狀態(tài)，則數(shù)據(jù)存儲(chǔ)模塊上的圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)連同食物的重量信息通過中央處理器經(jīng)網(wǎng)絡(luò)模塊傳輸?shù)皆贫朔?wù)器上；

步驟4)客戶端用戶可以通過客戶端軟件訪問被秤量的食物的營(yíng)養(yǎng)成分和膳食建議，同時(shí)用戶也可以對(duì)識(shí)別錯(cuò)誤進(jìn)行更正并發(fā)送至云端服務(wù)器，云端服務(wù)器采用新的數(shù)據(jù)進(jìn)行重新分析計(jì)算。

所述的給出膳食建議具體是將每頓飯或者是每天秤量食物的所有營(yíng)養(yǎng)成分累加起來,并與科學(xué)推薦的營(yíng)養(yǎng)膳食數(shù)據(jù)相比較,即得出膳食建議。

所述的圖像識(shí)別算法和語(yǔ)音識(shí)別算法是基于深度學(xué)習(xí)訓(xùn)練方法，通過用戶更正后的結(jié)果和用戶確認(rèn)識(shí)別正確的數(shù)據(jù)作為圖像識(shí)別算法和語(yǔ)音識(shí)別算法新的訓(xùn)練數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

1.采用圖像識(shí)別技術(shù)可完全實(shí)現(xiàn)自動(dòng)化輸入，語(yǔ)音識(shí)別技術(shù)只需要在稱量的過程中報(bào)出食物的種類即可，這兩種技術(shù)均比鍵盤輸入、手寫輸入、以及手機(jī)、平板電腦應(yīng)用程序選擇輸入等方式方便很多。若圖像識(shí)別技術(shù)和語(yǔ)音識(shí)別技術(shù)同時(shí)采用，可以大幅地提高食物種類的自動(dòng)識(shí)別準(zhǔn)確度，最大程度地減少后期人為修正。

2.采用的基于深度學(xué)習(xí)的食物圖像識(shí)別和語(yǔ)音識(shí)別的算法能夠在應(yīng)用中學(xué)習(xí)，即在線學(xué)習(xí)，可以在應(yīng)用過程中強(qiáng)化自己，使得算法越用越精準(zhǔn)。

附圖說明

圖1智能營(yíng)養(yǎng)秤系統(tǒng)總覽圖

圖2智能營(yíng)養(yǎng)秤功能模塊圖

圖3智能營(yíng)養(yǎng)秤總體結(jié)構(gòu)圖

圖4云端服務(wù)器數(shù)據(jù)處理流程

具體實(shí)施方式

下面結(jié)合附圖進(jìn)一步對(duì)本發(fā)明進(jìn)一步闡述說明。

如圖1所示，智能營(yíng)養(yǎng)秤系統(tǒng)包括智能營(yíng)養(yǎng)秤10、云端服務(wù)器20和客戶端軟件30。

如圖2所示，智能營(yíng)養(yǎng)秤10包括中央處理器100、稱重傳感模塊103、數(shù)據(jù)存儲(chǔ)模塊105、顯示模塊104，智能營(yíng)養(yǎng)秤還包括語(yǔ)音采集模塊101、機(jī)器視覺模塊102、網(wǎng)絡(luò)模塊107和按鍵模塊106。智能營(yíng)養(yǎng)秤10還有一個(gè)唯一標(biāo)識(shí)符，能夠在連接入云端服務(wù)器20的時(shí)候標(biāo)識(shí)出自己。

所述的按鍵模塊106，包括一個(gè)“記錄”鍵。

結(jié)合圖3，機(jī)器視覺模塊102包括ccd相機(jī)1021和自動(dòng)調(diào)焦鏡頭1022，機(jī)器視覺模塊102能夠在按下按鍵模塊106中的“記錄”鍵后對(duì)所稱量的食物108進(jìn)行自動(dòng)對(duì)焦拍照。

語(yǔ)音采集模塊101可以將在按下按鍵模塊106中的“記錄”鍵后用戶所報(bào)的食物108的名稱的語(yǔ)音信號(hào)采集下來。

網(wǎng)絡(luò)模塊107可以直接或者是通過中間路由器接入云端服務(wù)器20。網(wǎng)絡(luò)模塊107可將視覺模塊102采集的圖像數(shù)據(jù)和語(yǔ)音采集模塊101采集的語(yǔ)音數(shù)據(jù)傳輸?shù)皆贫朔?wù)器20。若智能營(yíng)養(yǎng)秤10當(dāng)前處于聯(lián)網(wǎng)狀態(tài)，則按下“記錄”鍵后，圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)均被傳到云端服務(wù)器20，若。

云端服務(wù)器20可以是互聯(lián)網(wǎng)上的云端服務(wù)器，也可以是架設(shè)在局部范圍或者是自己家中的私有局域網(wǎng)內(nèi)的云端服務(wù)器。

云端服務(wù)器20包括圖像識(shí)別和語(yǔ)音識(shí)別算法、以及食物和營(yíng)養(yǎng)成分對(duì)應(yīng)關(guān)系數(shù)據(jù)庫(kù)(包括食物所含的熱量、蛋白質(zhì)、脂肪、碳水化合物、維生素、微量元素等)。用戶上傳到云端服務(wù)器20的食物108的相關(guān)數(shù)據(jù)(包括重量、食物圖片、用戶所報(bào)的食物種類的語(yǔ)音信息)經(jīng)過圖像識(shí)別和語(yǔ)音識(shí)別后，可以給出所秤量食物108的營(yíng)養(yǎng)成分，將每頓飯或者是每天的所有營(yíng)養(yǎng)成分都累加起來,并與科學(xué)推薦的營(yíng)養(yǎng)膳食數(shù)據(jù)相比較,即可給出合理的膳食建議。

所述的食物圖像識(shí)別和語(yǔ)音識(shí)別算法是基于深度學(xué)習(xí)技術(shù)的。具體實(shí)施時(shí)可以只使用一種技術(shù)：語(yǔ)音識(shí)別或者是圖片識(shí)別，也可以兩種技術(shù)同時(shí)使用。

所述的客戶端軟件30可以運(yùn)行于智能手機(jī)、平板電腦、個(gè)人電腦等智能終端，可以查看歷史膳食記錄以及云端服務(wù)器20給出的營(yíng)養(yǎng)建議，同時(shí)客戶端軟件30也可以手動(dòng)修正識(shí)別算法的錯(cuò)誤，手動(dòng)更正后，云端服務(wù)器20會(huì)根據(jù)最新的食物種類信息更新營(yíng)養(yǎng)膳食數(shù)據(jù)，同時(shí)更新膳食指導(dǎo)。同時(shí)識(shí)別算法也會(huì)將手動(dòng)更正后的結(jié)果和用戶確認(rèn)識(shí)別正確的數(shù)據(jù)作為新的訓(xùn)練數(shù)據(jù)，進(jìn)一步地強(qiáng)化識(shí)別算法，真正做到在線應(yīng)用過程中邊應(yīng)用邊學(xué)習(xí)。

智能營(yíng)養(yǎng)秤系統(tǒng)的工作過程如下：智能營(yíng)養(yǎng)秤10秤量時(shí)，食物108被放置到稱重模塊103上，待顯示模塊104顯示穩(wěn)定后，按下按鍵模塊106中的“記錄”按鍵后，機(jī)器視覺模塊102全自動(dòng)對(duì)食物108進(jìn)行拍照，同時(shí)用戶報(bào)出食物108的種類，語(yǔ)音采集模塊101采集操作者的語(yǔ)音數(shù)據(jù)，圖像數(shù)據(jù)和語(yǔ)音數(shù)據(jù)連同食物108的重量信息一同通過網(wǎng)絡(luò)模塊107傳輸?shù)皆贫朔?wù)器20，云端服務(wù)器20通過圖像識(shí)別和/或語(yǔ)音識(shí)別技術(shù)識(shí)別出食物108的具體種類，之后根據(jù)云端服務(wù)器20上的營(yíng)養(yǎng)成分?jǐn)?shù)據(jù)庫(kù)(包括食物所含的熱量、蛋白質(zhì)、脂肪、碳水化合物、維生素、微量元素等)給出食物108的營(yíng)養(yǎng)信息以及進(jìn)一步的膳食建議，用戶可以通過客戶端軟件30訪問被秤量的食物108的營(yíng)養(yǎng)成分和膳食建議或指導(dǎo)，同時(shí)用戶也可以對(duì)識(shí)別錯(cuò)誤進(jìn)行更正，更正后云端服務(wù)器20采用新的數(shù)據(jù)進(jìn)行重新分析計(jì)算。