本發(fā)明涉及儲(chǔ)物技術(shù)領(lǐng)域，特別是涉及一種冰箱內(nèi)部食物的種類識別方法與冰箱。

背景技術(shù)：

隨著社會(huì)的進(jìn)步和人們生活水平的提高，消費(fèi)者在購買食品時(shí)不僅關(guān)注食品的營養(yǎng)價(jià)值與安全，還會(huì)考慮價(jià)格、口感、外觀及新鮮程度等因素，而冰箱的角色也從單純的存儲(chǔ)保鮮逐漸轉(zhuǎn)變?yōu)槭巢墓芾碇行暮图彝I養(yǎng)中心，這也對冰箱提出了新的挑戰(zhàn)，同時(shí)，這也為各種智能識別技術(shù)應(yīng)用在冰箱上提供了契機(jī)。了解冰箱中存放食材種類的方式，也從打開冰箱門實(shí)際查看變?yōu)榱酥悄芑R別。利用自動(dòng)識別技術(shù)，在家用冰箱上實(shí)現(xiàn)食品的種類識別功能，已經(jīng)成為智能化冰箱的發(fā)展趨勢。

自動(dòng)識別技術(shù)就是應(yīng)用特定識別裝置，將被識別物品接近識別裝置，自動(dòng)獲取被識別物品的相關(guān)信息，并提供給計(jì)算機(jī)處理系統(tǒng)來完成相關(guān)后續(xù)處理的一種技術(shù)。目前應(yīng)用于冰箱的自動(dòng)識別技術(shù)包括射頻識別和圖像識別等，射頻識別是在放進(jìn)冰箱的食材上張貼射頻識別碼，利用安裝在冰箱上的射頻識別裝置進(jìn)行識別，該技術(shù)需要所購置的食材本身含有射頻識別碼，而目前市場上的大部分食品都不含有射頻識別碼，特別是蔬菜、水果，更是不含有識別碼，因此該技術(shù)受到了很大的應(yīng)用限制。

圖像識別技術(shù)也已應(yīng)用于冰箱上，但是正確識別率較低，由于該技術(shù)主要是依賴于對食材圖像顏色或者食材形狀、紋理的不同進(jìn)行識別，因此對于顏色、形狀相近的食材很難正確識別，比如桔子和橙子很難區(qū)別，識別結(jié)果為柑類，因此該技術(shù)的正確率需要進(jìn)一步提高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)目的是要提供一種準(zhǔn)確率高的冰箱內(nèi)部食物的種類識別方法。

本發(fā)明一個(gè)進(jìn)一步的目的是要冰箱識別食物種類的功能便于用戶使用。

本發(fā)明首先提供了一種冰箱內(nèi)部食物的種類識別方法，冰箱的儲(chǔ)物間室內(nèi)部形成有識別區(qū)域且布置有拍攝角度朝向識別區(qū)域的高光譜成像裝置，種類識別方法包括：控制高光譜成像裝置對識別區(qū)域內(nèi)放置的食物拍攝，并獲取拍攝得到的高光譜數(shù)據(jù)；從高光譜數(shù)據(jù)中提取出圖像特征信息和特征光譜信息；以及使用預(yù)設(shè)的識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配，以確定出食物的類型。

可選地，高光譜數(shù)據(jù)包括設(shè)定數(shù)量的三元數(shù)據(jù)組，每個(gè)三元數(shù)據(jù)組中包括一個(gè)像素點(diǎn)的兩個(gè)圖像像素元素和一個(gè)光譜波長元素，每個(gè)像素點(diǎn)具有多組三元數(shù)據(jù)組，并且圖像特征信息通過對圖像像素元素中數(shù)據(jù)分析提取得出，特征光譜信息通過對光譜波長元素中的數(shù)據(jù)分析提取得出。

可選地，使用預(yù)設(shè)的識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配包括：向布置有識別模型的網(wǎng)絡(luò)側(cè)設(shè)備發(fā)送圖像特征信息和特征光譜信息，以由網(wǎng)絡(luò)側(cè)設(shè)備使用識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配。

可選地，確定出食物的類型的步驟之后還包括：向用戶輸出識別結(jié)果，并接收用戶對識別結(jié)果的反饋，在反饋結(jié)果為正確的情況下，記錄識別結(jié)果以及對應(yīng)的圖像特征信息和特征光譜信息，以作為識別模型的后續(xù)訓(xùn)練樣本。

可選地，向用戶輸出識別結(jié)果的步驟包括：向與冰箱綁定的移動(dòng)終端發(fā)送包括識別結(jié)果的消息。

可選地，在確定出食物的類型的步驟之后還包括：獲取與食物類型匹配的保存信息，并按照保存信息建立食物的儲(chǔ)藏檔案。

根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種冰箱，其包括：箱體，其內(nèi)限定有儲(chǔ)物間室，儲(chǔ)物間室內(nèi)形成有識別區(qū)域；高光譜成像裝置，設(shè)置于箱體內(nèi)部并且拍攝角度朝向識別區(qū)域，并配置成拍攝識別區(qū)域內(nèi)放置的食物，以得到該食物的高光譜數(shù)據(jù)；高光譜數(shù)據(jù)處理裝置，配置成從高光譜數(shù)據(jù)中提取出圖像特征信息和特征光譜信息；識別裝置，配置成使用預(yù)設(shè)的識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配，以確定出食物的類型。

可選地，高光譜成像裝置使用廣角鏡頭或者魚眼鏡頭，并且設(shè)置于識別區(qū)域的正上方。

可選地，上述冰箱還包括：光源系統(tǒng)，設(shè)置于識別區(qū)域內(nèi)，以為高光譜成像裝置提供拍攝光線，其中光源系統(tǒng)的光譜范圍設(shè)置為400～1100nm。

可選地，光源系統(tǒng)設(shè)置于識別區(qū)域的頂壁后部，向斜下方提供拍攝光線。

本發(fā)明的冰箱內(nèi)部食物的種類識別方法與冰箱，在冰箱內(nèi)部設(shè)置高光譜成像裝置，拍攝得到食物的高光譜數(shù)據(jù)，綜合利用圖像信息和光譜信息進(jìn)行食物的種類識別，識別的準(zhǔn)確率高。

進(jìn)一步地，本發(fā)明的冰箱內(nèi)部食物的種類識別方法與冰箱，還可以利用云技術(shù)進(jìn)行食物的高光譜數(shù)據(jù)的處理和分析，并直接通過用戶終端輸出識別信息，大大提高了用戶的便利性。

根據(jù)下文結(jié)合附圖對本發(fā)明具體實(shí)施例的詳細(xì)描述，本領(lǐng)域技術(shù)人員將會(huì)更加明了本發(fā)明的上述以及其他目的、優(yōu)點(diǎn)和特征。

附圖說明

后文將參照附圖以示例性而非限制性的方式詳細(xì)描述本發(fā)明的一些具體實(shí)施例。附圖中相同的附圖標(biāo)記標(biāo)示了相同或類似的部件或部分。本領(lǐng)域技術(shù)人員應(yīng)該理解，這些附圖未必是按比例繪制的。附圖中：

圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱的示意圖；

圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱中識別區(qū)域的示意圖；

圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱的功能示意框圖；以及

圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱的內(nèi)部食物的種類識別方法的示意圖。

具體實(shí)施方式

圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱10的示意圖，圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱10中識別區(qū)域的示意圖。圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱10的功能示意框圖。本實(shí)施例的冰箱10一般性地可以包括：箱體110、門體120、高光譜成像裝置210、高光譜數(shù)據(jù)處理裝置230、光源系統(tǒng)220、識別裝置240等。

箱體110內(nèi)限定有至少一個(gè)前側(cè)敞開的儲(chǔ)物間室，通常為多個(gè)，如冷藏室、冷凍室、變溫室等等。具體的儲(chǔ)物間室的數(shù)量和功能可以根據(jù)預(yù)先的需求進(jìn)行配置，在一些實(shí)施例中，冷藏室的保藏溫度可為2～9℃，或者可為4～7℃；冷凍室的保藏溫度可為-22～-14℃，或者可為-20～16℃。冷凍室設(shè)置于冷藏室的下方，變溫室設(shè)置于冷凍室和冷藏室之間。冷凍室內(nèi)的溫度范圍一般在-14℃至-22℃。變溫室可根據(jù)需求進(jìn)行調(diào)整，以儲(chǔ)存合適的食物，或者作為保鮮儲(chǔ)藏室。

門體120，設(shè)置于箱體110前側(cè)，用于開閉儲(chǔ)物間室。例如門體120可以通過鉸接的方式設(shè)置箱體110前部的一側(cè)，通過樞轉(zhuǎn)的方式開閉儲(chǔ)物間室，門體120的數(shù)量可以與儲(chǔ)物間室的數(shù)量匹配，從而可以將儲(chǔ)物間室逐一單獨(dú)開啟。例如可以為冷藏室、冷凍室、變溫室分別設(shè)置冷藏室門體、冷凍室門體、變溫室門體。在一些可選實(shí)施例中，門體120也可以采用平開門、對開門、側(cè)滑門、抽拉門等形式。

儲(chǔ)物間室由制冷系統(tǒng)提供冷量，以實(shí)現(xiàn)冷藏、冷凍、變溫的儲(chǔ)物環(huán)境。制冷系統(tǒng)可為由壓縮機(jī)、冷凝器、節(jié)流裝置和蒸發(fā)器等構(gòu)成的制冷循環(huán)系統(tǒng)。蒸發(fā)器配置成直接或間接地向儲(chǔ)物間室內(nèi)提供冷量。例如壓縮式直冷冰箱中，蒸發(fā)器可設(shè)置于冰箱內(nèi)膽的后壁面外側(cè)或內(nèi)側(cè)。壓縮式風(fēng)冷冰箱中，箱體110內(nèi)還具有蒸發(fā)器室，蒸發(fā)器室通過風(fēng)路系統(tǒng)與儲(chǔ)物間室連通，且蒸發(fā)器室內(nèi)設(shè)置蒸發(fā)器，出口處設(shè)置有風(fēng)機(jī)，以向儲(chǔ)物間室進(jìn)行循環(huán)制冷。由于上述箱體110、門體120、制冷系統(tǒng)本身是本領(lǐng)域技術(shù)人員習(xí)知且易于實(shí)現(xiàn)的，為了不掩蓋和模糊本申請的發(fā)明點(diǎn)，后文對箱體110、門體120、制冷系統(tǒng)本身不做贅述。

儲(chǔ)物間室內(nèi)形成有識別區(qū)域130，該識別區(qū)域130可以作為一個(gè)單獨(dú)的儲(chǔ)物間室，在另一些可選實(shí)施例中，識別區(qū)域130可以是某一儲(chǔ)物間室的某一層，例如可以為冷藏間室的某一層。

高光譜成像裝置210，設(shè)置于箱體110內(nèi)部并且拍攝角度朝向識別區(qū)域130，并配置成拍攝識別區(qū)域130內(nèi)放置的食物300，以得到該食物300的高光譜數(shù)據(jù)。高光譜數(shù)據(jù)可以為一系列三元數(shù)據(jù)組，每個(gè)三元數(shù)據(jù)組中包括一個(gè)像素點(diǎn)的兩個(gè)圖像像素元素和一個(gè)光譜波長元素，每個(gè)像素點(diǎn)具有多組三元數(shù)據(jù)組。因此高光譜數(shù)據(jù)同時(shí)獲得每個(gè)像素點(diǎn)的連續(xù)光譜數(shù)據(jù)和每個(gè)光譜波段的連續(xù)圖像數(shù)據(jù)。高光譜圖像是連續(xù)波長的光學(xué)圖像，光譜范圍可以設(shè)置為200nm到2500nm，具有更高的光譜分辨率，分辨率可達(dá)到2～3nm。高光譜數(shù)據(jù)可以用三維數(shù)據(jù)塊來表示，其中二維是圖像像素信息(x，y)，第三維是波長信息(λ)。分辨率為x×y像素的圖像檢測器陣列在n個(gè)波長處獲得的數(shù)據(jù)立方是x×y×λ的三維陣列。

由于識別區(qū)域130的空間有限，為了保證高光譜成像裝置210能夠拍攝到識別區(qū)域130內(nèi)放置的食物300的全貌。高光譜成像裝置210優(yōu)選使用廣角鏡頭或者魚眼鏡頭，并且設(shè)置于識別區(qū)域130的正上方。

光源系統(tǒng)220，設(shè)置于識別區(qū)域130內(nèi)，以為高光譜成像裝置210提供拍攝光線，其中光源系統(tǒng)220的光譜范圍設(shè)置為400～1100nm。光源系統(tǒng)220可以設(shè)置于識別區(qū)域130的頂壁后部，向斜下方提供拍攝光線。

高光譜數(shù)據(jù)處理裝置230，配置成從高光譜數(shù)據(jù)中提取出圖像特征信息和特征光譜信息，其中圖像特征信息通過對圖像像素元素中數(shù)據(jù)分析提取得出，特征光譜信息通過對光譜波長元素中的數(shù)據(jù)分析提取得出。

識別裝置240，配置成使用預(yù)設(shè)的識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配，以確定出食物300的類型。

高光譜數(shù)據(jù)處理裝置230和識別裝置240可以對高光譜數(shù)據(jù)進(jìn)行分割、分類，從而自動(dòng)確定物品的類型。例如識別裝置240可以布置于服務(wù)器側(cè)，高光譜數(shù)據(jù)處理裝置230對高光譜數(shù)據(jù)進(jìn)行初步處理后，向布置有識別模型的網(wǎng)絡(luò)側(cè)設(shè)備發(fā)送圖像特征信息和特征光譜信息，以由網(wǎng)絡(luò)側(cè)設(shè)備使用識別裝置240的識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配。

在識別裝置240確定出食物300的類型后，還可向用戶輸出識別結(jié)果，并接收用戶對識別結(jié)果的反饋，在反饋結(jié)果為正確的情況下，記錄識別結(jié)果以及對應(yīng)的圖像特征信息和特征光譜信息，以作為識別模型的后續(xù)訓(xùn)練樣本。

與用戶的交互可以通過冰箱10的人機(jī)交互系統(tǒng)實(shí)現(xiàn)，例如在冰箱10的顯示屏上進(jìn)行輸出，利用輸入裝置接收用戶的反饋。在另一種實(shí)施例中，可以向與冰箱10綁定的移動(dòng)終端發(fā)送包括識別結(jié)果的消息，并接收用戶通過移動(dòng)終端反饋的消息。

識別裝置240可以預(yù)先選擇一定數(shù)量的食物及其高光譜數(shù)據(jù)作為訓(xùn)練樣本，利用這些訓(xùn)練樣本對判決函數(shù)進(jìn)行訓(xùn)練，得到識別模型。然后在識別過程中，將圖像特征信息和特征光譜信息輸入識別模型，按照不同的規(guī)則將其劃分到與其最接近的分類中，完成類型的確定。其可以使用匹配算法包括：最小距離法，最大似然法，馬氏距離法、SVM(Support Vector Machine，支持向量機(jī))。識別模型通過迭代處理，確定與圖像特征信息和特征光譜信息最接近的分類(即食物類型)。

例如，用戶在識別區(qū)域130內(nèi)放置一個(gè)蘋果后，通過冰箱10上的按鈕或者移動(dòng)終端下發(fā)識別指令。高光譜成像裝置210對識別區(qū)域130進(jìn)行拍攝，得到包括蘋果在內(nèi)的高光譜數(shù)據(jù)，高光譜數(shù)據(jù)處理裝置230對高光譜數(shù)據(jù)進(jìn)行初步處理，從高光譜數(shù)據(jù)中確定出蘋果的圖像(進(jìn)行分割)，然后從分割出的圖像中提取出圖像特征信息和特征光譜信息，以供識別裝置240進(jìn)行識別。識別裝置240，將光譜檢測技術(shù)與圖像識別技術(shù)相結(jié)合，可同時(shí)對食物300的光譜數(shù)據(jù)和空間圖像信息進(jìn)行分析。高光譜成像技術(shù)能夠快速、無損獲取食品的品質(zhì)信息及其空間分布，從而實(shí)現(xiàn)高準(zhǔn)確率的食材種類識別。在確定出放入的物品為蘋果后，可以向用戶輸出識別結(jié)果，如果確定識別正確，該次識別的結(jié)果可以作為識別模型的后續(xù)訓(xùn)練樣本。另外在確定食物300的類型后，還可以進(jìn)一步建立該食物300的儲(chǔ)藏檔案，記錄食物300的儲(chǔ)藏信息(例如保質(zhì)期、保存環(huán)境)，為食物的智能管理提供數(shù)據(jù)基礎(chǔ)。

本實(shí)施例還提供了一種冰箱內(nèi)部食物的種類識別方法，該種類識別方法可以用于上述任一實(shí)施例的冰箱10，對冰箱10內(nèi)部的識別區(qū)域130的食物進(jìn)行識別。圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的冰箱的內(nèi)部食物的種類識別方法的示意圖。該冰箱內(nèi)部食物的種類識別方法一般性地可以包括：

步驟S402，控制高光譜成像裝置210對識別區(qū)域130內(nèi)放置的食物300拍攝，并獲取拍攝得到的高光譜數(shù)據(jù)；

步驟S404，從高光譜數(shù)據(jù)中提取出圖像特征信息和特征光譜信息；

步驟S406，使用預(yù)設(shè)的識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配，以確定出食物300的類型。

可選地，高光譜數(shù)據(jù)包括設(shè)定數(shù)量的三元數(shù)據(jù)組，每個(gè)三元數(shù)據(jù)組中包括一個(gè)像素點(diǎn)的兩個(gè)圖像像素元素和一個(gè)光譜波長元素，每個(gè)像素點(diǎn)具有多組三元數(shù)據(jù)組，并且圖像特征信息通過對圖像像素元素中數(shù)據(jù)分析提取得出，特征光譜信息通過對光譜波長元素中的數(shù)據(jù)分析提取得出。高光譜數(shù)據(jù)可以用三維數(shù)據(jù)塊來表示，其中二維是圖像像素信息(x，y)，第三維是波長信息(λ)。分辨率為x×y像素的圖像檢測器陣列在n個(gè)波長處獲得的數(shù)據(jù)立方是x×y×λ的三維陣列。

步驟S406，可以采取云識別的方式進(jìn)行，例如向布置有識別模型的網(wǎng)絡(luò)側(cè)設(shè)備發(fā)送圖像特征信息和特征光譜信息，以由網(wǎng)絡(luò)側(cè)設(shè)備使用識別模型對圖像特征信息和特征光譜信息進(jìn)行匹配。在確定出食物300的類型的步驟之后還包括：向用戶輸出識別結(jié)果，并接收用戶對識別結(jié)果的反饋，在反饋結(jié)果為正確的情況下，記錄識別結(jié)果以及對應(yīng)的圖像特征信息和特征光譜信息，以作為識別模型的后續(xù)訓(xùn)練樣本。

向用戶輸出識別結(jié)果可以通過在冰箱10的顯示屏上進(jìn)行輸出，另一種可選方式為向與冰箱10綁定的移動(dòng)終端發(fā)送包括識別結(jié)果的消息。在確定出食物300的類型的步驟之后還包括：獲取與食物類型匹配的保存信息，并按照保存信息建立食物300的儲(chǔ)藏檔案。記錄食物300的儲(chǔ)藏信息(例如保質(zhì)期、保存環(huán)境)，為食物300的智能管理提供數(shù)據(jù)基礎(chǔ)。

一次識別的具體過程可以包括：

用戶在冰箱10的操作界面選擇開始識別或者通過與冰箱10綁定的移動(dòng)終端向冰箱10下發(fā)開始識別的指令，光源系統(tǒng)220和高光譜成像裝置210在獲取到開始識別的指令后，其中光源系統(tǒng)220的光譜范圍為400～1100nm；

高光譜成像裝置210對識別區(qū)域130進(jìn)行拍攝，獲取食材圖像和光譜數(shù)據(jù)，獲取的圖像分辨率可以為1280×1024像素，獲取的每個(gè)像素點(diǎn)的光譜數(shù)據(jù)光譜分辨率為2nm；

將獲取的高光譜數(shù)據(jù)進(jìn)行預(yù)處理，分別提取待測食物300種類對應(yīng)的圖像特征信息和特征光譜信息，之后將得到的特征信息代入已經(jīng)建立好的食材種類識別模型；

綜合圖像數(shù)據(jù)和光譜數(shù)據(jù)的特征信息，通過已經(jīng)建立的高準(zhǔn)確度智能算法模型，進(jìn)行食材的種類識別，得到食材類型結(jié)果，并將識別結(jié)果反饋給用戶；

根據(jù)確定出的食物類型，建立該食物300的儲(chǔ)藏檔案，記錄食物300的儲(chǔ)藏信息(例如保質(zhì)期、保存環(huán)境)，為用戶食物300的智能管理提供數(shù)據(jù)基礎(chǔ)。由于綜合使用了圖像和光譜兩項(xiàng)特征，顯著提高了識別正確率。

至此，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識到，雖然本文已詳盡示出和描述了本發(fā)明的多個(gè)示例性實(shí)施例，但是，在不脫離本發(fā)明精神和范圍的情況下，仍可根據(jù)本發(fā)明公開的內(nèi)容直接確定或推導(dǎo)出符合本發(fā)明原理的許多其他變型或修改。因此，本發(fā)明的范圍應(yīng)被理解和認(rèn)定為覆蓋了所有這些其他變型或修改。