1.一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng),其特征在于,包括:攝像頭、商品信息提取模塊、價格顯示模塊、商品識別模塊、視覺分析模塊與視頻錄制模塊;其中:
攝像頭,用于采集圖像供商品信息提取模塊、視覺分析模塊與視頻錄制模塊使用;
商品信息提取模塊,用于在用戶攜帶所需購買的商品進入商品準(zhǔn)備區(qū)后提取各個商品的重量及圖像信息,還用于在掃碼區(qū)域獲取各個商品的條碼信息,且將每一商品的條碼、重量及圖像信息相關(guān)聯(lián);
價格顯示模塊,用于提取商品的條碼信息后顯示相應(yīng)商品的價格,并將各個商品的價格相加顯示最終的總價格;
商品識別模塊,用于根據(jù)商品的條碼、重量及圖像信息進行商品的識別與驗證;
視覺分析模塊,用于當(dāng)用戶進入商品準(zhǔn)備區(qū)后,利用視頻跟蹤技術(shù)對用戶的行為進行分析識別,直至結(jié)賬成功;
視頻錄制模塊,用于錄制結(jié)賬視頻信息并保存。
2.根據(jù)權(quán)利要求1所述的一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng),其特征在于,所述商品信息提取模塊包括:商品條碼提取模塊,商品重量提取模塊,商品圖像提取模塊;
商品重量提取模塊,用于通過計算商品準(zhǔn)備區(qū)中稱重臺上總商品重量與取走當(dāng)前商品后的重量之差,來確定當(dāng)前商品重量;
商品圖像提取模塊,用于將攝像頭實時采集的商品準(zhǔn)備區(qū)中當(dāng)前商品被取走前后的圖像做差獲得當(dāng)前商品的圖像信息;
所述商品條碼提取模塊,用于通過掃描槍獲取當(dāng)前商品的條碼信息。
3.根據(jù)權(quán)利要求1所述的一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng),其特征在于,所述根據(jù)商品的條碼、重量及圖像信息進行商品的識別與驗證包括:
對當(dāng)前商品的圖像信息中提取多個圖像特征點;
利用提取的多個圖像特征點作為單詞,在特征點索引庫中檢索,選取最相似的一部分商品作為初步結(jié)果;
對初步結(jié)果與當(dāng)前商品的圖像信息進行特征點幾何匹配,去除誤識結(jié)果;
將去除誤識結(jié)果后的檢索結(jié)果與當(dāng)前商品的重量和條碼信息融合,來對當(dāng)前商品進行驗證。
4.根據(jù)權(quán)利要求1所述的一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng),其特征在于,所述利用視頻跟蹤技術(shù)對用戶的行為進行分析識別包括:
利用深度圖和顏色圖進行人體骨骼定位,進而精準(zhǔn)定位手部;
對手部的運行軌跡進行跟蹤,并利用機器學(xué)習(xí)分類方法,對非正常的手勢進行識別。
5.根據(jù)權(quán)利要求1所述的一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng),其特征在于,該系統(tǒng)還包括:
結(jié)算模塊,用于通過掃描槍獲取用戶出示的付款碼,完成商品的結(jié)算。