本發(fā)明涉及超市自助結(jié)賬、圖像分析領(lǐng)域，尤其涉及一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng)。

背景技術(shù)：

目前，隨著互聯(lián)網(wǎng)技術(shù)與計算機技術(shù)發(fā)展，尤其硬件制造與機器學習迅速發(fā)展，利用機器學習可以代替生活中很多簡單的重復的人類工作。可以預見，隨著時間的推移，人工智能將逐漸成熟，機器將取代生活中的方方面。同時，網(wǎng)絡(luò)支付已經(jīng)應用在日常生活中的方方面面，包括現(xiàn)有的超市結(jié)賬系統(tǒng)。

現(xiàn)有超市結(jié)賬系統(tǒng)，需要大量收銀員每天做同一種重復的工作。針對成本以及效率問題，將以機器學習為基礎(chǔ)的圖像識別與視頻分析技術(shù)應用在超市自助結(jié)賬系統(tǒng)以便于提高超市系統(tǒng)質(zhì)量和辦公效率，因而，商品識別以及人體行為的視覺分析是實現(xiàn)自動化結(jié)賬的必然需求。

然而，現(xiàn)有超市自助結(jié)賬系統(tǒng)中，都是建立在顧客誠信的基礎(chǔ)上，還沒有一種有效的手段來完成結(jié)賬過程中存在的異常行為，以保證和滿足超市結(jié)賬系統(tǒng)準確、穩(wěn)定、高效的嚴格要求。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng)，可以提高超市結(jié)賬系統(tǒng)的自動化程度，并節(jié)約成本，提高效率，保證穩(wěn)定性。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng)，包括：攝像頭、商品信息提取模塊、價格顯示模塊、商品識別模塊、視覺分析模塊與視頻錄制模塊；其中：

攝像頭，用于采集圖像供商品信息提取模塊、視覺分析模塊與視頻錄制模塊使用；

商品信息提取模塊，用于在用戶攜帶所需購買的商品進入商品準備區(qū)后提取各個商品的重量及圖像信息，還用于在掃碼區(qū)域獲取各個商品的條碼信息，且將每一商品的條碼、重量及圖像信息相關(guān)聯(lián)；

價格顯示模塊，用于提取商品的條碼信息后顯示相應商品的價格，并將各個商品的價格相加顯示最終的總價格；

商品識別模塊，用于根據(jù)商品的條碼、重量及圖像信息進行商品的識別與驗證；

視覺分析模塊，用于當用戶進入商品準備區(qū)后，利用視頻跟蹤技術(shù)對用戶的行為進行分析識別，直至結(jié)賬成功；

視頻錄制模塊，用于錄制結(jié)賬視頻信息并保存。

所述商品信息提取模塊包括：商品條碼提取模塊，商品重量提取模塊，商品圖像提取模塊；

商品重量提取模塊，用于通過計算商品準備區(qū)中稱重臺上總商品重量與取走當前商品后的重量之差，來確定當前商品重量；

商品圖像提取模塊，用于將攝像頭實時采集的商品準備區(qū)中當前商品被取走前后的圖像做差獲得當前商品的圖像信息；

所述商品條碼提取模塊，用于通過掃描槍獲取當前商品的條碼信息。

所述根據(jù)商品的條碼、重量及圖像信息進行商品的識別與驗證包括：

對當前商品的圖像信息中提取多個圖像特征點；

利用提取的多個圖像特征點作為單詞，在特征點索引庫中檢索，選取最相似的一部分商品作為初步結(jié)果；

對初步結(jié)果與當前商品的圖像信息進行特征點幾何匹配，去除誤識結(jié)果；

將去除誤識結(jié)果后的檢索結(jié)果與當前商品的重量和條碼信息融合，來對當前商品進行驗證。

所述利用視頻跟蹤技術(shù)對用戶的行為進行分析識別包括：

利用深度圖和顏色圖進行人體骨骼定位，進而精準定位手部；

對手部的運行軌跡進行跟蹤，并利用機器學習分類方法，對非正常的手勢進行識別。

該系統(tǒng)還包括：

結(jié)算模塊，用于通過掃描槍獲取用戶出示的付款碼，完成商品的結(jié)算。

由上述本發(fā)明提供的技術(shù)方案可以看出，利用多種信息融合的方式對商品進行識別，具有可靠性；同時跟蹤并分析顧客的行為，自動化地對顧客結(jié)賬過程進行監(jiān)督，節(jié)約人力成本；多個模塊協(xié)作，保證了整個系統(tǒng)的穩(wěn)定性。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實施例提供的一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng)的示意圖；

圖2為本發(fā)明實施例提供的為基于視覺分析的超市自助結(jié)賬智能系統(tǒng)的實施流程圖；

圖3為本發(fā)明實施例提供的提取商品圖像信息的流程圖；

圖4為本發(fā)明實施例提供的商品識別與驗證的流程圖。

具體實施方式

下面結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明的保護范圍。

圖1為本發(fā)明實施例提供的一種基于視覺分析的超市自助結(jié)賬智能系統(tǒng)的示意圖。如圖1所示，其主要包括：攝像頭、商品信息提取模塊、價格顯示模塊、商品識別模塊、視覺分析模塊與視頻錄制模塊；其中：

攝像頭，用于采集圖像信息供商品信息提取模塊、視覺分析模塊與視頻錄制模塊使用；

商品信息提取模塊，用于在用戶攜帶所需購買的商品進入商品準備區(qū)后提取各個商品的重量及圖像信息，還用于在掃碼區(qū)域獲取各個商品的條碼信息，且將每一商品的條碼、重量及圖像信息相關(guān)聯(lián)；

價格顯示模塊，用于提取商品的條碼信息后顯示相應商品的價格，并將各個商品的價格相加顯示最終的總價格；

商品識別模塊，用于根據(jù)商品的條碼、重量及圖像信息進行商品的識別與驗證；

視覺分析模塊，用于當用戶進入商品準備區(qū)后，利用視頻跟蹤技術(shù)對用戶的行為進行分析識別，直至結(jié)賬成功；

視頻錄制模塊，用于錄制結(jié)賬視頻信息并保存。

為了便于理解，下面結(jié)合具體示例來進行說明。

如圖2所示，為基于視覺分析的超市自助結(jié)賬智能系統(tǒng)的實施流程圖。場景中主要分為三個區(qū)域：商品準備區(qū)、掃碼區(qū)、已結(jié)算區(qū)；相應的系統(tǒng)實施時主要分為三個階段：商品準備階段、掃碼階段、結(jié)算階段；具體如下：

一、商品準備階段與掃碼階段。

當用戶攜帶需購買的商品進入商品準備區(qū)時，則進入商品準備階段；此時，視覺分析模塊開始工作，其利用視頻跟蹤技術(shù)對用戶的行為進行分析識別；具體的：利用深度圖和顏色圖進行人體骨骼定位，進而精準定位手部；對手部的運行軌跡進行跟蹤，并利用機器學習分類方法(SVM，Adaboost，深度學習等分類方法)，對非正常的手勢進行識別。同時，視頻錄制模塊也開始存儲攝像頭采集的視頻。

用戶進入商品準備區(qū)時，需要將商品攤放在稱重臺(計重平臺)上，然后再逐一拿起商品至掃描槍掃描相應商品的條碼；因此，本示例中將這兩個階段放在一起介紹。在這一過程中商品信息提取模塊會開始工作，以提取各個商品的重量、條碼與圖像信息，這些信息可以由商品信息提取模塊內(nèi)的商品條碼提取模塊，商品重量提取模塊，商品圖像提取模塊來完成；其中：

商品重量提取模塊，是根據(jù)稱重臺上總商品重量與取走當前商品后的重量之差，來確定當前商品重量；示例性的，將拿起商品A之前的總重量N減去拿起商品A之后的總重量n，即可獲得商品A的重量為N-n。

商品圖像提取模塊，用于將攝像頭實時采集的商品準備區(qū)中當前商品被取走前后的圖像做差獲得當前商品的圖像信息。如圖3所示，為提取商品圖像信息的流程圖，該模塊需要調(diào)用攝像頭采集圖像，提取用戶拿起商品A之前的同步前景圖像，提取用戶拿起商品A之后的異步前景圖像，將二者做差可以得到商品A位置所在區(qū)域，從而可以得到該區(qū)域的商品圖像。前景提取方法可以包括：MOG(高斯混合背景模型)、MOG2(自適應高斯混合背景)等前景提取或背景建模。

商品條碼提取模塊，直接通過掃描槍獲取當前商品的條碼信息。

用戶從稱重臺上拿起一個商品后，該商品的重量、圖像會被商品信息提取模塊直接獲得，同時，再通過掃碼區(qū)的掃描槍可以直接獲得商品的條碼信息；基于這樣的流程，很容易的可以將同一商品的上述三個信息相關(guān)聯(lián)起來。

此外，在掃描到商品的條碼信息后，掃碼區(qū)的價格顯示模塊會顯示相應商品的價格，以及當前用戶掃描的所有商品的總價格。

同時，商品識別模塊還會根據(jù)商品信息提取模塊提取的信息來對各個商品進行識別與驗證；驗證的目的是為了確認商品真實性，例如，商品內(nèi)的物品是否被掉包等。

如圖4所示，商品識別與驗證的過程主要包括：

特征點提?。簩Ξ斍吧唐返膱D像信息中提取多個圖像特征點；可以包括：SIFT、SURF等局部特征點。

特征點索引庫檢索：利用提取的多個圖像特征點作為單詞，在特征點索引庫中檢索，選取最相似的一部分商品作為初步結(jié)果；

幾何后處理：對初步結(jié)果與當前商品的圖像信息進行特征點幾何匹配，去除誤識結(jié)果；

多信息融合后處理：將去除誤識結(jié)果后的檢索結(jié)果與當前商品的重量和條碼信息融合，來對當前商品進行驗證。

如果驗證確定商品無誤，則不會返回任何提示；如果某一商品驗證失敗，則會通知管理人員做商品的手動驗證等。

二、結(jié)算階段。

當所有商品掃碼結(jié)束之后，則等待用戶結(jié)算；此時，結(jié)算模塊啟動，其通過掃描槍獲取用戶出示的付款碼，完成商品的結(jié)算；至此，當前用戶結(jié)算成功，視覺分析模塊與視頻錄制模塊可以暫停工作，等待下一位用戶進入商品等待區(qū)。

通過上述本發(fā)明實施例可以為超市結(jié)賬系統(tǒng)提供一種方便、快捷、可靠以機器學習輔助的超市自助購物結(jié)賬系統(tǒng)處理方案，在該實施例中，基本不需要人工操作，節(jié)約了大量人力成本，并能對顧客結(jié)賬流程進行監(jiān)督分析以及存檔。

上述本發(fā)明實施例的實現(xiàn)可以使得顧客在超市自助結(jié)賬時，對商品進行識別計數(shù)，對顧客行為異常作分析，能夠有效保證自助結(jié)賬流程的穩(wěn)定有序進行。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，僅以上述各功能模塊的劃分進行舉例說明，實際應用中，可以根據(jù)需要而將上述功能分配由不同的功能模塊完成，即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應該以權(quán)利要求書的保護范圍為準。