心、方塊、梅花和無將NT)，1?7的數(shù)字，加上一些特殊的符號牌，如“PASS”、“X” (加倍)、“XX” (再加倍)和“STOP”等構(gòu)成，如圖1所示。橋牌叫牌卡片的外觀比較規(guī)范化，不同廠家生產(chǎn)的牌基本上都一樣。
[0044]在整個橋牌比賽過程中，所有的牌都必須放在推盤上，圖3展示了兩個不同廠家生產(chǎn)的推盤。每位牌手的牌只能放在推盤上固定的位置，圖3中推盤上的4個矩形框就是每位玩家的放牌位置。在整個比賽過程中推盤在桌上會被移動，有時會發(fā)生一定角度的旋轉(zhuǎn)。
[0045]2、攝像頭視頻流的獲取
[0046]視頻流的獲取是利用攝像頭的SDK文件，應(yīng)用API從攝像頭采集到一幀幀現(xiàn)場的原碼流，再分離出視頻流(原碼流有音頻流和視頻流)，通過API解碼得到Y(jié)UV420格式的視頻流。
[0047]YUV,分為三個分量，Y表示明亮度，也是灰度值；而U和V表示色度。YUV碼流的采樣方式有三種:YUV4: 4: 4，YUV4: 2: 2，YUV4: 2: 0，根據(jù)采樣方式從碼流中還原每個像素點(diǎn)的YUV值，圖4直觀的表示采樣的方式，以黑點(diǎn)表示采樣該像素點(diǎn)的Y分量，以空心圓圈表示采用該像素點(diǎn)的UV分量。本系統(tǒng)采用YUV420，YUV420對每行掃描線來說，只有一種色度分量以2: I的抽樣率存儲，進(jìn)行隔行掃描，相鄰的掃描行存儲不同的色度分量。再把YUV420轉(zhuǎn)化為RGB的圖像。
[0048]3、推盤和放牌區(qū)的定位跟蹤
[0049]在一張很大分辨率的圖像中找到放牌區(qū)是非常困難的，如1920X1080中的放牌區(qū)是150X150。本發(fā)明在推盤上貼上若干易于定位和識別的特殊圖案，通過識別定位這些特殊圖案來定位放牌區(qū)。在推盤的放牌區(qū)分別貼上E、W、S、N四個字母的圖案，在推盤的內(nèi)部貼上1、2、3數(shù)字的圖案，如圖5所示。
[0050]任意兩個數(shù)字連成的直線就可以構(gòu)成一個極坐標(biāo)系，如圖5所示。比賽最開始的時候記錄下4個字母在極坐標(biāo)系中的角度和距離，在比賽過程中，無論推盤在圖像中處于任何位置、任何角度，由于字母和數(shù)字之間的相對位置是不會變化，我們可以通過定位其中兩個數(shù)字來定位其他字母，從而確定放牌區(qū)。
[0051]4、基于深度信念網(wǎng)絡(luò)的叫牌卡片識別
[0052]深度信念網(wǎng)絡(luò)(De印Belief Nets, DBN)是Hinton等人于2006年提出，并給出該模型的高效學(xué)習(xí)算法⑶-k。DBN是由若干個受限波爾茲曼(Restricted BlotzmannMachines，RBM)組成。RBM是一類具有兩層結(jié)構(gòu)、層間全連接、層內(nèi)無連接的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，如圖6所示。RBM是一種有效的特征提取方法，DBN具有更強(qiáng)大的學(xué)習(xí)能力，能提取數(shù)據(jù)中復(fù)雜抽象的特征。
[0053]DBN的訓(xùn)練由低到高逐層訓(xùn)練RBM，每層之間的訓(xùn)練是相互獨(dú)立:
[0054]I)底部RBM以輸入原始數(shù)據(jù)訓(xùn)練
[0055]2)將底部RBM提取的特征作為下一層RBM的輸入數(shù)據(jù)進(jìn)行訓(xùn)練
[0056]本系統(tǒng)中分類模型是由兩層RBM的深度信念網(wǎng)絡(luò)和一層BP分類器構(gòu)成。第一層RBM輸入是樣本數(shù)據(jù)二值化后連通塊的像素值，樣本二值化如圖7所示。第一層RBM訓(xùn)練提取低級的特征，如邊緣，輪廓，將提取的特征輸入下一層RBM，第二層RBM提取更高級的特征，如目標(biāo)的形狀。再把提取的特征交給BP分類器建立分類模型。
[0057]5、系統(tǒng)運(yùn)行界面顯示
[0058]I)實(shí)施過程需要的設(shè)備:
[0059]一張桌子(上面有擋板和架子可以懸掛攝像頭)，四個椅子(牌手使用)，攝像頭，一條網(wǎng)線，一臺電腦。
[0060]2)實(shí)時識別顯示
[0061]啟動系統(tǒng)后需要大概3min加載深度信念網(wǎng)絡(luò)模型參數(shù)。系統(tǒng)啟動后進(jìn)入顯示界面，如圖8所示，最上面的顯示為每位牌手當(dāng)前出牌的英文顯示，中間是每位牌手當(dāng)前出牌的中文顯示，最下面是每位牌手整個打牌過程的記錄。圖9展示了一個叫牌場景和系統(tǒng)自動識別的記錄情況。圖10是橋牌叫牌自動識別系統(tǒng)程序流程圖。圖11是基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別系統(tǒng)的攝像頭A與電腦B的連接關(guān)系示意圖。
[0062]本發(fā)明主要在于推盤和放牌區(qū)的定位跟蹤，橋牌叫牌卡片的識別。
[0063]橋牌的定位跟蹤是基于橋牌比賽的特定環(huán)境，提出了一種創(chuàng)新的橋牌定位方法。本發(fā)明設(shè)計(jì)了若干個特殊的圖案并貼在比賽推盤上，通過對這些圖案的識別，根據(jù)極坐標(biāo)系原理定位放牌區(qū)，取得了較高的定位準(zhǔn)確率。其次，將深度信念網(wǎng)絡(luò)應(yīng)用于橋牌卡片的識別，取得與人工識別相當(dāng)?shù)臏?zhǔn)確率。
[0064]本發(fā)明設(shè)計(jì)并識別特殊圖案，建立極坐標(biāo)系定位放牌區(qū)。
[0065]本發(fā)明的卡片識別是應(yīng)用深度信念網(wǎng)絡(luò)建立分類模型，深度信念網(wǎng)絡(luò)有三層網(wǎng)絡(luò)，兩層RBM提取低級特征(邊緣輪廓)和高級特征(圖形形狀)，最后一層是BP分類器進(jìn)行特征分類。
【主權(quán)項(xiàng)】
1.基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別方法，其特征在于包括以下步驟: 1)利用攝像頭獲取叫牌過程的視頻數(shù)據(jù)，通過網(wǎng)絡(luò)將視頻數(shù)據(jù)實(shí)時傳至計(jì)算機(jī)； 2)應(yīng)用圖像處理技術(shù)定位推盤位置和放牌區(qū)； 3)接著建立深度信念網(wǎng)絡(luò)模型進(jìn)行叫牌卡片識別。
2.如權(quán)利要求1所述基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別方法，其特征在于在步驟I)中，所述利用攝像頭獲取叫牌過程的視頻數(shù)據(jù)的方法為:利用攝像頭的SDK文件，應(yīng)用API采集到現(xiàn)場的原碼流并解碼為YUV420格式的視頻流，根據(jù)YUV轉(zhuǎn)為RGB的公式把YUV420視頻流轉(zhuǎn)化為一幀幀的RGB圖像。
3.如權(quán)利要求1所述基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別方法，其特征在于在步驟2)中，所述應(yīng)用圖像處理技術(shù)定位推盤位置和放牌區(qū)的具體方法為:推盤和放牌區(qū)的定位跟蹤是設(shè)計(jì)一圖案并貼在推盤上，通過識別該圖案建立極坐標(biāo)系，根據(jù)該圖案的初始化信息定位放牌區(qū)。
4.如權(quán)利要求1所述基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別方法，其特征在于在步驟3)中，所述叫牌卡片識別的方法為:利用深度信念網(wǎng)絡(luò)提取樣本的特征，并交給BP分類器建立分類模型。
5.如權(quán)利要求1所述基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別方法，其特征在于在步驟3)中，叫牌的順序和識別結(jié)果顯示是在運(yùn)行界面顯示每位牌手當(dāng)前叫牌卡片的中文和英文，每位牌手歷史叫牌的記錄。
6.基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別系統(tǒng)，其特征在于設(shè)有: 攝像頭，攝像頭用于獲取自動實(shí)時識別和記錄牌手叫牌過程的視頻信號； 方形桌，方形桌中間設(shè)有擋板，用于隔開同一比賽隊(duì)的兩家牌手；方形桌桌面正上方安置攝像頭； 推盤，推盤上貼有用于定位橋牌位置的若干個圖案，推盤上設(shè)有4個矩形框，所述矩形框用于每位玩家的放牌位置；推盤在方形桌上可移動或旋轉(zhuǎn)；推盤上設(shè)有放牌區(qū)，放牌區(qū)上分別貼上E、W、S、N四個字母的圖案，在推盤的內(nèi)部貼上1、2、3數(shù)字的圖案； 叫牌卡片，叫牌卡片設(shè)有5種不同的花色、I?7的數(shù)字、符號牌；叫牌卡片放置在推盤上; 椅，為比賽牌手提供座位； 電腦，電腦通過網(wǎng)線與攝像頭視頻信號輸出端連接。
7.如權(quán)利要求6所述基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別系統(tǒng)，其特征在于所述攝像頭離方形桌桌面的距離為0.8?1.2m。
8.如權(quán)利要求6所述基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別系統(tǒng)，其特征在于所述5種不同的花色為黑桃、紅心、方塊、梅花和無將NT。
9.如權(quán)利要求6所述基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別系統(tǒng)，其特征在于所述符號牌采用PASS，X即加倍，XX即再加倍，STOP。
【專利摘要】基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別方法及識別系統(tǒng)，涉及圖像識別。提供可自動準(zhǔn)確實(shí)時地識別牌手的叫牌信息，無需改變牌手的傳統(tǒng)叫牌習(xí)慣，實(shí)施成本低，且具有很好通用性的一種基于深度信念網(wǎng)絡(luò)的橋牌叫牌自動識別方法。1)利用攝像頭獲取叫牌過程的視頻數(shù)據(jù)，通過網(wǎng)絡(luò)將視頻數(shù)據(jù)實(shí)時傳至計(jì)算機(jī)；2)應(yīng)用圖像處理技術(shù)定位推盤位置和放牌區(qū)；3)接著建立深度信念網(wǎng)絡(luò)模型進(jìn)行叫牌卡片的識別?；谏疃刃拍罹W(wǎng)絡(luò)的橋牌叫牌自動識別系統(tǒng)設(shè)有：攝像頭、方形桌、推盤、叫牌卡片、椅、電腦，電腦通過網(wǎng)線與攝像頭視頻信號輸出端連接。通過攝像頭自動實(shí)時地識別和記錄牌手的叫牌過程，可解放人力資源，同時減少因工作人員失誤造成的錯誤。
【IPC分類】A63F1-06
【公開號】CN104874173
【申請?zhí)枴緾N201510269000
【發(fā)明人】羅林開, 章焱, 楊恒寶, 彭洪
【申請人】廈門大學(xué)
【公開日】2015年9月2日
【申請日】2015年5月25日