專利名稱：一種基于顏色和梯度直方圖的臺標(biāo)檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于圖像識別領(lǐng)域，尤其涉及一種視頻圖像中的基于顏色和梯度直方圖的臺標(biāo)檢測方法。
背景技術(shù)：
當(dāng)前，我國整個電視系統(tǒng)變得越來越龐大和復(fù)雜，一些非法電視信號時刻都在試 圖進(jìn)入正常的電視頻道，實(shí)時監(jiān)測成為電視信號發(fā)射臺站的一項(xiàng)重要的工作。為了節(jié)省人力提高效率，需要開發(fā)一種近實(shí)時的臺標(biāo)識別方法，實(shí)現(xiàn)對非法信號的自動檢測功能。臺標(biāo)識別的準(zhǔn)確性取決于三個方面，一是臺標(biāo)的準(zhǔn)確定位；二是臺標(biāo)特征的有效提取；三是特征的正確匹配。中國專利公開號CN 102426647A，專利名稱為“一種臺標(biāo)識別的方法、裝置”，該專利基于臺標(biāo)的時空不變性特征，在相鄰幀中尋找像素值變化較小的區(qū)域作為臺標(biāo)可能出現(xiàn)的區(qū)域，再通過HU不變矩提取出待測區(qū)域的特征，最后通過歐式距離對待測區(qū)域與目標(biāo)臺標(biāo)的特征進(jìn)行匹配。考慮到在實(shí)際視頻中常存在一段時間內(nèi)保持不變的背景，比如說新聞聯(lián)播中的大部分畫面在一段時間內(nèi)幾乎都是不變的，這時該方法的實(shí)時性與準(zhǔn)確性就大大的降低了。所以該方法并不能解決實(shí)時檢測的問題，同時也不能檢測場景中出現(xiàn)的臺標(biāo)。中國專利公開號CN 102289663A,專利名稱為“一種基于顏色和形狀的臺標(biāo)識別方法”。該專利首先去掉了原圖中飽和度較低的像素點(diǎn)，然后根據(jù)H特征獲取直方圖并計算其概率密度分布圖，通過Meanshift算法找尋基于模板直方圖的顏色信息量最大的中心點(diǎn)，并以之為中心獲取左上左下右上右下四個窗口的子窗口，并分別進(jìn)行概率密度的顏色總量對比，從而找到最可能存在臺標(biāo)的區(qū)域。之后采用Sobel算子提取待測區(qū)域的輪廓金字塔圖像。最后通過Hausdorff距離對待測區(qū)域與目標(biāo)臺標(biāo)的特征進(jìn)行匹配。然而經(jīng)過驗(yàn)證，發(fā)現(xiàn)該專利存在邏輯上的問題在HSV (Hue, Saturation, Value)空間中，白色和半透明色的飽和度都是接近于0的，該專利第一步去掉原圖中低飽和度像素點(diǎn)時實(shí)際上已經(jīng)錯誤的去掉了圖中一切由白色像素點(diǎn)組成的臺標(biāo)，故后續(xù)的臺標(biāo)實(shí)際上是無法準(zhǔn)確定位了。另外，對于彩色的臺標(biāo)來說，在去掉的飽和度的像素點(diǎn)之后，仍然需要使用Meanshift對全圖進(jìn)行遍歷，造成了巨大的時間成本，即使找到了顏色信息量最大的中心點(diǎn)，只通過在其四周選的四個固定大小的子窗口尋找顏色信息最匹配的窗口，不可避免的會出現(xiàn)分割不準(zhǔn)確的問題。這可能也解釋了，為什么其他臺標(biāo)的識別率只有75%。所以該方法并不能很好的解決臺標(biāo)的準(zhǔn)確定位與實(shí)時檢測的問題，同時，也不能檢測場景中出現(xiàn)的臺標(biāo)。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于顏色和梯度直方圖的臺標(biāo)檢測方法，使其能夠近實(shí)時的檢測出場景中任何位置出現(xiàn)的臺標(biāo)，包括話筒、車身上等。經(jīng)過嚴(yán)格的實(shí)驗(yàn)證明，該臺標(biāo)檢測方法具有較高的判斷準(zhǔn)確率與魯棒性。為了達(dá)到上述發(fā)明目的，本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的本發(fā)明所述的一種基于顏色和梯度直方圖的臺標(biāo)檢測方法，包括如下步驟a.構(gòu)建臺標(biāo)樣本庫，通過提取庫中樣本的HOG (HISTOGRAMS OFORIENTEDGRADIENTS梯度直方圖)特征來訓(xùn)練SVM (support vector machine支持向量機(jī))分類器。b.提取待測臺標(biāo)的顏色特征，確定其至多前三種主顏色的參數(shù)范圍與面積比例。c.通過顏色匹配算法，在視頻幀中搜索與待測臺標(biāo)顏色組成相同的區(qū)域，從而得到臺標(biāo)可能出現(xiàn)的待測區(qū)域。 d.將待測區(qū)域進(jìn)行基于仿射變換與最小外接矩形的圖像矯正。e.提取待測區(qū)域中的HOG (HISTOGRAMS OF ORIENTED GRADIENTS梯度直方圖)特征，通過訓(xùn)練好的分類器判斷是否存在待測臺標(biāo)。具體的，步驟a包括al.本設(shè)計的初始樣本庫為模板臺標(biāo)若干和背景負(fù)樣本大量。a2.在模板臺標(biāo)中選擇一個模板臺標(biāo)作為待測臺標(biāo)，通過對其進(jìn)行各種仿射變換獲得大量正樣本，將剩下的模板臺標(biāo)每個做多次仿射變換得到大量負(fù)樣本。a3.通過將樣本庫中的樣本歸一化到M*N (比如為96X96)像素，并提取其HOG(HISTOGRAMS OF ORIENTED GRADIENTS 梯度直方圖)特征來訓(xùn)練 SVM(support vectormachine支持向量機(jī))分類器。步驟b包括bl.通過顏色聚類的方法，在HSV顏色空間下找到待測臺標(biāo)的前三種主顏色(可以小于三種)的H (色調(diào)Hue，取值區(qū)間為0 360)、S (飽和度Saturation，取值區(qū)間為0 I)、V (亮度Value，取值區(qū)間為0 I)分量的參數(shù)值，記錄各個顏色分量的面積比例，面積比例最大的為第一主顏色。b2.對前三種主顏色的H、S、V分量的參數(shù)邊界進(jìn)行放大，增強(qiáng)其在真實(shí)場景中光照變換情景下的魯棒性，具體冗余參數(shù)為一個增量△，即將獲取的H、S、V分量，變?yōu)橐粋€區(qū)間(H-A H，H+A H)、(S-A S，S+A S)、(V-A V，V+A V)。這里 A H、AS、AV 分別表示色調(diào)、飽和度、亮度的調(diào)整量。實(shí)際檢測時，只要檢測區(qū)域的HSV分量落在這個區(qū)間，即認(rèn)為該分量是同目標(biāo)的對應(yīng)分量相匹配。該參數(shù)可通過實(shí)驗(yàn)獲得一組優(yōu)化的經(jīng)驗(yàn)值，但允許使用者根據(jù)具體情況進(jìn)行修改。步驟c包括Cl.根據(jù)步驟b中的一種或者多種顏色參數(shù)范圍，在視頻幀中分別提取出只含有某種顏色的子圖。c2.在每一張子圖中，尋找其中每一個色塊的輪廓，并找到其輪廓的外接矩形。c3.如果該臺標(biāo)只有一種顏色，那么第一主顏色子圖中的色塊區(qū)域確定為待測區(qū)域。如果該臺標(biāo)有兩(三)種主顏色，遍歷第一主顏色子圖中的所有色塊，如果其中某個色塊附近同時存在剩下一(兩)種主顏色的色塊并且色塊面積的相應(yīng)比值在bl所得到的范圍內(nèi)，則將包含這兩(三)個色塊的外接矩形確定為待測區(qū)域，并從原圖中截取出來。步驟d包括
dl.在截取出來的待測區(qū)域中找到色塊的最小外接矩形。d2.將色塊旋轉(zhuǎn)，使其最小外接矩的長邊與水平方向平行。d3.將待測區(qū)域歸一化到設(shè)定的像素大小的圖像。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果I)本發(fā)明所公開的臺標(biāo)檢測方法不僅能夠檢測出普通的一般位于左上角的臺標(biāo)，還能檢測出場景中的臺標(biāo)(包括話筒上，車上等);2)由于其在步驟b和c中通過臺標(biāo)的顏色信息在視頻幀中進(jìn)行臺標(biāo)初步分割與定位，排除了大量的通過輪廓信息可能很難辨別的背景與其他非待測臺標(biāo)，不僅極大的縮小了待測區(qū)域的范圍，更提高了檢測的準(zhǔn)確率；3)由于其在步驟d中待測區(qū)域進(jìn)行了圖像矯正，極大的縮小了構(gòu)建樣本庫時正樣本所覆蓋的范圍，使樣本特性更加集中，增加了分類器SVM識別的準(zhǔn)確率；4)由于其生成正負(fù)樣本空間大部分是通過對少量模板臺標(biāo)的各種仿射變換，減少了建庫的工作量，使得使用者可以針對新的待測臺標(biāo)快速建立相應(yīng)的樣本庫，體現(xiàn)了一定的智能性。


通過閱讀參照以下附圖對非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯圖1為通過對模板臺標(biāo)的仿射變換制作正樣本庫；圖2為通過最小外接矩形和仿射變換進(jìn)行圖像矯正；圖3為實(shí)際的檢測效果圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。本實(shí)施例提供的一種視頻圖像的湖南衛(wèi)視臺的近實(shí)時識別方法，該臺標(biāo)識別方法的實(shí)現(xiàn)正是依靠臺標(biāo)顏色鮮明與結(jié)構(gòu)簡單的特征。具體包括如下步驟a.構(gòu)建湖南衛(wèi)視臺臺標(biāo)樣本庫，通過提取庫中樣本的HOG (HISTOGRAMS0F0RIENTED GRADIENTS 梯度直方圖)特征來訓(xùn)練 SVM(support vector machine 支持向量機(jī))分類器。具體的，步驟a包括al.本設(shè)計的初始樣本庫為50個模板臺標(biāo)和1000個通過手動截圖獲得的背景作為負(fù)樣本。a2.在模板臺標(biāo)中選擇湖南衛(wèi)視臺臺標(biāo)作為待測臺標(biāo)，通過對其進(jìn)行各種仿射變換獲得900個正樣本，如圖1所示，將剩下的模板臺標(biāo)每個做20次仿射變換得到980個負(fù)樣本。最終樣本庫包含這900個正樣本，和1980個負(fù)樣本。a3.通過，將樣本庫中的樣本歸一化到96父96像素，并提取其11( (11151'( 狀1^ OFORIENTED GRADIENTS梯度直方圖)特征來訓(xùn)練SVM(support vector machine支持向量機(jī)) 分類器
b.提取待測湖南衛(wèi)視臺臺標(biāo)的顏色特征，確定其主顏色的參數(shù)范圍與面積比例。
步驟b包括
bl.通過顏色聚 類的方法，在HSV顏色空間下找到湖南衛(wèi)視臺標(biāo)的兩種主顏色橘紅色和黃色的參數(shù)邊界，記錄各個顏色的面積比例，面積比例最大的為第一主顏色。
b2.對前三種主顏色的H、S、V分量的參數(shù)邊界進(jìn)行放大，增強(qiáng)其在真實(shí)場景中光照變換情景下的魯棒性，具體冗余參數(shù)為一個增量△，即將獲取的H、S、V分量，變?yōu)橐粋€區(qū)間(H-Λ H，H+Λ H)、(S-Λ S，S+Λ S)、(V-Λ V，V+Λ V)。這里 Λ H、AS、AV 分別表示色調(diào)、飽和度、亮度的調(diào)整量。實(shí)際檢測時，只要檢測區(qū)域的HSV分量落在這個區(qū)間，即認(rèn)為該分量是同目標(biāo)的對應(yīng)分量相匹配。這里ΛΗ、AS、AV分別表示色調(diào)、飽和度、亮度的調(diào)整量。本發(fā)明中，ΛΗ=10、ASS=O.1、AV=O. 2，該參數(shù)為在實(shí)驗(yàn)中獲得的最優(yōu)化參數(shù)，允許使用者根據(jù)具體情況進(jìn)行修改。
c.通過顏色匹配算法，在視頻幀中搜索與湖南衛(wèi)視臺臺標(biāo)顏色組成相同的區(qū)域， 從而得到湖南衛(wèi)視臺臺標(biāo)可能出現(xiàn)的待測區(qū)域。
步驟c包括
Cl.根據(jù)b中的橘紅色與黃色的HSV顏色參數(shù)范圍，在視頻幀中分別提取出只含有一種顏色的子圖。
c2.在每一張子圖中，尋找其中每一個色塊的輪廓，并找到其輪廓的外接矩形。
c3.湖南衛(wèi)視臺臺標(biāo)有兩種主顏色，將每一個橘紅色子圖中的色塊與每一個黃色子圖中的色塊進(jìn)行對比，如果兩個色塊的外接矩形相交，并且顏色面積比例只比在b2所得范圍之內(nèi)，則將包含這兩個色塊的外接矩形確定為待測區(qū)域，并從原圖中截取出來。
d.將待測區(qū)域進(jìn)行基于仿射變換與最小外接矩形的圖像矯正。
步驟d包括
dl.在截取出來的待測區(qū)域中找到色塊的最小外接矩形。
d2.將色塊旋轉(zhuǎn)，使其最小外接矩的長邊與水平方向平行。
d3.將待測區(qū)域歸一化到96*96像素大小的圖像，如圖2所示。
e.提取待測區(qū)域中的HOG (HISTOGRAMS OF ORIENTED GRADIENTS梯度直方圖)特征，通過a3中訓(xùn)練好的分類器判斷是否存在湖南衛(wèi)視臺臺標(biāo)。
對于上述HSV顏色空間，以下進(jìn)行簡要描述。HSV色彩模型從CIE三維顏色空間演變而來，它采用的是用戶直觀的色彩描述方法，它跟孟塞爾顯色系統(tǒng)的HVC球型色立體較接近，只不過HSV色彩模型是一個倒立的六菱錐，只相當(dāng)于孟塞爾球型色立體的一半(南半球)，所以不含黑色的純凈顏色都處于六棱錐頂面的一個色平面上。在HSV六棱錐色彩模型中，色相(H)處于平行于六棱錐頂面的色平面上，它們圍繞中心軸V旋轉(zhuǎn)和變化，紅、黃、 綠、青、藍(lán)、品紅六個標(biāo)準(zhǔn)色分別相隔60度。色彩明度(B)沿著六棱錐中心軸V從上至下變化，中心軸頂端呈白色(V=l)，底端呈黑色(V=0)，它們表示無彩色系的灰度顏色。色彩飽和度(S)沿水平方向變化,越接近六棱錐的中心軸的色彩,其飽和度越低,六邊形正中心的色彩飽和度為零(s=0)，與最高明度的V=I相重合，最高飽和度的顏色則處于六邊形外框的邊緣線上(S=l)。
色平面(H、S)的基礎(chǔ)是CIE色度圖的x、y色平面
色明度/六棱錐中軸(V)的基礎(chǔ)是CIE三維顏色空間的亮度因素Y。
對于上述HOG (HISTOGRAMS OF ORIENTED GRADIENTS 梯度直方圖)算法以及 SVM(support vector machine支持向量機(jī))分類器進(jìn)行簡要描述
HOG (HISTOGRAMS OF ORIENTED GRADIENTS梯度直方圖)特征是一種局部區(qū)域描述符，它通過計算局部區(qū)域上的梯度方向直方圖來構(gòu)成車輛外型特征，能夠很好地描述車輛的邊緣。它對光照變化和小量的偏移不敏感。輸入圖像中像素點(diǎn)(x，y)的梯度如以下公式
Gx (x, y) = H(x+1, y)-H(x-l, y)
Gy (x, y) = H(x, y+l)-H(x, y-1)
式中，Gx (x，y)、Gy(x，y)、H(x，y)分別表示輸入圖像中像素點(diǎn)(x，y)處的水平方向梯度、垂直方向梯度和像素值。像素點(diǎn)(x，y)處的梯度幅值和梯度方向如以下公式
權(quán)利要求
1.一種基于顏色和梯度直方圖的臺標(biāo)檢測方法，其特征在于包括如下步驟 a.構(gòu)建臺標(biāo)樣本庫,通過提取庫中樣本的HOG特征來訓(xùn)練SVM分類器； b.提取待測臺標(biāo)的顏色特征，確定其至多前三種主顏色的參數(shù)范圍與面積比例； c.通過顏色匹配算法，在視頻幀中搜索與待測臺標(biāo)顏色組成相同的區(qū)域，從而得到臺標(biāo)可能出現(xiàn)的待測區(qū)域； d.將待測區(qū)域進(jìn)行基于仿射變換與最小外接矩形的圖像矯正； e.提取待測區(qū)域中的HOG特征，通過訓(xùn)練好的分類器判斷是否存在待測臺標(biāo)。
2.根據(jù)權(quán)利要求I所述的基于顏色和梯度直方圖的臺標(biāo)檢測方法，其特征在于，步驟a包括 al.初始樣本庫為模板臺標(biāo)若干和背景負(fù)樣本大量； a2.在模板臺標(biāo)中選擇一個模板臺標(biāo)作為待測臺標(biāo)，通過對其進(jìn)行各種仿射變換獲得大量正樣本，將剩下的模板臺標(biāo)每個做20次仿射變換得到大量負(fù)樣本； a3.通過，將樣本庫中的樣本歸一化到設(shè)定的像素，并提取其HOG特征來訓(xùn)練SVM分類器。
3.根據(jù)權(quán)利要求I所述的基于顏色和梯度直方圖的臺標(biāo)檢測方法，其特征在于，步驟b包括 bl.通過顏色聚類的方法，在HSV顏色空間下找到待測臺標(biāo)的至多前三種主顏色的H、S、V分量的參數(shù)值，記錄各個顏色分量的面積比例，面積比例最大的為第一主顏色； b2.對至多前三種主顏色的H、S、V分量的參數(shù)邊界進(jìn)行放大，增強(qiáng)其在真實(shí)場景中光照變換情景下的魯棒性，具體冗余參數(shù)為一個增量△，即將獲取的H、S、V分量，變?yōu)橐粋€區(qū)間(H-A H，H+A H)、(S-A S，S+A S)、(V-A V，V+A V)。這里 A H、AS、AV 分別表示色調(diào)、飽和度、亮度的調(diào)整量，實(shí)際檢測時，只要檢測區(qū)域的HSV分量落在這個區(qū)間，即認(rèn)為該分量是同目標(biāo)的對應(yīng)分量相匹配，該參數(shù)通過實(shí)驗(yàn)獲得一組優(yōu)化的經(jīng)驗(yàn)值，但允許使用者根據(jù)具體情況進(jìn)行修改。
4.根據(jù)權(quán)利要求3所述的基于顏色和梯度直方圖的臺標(biāo)檢測方法，其特征在于，所述b2 中，冗余參數(shù)為 AH=IO, AS=O. I、AV=O. 2。
5.根據(jù)權(quán)利要求3所述的基于顏色和梯度直方圖的臺標(biāo)檢測方法，其特征在于，步驟c包括 Cl.根據(jù)步驟b中的一種或者多種顏色參數(shù)范圍，在視頻幀中分別提取出只含有某種顏色的子圖； c2.在每一張子圖中，尋找其中每一個色塊的輪廓，并找到其輪廓的外接矩形；c3.如果該臺標(biāo)只有一種顏色，那么第一主顏色子圖中的色塊區(qū)域確定為待測區(qū)域；如果該臺標(biāo)有兩種主顏色，遍歷第一主顏色子圖中的所有色塊，如果其中某個色塊附近同時存在剩下一或兩種主顏色的色塊并且色塊面積的相應(yīng)比值在bl所得到的范圍內(nèi)，則將包含這兩或三個色塊的外接矩形確定為待測區(qū)域，并從原圖中截取出來。
6.根據(jù)權(quán)利要求1-5之一所述的基于顏色和梯度直方圖的臺標(biāo)檢測方法，其特征在于，步驟d包括 dl.在截取出來的待測區(qū)域中找到色塊的最小外接矩形； d2.將色塊旋轉(zhuǎn)，使其最小外接矩的長邊與水平方向平行；d3.將待 測區(qū)域歸一化到設(shè)定像素大小的圖像。
全文摘要
本發(fā)明提供了一種基于顏色和梯度直方圖的臺標(biāo)檢測方法，步驟構(gòu)建臺標(biāo)樣本庫，通過提取庫中樣本的HOG特征來訓(xùn)練SVM分類器；提取待測臺標(biāo)的顏色特征，確定其至多前三種主顏色的參數(shù)范圍與面積比例；通過顏色匹配算法，在視頻幀中搜索與待測臺標(biāo)顏色組成相同的區(qū)域，從而得到臺標(biāo)可能出現(xiàn)的待測區(qū)域；將待測區(qū)域進(jìn)行基于仿射變換與最小外接矩形的圖像矯正；提取待測區(qū)域中的HOG特征，通過訓(xùn)練好的分類器判斷是否存在待測臺標(biāo)。經(jīng)過嚴(yán)格的實(shí)驗(yàn)證明，該臺標(biāo)識別方法能夠準(zhǔn)確的、近實(shí)時的識別視頻中臺標(biāo)(包括話筒上，背景中等)。
文檔編號G06K9/66GK102982350SQ201210455140
公開日2013年3月20日 申請日期2012年11月13日 優(yōu)先權(quán)日2012年11月13日
發(fā)明者張重陽, 葉飛 申請人:上海交通大學(xué)