專利名稱：一種對(duì)球員位置的自動(dòng)檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在足球視頻中對(duì)球員位置的自動(dòng)檢測(cè)，具體的說(shuō)，是涉及一種對(duì)球員 位置的自動(dòng)檢測(cè)方法。
背景技術(shù)：
足球作為全球最流行的球類體育項(xiàng)目之一，一直擁有廣大的參與和關(guān)注群體，而 其蘊(yùn)含的巨大商業(yè)價(jià)值也使得人們對(duì)足球視頻進(jìn)行著不斷的研究。其中對(duì)足球視頻的自動(dòng) 分析是一個(gè)主要的方面，具體包括對(duì)視頻的檢索、總結(jié)、檢測(cè)、加強(qiáng)等方面，進(jìn)而進(jìn)行語(yǔ)義層 次上的理解，比如戰(zhàn)術(shù)和場(chǎng)上形式分析等等。而對(duì)于上述問(wèn)題的研究，一個(gè)需要解決的重要 問(wèn)題就是球場(chǎng)上球員的位置，球員位置的確定能夠提供很多的語(yǔ)義信息。另一方面，隨著便 攜移動(dòng)終端的流行，能夠隨時(shí)隨地在移動(dòng)終端上觀看到足球比賽直播，對(duì)廣大的足球愛(ài)好 者無(wú)疑具有很強(qiáng)的誘惑力。但是在小屏幕上欣賞足球比賽，特別是比賽中的遠(yuǎn)景鏡頭，觀眾 的視覺(jué)體驗(yàn)和觀賞感受是無(wú)法保障的。解決的一個(gè)方法便是只播放視頻畫面中觀眾感興趣 區(qū)域，而這個(gè)感興趣區(qū)域的劃定也是需要加入球員的位置信息的。直播足球視頻作為一種具體的視頻類別，有其自身的特點(diǎn)。比如球員和球的活動(dòng) 基本上都是在足球場(chǎng)上進(jìn)行的，而球場(chǎng)有特定的顏色，足球有其特定的形狀和大體顏色。球 員的球衣一般也有著鮮明的特點(diǎn)。另外，足球視頻鏡頭的分類，一般有三種遠(yuǎn)景鏡頭、中景 鏡頭和近景鏡頭。其中，在包含球員的中景鏡頭和近景鏡頭中，球員大都作為鏡頭內(nèi)容的主 體，位置比較容易確定。而在遠(yuǎn)景鏡頭中，球員的尺寸相對(duì)于整個(gè)鏡頭來(lái)說(shuō)是比較小的，鏡 頭里的背景物體也比較復(fù)雜，引入了很多噪聲會(huì)對(duì)球員的檢測(cè)造成強(qiáng)烈的干擾。

發(fā)明內(nèi)容
本發(fā)明的目的在于，為足球視頻直播的遠(yuǎn)景鏡頭，對(duì)球員位置的準(zhǔn)確檢測(cè)問(wèn)題提 供一種自動(dòng)檢測(cè)方法，即一種對(duì)球員位置的自動(dòng)檢測(cè)方法。為了實(shí)現(xiàn)以上目的，本發(fā)明的一種對(duì)球員位置的自動(dòng)檢測(cè)方法，該方法用于自動(dòng) 檢測(cè)足球視頻的遠(yuǎn)景鏡頭中球員的位置，所述的方法包括如下步驟1)對(duì)足球視頻解碼，分析其鏡頭類型，得到連續(xù)的遠(yuǎn)景鏡頭幀；2)對(duì)遠(yuǎn)景鏡頭幀圖像進(jìn)行處理，提取球場(chǎng)部分；3)檢測(cè)球員所在的球場(chǎng)區(qū)域；4)在球場(chǎng)區(qū)域上，對(duì)球員進(jìn)行檢測(cè)。其中，步驟1)所述的情況通常目前的足球視頻均經(jīng)過(guò)了 mpeg、H. 264等編碼，利 用ffmpeg就可以解碼成連續(xù)的幀。至于對(duì)鏡頭類型的確定，如“Keewon Seo, Jaeseung Ko, Ilkoo Ahn and Changick Kim, in IEEE Trans. CSVT, vol.17, no.10, Oct. 2007, An Intelligent Display Scheme of Soccer Video on Mobile Devices，，中描述的方法，對(duì)當(dāng) 前幀的區(qū)域進(jìn)行黃金分割，在各區(qū)域內(nèi)考察其屬于草地顏色的像素所占的比例上述技術(shù)方案，所述的步驟2)中根據(jù)對(duì)連續(xù)多個(gè)幀(例如，30或20幀)畫面上的主區(qū)域顏色的統(tǒng)計(jì)得到主顏色，由于足球視頻中大多幀的主要部分就是球場(chǎng)，依照這個(gè)主 顏色值便可以確定球場(chǎng)的大體顏色，進(jìn)而提取圖像的球場(chǎng)部分。具體方法如步驟1)中的文 獻(xiàn)中所描述。這里，例如可以采用HSV顏色模型，因?yàn)镠SV顏色模型跟人的感知更加切合，也適 合于分辨不同的色彩。其色彩分量(Hue)能獨(dú)立的表現(xiàn)不同亮度情況下的色彩，這樣就可 以排除球場(chǎng)在不同天氣、燈光情況的干擾。上述技術(shù)方案，所述的步驟3)還包含如下子步驟(3-1)將遠(yuǎn)景鏡頭幀圖像分成16x16的小塊，對(duì)于每個(gè)小塊，根據(jù)其屬于球場(chǎng)顏色 像素點(diǎn)的比例劃定為球場(chǎng)顏色塊或非球場(chǎng)顏色塊；(3-2)再對(duì)得到的每個(gè)非球場(chǎng)顏色塊進(jìn)行進(jìn)一步判定，如果該塊周圍大多是非球 場(chǎng)區(qū)域塊，便可以認(rèn)定此塊是位于球場(chǎng)之外；否則便認(rèn)定此塊是位于球場(chǎng)區(qū)域上的非球場(chǎng) 部分，至此所有的球場(chǎng)顏色塊和位于球場(chǎng)上的非球場(chǎng)顏色塊合在一起，形成了球場(chǎng)區(qū)域，在 這個(gè)球場(chǎng)區(qū)域上對(duì)球員進(jìn)行檢測(cè)。上述技術(shù)方案，所述步驟4)還包含如下子步驟(4-1)對(duì)于球場(chǎng)區(qū)域上所有的非球場(chǎng)顏色的像素點(diǎn)值設(shè)定為1，其他的像素點(diǎn)值 設(shè)定為0，建立該球場(chǎng)區(qū)域的二值圖；(4-2)檢測(cè)二值圖上值為1的所有物體，根據(jù)其大小進(jìn)行篩選，排除尺寸過(guò)小和過(guò) 大的物體以及噪聲。其中，所述的步驟(4-2)針對(duì)尺寸過(guò)大或過(guò)小的物體排除，具體步驟如下(a)將足球的大小設(shè)定在80至150個(gè)像素點(diǎn)范圍，如果二值圖上的物體尺寸小于 150個(gè)像素點(diǎn)時(shí)，判定不是球員而直接刪去，排除過(guò)小的物體；(b)對(duì)二值圖上剩余的物體做細(xì)化處理，針對(duì)細(xì)化處理之后的所有點(diǎn)，在以每個(gè)點(diǎn) 為中心的高為25個(gè)像素點(diǎn)寬為12個(gè)像素點(diǎn)的矩形框內(nèi)，如果像素點(diǎn)的值為1的比例能夠 達(dá)到75%以上，那么就認(rèn)為這個(gè)中心點(diǎn)以及周圍矩形框之內(nèi)所有值為1的點(diǎn)都可能屬于球 員部分，否則就判定這個(gè)中心點(diǎn)不屬于球員部分；(c)對(duì)(b)中檢測(cè)出的可能為球員的部分做最后的判定，去除其面積過(guò)大或者上 個(gè)步驟得到的面積過(guò)小或其外接矩形的高寬比過(guò)大或者過(guò)小的區(qū)域，最終得到的便是球員 部分。本發(fā)明的足球視頻的遠(yuǎn)景鏡頭中對(duì)球員位置的自動(dòng)檢測(cè)方法的有益效果在于綜 合各種信息，確保檢測(cè)結(jié)果具有較高的準(zhǔn)確性并且整個(gè)檢測(cè)過(guò)程都是實(shí)時(shí)進(jìn)行，具有較大 的應(yīng)用價(jià)值。


圖1是本發(fā)明的足球視頻遠(yuǎn)景鏡頭中球員位置的自動(dòng)檢測(cè)方法的總體流程圖；圖(2_a)待處理的遠(yuǎn)景鏡頭幀的示意圖；圖(2_b)根據(jù)顏色對(duì)球場(chǎng)部分檢測(cè)的示意圖；圖(2-c) 16x16球場(chǎng)部分塊的示意圖；圖(2-d)包含球員的球場(chǎng)區(qū)域示意圖；圖(2_e)基于二值圖得到的包含球員的球場(chǎng)區(qū)域示意4
圖(2_f)篩選后得到最終球員位置的示意圖。
具體實(shí)施例方式下面結(jié)合附圖和具體的實(shí)施方式對(duì)本發(fā)明的足球視頻遠(yuǎn)景鏡頭中球員位置的自 動(dòng)檢測(cè)方法作進(jìn)一步詳細(xì)描述。圖1是本發(fā)明的足球視頻遠(yuǎn)景鏡頭中球員位置的自動(dòng)檢測(cè)方法總體流程圖。具體 包括如下步驟1)對(duì)足球視頻中的遠(yuǎn)景鏡頭部分進(jìn)行解碼，得到連續(xù)的遠(yuǎn)景鏡頭幀，圖(2_a)是 截取的待處理的遠(yuǎn)景鏡頭幀；通常，目前的足球視頻均經(jīng)過(guò)了 mpeg、H. 264等編碼，利用ffmpeg就可以解碼成連 續(xù)的幀。至于對(duì)鏡頭類型的確定，對(duì)當(dāng)前幀的區(qū)域進(jìn)行黃金分割，在各區(qū)域內(nèi)考察其屬于草 地顏色的像素所占的比例。2)對(duì)遠(yuǎn)景鏡頭幀圖像進(jìn)行處理，提取球場(chǎng)部分根據(jù)對(duì)連續(xù)多個(gè)幀(30幀或20幀)畫面上的顏色的統(tǒng)計(jì)得到主顏色，由于足球視 頻中大多幀的主要部分就是球場(chǎng)，依照這個(gè)主顏色值便可以確定球場(chǎng)的大體顏色，進(jìn)而提 取圖像的球場(chǎng)部分，如圖(2-b)所示。這里，例如可以采用HSV顏色模型，因?yàn)镠SV顏色模型跟人的感知更加切合，也適 合于分辨不同的色彩。其色彩分量(Hue)能獨(dú)立的表現(xiàn)不同亮度情況下的色彩，這樣就可 以排除球場(chǎng)在不同天氣、燈光情況的干擾。3)檢測(cè)球場(chǎng)區(qū)域?qū)⑦h(yuǎn)景鏡頭幀圖像進(jìn)行分成16x16的小塊，對(duì)于每個(gè)小塊，根據(jù)其屬于球場(chǎng)顏色 像素點(diǎn)的比例劃定為球場(chǎng)顏色塊和非球場(chǎng)顏色塊，如圖(2-c)所示。再對(duì)每個(gè)非球場(chǎng)顏色塊進(jìn)行判定，如果該塊周圍大多是非球場(chǎng)區(qū)域塊，便可以認(rèn) 定此塊是位于球場(chǎng)之外；否則便認(rèn)定此塊是位于球場(chǎng)區(qū)域上的非球場(chǎng)部分(球員、裁判或 者其他噪聲干擾)。這樣所有的球場(chǎng)顏色塊和位于球場(chǎng)上的非球場(chǎng)顏色塊合在一起，形成了 球場(chǎng)區(qū)域，如圖(2-d)所示。我們便在這個(gè)球場(chǎng)區(qū)域上對(duì)球員進(jìn)行檢測(cè)。4)在球場(chǎng)區(qū)域上，對(duì)球員進(jìn)行檢測(cè)對(duì)于球場(chǎng)區(qū)域上的非球場(chǎng)顏色的像素點(diǎn)值設(shè)定為1，圖像上其他所有的像素點(diǎn)值 設(shè)定為0，建立二值圖，如圖(2-e)所示。檢測(cè)二值圖上值為1的所有物體，根據(jù)其大小進(jìn)行篩選，排除尺寸過(guò)小的物體以 及噪聲。這不能同時(shí)排除尺寸過(guò)大的物體，因?yàn)檩^大的物體可能是球場(chǎng)上的白線(邊線、禁 區(qū)線、中線或者中圈線)和球員重疊在一起。在這種情況下，必須去除白線得到單獨(dú)的球員 的位置信息。具體處理方法如下(a)本發(fā)明中根據(jù)實(shí)驗(yàn)數(shù)據(jù)，將足球的大小設(shè)定在80至150個(gè)像素點(diǎn)范圍。當(dāng)二 值圖上的物體尺寸小于150個(gè)像素點(diǎn)時(shí)，此物體時(shí)球員的可能性便非常低，可以判定不是 球員而直接刪去。(b)對(duì)二值顯著圖上剩余的物體做細(xì)化處理，針對(duì)細(xì)化處理之后的所有點(diǎn)，在以這 個(gè)點(diǎn)為中心的高25寬12的矩形框內(nèi)，如果像素點(diǎn)的值為1的比例能夠達(dá)到75%以上，那么 就認(rèn)為這個(gè)中心點(diǎn)以及周圍矩形框之內(nèi)的點(diǎn)都可能屬于球員部分，否則就判定這個(gè)中心點(diǎn)不屬于球員部分。(c)對(duì)(b)中檢測(cè)出的球員部分做最后的判定，去除其面積過(guò)大或者過(guò)小、其外接 矩形的高寬比過(guò)大或者過(guò)小的區(qū)域，最終得到的便是球員部分，如圖(2_f)所示。最后所應(yīng)說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制。盡管參 照實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，對(duì)本發(fā)明的技術(shù)方 案進(jìn)行修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明 的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種對(duì)球員位置的自動(dòng)檢測(cè)方法，該方法用于自動(dòng)檢測(cè)足球視頻的遠(yuǎn)景鏡頭中球員 的位置，所述的方法包括如下步驟1)對(duì)足球視頻解碼，分析其鏡頭類型，得到連續(xù)的遠(yuǎn)景鏡頭幀；2)對(duì)遠(yuǎn)景鏡頭幀圖像進(jìn)行處理，提取球場(chǎng)部分；3)檢測(cè)球員所在的球場(chǎng)區(qū)域；4)在球場(chǎng)區(qū)域上，對(duì)球員進(jìn)行檢測(cè)。
2.如權(quán)利要求1中所述的對(duì)球員位置的自動(dòng)檢測(cè)方法，其特征在于，所述步驟2)中，根 據(jù)對(duì)連續(xù)20幀或30幀畫面上的主區(qū)域顏色的統(tǒng)計(jì)得到主顏色，依照這個(gè)主顏色值能確定 球場(chǎng)的大體顏色，進(jìn)而提取圖像的球場(chǎng)部分。
3.如權(quán)利要求2所述的對(duì)球員位置的自動(dòng)檢測(cè)方法，其特征在于，所述的主顏色通過(guò) HSV顏色模型得到。
4.如權(quán)利要求1中所述的對(duì)球員位置的自動(dòng)檢測(cè)方法，其特征在于，所述步驟3)還包 含如下子步驟(3-1)將遠(yuǎn)景鏡頭幀圖像分成16x16的小塊，對(duì)于每個(gè)小塊，根據(jù)其屬于球場(chǎng)顏色像素 點(diǎn)的比例劃定為球場(chǎng)顏色塊或非球場(chǎng)顏色塊；(3-2)再對(duì)得到的每個(gè)非球場(chǎng)顏色塊進(jìn)行進(jìn)一步判定，如果該塊周圍大多是非球場(chǎng)區(qū) 域塊，便可以認(rèn)定此塊是位于球場(chǎng)之外；否則便認(rèn)定此塊是位于球場(chǎng)區(qū)域上的非球場(chǎng)部分， 至此所有的球場(chǎng)顏色塊和位于球場(chǎng)上的非球場(chǎng)顏色塊合在一起，形成了球場(chǎng)區(qū)域，在這個(gè) 球場(chǎng)區(qū)域上對(duì)球員進(jìn)行檢測(cè)。
5.如權(quán)利要求1中所述的對(duì)球員位置的自動(dòng)檢測(cè)方法，其特征在于，所述步驟4)包含 如下子步驟(4-1)對(duì)于球場(chǎng)區(qū)域上所有的非球場(chǎng)顏色的像素點(diǎn)值設(shè)定為1，其他的像素點(diǎn)值設(shè)定 為0，建立該球場(chǎng)區(qū)域的二值圖；(4-2)檢測(cè)二值圖上值為1的所有物體，根據(jù)其大小進(jìn)行篩選，排除尺寸過(guò)小和過(guò)大的 物體以及噪聲。
6.如權(quán)利要求5所述的對(duì)球員位置的自動(dòng)檢測(cè)方法，其特征在于，所述的步驟(4-2)針 對(duì)尺寸過(guò)大或過(guò)小的物體排除具體步驟如下(a)將足球的大小設(shè)定在80至150個(gè)像素點(diǎn)范圍，如果二值圖上的物體尺寸小于150 個(gè)像素點(diǎn)時(shí)，判定不是球員而直接刪去，用于排除尺寸過(guò)小的物體；(b)對(duì)二值圖上剩余的物體做細(xì)化處理，針對(duì)細(xì)化處理之后的所有點(diǎn)，在以每個(gè)點(diǎn)為中 心的高為25個(gè)像素點(diǎn)寬為12個(gè)像素點(diǎn)的矩形框內(nèi)，如果像素點(diǎn)的值為1的比例能夠達(dá)到 75%以上，那么就認(rèn)為這個(gè)中心點(diǎn)以及周圍矩形框之內(nèi)所有值為1的點(diǎn)都可能屬于球員部 分，否則就判定這個(gè)中心點(diǎn)不屬于球員部分；(c)對(duì)步驟(b)中檢測(cè)出的可能為球員的部分做最后的判定，去除其面積過(guò)大或者步 驟(b)得到的面積過(guò)小或其外接矩形的高寬比過(guò)大或者過(guò)小的區(qū)域，最終得到的便是球員 部分。
全文摘要
本發(fā)明提供一種對(duì)球員位置的自動(dòng)檢測(cè)方法，該方法用于自動(dòng)檢測(cè)足球視頻的遠(yuǎn)景鏡頭中球員的位置，所述的方法包括如下步驟首先對(duì)足球視頻進(jìn)行解碼，得到連續(xù)的遠(yuǎn)景鏡頭幀；然后，針對(duì)遠(yuǎn)景鏡頭幀圖像，根據(jù)其主顏色提取球場(chǎng)顏色部分；再檢測(cè)出球員所在的球場(chǎng)區(qū)域；在這個(gè)區(qū)域上對(duì)球員進(jìn)行檢測(cè)。本發(fā)明的檢測(cè)方法具有很高的準(zhǔn)確性，整個(gè)檢測(cè)過(guò)程簡(jiǎn)潔合理，具有較好的應(yīng)用價(jià)值。
文檔編號(hào)H04N7/26GK102005053SQ20101054869
公開日2011年4月6日 申請(qǐng)日期2010年11月17日 優(yōu)先權(quán)日2010年11月17日
發(fā)明者侯朝煥, 楊樹元, 洪纓, 王東輝, 裴朝科, 高麗 申請(qǐng)人:中國(guó)科學(xué)院聲學(xué)研究所