專利名稱：基于視頻畫面檢測的遙控裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于畫面檢測的遙控裝置和及其方法，特別是，涉及一種在交互電視中通過檢測標(biāo)志物來確定遙控裝置的指向，以此選擇侯選對象，從而執(zhí)行遙控操作的遙控裝置和方法。
背景技術(shù)：
普通的電視遙控器通過按動遙控器上提供的數(shù)字和功能按鍵來選擇電視頻道和不同的功能。但這些遙控器不具備交互選擇功能。隨著電視功能的不斷擴(kuò)展，只具有簡單的收看功能的模擬電視正在向具有交互性、智能化的數(shù)字電視發(fā)展。在數(shù)字電視畫面中，除了顯示視頻之外，還可以提供菜單界面實(shí)現(xiàn)多種數(shù)據(jù)廣播，多媒體服務(wù)和視頻點(diǎn)播(VOD)服務(wù)等。方便簡單地選取畫面中的菜單等的特定部分，進(jìn)行點(diǎn)擊選擇等操作，是實(shí)現(xiàn)數(shù)字電視與人之間交互的基礎(chǔ)。
如同在計(jì)算機(jī)領(lǐng)域中，目前已經(jīng)實(shí)現(xiàn)相似功能的工具主要是鼠標(biāo)，但是鼠標(biāo)的運(yùn)動與光標(biāo)的移動并不是直接而自然的對應(yīng)，而是將光標(biāo)的運(yùn)動與上下左右箭頭鍵聯(lián)系或與鼠標(biāo)在另一個(gè)平面的運(yùn)動相對應(yīng)，操作不夠自然。
目前備有配置有菜單和編程菜單的電子設(shè)備通常是利用遙控器上的功能鍵調(diào)出菜單畫面。在菜單畫面調(diào)出時(shí)，指示光標(biāo)通常位于菜單的左上角，用戶通過遙控器上的方向鍵將指示光標(biāo)移動到要選擇的選項(xiàng)上，再按動確定鍵來選定該選項(xiàng)。在現(xiàn)有技術(shù)的遙控器中，用戶需要反復(fù)按動遙控器上的方向鍵才能使指示光標(biāo)移動到要選擇的菜單選項(xiàng)。在屏幕上顯示的菜單選項(xiàng)較多時(shí)，會造成操作比較煩瑣，缺乏靈活性。另外，在菜單比較復(fù)雜的情況下，現(xiàn)有技術(shù)的遙控器的操作影響交互操作的速度。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種通過檢測電視畫面中的標(biāo)志物來確定遙控裝置的指向，并通過移動遙控裝置使其指向要選取的選項(xiàng)從而選定特定選項(xiàng)的遙控系統(tǒng)。
本發(fā)明的另一個(gè)目的是提供一種利用遙控裝置檢測電視畫面中的標(biāo)志物來確定遙控裝置的指向，并通過移動遙控裝置使其指向要選取的選項(xiàng)從而選定特定選項(xiàng)的遙控裝置。
本發(fā)明的再一個(gè)目的是提供一種通過檢測電視畫面中的標(biāo)志物來確定遙控裝置的指向，并通過移動遙控裝置使其指向要選取的選項(xiàng)從而選定特定選項(xiàng)的方法。
根據(jù)本發(fā)明的第一方面，提供一種基于視頻圖像檢測的遙控系統(tǒng)，包括設(shè)置有圖像采集裝置的遙控裝置，所述圖像采集裝置用于采集視頻圖像，以使所述遙控裝置檢測視頻圖像中的標(biāo)志物，并根據(jù)標(biāo)志物的位置信息計(jì)算所述遙控裝置指向的目標(biāo)；和顯示裝置，用于接收所述遙控裝置發(fā)出的控制信號，并通過視頻顯示界面顯示供所述遙控裝置檢測的標(biāo)志物的視頻圖像和供選取的交互菜單選項(xiàng)，并指示遙控裝置指向的目標(biāo)。
根據(jù)本發(fā)明的第二方面，提供一種基于視頻圖像檢測的遙控裝置，包括圖像采集裝置，用于采集視頻圖像并將所述視頻圖像轉(zhuǎn)換成視頻信號；選取位置計(jì)算裝置，用于檢測所述視頻信號中的標(biāo)志物和計(jì)算所述遙控裝置指向的光標(biāo)位置；指令輸入裝置，用于向所述遙控裝置輸入進(jìn)入或退出菜單選項(xiàng)選取狀態(tài)的指令；和遙控信號發(fā)射裝置，用于接收所述選取位置計(jì)算裝置輸出的光標(biāo)位置信息并發(fā)射指示所述光標(biāo)位置信息的控制信號，以使顯示裝置顯示所述遙控裝置指向的目標(biāo)。
根據(jù)本發(fā)明的第三方面，提供一種基于視頻圖像檢測的遙控方法，包括步驟采集顯示裝置顯示的視頻圖像；檢測所采集的視頻圖像中是否包含用于確定遙控裝置的指向的標(biāo)志物；如果所述視頻圖像中包含所述標(biāo)志物，則計(jì)算所述標(biāo)志物在所述顯示裝置的顯示界面上的位置信息；根據(jù)計(jì)算的所述標(biāo)志物的所述位置信息計(jì)算所述遙控裝置指向顯示界面的位置信息；將計(jì)算的所述遙控裝置指向所述顯示界面的位置信息發(fā)送到所述顯示裝置，并在顯示界面上顯示所述遙控裝置當(dāng)前所選取的選項(xiàng)。
根據(jù)本發(fā)明的遙控裝置和方法克服了現(xiàn)有技術(shù)中需要反復(fù)按動按鍵才能選定待選選項(xiàng)以及操作煩瑣的缺陷。


通過下面結(jié)合附圖對本發(fā)明的非限定性實(shí)施例所做的詳細(xì)描述，將使本發(fā)明的上述和其它目的，特性及優(yōu)點(diǎn)變得更加清楚，其中圖1是表示根據(jù)本發(fā)明實(shí)施例的遙控系統(tǒng)的示意圖；圖2是表示根據(jù)本發(fā)明實(shí)施例的遙控系統(tǒng)的方框圖；圖3是表示根據(jù)本發(fā)明實(shí)施例的遙控系統(tǒng)的操作處理的流程圖；圖4是表示根據(jù)本發(fā)明一個(gè)實(shí)施例的標(biāo)志物的外形；圖5是表示本發(fā)明的遙控器所拍攝的圖像的一個(gè)實(shí)例；和圖6是表示根據(jù)本發(fā)明另一個(gè)實(shí)施例的標(biāo)志物的外形。
具體實(shí)施例方式
下面描述本發(fā)明的原理。首先，利用遙控裝置上功能鍵向電視機(jī)發(fā)出控制信號，使電視機(jī)進(jìn)入電視交互操作狀態(tài)，電視除在屏幕上顯示交互菜單畫面外，還在畫面上自動顯示一個(gè)特殊的標(biāo)志物。其次，通過安裝在遙控裝置上的圖像采集裝置拍攝該菜單畫面以檢測出標(biāo)志物，并通過計(jì)算該標(biāo)志物的位置得出遙控裝置所指向的位置，亦即應(yīng)該選取的畫面中的特定部分。最后，在計(jì)算出的畫面位置顯示出一個(gè)對應(yīng)的指示光標(biāo)反饋給操作者。操作者可以參照該指示光標(biāo)改變選取的位置或進(jìn)行選取操作。
下面參考附圖描述本發(fā)明的實(shí)施例。
首先參考圖1描述根據(jù)本發(fā)明實(shí)施例的遙控系統(tǒng)的示意圖。根據(jù)本發(fā)明的遙控系統(tǒng)由包括遙控器及電視機(jī)。根據(jù)本發(fā)明的原理，通過檢測屏幕顯示的畫面來確定遙控器所指向的位置，并通過改變遙控器的指向來選擇要采擇的菜單選項(xiàng)。屏幕檢測本身是一個(gè)比較困難的問題，因?yàn)槠聊簧系膱D案不斷變化，外界背景光線也隨時(shí)可能發(fā)生變化，而且本系統(tǒng)要求檢測速度是實(shí)時(shí)的，因此給畫面檢測造成很多干擾。為了解決這些問題，本發(fā)明采用進(jìn)入檢測狀態(tài)后在電視屏幕上顯示標(biāo)志物的方法，實(shí)現(xiàn)快速而準(zhǔn)確的屏幕檢測。
具體地說，在電視遙控器上安裝圖像采集裝置。當(dāng)按動遙控器上的功能鍵將畫面切換到菜單畫面時(shí)，通過遙控器中的圖像采集裝置拍攝到的圖像中的標(biāo)志物的位置實(shí)時(shí)地檢測電視屏幕的位置，確定遙控器所指的位置和指向，達(dá)到選取畫面中的特定位置的目的。
圖1中包括電視機(jī)1，遙控器2和遙控器的圖像采集裝置所拍攝的畫面3。在電視機(jī)的屏幕中標(biāo)出了標(biāo)志物所在的位置和遙控器指向的位置。圖中電視機(jī)1的屏幕中右上角的橢圓部分顯示的是標(biāo)志物，屏幕中的圓點(diǎn)顯示的遙控器指向的點(diǎn)，參考標(biāo)號3表示遙控器2的圖像采集裝置所拍攝的畫面。
下面參考圖2描述本發(fā)明的遙控系統(tǒng)的一個(gè)實(shí)施例。如圖2所示，該遙控系統(tǒng)包括發(fā)出控制信號的遙控器部分21和電視機(jī)部分22。其中遙控器部分21包括采集圖象的圖像采集裝置23，計(jì)算檢測標(biāo)志物并計(jì)算指示光標(biāo)位置的選取位置計(jì)算裝置24，向電視機(jī)部分發(fā)射遙控信號的遙控信號發(fā)射裝置25，用于控制系統(tǒng)進(jìn)入或退出菜單選項(xiàng)選取狀態(tài)的指令輸入鍵26。指令輸入鍵26包括菜單選取啟動鍵和選取消除鍵。電視機(jī)部分22包括視頻顯示裝置27和遙控信號接收器28，以及電視機(jī)中包括的其它裝置(未示出)。
下面描述本發(fā)明的遙控系統(tǒng)的操作。遙控器檢測是否進(jìn)入屏幕選取狀態(tài)，如果遙控器的選取啟動鍵被按下，向圖象采集裝置23，在本實(shí)施例中是攝像頭，及選取位置計(jì)算裝置24發(fā)出進(jìn)入屏幕菜單選取狀態(tài)的指令。通過遙控器中的信號發(fā)射器25向設(shè)置在電視機(jī)中的信號接受器28發(fā)射進(jìn)入菜單選取狀態(tài)的信號。遙控系統(tǒng)則進(jìn)入菜單選取狀態(tài)。此時(shí)，電視屏幕上顯示可供選擇的菜單選項(xiàng)。作為一種替換方式，目前數(shù)字電視遙控器上一般設(shè)置有一個(gè)數(shù)據(jù)鍵，用于接收一般視頻觀賞之外的數(shù)據(jù)廣播服務(wù)。因而，也可以設(shè)定在數(shù)據(jù)鍵被按下時(shí)使遙控系統(tǒng)進(jìn)入菜單選取狀態(tài)。進(jìn)入菜單選取狀態(tài)后，電視內(nèi)部產(chǎn)生待檢測的標(biāo)志物的視頻信號并在屏幕上顯示該標(biāo)志物。
接下來，將遙控器指向顯示屏幕，遙控器上的圖像采集裝置23，在本實(shí)施例中是攝像頭，開始拍攝所指方向的圖像，并將所拍攝的圖像轉(zhuǎn)換成視頻信號提供給選取位置計(jì)算裝置24進(jìn)行處理(其處理過程將在下文描述)，由此得到遙控器所指向的位置，并確定遙控器的指向位置處在哪個(gè)菜單選項(xiàng)的范圍內(nèi)，并使相應(yīng)的菜單選項(xiàng)處于高亮狀態(tài)，即，使光標(biāo)指向該菜單選項(xiàng)。此后，用戶可通過簡單地改變遙控器指向，使遙控器指向要選擇的選項(xiàng)并利用指令輸入鍵26進(jìn)行選定。
現(xiàn)有技術(shù)的屏幕位置選取裝置，例如普通菜單選取遙控器，進(jìn)入選取狀態(tài)后一般光標(biāo)或焦點(diǎn)落于某個(gè)菜單條上，通過按動遙控器上的前后左右鍵或數(shù)字鍵選取相應(yīng)的菜單條，操作起來不方便也不自然。
與現(xiàn)有技術(shù)的位置選取裝置不同，本發(fā)明需要確定遙控器與屏幕的位置關(guān)系。這是通過檢測屏幕上的標(biāo)志物來達(dá)到的。確定了相對位置關(guān)系后，我們就可以確定指示光標(biāo)應(yīng)該指向的位置，如把遙控器向左指，光標(biāo)也可以在屏幕上相對的左移，給人的感覺就象光標(biāo)是由遙控器發(fā)出的光點(diǎn)一樣。操作起來更加方便而且自然。
在本發(fā)明的優(yōu)選實(shí)施例中，首先是檢測標(biāo)志物，以確定遙控器上的攝像頭23拍攝的圖像上的哪些點(diǎn)是我們需要的標(biāo)志物點(diǎn)。其次是確定標(biāo)志物的位置，以便通過這些檢測出的標(biāo)志物點(diǎn)確定標(biāo)志物的中心點(diǎn)。由于標(biāo)志物與屏幕的相對位置是確定的，知道了標(biāo)志物與遙控器的相對位置關(guān)系也就知道了屏幕與遙控器的相對位置關(guān)系。確定了標(biāo)志物的位置后，通過幾何關(guān)系就可以確定在屏幕上要顯示的指示光標(biāo)的位置。
下面對本發(fā)明中檢測標(biāo)志物和計(jì)算遙控器指向位置的優(yōu)選實(shí)施例進(jìn)行詳細(xì)描述。首先說明標(biāo)志物的檢測。在屏幕的右上角顯示標(biāo)志物，但本發(fā)明不限于此，標(biāo)志物可顯示在屏幕上的任何位置，如右下或左下角等。這時(shí)遙控器指向電視屏幕，圖像采集裝置23，即攝像頭，將標(biāo)志物拍攝下來。
本實(shí)施例中，通過檢測標(biāo)志物的顏色來確定標(biāo)志物。在拍攝的圖像中采用HSI顏色模型的點(diǎn)檢測和中值濾波方法實(shí)時(shí)檢測標(biāo)志物。其中H表示色度(Hue)，S表示飽和度(Saturation)，I表示亮度(Intensity)。通常，RGB顏色模型最為常用，它認(rèn)為顏色是由紅(Red)，綠(Green)、藍(lán)(Blue)三種基本色彩混合而成的。每一種基本色彩的不同強(qiáng)度的組合就構(gòu)成了不同的色彩。例如，如果每種基本色彩的最大強(qiáng)度用8位二進(jìn)制數(shù)表示，那么每種基本色彩的最大強(qiáng)度就是255，則紅色即R＝255，G＝B＝0；而黃色為R＝G＝255，B＝0。但是隨著光線的明暗變化，RGB三個(gè)分量同時(shí)發(fā)生變化，沒有體現(xiàn)對色彩的獨(dú)立描述。
HSI色彩空間是從人的視覺系統(tǒng)出發(fā)，能把色調(diào)、亮度和色飽和度的變化情形表現(xiàn)得很清楚。通常把色調(diào)和飽和度通稱為色度，用來表示顏色的類別與深淺程度。由于人的視覺對亮度的敏感程度遠(yuǎn)強(qiáng)于對顏色濃淡的敏感程度，為了便于色彩處理和識別，人的視覺系統(tǒng)經(jīng)常采用HSI色彩空間，它比RGB色彩空間更符合人的視覺特性。在圖像處理和計(jì)算機(jī)視覺中大量算法都可在HSI色彩空間中方便地使用，它們可以分開處理而且是相互獨(dú)立的。因此，在HSI色彩空間可以大大簡化圖像分析和處理的工作量。
HSI色彩空間和RGB色彩空間只是同一物理量的不同表示法，因而它們之間存在著轉(zhuǎn)換關(guān)系。
本發(fā)明中的標(biāo)志物檢測是將物體的顏色表示從RGB顏色空間變換到HSI顏色空間。圖像采集裝置23拍攝到標(biāo)志物后，對其顏色進(jìn)行處理得到該標(biāo)志物的RGB的顏色二值圖。然后，選取位置計(jì)算裝置24通過計(jì)算下面的轉(zhuǎn)換公式可以得到標(biāo)志物的HIS值。其中通過下面的公式(1)得到標(biāo)志物的灰度值I＝(R+G+B)/3(1)其中R、G、B表示三原色的數(shù)值。
利用下面的公式(2)計(jì)算標(biāo)志物的飽和度S＝1-min(R，G，B)/I (2)其中min(R，G，B)表示取R，G，B中的最小值。
利用下面的公式(3)計(jì)算色度
H=((π/2-arctan(F/3)+{0,G>B;π,G<B})/2π;---(3)]]>其中F是一個(gè)變量，利用經(jīng)驗(yàn)公式得到F＝(2*R-G-B)/(G-B)；。
H，S分量在光線明暗發(fā)生變化時(shí)能保持基本不變，所以當(dāng)光照變化時(shí)，可以通過檢測H、S分量來檢測標(biāo)志物，消除外界光線的干擾，達(dá)到了檢測標(biāo)志物的目的。作為例子，選取位置計(jì)算裝置24可以由微處理器實(shí)施。圖4示出選擇的標(biāo)志物的一個(gè)實(shí)施例，該標(biāo)志物采用單一的顏色特征(蘭色)，映射到色度H和飽和度S分量后，通過將計(jì)算得到的H和S分量值與選取位置計(jì)算裝置24中設(shè)置色度和飽和度的閾值比較，大于或等于預(yù)定閾值的點(diǎn)設(shè)置為1，小于該閾值的點(diǎn)設(shè)置為0，滿足預(yù)定條件圖像部分即為標(biāo)志物。由此得到標(biāo)志物的二值圖B，從而得到標(biāo)志物的候選點(diǎn)。其中B中設(shè)為1的點(diǎn)為標(biāo)志物點(diǎn)。不可避免的，在二值圖B中有一些孤立的噪聲點(diǎn)，可以采用中值濾波方法除去這些孤立的噪聲點(diǎn)。通過上述處理，可確定屏幕上顯示的標(biāo)志物。
上述實(shí)施例中采用單一顏色的標(biāo)志物存在著標(biāo)志物的顏色與屏幕顯示的圖像中同一顏色的對象相混淆的可能。作為替換，檢測標(biāo)志物也可以有其它的實(shí)施方式。如進(jìn)入檢測狀態(tài)后標(biāo)志物可以設(shè)置在屏幕外，雖然將標(biāo)志物設(shè)置在屏幕外增加了生產(chǎn)的成本，但處理的效果會更好，因?yàn)槠渌艿降钠聊粓D像的干擾小一些。
上面描述的點(diǎn)顏色檢測與簡單濾波的檢測方法計(jì)算速度比較快，但是也可采用其他圖象處理技術(shù)，如模式識別和一些較為復(fù)雜的濾波技術(shù)等。例如標(biāo)志物的設(shè)計(jì)可以采用規(guī)則的形狀，如圓形，菱形等，這樣對于標(biāo)志物的檢測還可以輔助以模式識別中模板匹配的方法，即已經(jīng)知道標(biāo)志物的形狀后，就可以把不與這種形狀匹配的干擾點(diǎn)去除。
此外標(biāo)志物的檢測還可以用多種顏色組合判斷的方法，即標(biāo)志物采用多種色彩及合適的顏色分布形狀設(shè)計(jì)來提高檢測的抗干擾能力。圖6示出了標(biāo)志物的另一個(gè)實(shí)施例。該標(biāo)志物中包含空間上規(guī)則分布的三種顏色，本例子中的規(guī)則是藍(lán)色點(diǎn)的左邊是紅色而右邊是綠色。在檢測出三種顏色后，只有滿足三種顏色的空間分布規(guī)則的點(diǎn)才認(rèn)為是標(biāo)志物點(diǎn)。該方法能夠提高系統(tǒng)的穩(wěn)定性，有效地克服檢測過程中可能受到的干擾，如屏幕上出現(xiàn)了色度和飽和度都完全與標(biāo)志物相同的情況等等。
以上說明了把攝像頭所拍攝的標(biāo)志物圖像轉(zhuǎn)化為二值圖B，B中設(shè)為1的點(diǎn)為標(biāo)志物點(diǎn)。由此可以確定標(biāo)志物的中心點(diǎn)在攝像頭所拍攝的圖像中的位置。
下面說明選取位置計(jì)算裝置24計(jì)算標(biāo)志物的位置過程，作為本發(fā)明的優(yōu)選實(shí)施例，采用下面的重心計(jì)算公式(4)和(5)得到標(biāo)志物的重心位置Xz和Yz如下Xz=Σi=1WΣj=1HB(i,j)X(i,j)/Σi=1WΣj=1HB(i,j)---(4)]]>Yz=Σi=1WΣj=1HB(i,j)Y(i,j)/Σi=1WΣj=1HB(i,j)---(5)]]>其中B代表二值圖，X(i，j)為橫坐標(biāo)，Y(i，j)為縱坐標(biāo)，選取拍攝圖像的左下角為坐標(biāo)原點(diǎn)，W，H分別是攝像頭的水平、垂直分辨率。
得到了標(biāo)志物在拍攝圖像的重心位置后，由于重心位置可以作為標(biāo)志物的中心位置，并且攝像頭的水平、垂直分辨率是固定的，可以由此計(jì)算出指示光標(biāo)所在的位置。例如，如果標(biāo)志物在拍攝的圖像中偏右，可使遙控器上的攝像頭指向偏向屏幕的左側(cè)，那么指示光標(biāo)應(yīng)該出現(xiàn)在遙控器所指向的方向，也就是屏幕的左側(cè)。其它標(biāo)志物和指示光標(biāo)的相對位置可以此類推。通過標(biāo)志物在拍攝的圖像中的位置就可以換算出指示光標(biāo)在屏幕中的位置Xs、Ys(以屏幕的左下角為原點(diǎn))。
光標(biāo)在屏幕中的位置Xs、Ys可由下面的換算公式(6)和(7)得出Xs＝Ws/2+Kx*(W/2-Xz)(6)Ys＝Hs/2+Ky*(H/2-Yz)(7)其中Ws代表屏幕的水平分辨率，Hs代表垂直分辨率，Kx是表示光標(biāo)運(yùn)動快慢的系數(shù)，其它符號表示與上文所述的相同。
以公式(6)為例，如果標(biāo)志物在攝象頭拍攝圖象的Xz處，那么相應(yīng)的說明攝像頭指向偏向相反的方向，就是-Xz處，指示光標(biāo)運(yùn)動的快慢由系數(shù)Kx控制，因?yàn)樵c(diǎn)取在左下角，加上平移的補(bǔ)償量，最終公式表示就如(6)所示。(7)亦同理。
總之，公式(6)和(7)的意義在于如果標(biāo)志物出現(xiàn)在攝像頭的一側(cè)，那么指示光標(biāo)出現(xiàn)在屏幕的對應(yīng)一側(cè)，指示光標(biāo)運(yùn)動的快慢由系數(shù)Kx、Ky控制。
通過上面的公式(6)和(7)的計(jì)算獲得了指示光標(biāo)的位置信息后，通過遙控器中的信號發(fā)射裝置25將光標(biāo)位置信息發(fā)送給電視機(jī)。電視機(jī)在屏幕上顯示出目前所選取的位置。
在菜單選取應(yīng)用中，如果位置落在某個(gè)菜單區(qū)域內(nèi)，那么該菜單條就處于被選中狀態(tài)；按動按鍵可以進(jìn)入該選項(xiàng)。另外，位置信息也可以應(yīng)用于以后的交互電視中，如連續(xù)的區(qū)域選定。
如果按下遙控器的選取取消鍵，則進(jìn)入非選取狀態(tài)，相應(yīng)的特定標(biāo)志和位置指示消失。
下面結(jié)合圖3描述遙控系統(tǒng)的操作流程。首先，在步驟S31，檢測遙控系統(tǒng)是否處于交互操作狀態(tài)。如果結(jié)果為否定，則在步驟S32檢測屏幕上是否顯示標(biāo)志物，如果屏幕上顯示了標(biāo)志物，則在步驟S33將該標(biāo)志物消除，以便于觀看顯示的圖像。如果步驟S32的判斷結(jié)果為否定，即屏幕上未顯示標(biāo)志物，流程則返回到步驟S31，檢測遙控系統(tǒng)是否處在交互狀態(tài)。如果步驟S31的結(jié)果為肯定，流程則進(jìn)入步驟S34，由遙控裝置21向電視機(jī)發(fā)出遙控信號，在電視上顯示標(biāo)志物。接下來，流程進(jìn)行到步驟S35，遙控裝置21判斷是否在圖像采集裝置23采集的圖像中檢測出圖像上的標(biāo)志物。如果未檢測到標(biāo)志物，則返回步驟S31。如果在步驟S35檢測到了圖像中的標(biāo)志物，則執(zhí)行計(jì)算標(biāo)志物的中心位置，及遙控裝置的光標(biāo)所指向的點(diǎn)的位置，并使該點(diǎn)所選取的選項(xiàng)通過“高亮”等方式反饋給操作者，以使操作者可以參照指示光標(biāo)通過調(diào)節(jié)遙控器的指向來改變選取的位置或進(jìn)行選取操作。此后，遙控器可發(fā)出遙控信號并將指示點(diǎn)擊光標(biāo)的位置信息傳送到后續(xù)操作。
圖5示出了利用本發(fā)明的遙控系統(tǒng)拍攝的屏幕標(biāo)志物的具體實(shí)例。圖中的左半部分示出了帶有標(biāo)志物的屏幕圖，其中帶有“PANASONIC”文字的蘭色標(biāo)志物顯示在屏幕的右上角。圖中的右半部分示出了遙控器的攝像頭實(shí)際拍攝的圖像，其中顯示了蘭色的標(biāo)志物。
以上說明了根據(jù)本發(fā)明的基于電視畫面的位置檢測來選取畫面中的特定位置的遙控系統(tǒng)和方法。
本發(fā)明中，在進(jìn)入電視交互操作狀態(tài)時(shí)，電視自動在畫面上顯示一個(gè)特殊的標(biāo)志物。通過安裝在遙控器上的攝像頭來檢測出該標(biāo)志物，并由此計(jì)算出遙控器所指的位置，亦即應(yīng)該選取的畫面中的特定部分。最后，在計(jì)算出的畫面位置顯示出一個(gè)對應(yīng)的指示光標(biāo)反饋給操作者。操作者可以參照指示光標(biāo)改變選取位置或進(jìn)行選取操作。采用本技術(shù)，選擇屏幕上的特定位置顯得更加方便而自然。
雖然參考本發(fā)明的優(yōu)選實(shí)施例給出并說明了本發(fā)明，但是，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，在不脫離本發(fā)明的精神和范圍的情況下，可以對本發(fā)明進(jìn)行各種變化和改變。
權(quán)利要求
1.一種基于視頻圖像檢測的遙控系統(tǒng)，包括設(shè)置有圖像采集裝置的遙控裝置，所述圖像采集裝置用于采集視頻圖像，以使所述遙控裝置檢測視頻圖像中的標(biāo)志物，并根據(jù)標(biāo)志物的位置信息計(jì)算所述遙控裝置指向的目標(biāo)；和顯示裝置，用于接收所述遙控裝置發(fā)出的控制信號，并通過視頻顯示界面顯示供所述遙控裝置檢測的標(biāo)志物的視頻圖像和供選取的交互菜單選項(xiàng)，并指示遙控裝置指向的目標(biāo)。
2.一種基于視頻圖像檢測的遙控裝置，包括圖像采集裝置，用于采集視頻圖像并將所述視頻圖像轉(zhuǎn)換成視頻信號；選取位置計(jì)算裝置，用于檢測所述視頻信號中的標(biāo)志物和計(jì)算所述遙控裝置指向的光標(biāo)位置；指令輸入裝置，用于向所述遙控裝置輸入進(jìn)入或退出菜單選項(xiàng)選取狀態(tài)的指令；和遙控信號發(fā)射裝置，用于接收所述選取位置計(jì)算裝置輸出的光標(biāo)位置信息并發(fā)射指示所述光標(biāo)位置信息的控制信號，以使顯示裝置顯示所述遙控裝置指向的目標(biāo)。
3.根據(jù)權(quán)利要求2所述的基于視頻圖像檢測的遙控裝置，其中所述圖像采集裝置是一個(gè)攝像頭。
4.根據(jù)權(quán)利要求2所述的基于視頻圖像檢測的遙控裝置，其中所述選取位置計(jì)算裝置將所述圖像采集裝置采集的標(biāo)志物的RGB三基色顏色模型轉(zhuǎn)換成色調(diào)-飽和度-亮度(HSI)顏色模型來檢測所述標(biāo)志物。
5.根據(jù)權(quán)利要求4所述的基于視頻圖像檢測的遙控裝置，其中所述選取位置計(jì)算裝置按照下面的公式執(zhí)行把RGB三基色顏色模型轉(zhuǎn)換成色調(diào)-飽和度-強(qiáng)度(HIS)顏色模型I＝(R+G+B)/3S＝1-min(R，G，B)/IH=((π/2-arctan(F/3)+{0,G>B;π,G>B})/2π;]]>其中R、G、B分別表示標(biāo)志物中紅色，綠色和蘭色三個(gè)分量的數(shù)值，F(xiàn)＝(2*R-G-B)/(G-B)；I表示亮度，S表示色飽和度，H表示色度。
6.根據(jù)權(quán)利要求5所述的基于視頻圖像檢測的遙控裝置，其中映射到色度H和色飽和度S分量后，將計(jì)算得到的H和S分量值與選取位置計(jì)算裝置中設(shè)置色度和色飽和度的閾值比較，大于或等于預(yù)定閾值的點(diǎn)設(shè)置為1，小于所述閾值的點(diǎn)設(shè)置為0，滿足預(yù)定條件的圖像部分即為標(biāo)志物。
7.根據(jù)權(quán)利要求6所述的基于視頻圖像檢測的遙控裝置，其中所述選取位置計(jì)算裝置檢測到標(biāo)志物后，將所述標(biāo)志物圖像轉(zhuǎn)化為二值圖B，按照下面的公式計(jì)算所述標(biāo)志物在拍攝的圖像中的位置Xz和YzXz=Σi=1WΣj=1HB(i,j)X(i,j)/Σi=1WΣj=1HB(i,j)]]>Yz=Σi=1WΣj=1HB(i,j)Y(i,j)/Σi=1WΣj=1HB(i,j)]]>其中B代表標(biāo)志物圖像轉(zhuǎn)化的二值圖，X(i，j)為橫坐標(biāo)，Y(i，j)為縱坐標(biāo)，選取拍攝圖像的左下角為坐標(biāo)原點(diǎn)，W，H分別是攝像頭的水平、垂直分辨率。
8.根據(jù)權(quán)利要求7所述的基于視頻圖像檢測的遙控裝置，其中所述選取位置計(jì)算裝置根據(jù)標(biāo)志物在拍攝的圖像中的位置信息Xz和Yz按照下面的公式計(jì)算指示光標(biāo)在屏幕中的位置Xs、YsXs＝Ws/2+Kx*(W/2-Xz)Ys＝Hs/2+Ky*(H/2-Yz)其中Ws代表屏幕的水平分辨率，Hs代表垂直分辨率，Kx是表示光標(biāo)運(yùn)動快慢的系數(shù)。
9.根據(jù)權(quán)利要求2所述的基于視頻圖像檢測的遙控裝置，其中所述指令輸入裝置在向所述遙控裝置輸入進(jìn)入菜單選項(xiàng)選取狀態(tài)的指令時(shí)啟動所述圖像采集裝置和所述選取位置計(jì)算裝置。
10.一種基于視頻圖像檢測的遙控方法，包括步驟采集顯示裝置顯示的視頻圖像；檢測所采集的視頻圖像中是否包含用于確定遙控裝置的指向的標(biāo)志物；如果所述視頻圖像中包含所述標(biāo)志物，則計(jì)算所述標(biāo)志物在所述顯示裝置的顯示界面上的目標(biāo)信息；根據(jù)計(jì)算的所述標(biāo)志物的所述位置信息計(jì)算所述遙控裝置指向顯示界面的目標(biāo)信息；將計(jì)算的所述遙控裝置指向所述顯示界面的目標(biāo)信息發(fā)送到所述顯示裝置，并在顯示界面上顯示所述遙控裝置當(dāng)前所選取的選項(xiàng)。
11.根據(jù)權(quán)利要求10所述的基于視頻圖像檢測的遙控方法，還包括在所述遙控裝置未指向顯示界面上要選取的選項(xiàng)時(shí)，調(diào)節(jié)所述遙控裝置的指向，以使所述遙控裝置指向要選取的選項(xiàng)。
12.根據(jù)權(quán)利要求10所述的基于視頻圖像檢測的遙控方法，其中檢測所述標(biāo)志物的步驟包括將所述標(biāo)志物的RGB三基色顏色模型轉(zhuǎn)換成色調(diào)-飽和度-亮度(HSI)顏色模型的步驟。
13.根據(jù)權(quán)利要求12所述的基于視頻圖像檢測的遙控方法，其中進(jìn)一步包括將RGB三基色顏色模型轉(zhuǎn)換成色度H和色飽和度S分量后，將計(jì)算得到的H和S分量值與選取位置計(jì)算裝置中設(shè)置色度和色飽和度的閾值比較，大于或等于預(yù)定閾值的點(diǎn)設(shè)置為1，小于所述閾值的點(diǎn)設(shè)置為0的步驟。
14.根據(jù)權(quán)利要求10所述的基于視頻圖像檢測的遙控方法，其中進(jìn)一步包括在檢測到標(biāo)志物后，將所述標(biāo)志物圖像轉(zhuǎn)化為二值圖B，計(jì)算所述標(biāo)志物的在采集的圖像中的位置Xz和Yz的步驟。
15.根據(jù)權(quán)利要求14所述的基于視頻圖像檢測的遙控方法，其中進(jìn)一步包括根據(jù)標(biāo)志物在拍攝的圖像中的位置信息Xz和Yz計(jì)算所述遙控裝置的指示光標(biāo)在屏幕中的位置Xs、Ys的步驟。
全文摘要
本發(fā)明提供一種基于視頻圖像檢測的遙控裝置，包括圖像采集裝置，用于采集視頻圖像并將所述視頻圖像轉(zhuǎn)換成視頻信號，選取位置計(jì)算裝置，用于檢測所述視頻信號中的標(biāo)志物和計(jì)算所述遙控裝置指向的光標(biāo)位置，指令輸入裝置，用于向所述遙控裝置輸入進(jìn)入或退出菜單選項(xiàng)選取狀態(tài)的指令，和遙控信號發(fā)射裝置，用于接收所述選取位置計(jì)算裝置輸出的光標(biāo)位置信息并發(fā)射指示所述光標(biāo)位置信息的控制信號，以使顯示裝置顯示所述遙控裝置指向的目標(biāo)。本發(fā)明還包括采用該遙控裝置的遙控系統(tǒng)及遙控方法。
文檔編號H04N5/445GK1533180SQ03107248
公開日2004年9月29日 申請日期2003年3月19日 優(yōu)先權(quán)日2003年3月19日
發(fā)明者余旭文, 鄭文濤 申請人:松下電器產(chǎn)業(yè)株式會社