專利名稱：用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種向計算機輸入坐標(biāo)信息和控制信息的系統(tǒng)，以及進(jìn)行坐標(biāo)矯正和控制信息產(chǎn)生和輸入所需要的方法。屬于計算機應(yīng)用技術(shù)領(lǐng)域。
投影顯示器的使用為人們帶來了很大方便，在許多應(yīng)用中已經(jīng)不可替代。但在使用中存在以下問題1．對計算機的控制操作必須回到計算機前通過鍵盤和鼠標(biāo)器進(jìn)行。2．需要書寫文字或畫圖時必須使用另外的白板或黑板，因此需要不斷地收放屏幕。這些問題給使用者帶來了不便，影響了工作效率，同時設(shè)備復(fù)雜，占用空間大。所有需要一種能夠直接在顯示屏幕上進(jìn)行書寫和繪圖，同時能遠(yuǎn)距離發(fā)送控制信息的設(shè)備和方法。
另外，在多媒體教學(xué)等應(yīng)用中，需要將書寫和圖畫信息及時記錄和發(fā)送到遠(yuǎn)地，也需要筆跡信息采集。
現(xiàn)有技術(shù)是采用手持的有線或無線手寫板來進(jìn)行書寫和發(fā)送控制命令。其缺點是手眼不一致的問題，導(dǎo)致使用時直觀性差，效率低?；蚴遣捎妙愃朴|摸屏的技術(shù)，其缺點是屏幕大小受到限制，不易攜帶。
本發(fā)明的目的是提供一種可以實時采集顯示屏幕上坐標(biāo)信息，能夠通過一種筆狀裝置在屏幕上直接進(jìn)行仿真書寫，并且可以利用這樣的筆來進(jìn)行控制信號產(chǎn)生和輸入計算機的系統(tǒng)和方法。本發(fā)明除了應(yīng)用于投影顯示器的使用場合，對于需要直觀操作控制的其他計算機應(yīng)用場合也同樣適用。
本發(fā)明的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其系統(tǒng)是由信號采集處理器和發(fā)光筆組成。信號采集處理器又由攝像裝置、信號處理電路以及于計算機通信所需的接口電路所組成。利用本系統(tǒng)采用如下方法(1)．用發(fā)光筆產(chǎn)生的光點來標(biāo)示目標(biāo)點的位置，同時引入攝像裝置進(jìn)行實時圖像采集，用信號處理電路實時分析處理圖像信號來提取光點的位置信息，并通過接口電路輸入計算機，根據(jù)這些信息分析出光點在攝像裝置成像坐標(biāo)系中的坐標(biāo)；(2)．引入坐標(biāo)矯正計算過程將成像坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為計算機顯示坐標(biāo)系中相應(yīng)的坐標(biāo)，為了實現(xiàn)上述坐標(biāo)變換所需的計算，在系統(tǒng)初始化過程中引入一個采集一組參考點樣本坐標(biāo)的步驟；(3)．用發(fā)光筆光點的發(fā)生和消失作為控制信號以對計算機進(jìn)行操作。
發(fā)光筆是具有發(fā)光器件的筆狀裝置，可以利用其筆尖發(fā)光，也可以利用其發(fā)射的光束照射物體產(chǎn)生光點。由于發(fā)光筆所產(chǎn)生光點的亮度可以遠(yuǎn)高于顯示圖象亮度，因此用圖象分析方法可以分析出發(fā)光筆光點位置。如果光筆的光源采用具有明顯光譜峰點的光源，例如半導(dǎo)體二極管或激光器，同時在攝像裝置的成像光路中引入相應(yīng)光譜特性的濾光片，則可以大大提高發(fā)光筆光點的相對亮度，從而可以采用簡單的硬件電路來實現(xiàn)光點坐標(biāo)信息的提取。特別是如果采用半導(dǎo)體激光器作為發(fā)光筆的光源，成像光路中采用帶通濾光片則效果更好。在此情況下，可以采用簡單的數(shù)字邏輯，如將亮度與一個閾值進(jìn)行比較，來分離出亮點所在的象素。進(jìn)一步可以利用硬件或軟件求出其中心坐標(biāo)。
通過上述方法得出的位置坐標(biāo)是在攝像裝置成像坐標(biāo)系中的坐標(biāo)，它受攝像機方向、位置、分辨率和圖象畸變情況的影響。對應(yīng)于同樣的物理位置，顯示坐標(biāo)系中的坐標(biāo)值是不同的。為了將成像坐標(biāo)系中的光點坐標(biāo)轉(zhuǎn)換為同樣物理位置在顯示坐標(biāo)系中的坐標(biāo)，需要進(jìn)行一定的坐標(biāo)變換計算。對應(yīng)于屏幕上任一物理位置，記成像坐標(biāo)系中的坐標(biāo)為(u,v)，顯示坐標(biāo)系中的坐標(biāo)為(x,y)，即需要有變換函數(shù)Fx,Fy，使x=Fx(u,v)，y=Fy(u,v)。
由于實際系統(tǒng)的連續(xù)性和兩個坐標(biāo)系中有效范圍內(nèi)坐標(biāo)對的一一對應(yīng)關(guān)系，這種變換可以利用普通的數(shù)學(xué)方法來實現(xiàn)。為了適應(yīng)計算機的數(shù)值計算能力，可以采用數(shù)值算法進(jìn)行變換處理。為了實現(xiàn)這種坐標(biāo)變換計算，需要一組兩個坐標(biāo)系中的坐標(biāo)值的對應(yīng)關(guān)系樣本，根據(jù)這組樣本以求得變換計算所需的參數(shù)。
本發(fā)明的采集參考點樣本坐標(biāo)值的方法是在顯示坐標(biāo)系中選擇一組M行乘N列的參考點陣列，它們在顯示坐標(biāo)系中均勻分布。然后采集這組點在攝像裝置成像坐標(biāo)系中的坐標(biāo)值，得到這樣一組對應(yīng)關(guān)系(Xm,Yn)<->(Um,Vn)。其中(Xm,Yn)為顯示坐標(biāo)系上的坐標(biāo)，(Um,Vn)為成像坐標(biāo)系中的坐標(biāo)。m為1,2,…,M,n為1,2,…,N。M,N的大小隨成像的線性度而定。當(dāng)線性程度高時，可以取較小的值，如2；當(dāng)畸變較大時，應(yīng)取較大的值，如大于4。根據(jù)這組關(guān)系，利用數(shù)學(xué)方法，可以得到屏幕上任意點的成像坐標(biāo)至顯示坐標(biāo)的變換。本發(fā)明中M,N的范圍是2至100之間。
采集參考點樣本坐標(biāo)值的具體實現(xiàn)方式有自動和手動兩種。手動方式為在屏幕上顯示一個參考點(Xm,Yn)的位置，然后等待發(fā)光筆產(chǎn)生的光點在其上出現(xiàn)，記錄下光點在成像坐標(biāo)系的坐標(biāo)值(Um,Vn)。如此完成對所有參考點的坐標(biāo)采樣。自動方式為通過軟件的控制在顯示器上顯示具有上述參考點位置特征的圖象，采集并記錄拍攝的圖象，對圖象進(jìn)行分析以得出各參考點對應(yīng)的成像坐標(biāo)系的坐標(biāo)值。為了提高圖象信噪比，可以多次使圖象亮度反轉(zhuǎn)，同步采集記錄圖象，進(jìn)行相關(guān)處理得出新的圖象信息。例如第一次使對應(yīng)于參考點的位置為亮點，其余位置為黑，記錄采集到的圖象各象素亮度。第二次將圖象亮度反轉(zhuǎn)，將第二次采集的圖象各象素亮度值與第一次的相減，則可增強亮點的對比度，并可以消除平穩(wěn)的環(huán)境光。
由于采用了上述的坐標(biāo)變換計算步驟，可以實現(xiàn)計算機光標(biāo)實時跟蹤光筆所在物理位置，實現(xiàn)屏幕上的仿真書寫，即在光筆所過的實際物理軌跡實時顯示軌跡圖象。這樣就解決了所說的手眼不一致的問題。
為了能夠在屏幕前直接和直觀地發(fā)出操作控制信號如鼠標(biāo)器按鍵信號等，本發(fā)明采用發(fā)光筆發(fā)出的不同發(fā)光脈沖序列來實現(xiàn)來發(fā)送控制信息?？梢栽诎l(fā)光筆上設(shè)置按鍵開關(guān)，發(fā)光筆的中有控制電路，使當(dāng)不同按鍵按下時，發(fā)光筆產(chǎn)生不同的脈沖序列。只要脈沖寬度和間隙及其變化與攝像采樣周期相比足夠大，則系統(tǒng)能夠識別出不同的信號。
在發(fā)光筆上還可以引入一個滾輪，用以產(chǎn)生模擬鼠標(biāo)器滾輪動作的信號。即當(dāng)滾輪在不同方向上轉(zhuǎn)動時，發(fā)光筆產(chǎn)生不同的開關(guān)脈沖串。滾輪的引入可以增加操作的靈活性。
對于發(fā)光筆的進(jìn)一步改進(jìn)是為了方便仿真書寫，發(fā)光筆中引入一個傳感器，例如壓力傳感器、位移傳感器或振動傳感器。它與筆尖相連，目的是感應(yīng)筆尖是否接觸書寫平面。其安裝使之可以感應(yīng)筆尖受到的壓力或振動。一種可能的連接方式是控制電路與傳感器的輸出相連?？刂齐娐犯鶕?jù)傳感器的輸出信號控制發(fā)光器的開關(guān)動作。當(dāng)筆接觸屏幕時，將自動發(fā)光。從而仿真書寫更加自然。這一改進(jìn)功能可以單獨存在，也可以與其他的功能同時存在于一個筆中。
以上所述坐標(biāo)采集和變換方法也可以應(yīng)用于現(xiàn)有的電子白板系統(tǒng)。所不同的是沒有通過顯示器的書寫筆跡顯示，而上述的顯示坐標(biāo)系對應(yīng)于白板上設(shè)定的一個直角坐標(biāo)系?？梢杂孟囝愃频氖謩臃椒▉聿杉瘶颖咀鴺?biāo)和進(jìn)行坐標(biāo)變換。
附

圖1本系統(tǒng)信號采集處理器組成示意圖。
附圖2信號處理電路的組成示意圖。
附圖3多個攝像裝置的系統(tǒng)示意圖。
附圖1所示的信號采集處理器的組成示意圖是基本的坐標(biāo)坐標(biāo)與控制信息輸入系統(tǒng)的信號采集處理器。其組成是攝像裝置1連于信號處理電路2，再通過接口3連于計算機。方向指示器4也與接口3相連。作為一個實施例，接口3可以是標(biāo)準(zhǔn)并行口，攝像裝置1可以是由CCD或CMOS圖像傳感器構(gòu)成的模擬視頻輸出的黑白攝像頭。此攝像頭的輸出視頻信號通過信號處理電路處理后產(chǎn)生光點位置信息，通過并行接口3的八位數(shù)據(jù)端口線傳輸?shù)接嬎銠C。方向指示器4是一個紅色半導(dǎo)體激光二極管，它的光束方向與攝像頭的方向相同，其開關(guān)通過接口3的一個控制線進(jìn)行控制。
計算機與信號采集處理器通信功能、確定參考點和樣本坐標(biāo)采集過程、坐標(biāo)變換過程、控制信號分析以及對計算機系統(tǒng)進(jìn)行操作等功能利用軟件來配合實現(xiàn)。
附圖2所示的是附圖1中的信號處理電路2的組成及其與攝像裝置1、接口3的連接關(guān)系。虛線框內(nèi)是信號處理電路的組成。它由A/D轉(zhuǎn)換電路12，視頻同步信號產(chǎn)生電路11，數(shù)字邏輯電路13，晶體振蕩器14，讀寫存儲器15所組成。A/D轉(zhuǎn)換電路以單片A/D轉(zhuǎn)換集成電路為主體。數(shù)字邏輯電路由復(fù)雜可編程邏輯器件，如Lattice ispLSI 1032E構(gòu)成。
其工作原理是A/D轉(zhuǎn)換電路12將由攝像頭1輸出的圖像亮度信號轉(zhuǎn)換為數(shù)字信號，傳輸至數(shù)字邏輯電路13，其時鐘信號來自晶體振蕩器14。同步信號產(chǎn)生電路11從復(fù)合視頻信號中提取出視頻同步信號，也輸出至13。數(shù)字邏輯電路13中實現(xiàn)了本系統(tǒng)中光點位置信息提取的主要功能。其主要邏輯包括閾值比較、行計數(shù)、列計數(shù)以及與接口的通信等。即在每圖像場中根據(jù)行同步信號計數(shù)行數(shù)，在每行中根據(jù)由14產(chǎn)生的時鐘信號作列計數(shù)，在每場中對行信號進(jìn)行計數(shù)。在每一亮度數(shù)據(jù)產(chǎn)生時，將其與一固定閾值進(jìn)行比較，當(dāng)大于此閾值時，即將此時的行、列計數(shù)值暫存于存儲器15中。設(shè)置計算機的并口工作于EPP模式，數(shù)據(jù)在視頻場消隱期間通過接口3發(fā)送至計算機。
本實施例主要適用于投影機作為計算機顯示器的場合，也適用其他需要直觀控制和屏幕書寫的場合。以投影機應(yīng)用場合為例，將附圖1所示的信號采集處理器放置于投影機附近，攝像頭朝向屏幕。其輸出信號通過接口傳送到計算機。發(fā)光筆在常態(tài)下不發(fā)光。當(dāng)有按鍵被按下時將會發(fā)光。不同按鍵按下時將發(fā)出不同形式的光信號。當(dāng)脈沖寬度和間隔適當(dāng)時，計算機軟件能夠區(qū)別出不同的信號，以此方法可以模擬鼠標(biāo)器的按鍵消息。幾種可能的情況如附圖4所示。
為了進(jìn)行成像坐標(biāo)到顯示坐標(biāo)的變換，本實施例的軟件具備樣本坐標(biāo)采集程序，其流程是逐點在屏幕上顯示一組均勻分布的M行N列點，等待使用者在每一個點上點亮發(fā)光筆，計算機記錄下對應(yīng)的成像坐標(biāo)系下的坐標(biāo)值。用數(shù)值方法來求得屏幕上任意一點的成像坐標(biāo)系坐標(biāo)到顯示坐標(biāo)系坐標(biāo)的轉(zhuǎn)換，從而達(dá)到光筆指示位置與顯示坐標(biāo)位置一致的目的。軟件在不同的狀態(tài)下可以實時地在光筆經(jīng)過的實際軌跡上顯示筆跡，達(dá)到仿真書寫的目的?；蜻M(jìn)行移動光標(biāo)，識別光筆的脈沖發(fā)光信號，進(jìn)而與操作系統(tǒng)進(jìn)行交互的工作。
為了達(dá)到提高光信噪比的目的，在攝像頭1中引入了帶通濾光片。濾光片可以是專用的干涉帶通濾光片，也可以是通過在透鏡上進(jìn)行光學(xué)鍍膜及采用有色光學(xué)玻璃形成。濾光片的帶通窗口波長與發(fā)光筆發(fā)光的峰值波長相同。這一措施在采用激光器時尤其有效。
為了在使用時保證攝像頭方向正確，引入了方向指示器4。由于其激光束與攝像頭的方向相同，因此可以根據(jù)光束的方向判別攝像頭的指向是否正確，即如果方向指示激光器4照射到屏幕中心，則攝像頭方向正確。方向指示器4的開關(guān)可以由一個設(shè)在外殼上的開關(guān)控制，也可以通過接口由計算機控制。本實施例中是通過接口進(jìn)行控制的。
如果引入兩個或多個方向指示激光器，則可以更好地定位攝像頭。利用兩個或多個方向指示激光器可以精確地校正信號采集處理器的位置和方向。方法是在顯示屏幕上顯示固定的位置特征，并使這一組激光束各自照射在特定位置上。這種情況下，可能使用預(yù)存的樣本坐標(biāo)值或使用固定的算法參數(shù)進(jìn)行坐標(biāo)變換。
本發(fā)明還有如下兩個實施例實施例一在上述基本實施例的基礎(chǔ)上，為了適應(yīng)大型顯示屏幕的應(yīng)用，本實施例作如下改進(jìn)信號處理電路有坐標(biāo)分析模式和圖象采集模式兩種工作模式。通過計算機接口傳送控制命令給信號處理電路，可使其在兩種模式間切換。在坐標(biāo)分析模式下，其功能與前述一樣。在圖象采集模式下，信號處理電路將原始數(shù)字圖象信號傳輸至計算機。在本實施例中，采用前述自動方式進(jìn)行參考點樣本坐標(biāo)的采集，即先在計算機顯示屏上顯示具有參考點位置特征的圖象，然后采集圖象并傳輸?shù)接嬎銠C，用軟件進(jìn)行圖像分析來求出參考點在成像坐標(biāo)系中的坐標(biāo)值。
為了提供信噪比，可以反復(fù)使圖象亮度反轉(zhuǎn)，同步地記錄圖象并進(jìn)行相關(guān)處理。
實施例二附圖3所示的多個攝像裝置的系統(tǒng)的實施例。其中17是信號處理電路，16是攝像頭。與以上實施例不同的是，它包括兩個從不同方向拍攝屏幕圖象的攝像頭。它們安裝在接近屏幕平面的位置。根據(jù)幾何原理，當(dāng)兩個攝像頭固定時，屏幕上任一點在兩個攝像頭取景范圍中的側(cè)向角度，即延屏幕方向上展開的角度，唯一決定了其位置。信號處理電路用于從圖像信號中提取發(fā)光點在攝像頭中的視角信息，從而系統(tǒng)可以進(jìn)一步計算出坐標(biāo)信息。在此系統(tǒng)中，攝像器件可以采用一維成像器件如線性陣列CCD或CMOS成像器件。根據(jù)實際需要也可以設(shè)置兩個以上攝像頭，對其信號進(jìn)行聯(lián)合處理。本實施例的優(yōu)點是1．由于攝像頭接近屏幕，不易受到遮擋。2．線陣圖象傳感器有更高的掃描速率，從而系統(tǒng)響應(yīng)更快。
權(quán)利要求
1．用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其系統(tǒng)包括信號采集處理器和發(fā)光筆，其中信號采集處理器的組成是攝像裝置(1)連于信號處理電路(2)，再連于接口(3)，接口(3)可與計算機進(jìn)行通信，其特征在于攝像裝置的成像光路中包含濾光片，發(fā)光筆中的發(fā)光器件為半導(dǎo)體發(fā)光器，其特征還在于系統(tǒng)采用如下方法(1)．利用發(fā)光筆產(chǎn)生的光點指示目標(biāo)點的位置，同時引入攝像裝置進(jìn)行實時圖像采集，用電路進(jìn)行圖象分析處理取得光點的位置信息并通過接口輸入計算機，根據(jù)這些信息計算出光點在攝像機程序坐標(biāo)系中的坐標(biāo)。(2)．引入坐標(biāo)變換計算過程將成像坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為計算機顯示坐標(biāo)系中相應(yīng)的坐標(biāo)，為了實現(xiàn)上述變換計算，在系統(tǒng)初始化過程中引入一個采集參考點樣本坐標(biāo)的步驟。
2．根據(jù)權(quán)利要求1所述的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其特征在于其方法還利用發(fā)光筆所產(chǎn)生光點出現(xiàn)和消失的時間序列來表示控制信息。
3．根據(jù)權(quán)利要求1或2所述的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其特征是參考點樣本坐標(biāo)的采集步驟在顯示坐標(biāo)系的一個以上位置處顯示特征點，利用光點在其位置出現(xiàn)并記錄其在成像坐標(biāo)系中的坐標(biāo)值來實現(xiàn)樣本坐標(biāo)的采集。
4．根據(jù)權(quán)利要求1或2所述的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其特征是參考點樣本坐標(biāo)的采集步驟是先在計算機顯示屏上顯示具有參考點位置特征的圖象，然后采集圖象并傳輸?shù)接嬎銠C，用軟件進(jìn)行圖像分析來求出參考點在成像坐標(biāo)系中的坐標(biāo)值。
5．根據(jù)權(quán)利要求4所述的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其特征在于參考點樣本坐標(biāo)采集的步驟包含反復(fù)使圖象亮度反轉(zhuǎn)，同步地記錄圖象并進(jìn)行相關(guān)處理的步驟。
6．根據(jù)權(quán)利要求1所述的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其特征是信號采集處理器中的攝像裝置是一個攝像頭，并且與其相對固定有1-3個可見光半導(dǎo)體激光器。
7．根據(jù)權(quán)利要求1所述的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其特征是信號采集處理器有坐標(biāo)分析模式和圖象采集模式兩種工作模式，通過計算機接口的控制可使其在兩種模式間切換，在坐標(biāo)分析模式下，它輸出亮光點位置信息，在圖象采集模式下，它將原始數(shù)字圖象信號傳輸至計算機。
8．根據(jù)權(quán)利要求1所述的用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法，其特征是所述的信號采集處理器中的攝像裝置是2-6個攝像頭。
全文摘要
一種用于計算機坐標(biāo)與控制信息輸入的系統(tǒng)及方法,屬計算機應(yīng)用技術(shù)。系統(tǒng)包括信號采集處理器、發(fā)光筆和計算機程序。其中信號采集處理器的組成是攝像裝置(1)、信號處理電路(2)、接口(3),以及方向指示器等。其方法是:(1).用發(fā)光筆產(chǎn)生的光點來標(biāo)示目標(biāo)點的位置,引入攝像裝置進(jìn)行實時圖像采集,用信號處理電路實時分析圖像信號來提取光點的位置信息,通過接口電路輸入計算機;(2).引入坐標(biāo)矯正計算過程,將成像坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為計算機顯示坐標(biāo)系中相應(yīng)的坐標(biāo)。
文檔編號G06F3/033GK1305143SQ0110804
公開日2001年7月25日 申請日期2001年1月16日 優(yōu)先權(quán)日2001年1月16日
發(fā)明者鮑煒, 郭方紅 申請人:郭方紅