專(zhuān)利名稱:遠(yuǎn)程指示系統(tǒng)、遠(yuǎn)程指示方法和用于遠(yuǎn)程指示的程序產(chǎn)品的制作方法
技術(shù)領(lǐng)域:
本發(fā)明總體上涉及遠(yuǎn)程指示系統(tǒng)和遠(yuǎn)程指示方法。
背景技術(shù):
在遠(yuǎn)程會(huì)議系統(tǒng)中,必須從遠(yuǎn)程側(cè)向?qū)嵨飩?cè)給出各種指示。作為其中可以從遠(yuǎn)程側(cè)向?qū)嵨飩?cè)給出指示的遠(yuǎn)程指示系統(tǒng)的示例,已經(jīng)知道如下的技術(shù)在通過(guò)攝像機(jī)捕獲現(xiàn)實(shí)世界側(cè)存在的目標(biāo)對(duì)象并且將這樣捕獲的圖像傳送到遠(yuǎn)程終端的同時(shí),從實(shí)物側(cè)的投影儀將在遠(yuǎn)程終端上基于所捕獲圖像而確定的注釋圖像(annotation image)投影到目標(biāo)對(duì)象上(參見(jiàn)美國(guó)專(zhuān)利公報(bào)第2004/0070674號(hào))。
在遠(yuǎn)程終端上,必須將遠(yuǎn)程站中的攝像機(jī)捕獲的圖像顯示在顯示畫(huà)面上,并且必須將注釋圖像繪制在捕獲的圖像上,同時(shí)觀察所顯示的捕獲圖像。然而,存在如下問(wèn)題當(dāng)投影注釋圖像時(shí),無(wú)法在顯示裝置上適當(dāng)?shù)刂付ㄗ⑨寛D像,尤其是相對(duì)于對(duì)象的細(xì)節(jié)部分無(wú)法適當(dāng)?shù)刂付ㄗ⑨寛D像。
發(fā)明內(nèi)容
鑒于上述情況提出了本發(fā)明,并且本發(fā)明提供了一種遠(yuǎn)程指示系統(tǒng)和遠(yuǎn)程指示方法,其中即使當(dāng)將注釋圖像投影到對(duì)象的細(xì)節(jié)部分上時(shí),也可以容易地給出對(duì)繪制的指示。
本發(fā)明的一個(gè)方面提供了一種包括控制部的遠(yuǎn)程指示系統(tǒng)。所述控制部向遠(yuǎn)程終端發(fā)送第一圖像,并且根據(jù)從遠(yuǎn)程終端基于第一圖像而發(fā)布的指示來(lái)控制投影部以將第一注釋圖像投影到對(duì)象上。所述控制部向遠(yuǎn)程終端發(fā)送第二圖像,并且根據(jù)從遠(yuǎn)程終端基于第二圖像而發(fā)布的指示來(lái)控制投影部以將第二注釋圖像投影到對(duì)象上,由為捕獲對(duì)象的第一圖像而設(shè)置的第一圖像捕獲部來(lái)捕獲第一圖像,當(dāng)從遠(yuǎn)程終端選擇了第一圖像中的給定區(qū)域時(shí)由為放大對(duì)象的所述給定區(qū)域以捕獲第二圖像而設(shè)置的第二圖像捕獲部來(lái)捕獲第二圖像。根據(jù)本發(fā)明的一個(gè)方面,可以在第二圖像捕獲部捕獲的圖像上指示注釋圖像,由此即使當(dāng)將注釋圖像投影到對(duì)象的細(xì)節(jié)部分上時(shí),也可以容易地給出繪制指示。
在上述遠(yuǎn)程指示系統(tǒng)中,控制部可以將選擇的給定區(qū)域的坐標(biāo)變換為使用第二圖像捕獲部進(jìn)行放大時(shí)使用的值,以控制對(duì)第二圖像捕獲部捕獲的第二圖像的放大??刂撇靠梢詫⑷缦碌牡诙⑨寛D像變換為具有第一圖像捕獲部的坐標(biāo)系,并且隨后控制投影部以將經(jīng)變換的注釋圖像投影到對(duì)象上,所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。所述遠(yuǎn)程指示系統(tǒng)可以進(jìn)一步包括相對(duì)位置改變部,所述相對(duì)位置改變部改變對(duì)象相對(duì)于投影部、第一圖像捕獲部、以及第二圖像捕獲部的相對(duì)位置關(guān)系。控制部可以根據(jù)由相對(duì)位置改變部進(jìn)行了移動(dòng)的對(duì)象,改變?nèi)缦碌牡诙⑨寛D像的投影位置,所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。所述相對(duì)位置改變部可以包括可以使對(duì)象旋轉(zhuǎn)的旋轉(zhuǎn)臺(tái)。
本發(fā)明的另一方面提供了一種遠(yuǎn)程指示方法,所述遠(yuǎn)程指示方法包括以下步驟向遠(yuǎn)程終端發(fā)送第一圖像;根據(jù)從遠(yuǎn)程終端基于第一圖像而發(fā)布的指示進(jìn)行控制以將第一注釋圖像投影到對(duì)象上;向遠(yuǎn)程終端發(fā)送第二圖像;以及根據(jù)從遠(yuǎn)程終端基于第二圖像而發(fā)布的指示進(jìn)行控制以將第二注釋圖像投影到對(duì)象上,由為捕獲對(duì)象的第一圖像而設(shè)置的第一圖像捕獲部來(lái)捕獲第一圖像,在從遠(yuǎn)程終端選擇了第一圖像中的給定區(qū)域時(shí)由為放大對(duì)象的所述給定區(qū)域以捕獲第二圖像而設(shè)置的第二圖像捕獲部來(lái)捕獲第二圖像。根據(jù)本發(fā)明的一個(gè)方面,可以在第二圖像捕獲部捕獲的圖像上指示注釋圖像,由此即使當(dāng)將注釋圖像投影到對(duì)象的細(xì)節(jié)部分上時(shí),也可以容易地給出繪制指示。
上述方法可以進(jìn)一步包括以下步驟依照基于第二圖像捕獲部捕獲的第二圖像的指示將第二注釋圖像變換為具有第一圖像捕獲部的坐標(biāo)系。
本發(fā)明的另一方面提供了一種計(jì)算機(jī)可讀介質(zhì),所述計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)有使得計(jì)算機(jī)執(zhí)行遠(yuǎn)程指示處理的程序,所述處理包括以下步驟向遠(yuǎn)程終端發(fā)送第一圖像;根據(jù)從遠(yuǎn)程終端基于第一圖像而發(fā)布的指示進(jìn)行控制以將第一注釋圖像投影到對(duì)象上;向遠(yuǎn)程終端發(fā)送第二圖像;以及根據(jù)從遠(yuǎn)程終端基于第二圖像而發(fā)布的指示進(jìn)行控制以將第二注釋圖像投影到對(duì)象上,由為捕獲對(duì)象的第一圖像而設(shè)置的第一圖像捕獲部來(lái)捕獲第一圖像,在從遠(yuǎn)程終端選擇了第一圖像中的給定區(qū)域時(shí)由為放大對(duì)象的所述給定區(qū)域以捕獲第二圖像而設(shè)置的第二圖像捕獲部來(lái)捕獲第二圖像。
根據(jù)下列附圖來(lái)詳細(xì)描述本發(fā)明的實(shí)施例,在附圖中圖1是例示出遠(yuǎn)程指示系統(tǒng)的示例性實(shí)施例的配置圖;圖2是示出使用對(duì)象側(cè)裝置的攝像機(jī)的服務(wù)器上的示例處理的流程圖;圖3是示出在遠(yuǎn)程終端的計(jì)算機(jī)上形成圖像的示例處理的流程圖;圖4是例示出遠(yuǎn)程終端側(cè)的示例操作的圖;圖5是遠(yuǎn)程指示系統(tǒng)的操作流程圖;圖6A是例示出在攝像機(jī)的捕獲圖像中指定的縮放指定區(qū)域的圖;圖6B是例示出PTZ攝像機(jī)的捕獲圖像的圖;圖6C是例示出在PTZ攝像機(jī)的捕獲圖像中繪制的注釋圖像的圖;圖6D是例示出其上投影了注釋圖像的對(duì)象的圖;圖6E是示出攝像機(jī)捕獲的其上投影了注釋圖像的對(duì)象的捕獲圖像的圖;圖7A和圖7B是例示出縮放指定區(qū)域的坐標(biāo)與PTZ攝像機(jī)的搖攝俯仰變焦(pan tilt zoom)值的變換的圖;圖8示出遠(yuǎn)程終端上的用戶接口的示例;圖9示出遠(yuǎn)程終端上的用戶接口的變型例;圖10示出遠(yuǎn)程終端上的用戶接口的另一變型例;以及圖11示出關(guān)于在PTZ攝像機(jī)的捕獲圖像上繪制注釋圖像的變型例。
具體實(shí)施例方式
現(xiàn)在參照附圖給出對(duì)本發(fā)明實(shí)施例的說(shuō)明。圖1是例示出遠(yuǎn)程指示系統(tǒng)1的示例性實(shí)施例的配置圖。遠(yuǎn)程指示系統(tǒng)1包括對(duì)象側(cè)裝置10和遠(yuǎn)程終端100。對(duì)象側(cè)裝置10和遠(yuǎn)程終端100通過(guò)網(wǎng)絡(luò)300彼此連接以能夠相互通信。在圖1中,僅示出了一個(gè)遠(yuǎn)程終端100,然而,可以有多個(gè)遠(yuǎn)程終端100通過(guò)網(wǎng)絡(luò)300連接到對(duì)象側(cè)裝置10的服務(wù)器50(如稍后所述)。
對(duì)象側(cè)裝置10包括用作第一圖像捕獲部的攝像機(jī)20、用作第二圖像捕獲部的PTZ攝像機(jī)30、用作投影部的投影器40、用作控制部的服務(wù)器50、半反射鏡(halfmirror)60、以及用作相對(duì)位置改變部的旋轉(zhuǎn)臺(tái)70。攝像機(jī)20例如包括CCD攝像器以捕獲設(shè)置在旋轉(zhuǎn)臺(tái)70上的對(duì)象(目標(biāo)對(duì)象)200,同時(shí)將這種捕獲圖像的信息取入服務(wù)器50中。PTZ攝像機(jī)30是能夠?qū)?duì)象200進(jìn)行搖攝、俯仰以及變焦的攝像器,并且在遠(yuǎn)程終端100選擇了捕獲圖像中的給定區(qū)域時(shí)放大對(duì)象200中的選擇的給定區(qū)域以捕獲其圖像。攝像機(jī)20與PTZ攝像機(jī)30之間的位置關(guān)系是預(yù)先校準(zhǔn)的。攝像機(jī)20捕獲透過(guò)半反射鏡60的圖像。
投影器40包括液晶投影器等,并且根據(jù)從遠(yuǎn)程終端100基于所捕獲的圖像而給出的指示將注釋圖像201投影到對(duì)象200上。此外,投影器40排列為如下方式其光學(xué)系統(tǒng)通過(guò)半反射鏡60而與攝像機(jī)20的光學(xué)主點(diǎn)基本對(duì)準(zhǔn)。投影器40通過(guò)其光學(xué)系統(tǒng)和半反射鏡60將從服務(wù)器50發(fā)送的注釋圖像投影到對(duì)象200上。從投影器40投影的注釋圖像被半反射鏡60反射并且投影到對(duì)象200上。注釋圖像包括任何類(lèi)型的圖像,例如線條、字符、圖畫(huà)等等。
旋轉(zhuǎn)臺(tái)70受服務(wù)器50控制,使得放置在旋轉(zhuǎn)臺(tái)70上表面的對(duì)象200旋轉(zhuǎn),從而改變對(duì)象200相對(duì)于攝像機(jī)20、PTZ攝像機(jī)30以及投影器40的位置。服務(wù)器50控制攝像機(jī)20、PTZ攝像機(jī)30、投影器40以及旋轉(zhuǎn)臺(tái)70的操作,同時(shí)通過(guò)網(wǎng)絡(luò)300向遠(yuǎn)程終端100發(fā)送并且從其接收各種信息。此外,服務(wù)器50將攝像機(jī)20捕獲的圖像發(fā)送給遠(yuǎn)程終端100,并且根據(jù)遠(yuǎn)程終端100基于此捕獲圖像而發(fā)布的指示將注釋圖像投影到對(duì)象200上。此外,服務(wù)器50向遠(yuǎn)程終端100發(fā)送PTZ攝像機(jī)30捕獲的圖像,并且根據(jù)遠(yuǎn)程終端100基于PTZ攝像機(jī)30捕獲的圖像而發(fā)布的指示來(lái)通過(guò)PTZ攝像機(jī)30將注釋圖像投影到對(duì)象200上。
服務(wù)器50根據(jù)放置在旋轉(zhuǎn)臺(tái)70上的對(duì)象200的旋轉(zhuǎn)(移動(dòng))進(jìn)行控制,以改變投影器40投影的注釋圖像的投影位置。
遠(yuǎn)程終端100包括顯示裝置110、計(jì)算機(jī)120和定點(diǎn)裝置(鼠標(biāo))130等。顯示裝置110包括液晶顯示器或CRT等。計(jì)算機(jī)120連接到網(wǎng)絡(luò)300。定點(diǎn)裝置130連接到計(jì)算機(jī)120。顯示裝置110在其顯示畫(huà)面上顯示從對(duì)象側(cè)裝置10發(fā)送的、由攝像機(jī)20和PTZ攝像機(jī)30捕獲的圖像。定點(diǎn)裝置130用于通過(guò)正顯示有所捕獲圖像的顯示畫(huà)面上的指示器來(lái)操作各種按鈕,從而創(chuàng)建關(guān)于要投影到對(duì)象200上的注釋圖像的指示。定點(diǎn)裝置130也用于給出指示以利用旋轉(zhuǎn)臺(tái)70的旋轉(zhuǎn)來(lái)使得對(duì)象200旋轉(zhuǎn)。
接下來(lái),參照?qǐng)D2到圖4描述具有上述配置的遠(yuǎn)程指示系統(tǒng)的操作。圖2是示出使用對(duì)象側(cè)裝置10的攝像機(jī)20的服務(wù)器50上的示例處理的流程圖。圖3是示出在遠(yuǎn)程終端100的計(jì)算機(jī)120上形成圖像的示例處理的流程圖。圖4是例示出遠(yuǎn)程終端100側(cè)上的示例操作的圖。
現(xiàn)在參照?qǐng)D2,對(duì)象側(cè)裝置10的服務(wù)器50通過(guò)攝像機(jī)20開(kāi)始捕獲圖像(步驟S11),并且確定是否存在來(lái)自遠(yuǎn)程終端100的計(jì)算機(jī)120的連接請(qǐng)求(步驟S12)。如果存在來(lái)自計(jì)算機(jī)120的連接請(qǐng)求,則服務(wù)器50通過(guò)網(wǎng)絡(luò)300將攝像機(jī)20捕獲的圖像發(fā)送到遠(yuǎn)程終端100的計(jì)算機(jī)120(步驟S13)。
隨后,服務(wù)器50確定是否從計(jì)算機(jī)120發(fā)送了控制信號(hào)(步驟S14)??刂菩盘?hào)包括繪制信號(hào)和位置控制信號(hào),繪制信號(hào)是關(guān)于繪制注釋圖像的信息,位置控制信號(hào)是為了使旋轉(zhuǎn)臺(tái)70旋轉(zhuǎn)而提供的。如果服務(wù)器50接收到前述控制信號(hào),則服務(wù)器50根據(jù)該控制信號(hào)的內(nèi)容來(lái)執(zhí)行控制信號(hào)處理(步驟S15)。
同時(shí),如果服務(wù)器50沒(méi)有接收到前述控制信號(hào),則服務(wù)器50確定是否存在斷開(kāi)請(qǐng)求(步驟S16)。如果不存在斷開(kāi)請(qǐng)求,則服務(wù)器50返回步驟S13,并且通過(guò)網(wǎng)絡(luò)300向遠(yuǎn)程終端100的計(jì)算機(jī)120發(fā)送新捕獲的圖像。如果存在斷開(kāi)請(qǐng)求,則服務(wù)器50停止發(fā)送攝像機(jī)20捕獲的圖像(步驟S17)。接下來(lái),服務(wù)器50確定是否存在處理結(jié)束請(qǐng)求(步驟S18)。如果不存在結(jié)束請(qǐng)求,則處理返回步驟S12以重復(fù)上述處理。如果存在處理結(jié)束請(qǐng)求,則處理結(jié)束。
接下來(lái),對(duì)遠(yuǎn)程終端100的操作給出描述。首先,如圖3所示,遠(yuǎn)程終端100的計(jì)算機(jī)120向服務(wù)器50發(fā)布連接請(qǐng)求(步驟S21)。接著,在建立連接之后,例如,如圖4所示,計(jì)算機(jī)120在顯示裝置110的顯示畫(huà)面111上顯示從對(duì)象側(cè)裝置10的服務(wù)器50發(fā)送的捕獲圖像(步驟S22)。
隨后,計(jì)算機(jī)120確定操作員是否給出了關(guān)于在所捕獲圖像中的關(guān)注區(qū)域的指示(步驟S23)。如果存在關(guān)于關(guān)注區(qū)域的指示,則執(zhí)行根據(jù)該指示的處理(步驟S26)。具體地,如圖4所示,如果在顯示的圖像中存在操作員希望將注釋圖像201a投影于其上的區(qū)域,則遠(yuǎn)程終端100的操作員在觀看顯示裝置110的顯示畫(huà)面111上的圖像的同時(shí),對(duì)定點(diǎn)裝置130進(jìn)行操作以在顯示畫(huà)面111上移動(dòng)指示器Pt并且發(fā)布關(guān)于關(guān)注區(qū)域DR的指示。關(guān)注區(qū)域是對(duì)要將注釋圖像201a投影于其上的投影位置進(jìn)行限定的區(qū)域。此時(shí),操作員同時(shí)發(fā)布關(guān)于要投影到關(guān)注區(qū)域上的注釋圖像201a的信息的指示。
例如,可以通過(guò)使用定點(diǎn)裝置130來(lái)操作形成在顯示畫(huà)面111上的各種按鈕BT等,從而指示圖形信息(例如繪制矩形還是圓形)、預(yù)先準(zhǔn)備的位像、從鍵盤(pán)輸入的文本信息。計(jì)算機(jī)120將在步驟S26指定的各種類(lèi)型的信息發(fā)送給服務(wù)器50作為繪制信息(步驟S27)。
接下來(lái),計(jì)算機(jī)120確定是否已經(jīng)完成了操作員從遠(yuǎn)程終端100基于攝像機(jī)20捕獲的圖像而發(fā)布的指示(步驟S28)。如果完成了指示,則向服務(wù)器50發(fā)布斷開(kāi)請(qǐng)求(步驟S29),并且結(jié)束處理。如果遠(yuǎn)程終端100的操作員發(fā)布的指示尚未完成,則處理返回到步驟S22以重復(fù)上述處理。
在此,如果遠(yuǎn)程終端100的操作員希望使得對(duì)象200旋轉(zhuǎn),則操作員在觀看如圖4所示的顯示在顯示畫(huà)面111上的圖像的同時(shí)操作旋轉(zhuǎn)按鈕R1和R2以指示旋轉(zhuǎn)臺(tái)70的旋轉(zhuǎn)方向和旋轉(zhuǎn)量,以使得可以顯示捕獲圖像中的對(duì)象200中的操作員希望將注釋圖像投影于其上的區(qū)域,或者使得對(duì)象200的觀察位置最適當(dāng)。旋轉(zhuǎn)按鈕R1和R2設(shè)置在顯示畫(huà)面111上,用于使得旋轉(zhuǎn)臺(tái)70旋轉(zhuǎn)。在步驟S23,如果不存在關(guān)于關(guān)注區(qū)域的指示(不存在關(guān)于注釋圖像的指示),則計(jì)算機(jī)120確定應(yīng)給出關(guān)于對(duì)象200的旋轉(zhuǎn)的指示,并且執(zhí)行與對(duì)象200的旋轉(zhuǎn)相關(guān)的處理(步驟S24)。
隨后,計(jì)算機(jī)120向?qū)ο髠?cè)裝置10的服務(wù)器50發(fā)送關(guān)于旋轉(zhuǎn)量的信息(移動(dòng)量信息)(步驟S25),該信息是通過(guò)與對(duì)象200的旋轉(zhuǎn)相關(guān)的處理而獲得的。這使得旋轉(zhuǎn)臺(tái)70旋轉(zhuǎn),改變了對(duì)象側(cè)裝置10上的對(duì)象200的旋轉(zhuǎn)位置。在遠(yuǎn)程終端100的顯示裝置110上顯示新捕獲的圖像(步驟S22)。
接下來(lái),對(duì)遠(yuǎn)程指示系統(tǒng)1使用攝像機(jī)20和PTZ攝像機(jī)30執(zhí)行的處理給出描述。圖5是遠(yuǎn)程指示系統(tǒng)1的操作流程圖。圖6A是例示出在攝像機(jī)20的捕獲圖像21中指定的縮放指定區(qū)域400的圖。圖6B是例示出PTZ攝像機(jī)30的捕獲圖像31的圖。圖6C是例示出繪制在PTZ攝像機(jī)30的捕獲圖像31中的注釋圖像202a的圖。圖6D是例示出注釋圖像201和202投影于其上的對(duì)象200的圖。圖6E是示出攝像機(jī)20捕獲的對(duì)象200(注釋圖像201和202投影于其上)的捕獲圖像21的圖。圖7A和圖7B是例示出縮放指定區(qū)域400的坐標(biāo)與PTZ攝像機(jī)30的搖攝俯仰變焦值之間的變換的圖。
圖8是示出遠(yuǎn)程終端的畫(huà)面(用戶接口)的圖。遠(yuǎn)程終端100的畫(huà)面500同時(shí)顯示攝像機(jī)20捕獲的圖像21和PTZ攝像機(jī)30捕獲的捕獲圖像31。用戶使用定點(diǎn)裝置130等來(lái)操作繪制選擇按鈕422,并且選擇繪制方法,以將注釋圖像201a繪制在攝像機(jī)20捕獲的圖像21上或者PTZ攝像機(jī)30捕獲的圖像31上。在繪制選擇按鈕422中設(shè)置有放大指定按鈕423。通過(guò)選擇放大指定按鈕423,可以在攝像機(jī)20捕獲的圖像21上繪制矩形(縮放指定區(qū)域400)。
參照?qǐng)D5來(lái)對(duì)操作進(jìn)行描述。攝像機(jī)20捕獲對(duì)象200。服務(wù)器50始終通過(guò)網(wǎng)絡(luò)300連續(xù)向遠(yuǎn)程終端100發(fā)送通過(guò)攝像機(jī)20捕獲的圖像。現(xiàn)在,假設(shè)用戶在遠(yuǎn)程終端100上用顏色A在通過(guò)攝像機(jī)20捕獲的圖像21上繪制注釋圖像201a。當(dāng)服務(wù)器50檢測(cè)到在通過(guò)攝像機(jī)20捕獲的圖像21上已繪制了注釋圖像201a時(shí)(步驟S31),將從遠(yuǎn)程終端100接收的注釋圖像從攝像機(jī)20的坐標(biāo)系變換為具有投影器40的坐標(biāo)系。從投影器40將此經(jīng)變換的注釋圖像投影到對(duì)象200上(步驟S32)。因此將注釋圖像201實(shí)際投影到對(duì)象200上。
當(dāng)用戶使用定點(diǎn)裝置130在遠(yuǎn)程終端100上指定了縮放指定區(qū)域400時(shí),遠(yuǎn)程終端100向服務(wù)器50發(fā)送縮放指定區(qū)域的坐標(biāo)(x0,y0,x1,y1)。在此,如圖7A和7B所示,(x0,y0)表示縮放指定區(qū)域400的左上坐標(biāo),(x1,y1)表示縮放指定區(qū)域400的右下坐標(biāo)。
當(dāng)在攝像機(jī)20捕獲的圖像上選擇了縮放指定區(qū)域400時(shí)(步驟S33),服務(wù)器50將從遠(yuǎn)程終端100接收的縮放指定區(qū)域(選擇的給定區(qū)域)400的坐標(biāo)值變換成PTZ攝像機(jī)30的搖攝俯仰變焦值(放大所必需的值),以控制PTZ攝像機(jī)30(步驟S34)。具體地,服務(wù)器50基于縮放指定區(qū)域400的坐標(biāo)(x0,y0,x1,y1)來(lái)計(jì)算PTZ攝像機(jī)30的對(duì)應(yīng)搖攝俯仰變焦值(p,t,z),以將縮放指定區(qū)域400修改為PTZ攝像機(jī)30捕獲的圖像31的縱橫比。在此,式(1)是將縮放指定區(qū)域400的坐標(biāo)(x0,y0,x1,y1)變換成PTZ攝像機(jī)30的搖攝俯仰變焦值(p,t,z)的變換公式。
(式(1))(p,t,z)=f(x0,y0,x1,y1)… (1)函數(shù)“f”是對(duì)于攝像機(jī)20和PTZ攝像機(jī)30的固有函數(shù),是預(yù)先測(cè)量的。使用函數(shù)“f”的變換可以在服務(wù)器50上執(zhí)行或者可以在遠(yuǎn)程終端100上執(zhí)行,并且將PTZ攝像機(jī)30的搖攝俯仰變焦值(p,t,z)發(fā)送到服務(wù)器50以控制PTZ攝像機(jī)30。
隨后,服務(wù)器50將PTZ攝像機(jī)30的搖攝俯仰變焦值(p,t,z)發(fā)送到PTZ攝像機(jī)30以控制PTZ攝像機(jī)30。事實(shí)上,PTZ攝像機(jī)30可以控制的搖攝俯仰變焦值(p,t,z)存在局限性。因此,通過(guò)最接近搖攝俯仰變焦值(p,t,z)的搖攝俯仰變焦值(p’,t’,z’)來(lái)控制PTZ攝像機(jī)30。接下來(lái),服務(wù)器50取入PTZ攝像機(jī)30捕獲的圖像31,并且通過(guò)網(wǎng)絡(luò)300連續(xù)發(fā)送到遠(yuǎn)程終端100。在從服務(wù)器50接收到PTZ攝像機(jī)30捕獲的圖像時(shí),遠(yuǎn)程終端100在顯示裝置110上顯示所捕獲的圖像。用戶在攝像機(jī)30捕獲的圖像31上繪制注釋圖像202a,并且隨后遠(yuǎn)程終端100將這樣繪制的注釋圖像202a的繪制信息發(fā)送到服務(wù)器50。根據(jù)搖攝俯仰變焦控制值(p’,t’,z’),實(shí)際縮放區(qū)域?qū)?yīng)于坐標(biāo)(x’0,y’0,x’1,y’1)。這是通過(guò)式(2)計(jì)算的。
(式(2))(x′0,y′o,x′1,y′1)=f-1(p′,t′,z′)…(2)當(dāng)檢測(cè)到在PTZ攝像機(jī)30捕獲的圖像31上繪制了注釋圖像時(shí)(步驟S35),服務(wù)器50將根據(jù)基于PTZ攝像機(jī)30捕獲的圖像的指示而繪制的注釋圖像202a變換為具有攝像機(jī)20基于縮放指定區(qū)域400而捕獲的圖像21的坐標(biāo)系(步驟S36)。具體地,服務(wù)器50將PTZ攝像機(jī)30捕獲的圖像的坐標(biāo)系(xb,yb)變換為攝像機(jī)20的捕獲圖像的坐標(biāo)系(xa,ya)。式(3)是此時(shí)的變換公式。
(式(3))(xa,ya)=g(xb,yb) …(3)在此,函數(shù)“g”是使用實(shí)際縮放區(qū)域的坐標(biāo)(x0’,y0’,x1’,y1’)以及PTZ攝像機(jī)30捕獲的圖像的圖像大小(w,h)、通過(guò)式(4)和(5)中所示的仿射變換而獲得的。
(式(4))xa=(x′1-x′0)wxb+x′0...(4)]]>(式(5))ya=(y′1-y′0)hyb+y′0...(5)]]>通過(guò)上述處理,將PTZ攝像機(jī)30捕獲的圖像31上的注釋圖像變換為具有攝像機(jī)20捕獲的圖像的坐標(biāo)系的注釋圖像。隨后,服務(wù)器50將基于PTZ攝像機(jī)30捕獲的圖像31的注釋圖像202a變換為投影器40的坐標(biāo)系,并且將此經(jīng)變換的注釋圖像投影到對(duì)象200上(步驟S37)。由此,將基于PTZ攝像機(jī)30捕獲的圖像31的注釋圖像202a投影到對(duì)象200上。在此,服務(wù)器50可以將(xb,yb)變換為(xa,ya),或者可以在遠(yuǎn)程終端100上進(jìn)行變換并通過(guò)網(wǎng)絡(luò)發(fā)送到服務(wù)器50。以此方式,對(duì)應(yīng)于攝像機(jī)20捕獲的圖像中的矩形的位置,測(cè)量PTZ攝像機(jī)30的搖攝俯仰變焦值。因此,通過(guò)針對(duì)由攝像機(jī)20捕獲的圖像中的矩形的位置來(lái)測(cè)量PTZ攝像機(jī)30的搖攝俯仰變焦值,可以基于該搖攝俯仰變焦值來(lái)控制PTZ攝像機(jī)30,并且可以從投影器40將在PTZ攝像機(jī)30捕獲的圖像31上指定的注釋圖像投影到對(duì)象200上。
圖9示出遠(yuǎn)程終端100上的用戶接口的變型例。遠(yuǎn)程終端100在其畫(huà)面600上僅顯示捕獲圖像21。用戶使用定點(diǎn)裝置130等對(duì)繪制選擇按鈕422進(jìn)行操作以選擇繪制方法,并且將注釋圖像繪制在捕獲圖像21上。在繪制選擇按鈕422中設(shè)置有放大指定按鈕423。通過(guò)選擇放大指定按鈕423,可以在捕獲圖像21上繪制縮放指定區(qū)域400。隨后,當(dāng)在捕獲圖像21中繪制了縮放指定區(qū)域400時(shí),自動(dòng)打開(kāi)彈出窗口601。在彈出窗口601上顯示PTZ攝像機(jī)30捕獲的圖像31,由此通過(guò)使用繪制選擇按鈕422來(lái)選擇繪制方法以基于PTZ攝像機(jī)30繪制注釋圖像202a。彈出窗口601設(shè)置有關(guān)閉按鈕602。用戶能夠通過(guò)操作關(guān)閉按鈕602來(lái)關(guān)閉彈出窗口601,由此節(jié)約畫(huà)面上的區(qū)域。
圖10示出遠(yuǎn)程終端100上的用戶接口的另一變型例。用戶接口700也包括設(shè)置在彈出窗口701上的繪制選擇按鈕702。使用繪制選擇按鈕702,可以設(shè)置或者選擇與繪制選擇按鈕422不同的按鈕。彈出窗口701也設(shè)置有PTZ攝像機(jī)控制按鈕703。用戶對(duì)PTZ攝像機(jī)控制按鈕703進(jìn)行操作,以使得用戶能夠在彈出窗口701上將安裝在遠(yuǎn)程站上的PTZ攝像機(jī)30上下和左右移動(dòng)。當(dāng)彈出窗口701打開(kāi)時(shí),遠(yuǎn)程終端100開(kāi)始發(fā)送和接收PTZ攝像機(jī)30捕獲的圖像31。當(dāng)彈出窗口701關(guān)閉時(shí),遠(yuǎn)程終端100停止發(fā)送和接收捕獲圖像31。這使得在不顯示通過(guò)PTZ攝像機(jī)30捕獲的捕獲圖像31時(shí)可以防止通信頻帶被浪費(fèi)。
圖11示出關(guān)于在PTZ攝像機(jī)30的捕獲圖像上繪制注釋圖像的變型例。當(dāng)在PTZ攝像機(jī)30捕獲的圖像上繪制注釋圖像時(shí),在遠(yuǎn)程終端上放大所捕獲的圖像,隨著PTZ攝像機(jī)30的放大因子增大,精度下降并且投影器40可以顯示的分辨率受到限制。因此,根據(jù)PTZ攝像機(jī)30捕獲的圖像的放大因子,確定在PTZ攝像機(jī)30的捕獲圖像上可以繪制注釋圖像的最小單位。在此,將最小單位設(shè)置為半徑“r”??梢詫⒆钚挝辉O(shè)置為r×r(像素)。半徑“r”根據(jù)放大因子而變化。半徑“r”隨著放大因子的增大而增大。
如圖11所示,如果用戶指定放大因子較小的縮放指定區(qū)域401,則在PTZ攝像機(jī)30捕獲的圖像32中可以繪制注釋圖像的最小單位是半徑r1。如果用戶指定放大因子較大的縮放指定區(qū)域402,則在PTZ攝像機(jī)30捕獲的圖像33中可以繪制注釋圖像的最小單位是大于半徑r1的半徑r2??梢允褂肞TZ攝像機(jī)30的縮放參數(shù)“z”來(lái)計(jì)算半徑“r”??梢栽谶h(yuǎn)程終端100上或者在服務(wù)器50上計(jì)算半徑“r”。根據(jù)本發(fā)明的示例性實(shí)施例,從攝像機(jī)20捕獲的廣角圖像中選擇區(qū)域,以控制PTZ攝像機(jī)30并且放大圖像。然而,在不使用PTZ攝像機(jī)30的情況下,通過(guò)對(duì)攝像機(jī)20捕獲的圖像進(jìn)行數(shù)字縮放來(lái)放大攝像機(jī)20的指定區(qū)域。
根據(jù)本發(fā)明的上述示例性實(shí)施例,描述了與在遠(yuǎn)程終端上的圖像中繪制注釋圖像并將注釋圖像投影到對(duì)象上的技術(shù)(iLight)一起使用的通過(guò)從攝像機(jī)20捕獲的廣角圖像中選擇區(qū)域來(lái)控制PTZ攝像機(jī)30的技術(shù)(FlySPEC),從而使用關(guān)于縮放指定區(qū)域的信息而知道PTZ攝像機(jī)30在攝像機(jī)20上顯示哪個(gè)區(qū)域。因此,可以通過(guò)投影器40將在PTZ攝像機(jī)30捕獲的圖像上繪制的注釋圖像投影到對(duì)象200上。此外,不必對(duì)搖攝俯仰變焦、或者PTZ攝像機(jī)30的圖像坐標(biāo)與投影器40的圖像坐標(biāo)的對(duì)應(yīng)進(jìn)行測(cè)量,這需要的計(jì)算量較小。
根據(jù)本發(fā)明的上述示例性實(shí)施例,描述了用作投影部的投影器。然而,投影部不限于投影器。例如,可以通過(guò)向?qū)ο罄巛椛浼す馐葋?lái)形成圖像。
根據(jù)本發(fā)明的上述示例性實(shí)施例,描述了用作相對(duì)位置改變部的旋轉(zhuǎn)臺(tái)。然而,相對(duì)位置改變部不限于旋轉(zhuǎn)臺(tái)。例如,可以采用機(jī)械手等作為相對(duì)位置改變部。
根據(jù)本發(fā)明的上述示例性實(shí)施例,描述了使對(duì)象發(fā)生移動(dòng)的情況。然而,可以構(gòu)成為使得用作圖像捕獲部的攝像機(jī)和用作投影部的投影器發(fā)生移動(dòng)。
根據(jù)本發(fā)明的上述示例性實(shí)施例,描述了在顯示畫(huà)面111上形成旋轉(zhuǎn)按鈕R1和R2以指示旋轉(zhuǎn)臺(tái)70的旋轉(zhuǎn)。然而,本發(fā)明不限于此,可以采用鍵盤(pán)或者其他各種方法。
根據(jù)本發(fā)明的上述示例性實(shí)施例,描述了遠(yuǎn)程終端100通過(guò)網(wǎng)絡(luò)300連接到服務(wù)器50的情況。然而,本發(fā)明不限于此。遠(yuǎn)程終端100可以通過(guò)其他方法連接到服務(wù)器,并且遠(yuǎn)程終端100可以設(shè)置在對(duì)象200側(cè)。
根據(jù)本發(fā)明的上述示例性實(shí)施例,可以通過(guò)網(wǎng)絡(luò)300將攝像機(jī)20捕獲的圖像和PTZ攝像機(jī)30捕獲的圖像從另一種硬件而不是服務(wù)器50發(fā)送到遠(yuǎn)程站。
根據(jù)本發(fā)明的示例性實(shí)施例的遠(yuǎn)程指示方法是通過(guò)對(duì)象側(cè)裝置10實(shí)現(xiàn)的。服務(wù)器50是通過(guò)中央處理單元(CPU)、只讀存儲(chǔ)器(ROM)和隨機(jī)存取存儲(chǔ)器(RAM)等實(shí)現(xiàn)的。
對(duì)本發(fā)明示例性實(shí)施例的前述描述是為了例示和描述的目的而提供的。其并非旨在窮舉或者將本發(fā)明限于所公開(kāi)的確切形式。顯然,許多修改和變型對(duì)于本領(lǐng)域技術(shù)人員是顯而易見(jiàn)的。選擇并描述示例性實(shí)施例是為了最好地說(shuō)明本發(fā)明的原理及其實(shí)際應(yīng)用,從而使得本領(lǐng)域其他技術(shù)人員能夠理解本發(fā)明的適用于所構(gòu)想特定用途的各種實(shí)施例和各種變型例。旨在由所附權(quán)利要求及其等同物來(lái)限定本發(fā)明的范圍。
權(quán)利要求
1.一種包括控制部的遠(yuǎn)程指示系統(tǒng),控制部將第一圖像發(fā)送到遠(yuǎn)程終端,并且根據(jù)從遠(yuǎn)程終端基于第一圖像而發(fā)布的指示來(lái)控制投影部以將第一注釋圖像投影到對(duì)象上,控制部將第二圖像發(fā)送到遠(yuǎn)程終端,并且根據(jù)從遠(yuǎn)程終端基于第二圖像而發(fā)布的指示來(lái)控制投影部以將第二注釋圖像投影到對(duì)象上,通過(guò)為捕獲對(duì)象的第一圖像而設(shè)置的第一圖像捕獲部來(lái)捕獲第一圖像,當(dāng)從遠(yuǎn)程終端選擇了第一圖像中的給定區(qū)域時(shí),通過(guò)為放大對(duì)象的所述給定區(qū)域以捕獲第二圖像而設(shè)置的第二圖像捕獲部來(lái)捕獲第二圖像。
2.根據(jù)權(quán)利要求1所述的遠(yuǎn)程指示系統(tǒng),其中,控制部將選擇的所述給定區(qū)域的坐標(biāo)變換為使用第二圖像捕獲部進(jìn)行放大時(shí)使用的值,從而控制對(duì)第二圖像捕獲部捕獲的第二圖像的放大。
3.根據(jù)權(quán)利要求1所述的遠(yuǎn)程指示系統(tǒng),其中,控制部將如下的第二注釋圖像變換為具有第一圖像捕獲部的坐標(biāo)系,并且隨后控制投影部以將經(jīng)變換的注釋圖像投影到對(duì)象上,所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。
4.根據(jù)權(quán)利要求1所述的遠(yuǎn)程指示系統(tǒng),該遠(yuǎn)程指示系統(tǒng)進(jìn)一步包括相對(duì)位置改變部,所述相對(duì)位置改變部改變對(duì)象相對(duì)于投影部、第一圖像捕獲部、以及第二圖像捕獲部的相對(duì)位置關(guān)系,其中,控制部根據(jù)由相對(duì)位置改變部進(jìn)行了移動(dòng)的對(duì)象,改變?nèi)缦碌牡诙⑨寛D像的投影位置,所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。
5.根據(jù)權(quán)利要求4所述的遠(yuǎn)程指示系統(tǒng),其中,相對(duì)位置改變部包括能夠使對(duì)象旋轉(zhuǎn)的旋轉(zhuǎn)臺(tái)。
6.一種遠(yuǎn)程指示方法,該遠(yuǎn)程指示方法包括以下步驟向遠(yuǎn)程終端發(fā)送第一圖像;根據(jù)從遠(yuǎn)程終端基于第一圖像而發(fā)布的指示進(jìn)行控制以將第一注釋圖像投影到對(duì)象上;向遠(yuǎn)程終端發(fā)送第二圖像;以及根據(jù)從遠(yuǎn)程終端基于第二圖像而發(fā)布的指示進(jìn)行控制以將第二注釋圖像投影到對(duì)象上,通過(guò)為捕獲對(duì)象的第一圖像而設(shè)置的第一圖像捕獲部來(lái)捕獲第一圖像,在從遠(yuǎn)程終端選擇了第一圖像中的給定區(qū)域時(shí),通過(guò)為放大對(duì)象的所述給定區(qū)域以捕獲第二圖像而設(shè)置的第二圖像捕獲部來(lái)捕獲第二圖像。
7.根據(jù)權(quán)利要求6所述的遠(yuǎn)程指示方法,該遠(yuǎn)程指示方法進(jìn)一步包括以下步驟依照基于第二圖像捕獲部捕獲的第二圖像的指示將第二注釋圖像變換為具有第一圖像捕獲部的坐標(biāo)系。
8.一種計(jì)算機(jī)可讀介質(zhì),該計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)有使得計(jì)算機(jī)執(zhí)行遠(yuǎn)程指示處理的程序,所述遠(yuǎn)程指示處理包括以下步驟向遠(yuǎn)程終端發(fā)送第一圖像;根據(jù)從遠(yuǎn)程終端基于第一圖像而發(fā)布的指示進(jìn)行控制以將第一注釋圖像投影到對(duì)象上;向遠(yuǎn)程終端發(fā)送第二圖像;以及根據(jù)從遠(yuǎn)程終端基于第二圖像而發(fā)布的指示進(jìn)行控制以將第二注釋圖像投影到對(duì)象上,通過(guò)為捕獲對(duì)象的第一圖像而設(shè)置的第一圖像捕獲部來(lái)捕獲第一圖像,在從遠(yuǎn)程終端選擇了第一圖像中的給定區(qū)域時(shí),通過(guò)為放大對(duì)象的所述給定區(qū)域以捕獲第二圖像而設(shè)置的第二圖像捕獲部來(lái)捕獲第二圖像。
全文摘要
本發(fā)明提供遠(yuǎn)程指示系統(tǒng)、遠(yuǎn)程指示方法和用于遠(yuǎn)程指示的程序產(chǎn)品。遠(yuǎn)程指示系統(tǒng)包括控制部??刂撇繉⒌谝粓D像發(fā)送到遠(yuǎn)程終端,并根據(jù)從遠(yuǎn)程終端基于第一圖像而發(fā)布的指示來(lái)控制投影部以將第一注釋圖像投影到對(duì)象上,并且,控制部將第二圖像發(fā)送到遠(yuǎn)程終端,并根據(jù)從遠(yuǎn)程終端基于第二圖像而發(fā)布的指示來(lái)控制投影部以將第二注釋圖像投影到對(duì)象上,通過(guò)為捕獲對(duì)象的第一圖像而設(shè)置的第一圖像捕獲部來(lái)捕獲第一圖像,當(dāng)從遠(yuǎn)程終端選擇了第一圖像中的給定區(qū)域時(shí)通過(guò)為放大對(duì)象的所述給定區(qū)域以捕獲第二圖像而設(shè)置的第二圖像捕獲部來(lái)捕獲第二圖像。
文檔編號(hào)H04N7/15GK101014114SQ20061015381
公開(kāi)日2007年8月8日 申請(qǐng)日期2006年9月12日 優(yōu)先權(quán)日2006年2月2日
發(fā)明者新宮淳 申請(qǐng)人:富士施樂(lè)株式會(huì)社