專利名稱:視頻會議裝置、控制方法和程序的制作方法
技術領域:
本發(fā)明涉及^L頻會議裝置、控制方法和程序,具體地涉及使得對諸如成 像方向的成像信息的自動設置能夠例如在視頻會議中對演講者成像的視頻會 議裝置、控制方法和程序。
背景技術:
例如,在視頻會議所用的視頻會議裝置中,控制視頻會議裝置的攝像機 以便在預定尺寸內捕獲正在演講的演講者的圖像,并且由攝像機獲得的被捕 獲圖像被發(fā)送給通信伙伴的視頻會議裝置。例如,JP-A-7-92988 (專利文獻1 )公開了一種視頻切換裝置,其控制攝 像機以便將視頻切換到對處于檢測聲音的麥克風的位置處的畫面進行成像 (具體地,見專利文獻1的
、
和
段)。發(fā)明內容但是在專利文獻1中公開的視頻切換裝置中,需要預先手動設置各個麥 克風的位置。另外,在改變各個麥克風的位置的情況下,用戶需要在改變后 再次手動設置各個麥克風的位置。期望使得能夠自動設置諸如成像方向的成像信息以對演講者成像。 根據本發(fā)明的實施例的視頻會議裝置或程序是用于視頻會議的視頻會議 裝置或使得計算機運作為用于視頻會議的視頻會議裝置的程序,該視頻會議 裝置包括發(fā)光控制部件,用于使得在用于采集聲音的聲音采集部件中所包 括的用于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光;發(fā)光位置檢測部件,用于檢 測發(fā)光位置,該發(fā)光位置是通過由第一成像部件對來自聲音采集部件中所包 括的發(fā)光部件的光進行成像而獲得的圖像中的光的位置;布置方向檢測部件, 用于基于發(fā)光位置來檢測布置方向,該布置方向是布置聲音采集部件的方向; 以及成像控制部件,用于基于布置方向來控制成像方向,該成像方向是用于 成像圖像的第二成像部件捕獲圖像的方向。第 一成像部件可以對低分辨率圖像進行成像,并且第二成像部件可以對 高分辨率圖像進行成像。第 一和第二成像部件可以是相同的。發(fā)光控制部件可以使得在聲音采集部件中所包括的多個發(fā)光部件中的每 個以預定順序發(fā)光,或可以使得在聲音采集部件中所包括的多個發(fā)光部件中 的每個以各自的發(fā)光模式同時發(fā)光,發(fā)光位置檢測部件可以檢測多個聲音采 集部件的每個的發(fā)光位置,布置方向檢測部件可以基于發(fā)光位置來檢測多個 聲音采集部件中的每個的布置方向,以及成像控制部件可以基于在多個聲音 采集部件中正在采集最高級聲音的聲音采集部件的布置方向來控制成像方 向。根據本發(fā)明的實施例的視頻會議裝置還可以包括距離計算部件,用于 從聲音采集部件采集從用于輸出預定聲音的聲音輸出部件輸出的預定聲音的 時刻和聲音輸出部件輸出該預定聲音的時刻,來計算聲音輸出部件和聲音采 集部件之間的距離,其中,成像控制部件還基于聲音輸出部分和聲音采集部 件之間的距離,控制在由第二成像部件成像時的放大倍率。在根據本發(fā)明的實施例的視頻會議裝置中,可以以復數(shù)提供聲音釆集部 件、第一成像部件和第二成像部件中的一個或多個。根據本發(fā)明的實施例的控制方法是一種控制用于視頻會議的視頻會議裝 置的方法,該方法包括步驟使得在用于采集聲音的聲音采集部件中所包括 的用于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光;檢測發(fā)光位置,該發(fā)光位置是 通過由第 一成像部件對來自在聲音采集部件中所包括的發(fā)光部件的光進行成像而獲得的圖像中的光的位置;以及基于發(fā)光位置來檢測布置方向,該布置 方向是布置聲音采集部件的方向,其中,在該視頻會議裝置中,成像方向是 基于布置方向來控制用于成像圖像的第二成像部件捕獲圖像的方向。根據本發(fā)明的實施例,使得在用于采集聲音的聲音采集部件中所包括的 用于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光,檢測發(fā)光位置,該發(fā)光位置是通 過由第一成像部件對來自在聲音采集部件中所包括的發(fā)光部件的光進行成像 而獲得的圖像中的光的位置,以及基于發(fā)光位置來檢測布置方向,該布置方 向是布置聲音采集部件的方向。然后基于布置方向控制成像方向,該成像方 向是用于成像圖像的第二成像部件捕獲圖像的方向。根據本發(fā)明的實施例,可以自動地設置用于對視頻會議中的演講者進行成像的諸如成像方向的成像信息。
圖1示出描述本發(fā)明的實施例適用的視頻會議系統(tǒng)的示范配置的方塊圖;圖2示出描述配置圖1所示的視頻會議系統(tǒng)的視頻會議裝置11的第一實 施例的示范配置的方塊圖;圖3示出描述由運行預定程序的、圖2所示的CPU32功能地實現(xiàn)的控制 部分32a的示范配置的方塊圖;圖4示出圖3所示的發(fā)光位置檢測部分101檢測發(fā)光位置(x, y)的發(fā) 光位置檢測處理的圖;圖5示出圖示^r測布置麥克風37至39的方向的布置方向^r測處理的流 程圖;圖6示出圖示控制攝像機34的攝像機控制處理的流程圖;圖7示出描述配置圖1所示的視頻會議系統(tǒng)的視頻會議裝置11的第二實 施例的示范配置的方塊圖;圖8示出描述由運行預定程序的、圖7所示的CPU32功能地實現(xiàn)的控制 部分232a的示范配置的方塊圖;圖9示出圖示由圖8所示的距離計算部分301進行的計算揚聲器203和 麥克風37至39的每個之間的距離的方法的圖;圖10示出圖示計算攝像機34的放大倍率的縮放因子計算處理的流程圖;圖11示出描述視頻會議裝置401和基于從LED發(fā)射的光來控制視頻會 議裝置401的定向設備402的圖;圖12示出描述由運行預定程序的、圖11所示的CPU432功能地實現(xiàn)的 控制部分432a的示范配置的方塊圖;以及圖13示出圖示遠程控制視頻會議裝置401的遠程控制處理的流程圖。
具體實施方式
下文中,將描述本發(fā)明的實施例。以下是本發(fā)明的配置要求與說明書或 附圖的實施例之間的對應關系的例子。描述其用于確認在說明書或附圖中描 述了支持本發(fā)明的實施例。因此,即使有在說明書或附圖中描述、但在此沒有作為對應于本發(fā)明的配置要求的實施例而描述的實施例,也不意味著該實 施例不對應于那些配置要求。相反,即使在此作為對應于配置要求的實施例 描述了該實施例,也不意味著該實施例不對應于除了那些配置要求以外的配 置要求。根據本發(fā)明的實施例的視頻會議裝置或程序是用于視頻會議的視頻會議裝置(例如,圖1所示的視頻會議裝置lla或lib),或使得計算機運作為用 于視頻會議的視頻會議裝置的程序,該視頻會議裝置包括發(fā)光控制部分(例 如,圖3所示的發(fā)光控制部分100),用于使得被包括在采集聲音的聲音采集 部件(例如,圖2所示的麥克風37、 38或39)中的用于發(fā)光的發(fā)光部件(例 如圖2所示的LED37a、 38a或39a)以特定發(fā)光模式來發(fā)射光;發(fā)光位置檢 測部分(例如,圖3所示的發(fā)光位置檢測部分101 ),用于在由用于成像圖像 的第一成像部件(例如,圖2所示的攝像機34)獲得的圖像中檢測作為光的 位置的發(fā)光位置,該第一成像部件捕捉來自在聲音采集部件中所包括的發(fā)光 部件的光;布置方向檢測部件(例如,圖3所示的搖動/傾斜角獲取部分104), 用于基于發(fā)光位置檢測作為布置聲音采集部件的方向的布置方向;以及成像 控制部件(例如,圖3所示的PTZ控制部分106),用于基于布置方向來控制 作為用于成像圖像的第二成像部件(例如圖2所示的攝像機34)捕獲圖像的 方向的成^f象方向。根據本發(fā)明的實施例的視頻會議裝置可以進一步包括距離計算部件(例 如,圖8中的距離計算部分301),用于從聲音采集部件采集預定聲音的定時 和聲音輸出部分輸出預定聲音的定時計算聲音輸出部分與聲音采集部件之間 的距離,該預定聲音是從用于輸出預定聲音的聲音輸出部分輸出的,其中成 像控制部件還在第二成像部件成像時基于聲音輸出部分和聲音采集部件之間 的距離來控制放大倍率。根據本發(fā)明的實施例的控制方法是控制用于視頻會議的視頻會議裝置的 方法,該方法包括步驟使得在用于采集聲音的聲音采集部件中所包括的用 于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光(例如圖5所示的步驟S32 );檢測作 為通過第一成像部件對來自聲音采集部件中的發(fā)光部件的光成像而獲得的圖 像中的光的位置的發(fā)光位置(例如,圖5所示的步驟S34);以及基于發(fā)光位 置檢測作為布置聲音采集部件的方向的布置方向(例如,圖5所示的步驟 S41),其中在該視頻會議裝置中,基于布置方向控制作為用來成像圖像的第二成像部件捕獲圖像的方向的成像方向。下文中,將參考附圖描述本發(fā)明的實施例。圖1示出描述本發(fā)明的實施例適用的視頻會議系統(tǒng)的示范配置的方塊圖。圖1所示的視頻會議系統(tǒng)配置有視頻會議裝置lla和llb。例如,^L頻會議裝置lla和llb通過諸如因特網或LAN (局域網)的通信線路彼此連接,其中在用于視頻會議的視頻會議裝置lla和llb之間交換圖像和聲音。換句話說,例如,^L頻會議裝置lla和11b每個都向通信伙伴的^L頻會 議裝置發(fā)送通過捕獲會議場景或通過采集會議中的演講的聲音而獲得的捕獲 圖像或聲音(的信號),其中,該會議是在安置了視頻會議裝置lla和lib的 會議室中舉行的。另外,視頻會議裝置lla和lib接收從通信伙伴視頻會議 裝置發(fā)送的捕獲圖像和聲音,并向監(jiān)視器和揚聲器輸出圖像和聲音。此外,在下文中,在不需要區(qū)分視頻會議裝置lla和lib的情況下,視 頻會議裝置lla和lib筒稱為視頻會議裝置11。圖2示出描述視頻會議裝置11的第一實施例的示范配置的方塊圖。圖2所示的視頻會議裝置11配置有操縱部分31、 CPU(中央處理單元)32、 具有內插的存儲器33a的電動機操作的搖動頭33、攝像機34、圖像處理 單元35、存儲部分36、每個都具有LED (發(fā)光二極管)37a到39a的麥克風 37至39、聲音 處理單元40、通信部分41和輸出部分42。操縱部分31配置有視頻會議裝置11的電源按鈕。例如,當用戶操縱該 操縱部分31時,操縱部分31向CPU32供應對應于用戶操縱的操縱信號。 CPU 32執(zhí)行被存儲在存儲部分36中的程序來控制電動機操作的搖動頭33、 攝像機34、圖像處理單元35、存儲部分36、麥克風37至39、 LED 37a 到39a、聲音處理單元40、通信部分41和輸出部分42,并進行各種其他處理。換句話說,例如,操縱部分31向CPU 32供應操縱信號,然后CPU 32 進行對應于來自操縱部分31的操縱信號的處理。另外,CPU32供應來自通信伙伴視頻會議裝置lla或llb的捕獲圖像和 聲音,該捕獲圖像和聲音被從通信部分41供應至輸出部分42以輸出。另外,CPU32向通信部分41供應來自圖像處理單元35的、經過圖像處 理之后的捕獲圖像和對應于來自聲音處理單元40的聲音信號的聲音,以將它們發(fā)送給通信伙伴視頻會議裝置lla或llb。另外,CPU 32基于稍后描述的從圖像處理單元35供應的經過圖像處理 的LED圖像和從聲音處理單元40供應的聲音信號,進行稍后描述的各種處 理。另外,需要時,CPU 32讀取被存儲在存儲部分36中的信息,以及將所 需信息供應給存儲部分36以將其存儲。電動機操作的搖動頭33橫向或縱向旋轉地驅動在電動機操作的搖動頭 33上提供的攝像機34,由此其控制攝像機34的方位角(attitude),以便作為 成像方向一攝像機34的成像方向一的搖動角或傾斜角變成預定方向上的搖 動角或傾斜角。在此,搖動角是指示當攝像機34被設置為預定方位角(例如,光軸垂直 于垂直方向的預定方位角)時攝像機34的光軸在橫向(水平方向)上相對于 攝像機34的光軸傾斜的度數(shù)的角度。例如,在攝像機34的光軸以IO度的角 度向右傾斜的情況下,搖動角是+10度的角度,而在向左傾斜IO度的角度的 情況下,搖動角是-IO度的角度。另外,傾斜角是指示當攝像機34被設置為 預定方位角時攝像機34的光軸在垂直方向(縱向)上相對于攝像機34的光 軸傾斜的度數(shù)的角度。例如,在攝像機34的光軸以IO度的角度向上傾斜的 情況下,傾斜角是+10度的角度,而在攝像機34的光軸向下傾斜IO度的角度的情況下,傾斜角是-io度的角度。另外,電動機操作的搖動頭33具有內插的存儲器33a,并在需要時以重 寫的方式在存儲器33a中存儲攝像機34的最近的搖動角和傾斜角。攝像機34被固定到電動機操作的搖動頭33,用于對由電動機操作的搖 動頭33所控制的方位角上的畫面進行成像。然后,攝像機34使用CCD (電 荷耦合器件)或CMOS (互補金屬氧化物半導體)傳感器來獲得在例如安置 了視頻會議裝置11的會議室等中舉行的會議的場景的圖像和其他圖像,并將 捕獲圖^象供應給圖像處理單元35。圖像處理單元35使從攝像機34供應的捕獲圖像經過諸如去噪聲的圖像 處理,并將經過圖像處理后的捕獲圖像供應給CPU 32。例如,存儲部分36配置有非易失性存儲器、HD (硬盤)等等,其存儲 控制攝像機34所需的信息,包括例如稍后描述的參考位置(xc, ye)、閾值 Th一x和Th_y、成像信息和由CPU 32執(zhí)行的程序。例如,麥克風37至39釆集在安置了視頻會議裝置11的會議室等中舉行 的會議中的演講的聲音,將這些聲音轉換成對應的聲音信號,并將它們供應 給聲音處理單元40。另外,麥克風37至39分別具有LED 37a到39a,并且例如,LED 37a 到39a在CPU 32進行的控制下,以預定發(fā)光模式發(fā)光。另外,從LED 37a 到39a發(fā)出的光可以是任何光,只要該光可以被攝像機34成像即可。例如, 該光可以是能夠由人眼感知的可見光,或可以是諸如難以被人眼感知的紅外 線的不可見光。在此,由攝像機34獲得的捕獲圖像包括捕獲了從麥克風37至39的LED 37a到39a發(fā)出的光的圖像,并且該圖像被具體稱為LED圖像。聲音處理單元40使從麥克風37至39供應的聲音信號經過諸如防止回聲 或嚏聲的回聲消除器的聲音處理,并將經過聲音處理后的聲音信號供應給 CPU 32。通信部分41接收從通信伙伴視頻會議裝置lla或llb發(fā)送的捕獲圖像和 聲音信號,并將它們供應給CPU 32。另外,通信部分41向通信伙伴視頻會 議裝置lla或11b發(fā)送從CPU32供應的捕獲圖像和聲音信號。例如,輸出部分42是諸如LCD (液晶顯示器)的顯示器和揚聲器,其 顯示從CPU 32供應的捕獲圖像以及輸出對應于聲音信號的聲音。圖3示出描述由運行被存儲在存儲部分36中的預定程序的圖2所示的 CPU 32功能地實現(xiàn)的控制部分32a的示范配置的方塊圖??刂撇糠?2a配置有發(fā)光控制部分100、發(fā)光位置檢測部分IOI、誤差計 算部分102、確定部分103、搖動/傾斜角獲得部分104、搖動/傾斜角計算部 分105、 PTZ控制部分106和聲級確定部分107。例如,發(fā)光控制部分100控制麥克風37至39的LED 37a到39a,并使 得LED 37a到39a以預定順序以預定發(fā)光模式發(fā)光。圖像處理單元35向發(fā)光位置檢測部分101供應捕獲圖像。發(fā)光位置檢測部分101在從圖像處理單元35供應的捕獲圖像中的LED 圖像中檢測作為從麥克風37至39的LED 37a到39a發(fā)出的光的位置的發(fā)光 位置(x, y),并將該位置供應給誤差計算部分102。另外,下文中,由附圖上側所示的XY-坐標系統(tǒng)的坐標來表示發(fā)光位置 (x, y),其中從圖像處理單元35供應的LED圖像131的左上端是原點(0,0)。且從原點(0, 0)向右的方向是X軸,以及向下的方向是Y軸。誤差計算部分102讀取被存儲在存儲部分36中的參考位置(xc, yc),計 算誤差值x-Xc和y-ye,它們指示在X坐標和Y坐標中參考位置(xc, yc)和 從發(fā)光位置4企測部分101供應的發(fā)光位置(x, y)之間的偏移,并將這些值 供應給確定部分103。在此,在本實施例中,例如,存在這樣一種假設以如下方式, 一個出 席者坐在靠近單個麥克風的座位上視頻會議的出席者是等于麥克風37至 39的數(shù)量的三個人(或以下),且三個出席者中的一個坐在靠近麥克風37的 座位上,另一個坐在靠近麥克風38的座位上,最后一個坐在靠近麥克風39 的座位上。因此,布支設現(xiàn)在一個出席者得到了靠近例如在麥克風37至39中的麥克 風37的座位。當攝像機34拍攝圖像使得在捕獲圖像中的特定位置上看到麥 克風37時,可以獲得該出席者的這種捕獲圖像注意力集中于坐在靠近麥克 風37的該出席者。如上所述,參考位置(Xc, yc)是當攝像機34可以獲得注 意力集中于坐在靠近麥克風37的出席者的捕獲圖像時在捕獲圖像中拍到的 麥克風37的位置。誤差計算部分102將麥克風37的LED37a的位置,即發(fā)光位置(x, y) 作為麥克風37的位置,并確定發(fā)光位置(x, y)和參考位置(Xe, ye)之間 的誤差。另外,例如,對于參考位置(Xc, yc),可以采取位于LED圖像131中心 (重心)的位置。另外,可以根據操縱部分31的操縱來改變參考位置(xc,yc)。確定部分103計算從誤差計算部分102供應的誤差值x-Xc和y-y。的絕對 值以確定誤差絕對值l x-Xel和ly-yd。另外,確定部分103從存儲了闞值Th—x和Th—y的存儲部分36中讀出 用于確定發(fā)光位置(x, y)是否位于(靠近)參考位置(Xe, ye)的閾值Th—x 和Th一y?;谡`差絕對值l x-Xel和ly-yd、即誤差值x-xc和y-yc的絕對值和從存儲部 分36讀出的閾值Th—x和Thj,確定部分103確定由發(fā)光位置^f企測部分101 檢測的發(fā)光位置(x, y)是否匹配于(被認作)參考位置(xc, ye),即確定 部分103確定誤差絕對值l x-xd是否小于閾值Th_x并且誤差絕對值ly-y。l是否當確定發(fā)光位置(x, y)匹配參考位置(xc, yc),即誤差絕對值l x-xc| 小于閾值Th—x并且誤差絕對值ly-yd小于閾值Th—y時,確定部分103向搖動 /傾斜角獲得部分104供應根據該確定的確定結果。另一方面,當確定發(fā)光位置(x, y)不匹配參考位置(xc, yc),即誤差 絕對值| x-xd等于或大于閾值Th_x或誤差絕對值ly-yd等于或大于閾值Th一y 時,確定部分103向搖動/傾斜角獲得部分104供應根據該確定的確定結果和 從誤差計算部分102供應的誤差值x-Xe和y-yc。搖動/傾斜角獲得部分104基于從確定部分103供應的確定結果而進行處理。換句話說,例如,在作為麥克風37的LED37a的位置的發(fā)光位置(x, y) 現(xiàn)在匹配參考位置(xc, yc)的情況下,確定部分103向搖動/傾斜角獲得部 分104供應發(fā)光位置(x, y)匹配參考位置(xe, yc)的確定結果。在這種情 況下,搖動/傾斜角獲得部分104檢測指示在發(fā)光位置(x, y)匹配參考位置 (Xc, ye)時被存儲在存儲器33a中的攝像機34的成像方向的搖動角和傾斜 角,作為指示從攝像機34看去安置具有LED 37a的麥克風37的布置方向的 搖動角和傾斜角,并將這些角度作為關于麥克風37的成像信息供應給存儲部 分36,以存儲與識別麥克風37的識別信息關聯(lián)的這些角度。在此,關于麥克風的成像信息是用于控制攝像機34以捕獲在視頻會議中靠近麥克風就坐的出席者的信息。另一方面,在作為麥克風37的LED37a的位置的發(fā)光位置(x, y)不匹 配參考位置(xc, yc)的情況下,確定部分103向搖動/傾斜角獲得部分104 供應發(fā)光位置(x, y)不匹配參考位置(xe, ye)的確定結果。在這種情況下, 搖動/傾斜角獲得部分104從存儲器33a讀出指示被存儲在存儲器33a中的攝 像機34的成像方向的搖動角和傾斜角,并向搖動/傾斜角計算部分105供應 這些角度以及從確定部分103供應的誤差值x-Xc和y-yc?;趶膿u動/傾斜角度獲得部件104供應的搖動角、傾斜角和誤差值x-xc 和y-yc,搖動/傾斜角計算部分105計算作為發(fā)光位置(x, y)匹配參考位置 (xc, yc)的攝像機34的成像位置的搖動角或傾斜角,并向PTZ控制部分106 供應該角度。換句話說,例如,在從搖動/傾斜角獲得部分104供應給搖動/傾斜角計算部分105的誤差值x-Xc是正值的情況下,即,在發(fā)光位置(x, y)比參考位 置(xc, yc)更位于右方的情況下,搖動/傾斜角計算部分105通過當以預定 角度選旋轉地向右驅動攝像機34時將從搖動/傾斜角獲得部分104供應的搖 動角加上用于旋轉驅動的角度,來計算能夠獲得這樣的LED圖像的攝像機34 的搖動角在該LED圖像中,發(fā)光位置(x, y)的X坐標的值x采用更靠近 參考位置(xe, yc)的X坐標的值Xe的值。另外,例如,在從搖動/傾斜角獲得部分104供應給搖動/傾斜角計算部分 105的誤差值x-Xc是負值的情況下,即,在發(fā)光位置(x, y)比參考位置(Xc, yc)更位于左方的情況下,搖動/傾斜角計算部分105通過從搖動/傾斜獲得角 部件104供應的搖動角減去用于以預定角度旋轉地向左驅動攝像機34的角 度,來計算能夠獲得這樣的LED圖像的攝像機34的搖動角在該LED圖像 中,發(fā)光位置(x, y)的X坐標的值x采用更靠近參考位置(xc, yc)的X坐標的值Xe的值。此外,例如,在從搖動/傾斜角獲得部分104供應給搖動/傾斜角計算部分 105的誤差值y-yc是正值的情況下,即,在發(fā)光位置(x, y)比參考位置(Xc, yc)更位于下方的情況下,搖動/傾斜角計算部分105通過從搖動/傾斜獲得角 部件104供應的傾斜角減去用于以預定角度旋轉地向下驅動攝像機34的角 度,來計算能夠獲得這樣的LED圖像的攝像機34的傾斜角在該LED圖像 中,發(fā)光位置(x, y)的Y坐標的值y采用更靠近參考位置(xc, yc)的Y 坐標的值y。的值。另外,例如,在從搖動/傾斜角獲得部分104供應給搖動/傾斜角計算部分 105的誤差值y-yc是負值的情況下,即,在發(fā)光位置(x, y)比參考位置(Xc, yc)更位于上方的情況下,搖動/傾斜角計算部分105通過從搖動/傾斜獲得角 部件104供應的傾斜角減去用于以預定角度旋轉地向上驅動攝像機34的角 度,來計算能夠獲得這樣的LED圖像的攝像機34的傾斜角在該LED圖像 中,發(fā)光位置(x, y)的Y坐標的值y采用更靠近參考位置(xc, yc)的Y 坐才示的^直y。的^直。PTZ控制部分106控制電動機操作的搖動頭33,以便作為攝像機34的 成像方向的搖動角和傾斜角變成從搖動/傾斜角計算部分105供應的搖動角和 傾斜角。另外,聲級確定部分107向PTZ控制部分106供應識別麥克風37至39的識別信息。PTZ控制部分106從存儲部分36中讀出關于由來自聲級確定部分107的 識別信息識別的麥克風的成像信息,并基于成像信息控制電動機操作的搖動 頭33。換句話說,PTZ控制部分106基于從存儲部分36讀出的關于麥克風 的成像信息來控制電動機操作的搖動頭33,以便攝像機34的成像方向是由 識別信息識別的麥克風的布置方向。例如,聲級確定部分107基于來自聲音處理單元40的聲音信號,在麥克 風37至39中辨別以最大級別供應聲音信號(最亮聲級的聲音信號)的麥克 風,并將識別該麥克風的識別信息供應給PTZ控制部分106。換句話說,例如,聲音處理單元40通過各種電纜將聲音信號從麥克風 37至39供應到聲級確定部分107。聲級確定部分107向PTZ控制部分106 供應在麥克風37至39中識別與最亮級聲音信號被輸送到的電纜連接的麥克 風的識別信息。圖4示出了圖示圖3所示的發(fā)光位置檢測部分101檢測發(fā)光位置(x, y) 的發(fā)光位置檢測處理的圖。圖3所示的發(fā)光位置檢測部分101配置有延遲存儲器161、減法部分162 和位置^f全測部分163。圖像處理單元35向延遲存儲器161和減法部分162供應捕獲圖像。在此,例如,在圖4中,LED圖像是由在麥克風37至39中捕獲麥克風 38的LED 38a以特定發(fā)光模式發(fā)光(閃亮)的場景的攝像機34所成像的捕 獲圖像,并且從圖像處理單元35將該捕獲圖像供應給發(fā)光位置檢測部分101 的延遲存儲器161和減法部分162。延遲存儲器161暫時存儲從圖像處理單元35供應的LED圖像,以延遲 LED圖像達一幀的時間段,然后將其供應給減法部分162。因此,假設從圖像處理單元35供應給減法部分162的LED圖像的幀被 作為感興趣的幀。然后,當圖像處理單元35向減法部分162供應感興趣的幀 的LED圖像時,延遲存儲器161向減法部分162供應在感興趣的幀之前一幀 的先前幀的LED圖像。減法部分162計算從圖像處理單元35供應的感興趣的幀的LED圖像的 像素的像素值與來自延遲存儲器161的先前幀的LED圖像的相應像素的像素 值之間的差,并將差異圖像供應給位置檢測部分163,該差異圖像是具有所獲得的差值作為像素值的圖像。位置檢測部分163計算從減法部分162供應的差異圖像的像素值的絕對值,然后確定在差異圖像中是否存在等于或大于預定閾值的像素值。當確定差異圖像具有等于或大于預定闊值的像素值時,位置檢測部分163基于具有等于或大于預定閾值的像素值的像素來檢測作為發(fā)光位置(x, y)的位置,諸如在像素中的單個像素的位置或由從所有像素的X坐標和Y坐標 的平均值獲得的X坐標和Y坐標指示的位置,并將該位置供應給圖3所示的 誤差計算部分102。另外,在參考圖4描述的發(fā)光位置檢測處理中,預定麥克風的LED在由 發(fā)光控制部分100以如下方式進行的控制下,按預定發(fā)光模式發(fā)光圖3所 示的發(fā)光位置檢測部分101容易從圖2所示的圖像處理單元35供應的LED 圖像來檢測預定麥克風的LED的發(fā)光位置(x, y)。換句話說,例如,在圖2所示的攝像機是根據NTSC (全國電視系統(tǒng)委 員會)系統(tǒng)的具有每秒30幀(每秒60場)的幀頻的攝像機并且圖2所示的 攝像機一秒捕獲30幀LED圖像的情況下,圖3所示的發(fā)光控制部分100( CPU 32 )可以以如下方式控制預定麥克風的LED的發(fā)光僅在由圖2所示的攝像 機34 —秒捕獲的例如30個LED圖像中的偶數(shù)LED圖像中拍攝從預定麥克 風的LED發(fā)出的光。在這種情況下,通過由圖2所示的攝像機34進行的成像,在一秒捕獲的 30個LED圖像中的奇數(shù)LED圖像中拍攝不發(fā)光的LED,并且在偶數(shù)LED 圖像中拍攝發(fā)光的LED。接下來,將參考圖5所示的流程圖來描述檢測布置麥克風37至39的方 向的布置方向^f企測處理。在重新設置麥克風37至39之后或當設置風37至39以進行一次布置方 向檢測處理、然后改變了麥克風37至39的位置時,需要進行布置方向檢測 處理。例如,用戶操縱操縱部分31 (圖2)以進行布置方向檢測處理,然后 開始該處理。在步驟S31中,發(fā)光控制部分100設置麥克風37至39中的一個麥克風 為感興趣的麥克風,并且處理從步驟S31去往步驟S32。發(fā)光控制部分100 控制感興趣的麥克風的LED以預定發(fā)光模式發(fā)光,然后處理去往步驟S33。在此,可以通過電纜或通過無線電進行由發(fā)光控制部分IOO進行的對感興趣的麥克風的LED的控制。在步驟S33中,PTZ控制部分106橫向或縱向旋轉地驅動攝像才幾34,以 便對從感興趣的麥克風的LED發(fā)出的光進行成像,并向圖像處理單元35供 應由攝像機34成像的捕獲圖像。圖像處理單元35使從攝像機34供應的捕獲圖像經過諸如去噪聲的圖像 處理,并將經過圖像處理的圖像供應給發(fā)光位置檢測部分101 (CPU 32)。發(fā)光位置檢測部分101從來自圖4描述的圖像處理單元35的捕獲圖像生 成差異圖像。然后,發(fā)光位置檢測部分101獲得具有等于或大于閾值的像素 值的差異圖像,即,它獲得拍攝了感興趣的麥克風的LED的LED圖像,然 后,PTZ控制部分106停止被旋轉驅動的攝像機34。之后,處理從步驟S33去往步驟S34。發(fā)光位置檢測部分101進行圖4 描述的發(fā)光位置檢測處理,以在從圖像處理單元35供應的LED圖像中檢測 感興趣的麥克風的LED的發(fā)光位置(x, y),并將其供應給誤差計算部分102, 然后處理去往步驟S35。在步驟S35中,誤差計算部分102讀取被存儲在存儲部分36中的參考位 置(xc, yc),并且處理從步驟S35去往步驟S36。誤差計算部分102計算參 考位置(xc, yc)和從發(fā)光位置檢測部分101供應的發(fā)光位置(x, y)之間的 誤差值x-Xe和y-ye,并將這些值供應給確定部分103。在完成步驟S36中的處理步驟后,處理去往步驟S37。確定部分103計 算從誤差計算部分102供應的誤差值x-Xe和y-ye的絕對值,以確定誤差絕對 值lx-Xcl和ly-yd。另外,在步驟S37中,確定部分103從存儲部分36讀取閾值 Th—x和Th—y,并基于誤差絕對值lx-xd和ly-yel和閾值Th—x和Th—y確定由發(fā) 光位置檢測部分101檢測的發(fā)光位置(x, y)是否匹配參考位置(xc, yc), 即誤差絕對值l x-xd是否小于閾值Th—x并且誤差絕對值ly-yd是否小于Th—y。在步驟S37中,如果確定發(fā)光位置(x, y)不匹配參考位置(xc, yc), 即如果誤差絕對值lx-Xel等于或大于闊值Th—x或誤差絕對值ly-yel等于或大于 Th_y,則確定部分103向搖動/傾斜角獲得部分104供應發(fā)光位置不匹配的確 定結果和從誤差計算部分102供應的誤差值x-Xe和y-ye,并且處理去往步驟 S38。確定部分103供應發(fā)光位置(x, y)不匹配參考位置(xc, yc)的確定結 果。在步驟S38中,搖動/傾斜角獲得部分104然后讀取被存儲在存儲器33a中的搖動角和傾斜角,即指示攝像機34的當前成像方向的搖動角和傾斜角, 并向搖動/傾斜角計算部分105供應這些角度以及從確定部分103供應的誤差 值x-Xc和y-yc。然后,處理從步驟S38去往步驟S39?;趶膿u動/傾斜角獲得部分104 供應的搖動角、傾斜角和誤差值x-Xc和y-y。搖動/傾斜角計算部分105計算 作為獲得發(fā)光位置(x, y)匹配參考位置(Xc, yc)的LED圖像的攝像機34 的成像方向的搖動角和傾斜角,并向PTZ控制部分106供應這些角,然后處 理去往步驟S40。在步驟S40中,PTZ控制部分106控制電動機操作的搖動頭33,以便攝 像機34的成像方向是從搖動/傾斜角計算部分105供應的搖動角和傾斜角, 并且處理返回到步驟S33。攝像機34根據步驟S40中控制的搖動角和傾斜角, 對從感興趣的麥克風的LED發(fā)出的光成像,并向圖像處理單元35供應得到 的LED圖像。圖像處理單元35使從攝像機34供應的LED圖像經過諸如去噪聲的圖像 處理,并將經過圖像處理后的LED圖像供應給發(fā)光位置檢測部分101。處理 從步驟S33去往步驟S34,并且以下,重復相似的處理步驟。另一方面,在步驟S37中,如果確定發(fā)光位置(x, y)匹配參考位置(Xc, yc),即如果誤差絕對值lx-Xel小于閾值Th_x并且誤差絕對值ly-yd小于Th_y, 則確定部分103向搖動/傾斜角獲得部分104供應發(fā)光位置匹配的確定結果, 并且處理去往步驟S41。當確定部分103供應發(fā)光位置(x, y)位于參考位置(Xe, yc)處的確定 結果時,在步驟S41中,搖動/傾斜角獲得部分104讀取^L存儲在存儲器33a 中的作為攝像機34的當前成像方向的搖動角和傾斜角,作為識別感興趣的麥 克風的布置方向的搖動角和傾斜角,并將這些角度作為關于感興趣的麥克風 的成像信息供應給存儲部分36,以與關于感興趣的麥克風的識別信息關聯(lián)地 存儲這些角度,然后處理去往步驟S42。在此,在關于感興趣的麥克風的成像信息被存儲在存儲部分36中以后, 發(fā)光控制部分100停止感興趣的麥克風的LED的發(fā)光。在步驟S42中,發(fā)光控制部分100確定是否所有的麥克風37至39都被 設置為感興趣的麥克風。在步驟S42中,如果確定不是所有的麥克風37至39都被設置為感興趣的麥克風,則處理返回步驟S31。發(fā)光控制部分100在麥克風37至39中新 選擇未被選擇作為感興趣的麥克風的一個麥克風作為感興趣的麥克風。處理 去往步驟S32,并且以下,重復相似的處理步驟。另一方面,在步驟S42中,如果確定所有麥克風都祐:設置為感興趣的麥 克風,則處理結束。如上所述,在圖5所示的布置方向檢測處理中,計算布置麥克風37至 39的方向,并將其存儲作為麥克風37至39的成像信息的項目。因此,在視頻會議裝置ll中,當重新布置麥克風37至39時,或當改變 麥克風37至39的布置時,用戶不需要手動設置麥克風37至39的成像信息 的項目,從而用戶不會感覺到該設置很繁重。另外,即使改變了麥克風37至39的布置,也再次進行圖5所示的布置 方向檢測處理,以靈活地應付麥克風37至39的布置的變化。接下來,將參考圖6所示的流程圖描述控制攝像機34的攝像機控制處理, 這在通過交換視頻會議裝置lla和lib之間的圖像和聲音而管理視頻會議中 進行。另外,假設將單個麥克風分配給參加視頻會議的每個出席者,并且出席 靠近在麥克風37至39中被分配給他/她的麥克風而就坐。另外,假設已經進行并結束了圖5描述的布置方向檢測處理。在步驟S70中,聲級確定部分107確定在靠近麥克風37至39就坐的出 席者中是否存在正在發(fā)表演講的人(演講者),即出席者之一是否在發(fā)表演講。在步驟S70中,如果確定沒有人正發(fā)表演講,即聲音處理單元40沒有以 等于或大于用于確定發(fā)表演講的語音閾值的級別向聲級確定部分107供應聲 音信號,則處理去往步驟S71。這樣控制攝像機34:以拍攝視頻會議中的所 有三個出席者的方式獲得捕獲圖像,然后處理返回步驟S70。換句話說,PTZ控制部分1065從存儲部分36讀出三個麥克風37至39 的成像信息的項目,以例如從成像信息中確定在捕獲圖像中拍攝的三個麥克 風37至39的成像方向,并以這樣的方式控制電動機操作的搖動頭33:攝像 機34拍攝這些成像方向上的圖像。因此,攝像機34對拍攝了靠近三個麥克 風37至39的所有三個出席者的捕獲圖像進行成像。另外,在步驟S70中,如果確定正發(fā)表演講,即例如,靠近麥克風37至 39就坐的出席者之一正在發(fā)表演講并且由靠近發(fā)表演講的出席者(演講者)的麥克風采集的演講的話音,并且得到的聲音信號通過聲音處理單元40被供應給聲級確定部分107,則處理去往步驟S72?;趶穆曇籼幚韱卧?0供應 的聲音信號,聲級確定部分107在麥克風37至39中辨別例如以最大級別供 應聲音信號的麥克風,并將識別該麥克風的識別信息供應給PTZ控制部分 106。換句話說,在從每個麥克風37至39通過聲音處理單元40向聲級確定部 分107供應處于等于或大于語音閾值的級別的聲音信號的情況下,聲級確定 部分107向PTZ控制部分106供應識別麥克風的識別信息。另外,在從麥克風37至39中的多個麥克風通過聲音處理單元40向聲級 確定部分107供應處于等于或大于語音閾值的級別的聲音的情況下,例如, 聲級確定部分107向PTZ控制部分106供應識別在多個麥克風中采集最大級別聲音的麥克風的識別信息。在完成步驟S72中的處理步驟以后,處理從步驟S72去往步驟S73。 PTZ 控制部分106從存儲部分36讀出關于由來自聲級確定部分107的識別信息識 別的麥克風的成像信息,然后處理從步驟S73去往步驟S74?;趶拇鎯Σ?分36讀出的成像信息,PTZ控制部分106以這樣的方式控制電動機操作的 搖動頭33:攝像機34的成像方向變成由來自聲級確定部分107的識別信息 識別的麥克風的布置方向,然后,處理結束。如上所述,在圖6所示的攝像機控制處理中,基于關于靠近演講者的麥 克風的成像信息,以這樣的方式控制電動機操作的搖動頭33:攝像機34的 成像方向變成演講者使用的麥克風的布置方向。因此,可以在不由用戶操縱 攝像機34的情況下對演講者進行成像。另外,通過計算來自圖像處理單元35的LED圖像之間的差異可以容易 實現(xiàn)由圖3所示的發(fā)光位置檢測部件101進行的發(fā)光位置檢測處理。因此, 可以將這種功能添加到現(xiàn)有的視頻會議裝置,而不需要(或需要少量)用于 進行發(fā)光位置檢測處理的附加功能的花費。圖7示出描述本發(fā)明的實施例適用的視頻會議裝置11的第二實施例的示 范配置的方塊圖。另外,在附圖中,與圖2所示的那些對應的組件被指定了相同的標號和 符號,并且下文中適當?shù)厥÷詫τ谀切┙M件的描述。換句話說,圖7所示的^L頻會議裝置11被提供有取代聲音處理單元40的聲音處理單元204,除了新提供了聲音生成部分201、放大器202和揚聲器 203之外,該聲音處理單元204與圖2所示類似地配置。聲音生成部分201在CPU 32進行的控制下生成用于計算攝像機34和麥 克風37至39之間的距離的聲音信號A,并向放大器202供應該距離。在此, 對于聲音信號A,例如,可以使用預定頻率的正弦波形。放大器202在需要時放大從聲音生成部分201供應的聲音信號A,并將 其供應給揚聲器203和聲音處理單元204。在攝像機34附近布置揚聲器203,并且揚聲器203輸出對應于從放大器 202供應的(經過放大的)聲音信號A的聲音。從放大器202和麥克風37至39向聲音處理單元204供應聲音信號。聲音處理單元204將來自麥克風37至39的聲音信號作為進行回聲消除 器的聲音處理的對象,然后檢測來自麥克風37聲音信號中所包括的聲音信號 A。然后,聲音處理單元204將從放大器202供應聲音信號A的時刻設置為 從揚聲器203輸出聲音信號A (所對應的預定聲音)的時刻,以及將聲音信 號A被包含在來自麥克風37的聲音信號中的時刻設置為由麥克風37采集從 揚聲器203輸出的聲音信號A的時刻,并向CPU 32供應指示從揚聲器203 輸出聲音信號A的時刻和由麥克風37采集聲音信號A的時刻的時間信息。類似地,聲音處理單元204向CPU 32供應指示從揚聲器203輸出聲音信 號A的時刻和由麥克風38采集聲音信號A的時刻的時間信息、和指示從揚 聲器203輸出聲音信號A的時刻和由麥克風39采集聲音信號A的時刻的時 間信息。另外,在圖7中,存儲部分36存儲與圖2所示的程序不同的程序,并且 CPU 32運行被存儲在存儲部分36中的程序,以進行與圖2所示的處理類似 的處理,以及CPU32控制聲音生成部分201。此外,CPU 32從自聲音處理單元204供應的時間信息(指示從揚聲器203 輸出聲音信號A的時刻和由麥克風37至39的每個采集聲音信號A的時刻的 時間信息)計算揚聲器203與麥克風37至39之間的距離,并將該距離作為 用于控制攝像機34的放大倍率(縮放因子)的、靠近揚聲器203安置的攝像 機34與麥克風37至39之間的距離。圖8示出描述由運行被存儲在存儲部分36中的程序的、圖7所示的CPU32功能地實現(xiàn)的控制部分232a的示范配置的方塊圖。另外,在圖中,與圖3所示的控制部分32a對應的組件被指定了相同的 編號和符號,并且下文中適當?shù)厥÷詫τ谀切┙M件的描述。換句話說,除新提供了距離計算部分301和縮放因子計算部分302之外, 與圖3所示的控制部分32a類似地配置圖8所示的控制部分232a。從聲音處理單元204向距離計算部分301供應時間信息。距離計算部分301從自聲音處理單元204供應的時間信息,即從麥克風 37至39采集從揚聲器203輸出的聲音信號A的時刻和揚聲器203輸出聲音 信號A的時刻,來計算揚聲器203與麥克風37至39之間的距離,作為攝像 機34與麥克風37至39之間的距離,并將該距離供應給縮放因子計算部分 302。另外,將參考圖9描述由距離計算部分301計算揚聲器203與預定麥克 風37至39之間的距離的具體方法?;趶木嚯x計算部分301供應的距離,縮放因子計算部分302計算攝像 機34的放大倍率,通過該放大倍率,由攝像機34獲得的捕獲圖像中的麥克 風37至39的尺寸變成預定尺寸,這依次使得靠近麥克風37至39就坐的出 席者的尺寸變成預定尺寸,并且縮放因子計算部分302將該放大倍率供應給 存儲部分36以將其存儲在其中,作為關于麥克風37至39的成像信息的一部 分。接下來,圖9示出由圖8所示的距離計算部分301進行的計算揚聲器203 和麥克風37至39的每個之間的距離的方法的圖。在圖中,上方的波形示出從放大器202供應到聲音處理單元204的聲音 信號的波形,下方的波形示出例如從麥克風37至39中的麥克風37供應到聲 音處理單元204的聲音信號的波形。聲音處理單元204向距離計算部分301供應指示例如從放大器202供應 到聲音處理單元204的聲音信號的頂點時刻t,和例如從麥克風37供應到聲音 處理單元204的聲音信號的頂點時刻12的時間信息。距離計算部分301從由時間信息指示的時刻t2中減去從由聲音處理單元 204供應的時間信息指示的時刻^,然后計算從揚聲器203輸出的聲音到達麥 克風37的到達時間t^rti ( s )。另外,距離計算部分301將被存儲在存儲部分36中的聲音的速度值k (m/s )(例如340m/s )乘以到達時間t ( s ),以計算揚聲器203和麥克風37之間的距離kt (m)。距離計算部分301類似地確定揚聲器203與麥克風38或39之間距離。 接下來,將參考圖10所示的流程圖描述當攝像機34在其成像方向是布置麥克風37至39的方向時來捕獲圖像時計算攝像機34的放大倍率的縮放因子計算處理。例如,就在進行了圖5所示的布置方向檢測處理之后,進行縮放因子計 算處理。在步驟Slll中,距離計算部分301選擇麥克風37至39中的一個麥克風 作為感興趣的麥克風,并且處理去往步驟S112。聲音生成部分201生成聲音 信號A,并將其供應給放大器202。另外,在步驟S112中,放大器202放大從聲音生成部分201供應的聲音 信號A,并將其供應給揚聲器203和聲音處理單元204。因此,揚聲器203輸出與從放大器202供應的聲音信號A對應的聲音, 由感興趣的麥克風采集該聲音,并該相應的聲音信號被供應至聲音處理單元 204。然后,處理從步驟S112去往步驟S113。聲音處理單元204確定乂人放大 器202供應給聲音處理單元204的聲音信號A的頂點時刻t!、和從麥克風37 供應給聲音處理單元204的聲音信號的頂點時刻t2,并將指示時刻t!和k的 時間信息供應給距離計算部分3 01 。然后,處理從步驟S113去往步驟S114。距離計算部分301根據從聲音 處理單元204供應的時間信息,來計算從揚聲器203輸出的聲音到達感興趣 的麥克風的到達時間t-tr" (s),并且處理去往步驟S115。在步驟S115中,距離計算部分301將被存儲在存儲部分36中的聲音的 速度值k ( m/s )乘以到達時間t ( s ),以計算揚聲器203與感興趣的麥克風之 間的距離kt (m),并將其供應給縮放因子計算部分302。在完成步驟S115中的處理步驟后,處理去往步驟S116??s放因子計算 部分302將從距離計算部分301供應的距離作為攝像機34和感興趣的麥克風 (附近就坐的出席者)之間的距離,并基于該距離,縮放因子計算部分302 計算攝像機34的放大倍率,通過該放大倍率,由攝像機34獲得的捕獲圖像 中感興趣的麥克風的尺寸變成預定尺寸,即,靠近感興趣的麥克風的出席者 的面部的尺寸變成預定尺寸,然后處理去往步驟S117。在步驟S117中,縮放因子計算部分302向存儲部分36供應正在之前的 步驟S116中計算的放大倍率,以將其存儲作為關于感興趣的麥克風的成像信 息的一部分,并且處理去往步驟S118。在步驟S118中,距離計算部分301確定是否選擇了所有麥克風37至39 作為感興趣的麥克風。在步驟S118中,如果確定還沒有選擇所有麥克風37至39作為感興趣的 麥克風,則處理返回步驟Slll。距離計算部分301在麥克風37至39中新選 擇還沒有被選擇作為感興趣的麥克風的一個麥克風,作為感興趣的麥克風, 處理去往步驟S112,并且以下重復相似的處理步驟。另一方面,在步驟S118中,如果確定選擇了所有麥克風37至39作為感 興趣的麥克風,則處理結束。如上所述,在圖10所示的縮放因子計算處理中,在攝像機34附近布置 的揚聲器203和麥克風37至39之間的距離被認為是用于計算的、攝像機34 與麥克風37至39之間的距離,并且這些距離被包括在成像信息中用于存儲。 因此,當在攝像機34的成像方向是布置麥克風37至39的方向時攝像機34 捕獲圖像時,可以獲得以適當?shù)某叽缗臄z了靠近麥克風37至39的出席者的 面部的捕獲圖像。換句話說,在圖7所示的視頻會議裝置11中,進行與圖6所述處理類似 的攝像機控制處理。但是,在步驟S74中,PTZ控制部分106以這樣的方式 控制電動機操作的搖動頭33:攝像機34的成像方向是在關于由來自聲級確 定部分107的識別信息所識別的麥克風的成像信息中所包括的布置方向,以 及PTZ控制部分106以這樣的方式控制攝像機34:攝像機34的放大倍率是 在關于由來自聲級確定部分107的識別信息識別的麥克風的成^f象信息中所包 括的放大倍率。另外,由于可以通過使用通常進行的回聲消除器的技術來實現(xiàn)圖7所示 的聲音處理單元204獲得由時間信息所指示的時刻t!和t2的處理,因此可以 將這種功能添加到現(xiàn)有視頻會議裝置中,而不需要(或需要少量)用于進行 獲得由時間信息所指示的時刻h和t2的處理的附加功能的花費。在此,在圖3所示的視頻會議裝置11中,如此配置,其中,基于從麥克 風37至39的LED 37a至39a發(fā)射的光,計算麥克風37至39的布置方向, 并且基于該布置方向來控制攝像機34。例如,基于從LED發(fā)射的光的發(fā)光模式,可以控制攝像機。圖11示出描述視頻會議裝置401和基于從LED發(fā)出的光來控制視頻會 議裝置401的定向設備(directing device ) 402的圖。視頻會議裝置401配置有操縱部分431、 CPU432、電動機操作的搖動頭 433、攝像機434、圖像處理單元435、存儲部分436、攝像機437、通信部分 438和輸出部分439。操縱部分431配置有視頻會議裝置401的電源按鈕。例如,當用戶操縱 該操縱部分431時,該操縱部分431向CPU432供應對應于用戶的操縱的操 縱信號。CPU 432運行被存儲在存儲部分436中的程序,以控制電動機操作的搖 動頭433、攝像機434、圖像處理單元435、攝像機437、通信部分438和輸 出部分439,并以進行各種其他處理。換句話i兌,例如,當操縱部分431供應操縱信號時,CPU 432進行對應 于來自操縱部分431的操縱信號的處理。此外,CPU 432向輸出部分439供應從通信部分438供應的、來自通信 伙伴視頻會議裝置的捕獲圖像,用于顯示。另外,CPU432向通信部分438供應從圖像處理單元435供應的、經過圖 像處理后的捕獲圖像,以將該圖像發(fā)送給通信伙伴視頻會議裝置。此外,基于從圖像處理單元435供應的、經過圖像處理后的LED圖像, CPU 432控制電動機操作的搖動頭433和攝像機434。另外,如需要,CPU 432從存儲部分436讀出被存4諸在存儲部分436中 的信息。電動機操作的搖動頭433在橫向或縱向上旋轉地驅動被提供在電動機操 作的搖動頭433上的攝像機434,從而其控制攝像機434的方位角,以便作 為成像方向的搖動角或傾斜角變成在預定方向上的搖動角或傾斜角,該成像 方向是攝像機34的成像方向。將攝像機434固定于電動機操作的搖動頭433,用于對由電動機操作的 搖動頭433控制的方位角上的畫面成像。然后,例如,攝像機434使用CCD 或CMOS傳感器來獲得在布置了視頻會議裝置11的會議室中舉行的會議的 場景的圖像以及其他捕獲圖像,并將這些圖像供應給圖像處理單元435。圖像處理單元435使從攝像機434供應的捕獲圖像和從攝像機437供應的、捕獲從定向設備402發(fā)出的光的LED圖像經過諸如去噪聲的圖像處理, 并將經過圖像處理后的捕獲圖像和LED圖像供應給CPU 432。例如,存儲部分436配置有非易失性存儲器、硬盤等等,并且基于從定 向設備402發(fā)出的光,存儲部分436將用于控制電動機操作的搖動頭433和 攝像機434所需的信息、由CPU432運行的程序等等存儲在其中。另外,例 如,在存儲部分436中,可以根據操縱部分431的操縱來存儲所需信息。例如,攝像機437被固定在可以捕獲安置了視頻會議裝置401的整個會 議室的位置上,用于對整個會議室進行成像。然后,攝像機437使用CCD或 CMOS傳感器來獲得捕獲了從定向設備402的LED 462發(fā)出的光的LED圖 像,并將這些圖像供應給圖像處理單元435。通信部分438接收從通信伙伴視頻會議裝置發(fā)送的捕獲圖像,并將這些 圖像供應給CPU 432。另外,通信部分438向通信伙伴視頻會議裝置發(fā)送從 CPU 432供應的捕獲圖像。例如,輸出部分439是諸如LCD的顯示器,其在其上顯示從CPU 432 供應的捕獲圖像??刂埔灰婎l會議裝置401的定向設備402配置有纟喿縱部分461和LED 462。 例如,操縱部分461配置有用于設置攝像機434的成像方向和放大倍率 的設置按鈕和用于接通和斷開被嵌入攝像機434中的麥克風的電源的按鈕。LED 462以特定發(fā)光模式來發(fā)光。換句話說,例如,當用戶操縱該操縱 部分461時,LED462以對應于該操縱的發(fā)光模式來發(fā)光。另外,從LED462 發(fā)出的光可以是任意光,只要攝像機437可以捕獲這些光即可。例如,這些 光可以是可以被人眼感知的可見光,也可以是諸如紅外線的難以被人眼感知 的不可見光。圖12示出描述由運行被存儲在存儲部分436中的程序的、圖11所示的 CPU 432功能地實現(xiàn)的控制部分432a的示范配置的方塊圖??刂撇糠?32a配置有發(fā)光模式計算部分501和攝像機控制部分502。 圖像處理單元435向發(fā)光模式計算部分501供應LED圖像。 發(fā)光模式計算部分501根據從圖像處理單元435供應的LED圖像來計算 定向設備402的LED 462的發(fā)光模式,并向攝像機控制部分502供應指示發(fā) 光模式的模式信息。另外,對于計算發(fā)光模式的方法,例如,在攝像機437 —秒捕獲30個LED圖像的情況下,檢測在30個LED圖像中哪個LED圖像具有發(fā)光的LED 462,從而計算LED 462的發(fā)光模式。攝像機控制部分502從存儲部分436讀出被存儲在存儲部分436中的對 應表。另外,基于從存儲部分436讀出的對應表,攝像機控制部分502確定 對應于從發(fā)光模式計算部分501供應的模式信息的指令,然后基于該指令控 制電動機操作的搖動頭433和攝像機434。在此,對應表是將由發(fā)光模式計算部分501計算的、用于指示發(fā)光模式 的模式信息與對應于模式信息的、用于控制電動機操作的搖動頭433和攝像 機434的指令相關聯(lián)的表。接下來,將參考圖13所示的流程圖描述基于從定向設備402的LED 462 發(fā)出的光的發(fā)光模式來遠程控制視頻會議裝置401的遠程控制處理。例如,當用戶將攝像機434的成像方向指定為用戶他/她本身并操縱定向 設備402的操縱部分461以便以預定放大倍率來放大或縮小用戶他/她本身 時,開始遠程控制處理。此時,定向設備402的LED462根據與由用戶對操縱部分461的操縱對應的發(fā)光模式來發(fā)光。在步驟S141中,攝像機437捕獲從定向設備402的LED 462發(fā)出的光, 并將得到的LED圖像供應給圖像處理單元435。圖像處理單元435使從攝像機437供應的LED圖像經過諸如去噪聲的圖 像處理,并將經過圖像處理后的LED圖像供應給發(fā)光模式計算部分501( CPU 432)。之后,處理從步驟S141去往步驟S142。發(fā)光模式計算部分501根據從 圖像處理單元435供應的經過圖像處理后的LED圖像來計算從定向設備402 的LED 462發(fā)出的光的發(fā)光模式,并向攝像機控制部分502供應指示發(fā)光模 式的模式信息,并且處理去往步驟S143。在步驟S143中,攝像機控制部分502 >^人存儲部分436讀出被存儲在存儲 部分436中的對應表,確定對應于從發(fā)光模式計算部分501供應的模式信息 的指令,并基于該指令,攝像機控制部分502控制電動機操作的搖動頭433 和攝像機434。例如,攝像機控制部分502將攝像機434的成像方向定向到 用戶,以及以預定放大倍率來放大或縮小該用戶。因此,由于根據用戶進行 的操縱部分461的操縱而將攝像機434的成像方向定向到用戶,以及以預定放大倍率來放大或縮小該用戶,因此可以容易地實現(xiàn)以預定尺寸預定成像方 向來捕獲該用戶的這種功能。 之后,處理結束。如上所述,在圖13所示的遠程控制處理中,配置為基于從定向設備402 的LED462發(fā)出的光的發(fā)光模式來遠程地控制視頻會議裝置11。例如,即使 用戶位于遠離視頻會議裝置11的位置,也能夠容易地操作視頻會議裝置11, 而不需要操縱位于遠離用戶的位置處的視頻會議裝置11的操縱部分431。另外,由于可以通過計算來自圖像出來單元435的LED圖像之間的差異 來容易地實現(xiàn)圖12所示的發(fā)光模式計算部分501的計算發(fā)光模式的處理,因 此,可以在不需(或需要少量)用于進行計算發(fā)光模式的處理的附加功能的 花費將這種功能添加到之前的現(xiàn)有視頻會議裝置。另外,如下配置,通過使得CPU 32或CPU 432運行程序來引導圖5所 示的布置方向檢測處理、圖6所示的攝像機控制處理、圖IO所示的縮放因子 計算處理和圖13所示的遠程控制處理的一系列處理步驟,但還可以通過專用 硬件來實現(xiàn)這些處理步驟。預先在存儲部分36或存儲部分436中存儲由CPU 32或CPU 432運行的 程序。除此之外,例如,可以在可移動介質上存儲該程序,該可移動介質是 諸如磁盤(包括軟盤)、光盤(包括CD-ROM (緊致盤只讀存儲器)和DVD (數(shù)字通用盤))、磁光盤或半導體存儲器的分組介質,或者可以通過電纜或 諸如因特網的無線網絡來提供該程序。另外,在本說明書中,描述過程的將程序記錄在程序記錄介質上的步驟 包括沿著所述順序以時間順序來進行的處理步驟,并且還包括不需要以時間 順序處理獨立或并行進行的處理步驟。此外,在本說明書,系統(tǒng)代表由多個設備配置的全部裝置。另外,在圖5所示的布置方向檢測處理中,如下配置,依次選擇麥克風 37至39作為感興趣的麥克風,使得感興趣的麥克風的LED以預定發(fā)光模式 發(fā)光,以計算感興趣的麥克風的布置方向。例如,如下方案是可能的,允許 麥克風37至39的LED 37a到39a同時以獨立發(fā)光模式來發(fā)光,以檢測布置 麥克風37至39的方向。在這種情況下,可以將進行布置方向檢測處理所需的時間段縮短得比使 得麥克風37至39的LED 37a到39a依次發(fā)光的情況更多。此外,在圖2和圖7所示的實施例中,如下配置,使用相同的攝像機34 用于捕獲LED圖像作為在圖5所示的布置方向檢測處理中使用的捕獲圖像的 攝像機、和用于作為在圖6所示的攝像機控制處理中用成像信息的控制的對 象的攝像機。但是,捕獲LED圖像的攝像機和作為用成像信息的控制的對象 的攝像機可以是單獨的攝像機。在這種情況下,期望的是,靠近將要作為用成像信息的控制的對象的攝 像機來放置捕獲LED圖像的攝像機。另外,捕獲LED圖像的攝像機可以是 低分辨率攝像機,用于捕獲LED圖像,并且作為用成像信息的控制的對象的 攝像機可以是用于捕獲圖像的高分辨率攝像機。在這種情況下,由于可以引 導圖5所示的布置方向檢測處理用于低分辨率LED圖像,因此可以減少處理量。另外,可以通過提供所謂的磁滯現(xiàn)象來改變攝像機34的成像方向。 換句話說,例如,在靠近麥克風37至39附近就坐的出席者正在爭論的 情況下,供應最高級的聲音信號的麥克風頻繁變化。每次當改變供應最高級 的聲音信號的麥克風時而變化了攝像機34的成像方向時,捕獲圖像是具有粗 糙運動的難以看到的圖像。然后,例如,在即使供應最高級的聲音信號的麥 克風從麥克風#1改變?yōu)辂溈孙L#2并且供應最高級的聲音信號的麥克風是麥 克風#2的這種狀況持續(xù)了預定的時間段、攝像機34的成像方向也不快速變 化的情況下,可以將攝像機34的成像方向改變?yōu)辂溈孙L#2。在這種情況下, 可以防止如下事件因為頻繁地改變攝像機34的成像方向而使得捕獲圖像是 難以看見的圖像。此外,在供應最高級的聲音信號的麥克風在麥克風37至39中的多個麥 克風之間改變的情況下,可以控制攝像機34的成像方向以便拍攝所有這多個 麥克風。另外,在圖7所示的實施例中,如下配置,基于攝像機34和麥克風37 至39之間的距離,控制攝像機34的放大倍率。除此之外,例如,可以以如 下方式控制攝像機34的放大倍率檢測在捕獲圖像中拍攝的出席者的臉部的 區(qū)域,并且在捕獲圖像中以預定比率的像素數(shù)來占據該區(qū)域。此外,在圖2和圖7所示的實施例中,如下配置,僅提供單個攝像機34 作為捕獲作為用成像信息控制的對象的視頻會議出席者的攝像機。另外,可 以提供多個攝像機作為捕獲作為用成像信息控制的對象的視頻會議出席者的攝像機。例如,在提供兩個攝像機作為捕獲作為用成像信息控制的主體的視 頻會議出席者的攝像機的情況下,這樣的方案是可能的當兩個出席者在爭 論時, 一個攝像機捕獲一個出席者,而另一攝像機捕獲另一出席者。另外,在圖2和7所示的實施例中,如下配置,發(fā)光控制部分100控制 LED 37a至39a的發(fā)光。但是,例如,用戶可以操縱開關等等而使得LED 37a 至39a以預定發(fā)光模式發(fā)光。接下來,在圖11所示的視頻會議裝置401中,如下配置,使用攝像機 437作為捕獲在圖13所示的遠程控制處理中使用的LED圖像的攝像機,并且 使用攝像機434作為捕獲該捕獲圖像的攝像機。例如,捕獲LED圖像的攝像 機和捕獲該捕獲圖像的攝像機可以是同一攝像機。另外,在捕獲LED圖像的 攝像機和捕獲該捕獲圖像的攝像機是同一攝像機的情況下,期望的是,該攝 像機可以是廣角、高分辨率攝像機。此外,在圖11所示的定向設備402中,如下配置,定向設備402使得 LED 462發(fā)光,以使得視頻會議裝置401進行對應于LED 462的發(fā)光模式的 處理。例如,假設如下配置,用戶使得LED462發(fā)光,并且在該狀態(tài)下,由 視頻會議裝置401檢測可以通過移動具有LED 462的定向設備402而獲得的、 從LED462發(fā)出的光的軌跡。用這種配置,可以給視頻會議裝置401提供標 記功能。換句話說,例如,視頻會議裝置401可以通過疊加(組合)所檢測的光 的軌跡與由攝像機434成像的捕獲圖像來在捕獲圖像中標記光的軌跡。因此, 例如,標記捕獲圖像中的預定對象以指出該預定對象。更具體地,在視頻會議裝置401中,例如,將由攝像機434獲得的捕獲 圖像與圍繞感興趣的區(qū)域的圓圈的軌跡疊加,并且可以生成強調該感興趣的 區(qū)域的捕獲圖像,其中在該感興趣的區(qū)域中,會議素材(material)被捕獲在 捕獲圖像中。另外,在圖13中所示的遠程控制處理中,如下配置,定向設備402使得 LED 462發(fā)光,以使得視頻會議裝置401進行對應于從LED 462發(fā)出的光的 發(fā)光模式的處理。例如,假設當發(fā)光的LED462作為對象時,CPU 432進行 圖5所示的布置方向檢測處理??梢杂嬎鉒ED462的布置方向,其中LED 462 的發(fā)光位置(x, y)位于參考位置(xc, yc)。因此,將攝像機434的成像方 向設置為所計算的布置方向,從而可以將攝像機434定向為具有LED462的定向設備402的方向。另外,本發(fā)明的實施例不局限于上述實施例,在不脫離本發(fā)明的實施例 的講授的范圍內,可以對其修改。本領域技術人員應該理解,根據設計需求和其他音素,可以進行各種修 改、組合、子組合和變更,只要它們處于所附權利要求或其等同物的范圍內。相關申請的交叉引用本發(fā)明包含與2007年4月6日在日本專利局提交的日本專利申請 JP2007-100121相關的主題,其全部內容^皮引用附于此。
權利要求
1. 一種用于視頻會議的視頻會議裝置,包括發(fā)光控制部件,用于使得在用于采集聲音的聲音采集部件中所包括的用于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光;發(fā)光位置檢測部件,用于檢測發(fā)光位置,所述發(fā)光位置是通過由用于成像的第一成像部件對來自所述聲音采集部件中所包括的所述發(fā)光部件的光進行成像而獲得的圖像中的光的位置;布置方向檢測部件,用于基于所述發(fā)光位置來檢測布置方向,所述布置方向是布置所述聲音采集部件的方向;以及成像控制部件,用于基于所述布置方向來控制成像方向,所述成像方向是用于對圖像進行成像的第二成像部件捕獲圖像的方向。
2. 根據權利要求1所述的視頻會議裝置,其中,所述第一成像部件對低分辨率圖像進行成像,以及 所述第二成像部件對高分辨率圖像進行成像。
3. 根據權利要求1所述的視頻會議裝置, 其中所述第 一和第二成像部件是相同的。
4. 根據權利要求1所述的視頻會議裝置,其中,所述發(fā)光控制部件使得在所述聲音采集部件中所包括的多個所述 發(fā)光部件中的每個以預定順序發(fā)光,或使得在所述聲音采集部件中所包括的 多個所述發(fā)光部件中的每個以各自的發(fā)光模式同時發(fā)光,所述發(fā)光位置檢測部件檢測所述多個聲音采集部件的每個的發(fā)光位置, 所述布置方向檢測部件基于所述發(fā)光位置來檢測所述多個聲音采集部件 中的每個的布置方向,以及所述成像控制部件基于在所述多個聲音采集部件中正在采集高級別聲音 的聲音采集部件的布置方向來控制所述成像方向。
5. 根據權利要求1所述的視頻會議裝置,還包括距離計算部件,用于基于所述聲音采集部件采集從用于輸出預定聲音的 聲音輸出部件輸出的預定聲音的時刻和所述聲音輸出部件輸出所述預定聲音 的時刻,來計算所述聲音輸出部件和所述聲音釆集部件之間的距離,其中,所述成像控制部件還基于所述聲音輸出部件和所述聲音采集部件之間的距離,控制在由所述第二成像部件成像時的放大倍率。
6. 根據權利要求1所述的視頻會議裝置,其中,還提供所述聲音采集部 件、所迷第 一成像部件和所述第二成像部件中的 一個或多個。
7. —種控制用于視頻會議的視頻會議裝置的方法,所述方法包括步驟 使得在用于采集聲音的聲音采集部件中所包括的用于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光;檢測發(fā)光位置,該發(fā)光位置是通過由用于成像的第一成像部件對來自在 所述聲音采集部件中所包括的所述發(fā)光部件的光進行成像而獲得的圖像中的 光的位置;以及基于所述發(fā)光位置來檢測布置方向,該布置方向是布置所述聲音采集部 件的方向,其中,在所述視頻會議裝置中,基于所述布置方向來控制成像方向,所 述成像方向是用于成像圖像的第二成像部件捕獲圖像的方向。
8. —種使得計算機運作為用于視頻會議的視頻會議裝置的程序,所述程 序使得所述計算機運作為發(fā)光控制部件,用于使得在用于采集聲音的聲音采集部件中所包括的用 于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光;發(fā)光位置檢測部件,用于檢測發(fā)光位置,所述發(fā)光位置是通過由用于成 像的第 一成像部件對來自所述聲音采集部件中所包括的所述發(fā)光部件的光進 行成像而獲得的圖像中的光的位置;布置方向檢測部件,用于基于所述發(fā)光位置來檢測布置方向,所述布置 方向是布置所述聲音采集部件的方向;以及成像控制部件,用于基于所述布置方向來控制成像方向,所述成像方向 是用于成像圖像的第二成像部件捕獲圖像的方向。
9. 一種用于視頻會議的視頻會議裝置,包括發(fā)光控制單元,被配置用于使得在聲音采集單元中所包括的發(fā)光單元以 特定發(fā)光模式發(fā)光;發(fā)光位置檢測單元,被配置用于檢測發(fā)光位置,該發(fā)光位置是通過由第 一成像單元對來自所述發(fā)光單元的光進行成像而獲得的圖像中的光的位置;布置方向檢測單元,被配置用于基于所述發(fā)光位置來檢測布置方向,該 布置方向是布置所述聲音采集單元的方向;以及成像控制單元,被配置用于基于所述布置方向來控制成像方向,該成像 方向是第二成像單元捕獲圖像的方向。
全文摘要
用于視頻會議的視頻會議裝置包括發(fā)光控制部件,用于使得在用于采集聲音的聲音采集部件中所包括的用于發(fā)光的發(fā)光部件以特定發(fā)光模式發(fā)光;發(fā)光位置檢測部件,用于檢測發(fā)光位置,該發(fā)光位置是通過由用于成像的第一成像部件對來自在所述聲音采集部件中所包括的發(fā)光部件的光進行成像而獲得的圖像中的光的位置;布置方向檢測部件,用于檢測布置方向,該布置方向是基于發(fā)光位置來布置所述聲音采集部件的方向;以及成像控制部件,用于基于所述布置方向來控制成像方向,該成像方向是用于成像圖像的第二成像部件捕獲圖像的方向。
文檔編號G01B11/00GK101282452SQ200810091120
公開日2008年10月8日 申請日期2008年4月7日 優(yōu)先權日2007年4月6日
發(fā)明者安居宏之, 川口貴義 申請人:索尼株式會社