本發(fā)明涉及包括用于從多個方向拍攝被攝體的圖像的多個照相機的系統(tǒng)。

背景技術：

近年來，為了從各個視點觀看視頻圖像，存在在體育場內安裝以各種角度傾斜的許多照相機的一些情況。為了在帶寬受限的情況下進行廣播或發(fā)布時使用這種視頻圖像，必須從多個照相機所拍攝的視頻圖像中選擇根據(jù)觀看者想要的視點的照相機的視頻圖像。然而，從許多照相機所拍攝的視頻圖像中選擇根據(jù)適當視點的視頻圖像是困難的。

日本特開2014-215828公開了如下方法：針對各照相機提供注視點位置信息、照相機位置信息和方向信息等，并且基于觀看者喜歡的隊等的屬性信息來選擇照相機的視頻圖像。

然而，根據(jù)所選擇的照相機的視頻圖像，可能難以掌握比賽的情形。例如，在日本特開2014-215828所公開的結構中，在基于特定比賽者的屬性信息而僅顯示該比賽者的視頻圖像的情況下，可能難以掌握比賽的情形。

技術實現(xiàn)要素：

一種信息處理設備，包括：一種信息處理設備，包括：獲取單元，用于獲取與第一預定對象和第二預定對象之間的位置關系有關的位置關系信息，其中，所述第一預定對象和所述第二預定對象是從用于從多個方向拍攝被攝體的圖像的多個照相機所拍攝的拍攝圖像至少之一所檢測到的；照相機決定單元，用于通過使用所述獲取單元所獲取到的所述第一預定對象和所述第二預定對象的所述位置關系信息，來從所述多個照相機中決定用于拍攝要顯示的圖像的至少一個照相機；以及發(fā)送控制單元，用于進行控制，使得將基于所述照相機決定單元所決定出的所述至少一個照相機所拍攝的拍攝圖像的顯示目標圖像發(fā)送至顯示裝置。

一種信息處理方法，包括以下步驟：獲取與第一預定對象和第二預定對象之間的位置關系有關的位置關系信息，其中，所述第一預定對象和所述第二預定對象是從用于從多個方向拍攝被攝體的圖像的多個照相機所拍攝的拍攝圖像至少之一所檢測到的；通過使用所述第一預定對象和所述第二預定對象的所述位置關系信息來從所述多個照相機中決定用于拍攝要顯示的圖像的至少一個照相機；以及進行控制，使得將基于所決定出的所述至少一個照相機所拍攝的拍攝圖像的顯示目標圖像發(fā)送至顯示裝置。

一種計算機可讀存儲介質，用于存儲使計算機執(zhí)行方法的程序，所述方法包括以下步驟：獲取與第一預定對象和第二預定對象之間的位置關系有關的位置關系信息，其中，所述第一預定對象和所述第二預定對象是從用于從多個方向拍攝被攝體的圖像的多個照相機所拍攝的拍攝圖像至少之一所檢測到的；通過使用所述第一預定對象和所述第二預定對象的所述位置關系信息來從所述多個照相機中決定用于拍攝要顯示的圖像的至少一個照相機；以及進行控制，使得將基于所決定出的所述至少一個照相機所拍攝的拍攝圖像的顯示目標圖像發(fā)送至顯示裝置。

通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

圖1是體育場的鳥瞰圖。

圖2a和2b示出系統(tǒng)和表的結構的示例。

圖3a和3b示出第四實施例。

圖4a和4b是示出信息處理設備和計算機設備的結構的示例的框圖。

圖5是示出信息處理設備所進行的照相機選擇處理的流程圖。

圖6a和6b示出球位置檢測方法的一個示例和直線的角度。

圖7是示出信息處理設備所進行的照相機選擇處理的流程圖。

圖8是示出步驟s507和s508各自的處理的流程圖。

圖9示出步驟s805。

圖10示出步驟s509。

圖11a～11c示出照相機切換。

圖12a和12b示出球門的位置。

圖13是示出信息處理設備所進行的照相機選擇處理的流程圖。

圖14示出第二實施例。

圖15是示出信息處理設備所進行的照相機選擇處理的流程圖。

具體實施方式

以下將參考附圖來說明本發(fā)明的實施例。注意，以下描述的各實施例表示實現(xiàn)本發(fā)明的情況的一個示例、即權利要求書中所描述的結構的具體實踐示例其中之一。

第一實施例

以下將描述連接至用于拍攝體育場的圖像的多個攝像設備的信息處理設備的一個示例。信息處理設備檢測球在體育場內的位置，并且基于體育場內所檢測到的球的位置和球門的位置之間的關系來從多個攝像設備中選擇至少一個攝像設備作為選中攝像設備。然后，信息處理設備輸出從多個攝像設備中選擇的選中攝像設備所拍攝的視頻圖像。

此外，以下將描述如下示例：體育場是進行足球比賽的體育場，并且信息處理設備基于體育場內的球的位置和球門的位置之間的關系來從用于拍攝足球比賽的圖像的多個攝像設備中選擇適當?shù)臄z像設備。在本實施例中，為了獲得能夠得到與進攻側比賽者具有的視角同樣的視角的視頻圖像以及能夠得到與防守側比賽者具有的視角同樣的視角的視頻圖像，選擇各自適當?shù)臄z像設備。具體地，選擇攝像設備以使得：可以獲得在球之后看到對手側的球門的視頻圖像作為能夠得到與進攻側比賽者具有的視角同樣的視角的視頻圖像。同樣，選擇攝像設備以使得：可以獲得從球門之后看到球的視頻圖像作為能夠得到與防守側比賽者具有的視角同樣的視角的視頻圖像。

首先，將參考用于示出安裝有使用根據(jù)本實施例的信息處理設備的系統(tǒng)的體育場的鳥瞰圖的圖1來說明該體育場。體育場100指主要進行球賽的體育場整體，并且運動場101是進行比賽的場所。運動場101相對于中場線被分割成圖1的左側的區(qū)域102和圖1的右側的區(qū)域103。圍繞運動場101，安裝多個照相機(照相機107-1～107-k)，以包圍運動場101，并且全部這多個照相機拍攝運動場101內部的圖像。附圖標記k表示2以上的某個整數(shù)。以下，將圖1的在相對于中場線的右側(與區(qū)域103同側)所設置的照相機組(照相機107-1～107-m)稱為照相機組a。此外，將圖1的在相對于中場線的左側(與區(qū)域102同側)所設置的照相機組(照相機107-(m+1)～107-k)稱為照相機組b。附圖標記m表示在1和k之間的某一整數(shù)。

現(xiàn)在，如圖1所示，假定球104位于區(qū)域102中。此時，作為用于越過球104拍攝區(qū)域102側的球門(即球門105)的圖像的照相機，從照相機組a中選擇攝像方向(光軸方向)是從球104向球門105的方向(方向108)的照相機107-x。另一方面，作為用于越過球門105拍攝球104的圖像的照相機，從照相機組b中選擇攝像方向(光軸方向)是從球門105向球104的方向(方向109)的照相機107-y。附圖標記x和y各自表示1和k之間的某一整數(shù)。

同樣，假定球104位于區(qū)域103中。此時，作為越過球104用于拍攝區(qū)域103側的球門(即球門106)的圖像的照相機，從照相機組b中選擇攝像方向(光軸方向)是從球104向球門106的方向的照相機。另一方面，作為用于越過球門106拍攝球104的圖像的照相機，從照相機組a中選擇攝像方向(光軸方向)是從球門106向球104的方向的照相機。

在照相機107-1～107-k中的各個照相機中，其光軸固定，并且不進行諸如平搖或俯仰等的水平或垂直移動。然而，照相機107-1～107-k各自具有用于改變焦距的變焦功能，并且能夠使攝像區(qū)域擴大或縮小。將照相機107-1～107-k所拍攝的視頻圖像發(fā)送至根據(jù)本實施例的信息處理設備。

接著，將參考圖2a來說明根據(jù)本實施例的系統(tǒng)的結構的示例。如圖2a所示，根據(jù)本實施例的系統(tǒng)包括以包圍運動場101的方式安裝并且用于拍攝運動場101內部的圖像的照相機107-1～107-k，以及用于輸出來自這些照相機所拍攝的視頻圖像中的選中照相機所拍攝的視頻圖像的信息處理設備201。如上所述，信息處理設備201所輸出的視頻圖像有如下兩種類型：能夠得到與進攻側比賽者具有的視角同樣的視角的視頻圖像和能夠得到與作為對方隊的防守側比賽者具有的視角同樣的視角的視頻圖像。使用網絡將信息處理設備201所輸出的視頻圖像發(fā)送至例如廣播設備或發(fā)布設備，并且該視頻圖像用作進行廣播或者發(fā)布時的材料。假定由目的地觀看者來切換所發(fā)送的兩種類型的視頻圖像。

接著，將參考圖4a的框圖來說明信息處理設備201的功能結構的示例。

視頻圖像輸入單元401接收從照相機107-1～107-k發(fā)送來的視頻圖像，然后將所接收到的視頻圖像傳輸至隨后的功能單元。視頻圖像可以是運動圖像或者連續(xù)的靜止圖像。

球位置檢測單元402檢測球104在運動場101內的位置。

基準球門指定單元403用于根據(jù)球104位于區(qū)域102和區(qū)域103中的哪一個區(qū)域內，來指定球門105和球門106其中一個作為基準球門。

切換判斷單元404基于球104和基準球門之間的位置關系來進行上述照相機選擇，然后判斷是否要進行如下的一系列處理：進行從前次選擇的照相機向本次選擇的照相機的照相機切換。

如果切換判斷單元404判斷為要進行切換，則切換單元405進行向切換判斷單元404所選擇的照相機的切換，然后將進行了切換后的照相機所拍攝的視頻圖像傳輸至隨后的視頻圖像輸出單元406。

視頻圖像輸出單元406將從切換單元405傳輸來的視頻圖像輸出至外界(在上述示例中，為使用網絡的廣播設備或發(fā)布設備)。目的地不限于外界，并且可以例如是信息處理設備201中的存儲器，以將視頻圖像累積在該存儲器中。

接著，將參考用于示出照相機選擇處理的流程圖的圖5來說明信息處理設備201所進行的照相機選擇處理。

步驟s501

視頻圖像輸入單元401接收(獲取)從照相機107-1～107-k發(fā)送來的視頻圖像，然后將視頻圖像傳輸至隨后的功能單元。

步驟s502

切換判斷單元404決定首次從照相機107-1～107-k中選擇的照相機。例如，切換判斷單元404決定從運動場101的中央朝向球門區(qū)域的照相機107-f作為首次選擇的照相機。首次選擇的照相機不限于照相機107-f，并且可以是其它照相機，或者不是將一個照相機而是兩個照相機決定為首次選擇的照相機。

步驟s503

切換判斷單元404判斷從進行了前次照相機切換起是否經過了規(guī)定時間段(例如，圖5中的3秒)。對于該判斷，可以是各種方法。例如，切換判斷單元404可以通過使用計時器功能來測量從進行了前次照相機切換起所經過的時間段，并且可以判斷所測量出的時間段是否超過了規(guī)定時間段?？蛇x地，切換判斷單元404可以對前次照相機切換之后的輸入幀的數(shù)量進行計數(shù)，并且可以判斷(所計數(shù)的輸入幀/幀頻)是否超過了規(guī)定時間段。

作為判斷的結果，如果判斷為從進行了前次照相機切換起已經經過了規(guī)定時間段，則處理進入步驟s504，而如果判斷為尚未經過規(guī)定時間段，則處理進入步驟s510。

步驟s504

球位置檢測單元402檢測球在運動場101內的位置。對于用于檢測球在運動場101內的位置的方法，可以是各種方法，并且方法不限于特定方法。這里，將參考圖6a來說明適用于本步驟的球位置檢測方法的一個示例。圖6a示出基于運動場101的坐標系(運動場坐標系)。

在圖6a中，作為運動場坐標系，定義了如下的坐標系：運動場101的左上角是原點(0,0)，上側(例如，后臺側)的邊線601是x軸，左側(區(qū)域102側)的球門線602是y軸，并且1表示1m。此外，在圖6a中，運動場101的右上角的坐標是(120,0)，左下角的坐標是(0,80)，并且右下角的坐標是(120,80)。

在這種情況下，將用于俯瞰運動場101的整體并且拍攝其圖像的照相機(俯瞰照相機)設置在運動場101的上方，并且球位置檢測單元402可以獲取俯瞰照相機所拍攝的視頻圖像。也就是說，俯瞰照相機的攝像范圍比其它照相機的攝像范圍廣。球位置檢測單元402預先獲取俯瞰照相機所拍攝的球尚未位于運動場101內的視頻圖像(基準視頻圖像)。然后，球位置檢測單元402根據(jù)由俯瞰照相機當前拍攝的視頻圖像和基準視頻圖像之間的差異視頻圖像來檢測球在視頻圖像內的位置(圖像坐標)。根據(jù)差異視頻圖像來檢測球的方法是已知的。例如，可以通過使用邊緣檢測來搜索作為球的形狀的球形或圓形，或者可以通過使用球的顏色信息來搜索球。然后，在預先獲得俯瞰照相機所拍攝的視頻圖像上的二維坐標系與運動場坐標系之間的對應關系的情況下，可以確定與所檢測到的圖像坐標相對應的運動場坐標系中的位置(球在運動場坐標系中的位置)。在圖6a中，確定(52,37)作為與從俯瞰照相機所拍攝的視頻圖像中所檢測到的球104的圖像坐標相對應的運動場坐標系中的位置。

俯瞰照相機的數(shù)量不限于一個，并且可以是兩個以上。在這種情況下，可以通過使用利用多個俯瞰照相機的三角測量技術來確定球在運動場坐標系中的位置?？蛇x地，可以在不使用任何視頻圖像的情況下確定球在運動場坐標系中的位置。例如，可以在球內以及運動場下(例如，每隔一平方米)嵌入傳感器，并且可以根據(jù)球的位置附近的運動場下的傳感器的位置來確定球的位置。理所當然，根據(jù)傳感器的類型，球位置檢測方法不限于該方法。

步驟s505

如果球位于區(qū)域102內(如果在圖6a的示例中球104在運動場坐標系中的x坐標值小于60)，則基準球門指定單元403將球門105設置為基準球門。另一方面，如果球位于區(qū)域103內(如果在圖6a的示例中球104在運動場坐標系中的x坐標值不小于60)，則基準球門指定單元403將球門106設置為基準球門。注意，球門105和球門106在運動場坐標系中的位置(在各球門區(qū)域中的特定位置)是預先確定的。

然后，切換判斷單元404確定穿過步驟s504中所確定出的球的位置和基準球門的位置的直線，并確定所確定出的直線的角度。例如，如圖6b所示，如果將球門105設置為基準球門，則切換判斷單元404確定穿過球104的位置和球門105的位置的直線701。隨后，切換判斷單元404確定直線701相對于x軸的順時針角度702作為直線701的角度。

步驟s506

切換判斷單元404判斷前次在步驟s504中所確定出的球的位置和本次在步驟s504中所確定出的球的位置之間的差是否在規(guī)定距離(例如，圖5中的3m)以上。作為該判斷的結果，如果差在規(guī)定距離以上，則處理進入步驟s507，而如果差小于規(guī)定距離，則處理進入步驟s510。

步驟s507

切換判斷單元404從照相機107-1～107-k中選擇用于沿著從球向基準球門的方向拍攝圖像的照相機。稍后將參考圖8和9來說明步驟s507的處理的詳情。

步驟s508

切換判斷單元404從照相機107-1～107-k中選擇用于沿著從基準球門向球的方向拍攝圖像的照相機。稍后將參考圖8和9來說明步驟s508的處理的詳情。

步驟s509

切換單元405進行向步驟s507中所選擇的照相機以及步驟s508中所選擇的照相機的切換，然后將進行了切換后的照相機所拍攝的視頻圖像傳輸至隨后的視頻圖像輸出單元406。例如，如圖10所示，在球從球位置1001改變成球位置1002時，用于連接球和基準球門的直線從直線1003改變成直線1004。在該改變的情況下，進行從前次針對球位置1001在步驟s507中所選擇的照相機107-x向針對球位置1002的照相機107-(x-5)的切換。同樣，針對在步驟s508中所選擇的用于沿著從基準球門向球的方向拍攝圖像的照相機，進行從前次針對球位置1001在步驟s508中所選擇的照相機向針對球位置1002的照相機的切換。

針對照相機切換，可以如剪輯等那樣將照相機107-x所拍攝的視頻圖像直接切換成照相機107-(x-5)所拍攝的視頻圖像，并且還可以將照相機107-x和照相機107-(x-5)之間的照相機107-(x-1)～107-(x-4)所拍攝的視頻圖像以數(shù)幀為間隔順次插入。盡管假定將來自各照相機的視頻圖像信號按照同一定時同步以使得視頻圖像不會由于切換的定時而失真，但是可以設置減少切換時的滯后的機構，以使得視頻圖像不會失真。

步驟s510

除非滿足了用于結束處理的終止條件，否則處理進入步驟s511，并且如果滿足了終止條件，則根據(jù)圖5的流程圖的處理結束。終止條件不限于特定條件，并且可以是由用戶對操作單元進行操作而輸入終止指示(未示出)的條件，或者當前時間到了預定的結束時間的條件。

步驟s511

視頻圖像輸入單元401接收(獲取)從照相機107-1～107-k發(fā)送來的視頻圖像，然后將視頻圖像傳輸至隨后的功能單元。

接著，將參考圖8的流程圖來說明上述步驟s507和步驟s508各自的處理的詳情。

步驟s801

切換判斷單元404參考圖2b所示的登記有照相機107-1～107-k各自在運動場坐標系中的安裝位置(照相機位置)和光軸方向的表來指定距離步驟s505中所確定出的直線最近的照相機作為選擇候選。針對照相機107-1～107-k中的各個照相機，圖2b的表對照相機固有的識別信息(圖2b中的照相機id301)、運動場坐標系中的安裝位置(照相機位置302)以及在運動場坐標系中作為相對于x軸的順時針角度的光軸方向303進行管理。這里，以二維方式來表示運動場，并且未考慮球的高度以及作為照相機拍攝圖像的上下方向的照相機的仰角。

例如，假定球104位于區(qū)域102內。此時，在步驟s507中，從照相機107-1～107-m(光軸方向相對于從球向基準球門的方向是在±90°以內的角度的照相機)中指定距離直線最近的安裝位置處所安裝的照相機作為選擇候選。另一方面，在步驟s508中，從照相機107-(m+1)～107-k(光軸方向相對于從基準球門向球的方向是在±90°以內的角度的照相機)中指定距離直線最近的安裝位置處所安裝的照相機作為選擇候選。

同樣，假定球104位于區(qū)域103內。此時，在步驟s507中，從照相機107-(m+1)～107-k(光軸方向相對于從球向基準球門的方向是在±90°以內的角度的照相機)中指定距離直線最近的安裝位置處所安裝的照相機作為選擇候選。另一方面，在步驟s508中，從照相機107-1～107-m(光軸方向相對于從基準球門向球的方向是在±90°以內的角度的照相機)中指定距離直線最近的安裝位置處所安裝的照相機作為選擇候選。

步驟s802

切換判斷單元404參考圖2b的表來指定具有與步驟s505中所確定出的直線的方向最平行的光軸方向的照相機作為選擇候選。也就是說，切換判斷單元404從圖2b的表中所登記的各照相機的光軸方向中，指定與步驟s505中所確定出的直線的角度最接近的光軸方向，并且指定與所指定的光軸方向相對應的照相機作為選擇候選。此外，切換判斷單元404從圖2b的表中所登記的各照相機的光軸方向中指定最接近(步驟s505中所確定出的直線的角度+180°)的光軸方向，并且指定與所指定的光軸方向相對應的照相機作為選擇候選。

也就是說，在步驟s507的情況下，選擇光軸方向是與從球的位置向球門的位置的方向更接近的方向的攝像設備作為選擇候選。在步驟s508的情況下，選擇光軸方向是更接近與該方向相反的方向的方向的攝像設備作為選擇候選。

步驟s803

切換判斷單元404判斷在步驟s801中被指定作為選擇候選的照相機(照相機id)和在步驟s802中被指定作為選擇候選的照相機(照相機id)是否相同。

在步驟s507的情況下，判斷針對步驟s507在步驟s801中被指定作為選擇候選的照相機(照相機id)和針對步驟s507在步驟s802中被指定作為選擇候選的照相機(照相機id)是否相同。在步驟s508的情況下，判斷針對步驟s508在步驟s801中被指定作為選擇候選的照相機(照相機id)和針對步驟s508在步驟s802中被指定作為選擇候選的照相機(照相機id)是否相同。作為各判斷的結果，如果相同，則處理進入步驟s804，而如果不同，則處理進入步驟s805。

步驟s804

切換判斷單元404選擇在步驟s801或步驟s802中被指定作為選擇候選的照相機。

步驟s805

切換判斷單元404選擇在步驟s801中被指定作為選擇候選的照相機的安裝位置(根據(jù)圖2b的表指定)和在步驟s802中被指定作為選擇候選的照相機的安裝位置(根據(jù)圖2b的表指定)之間的中間位置最接近的照相機。例如，如圖9所示，假定位于用于連接球104和基準球門(圖9中的球門105)的直線701的延長線上的照相機是照相機107-i，并且具有與直線701的方向最接近的光軸方向的照相機是照相機107-j。此時，選擇與照相機107-i的安裝位置和照相機107-j的安裝位置之間的中間位置最接近的照相機107-x。在預先在信息處理設備201中登記排列照相機的排列順序的情況下，可以采用該配置順序來選擇照相機107-i和照相機107-j之間的照相機，而無需參考如上所述的安裝位置。注意，在步驟s804和步驟s805這兩者中，假定基準球門和球這兩者包含在要選擇的照相機的視野內，其中，在該視野內存在所要進行攝像的被攝體。

如果在步驟s801中被指定作為選擇候選的照相機和在步驟s802中被指定作為選擇候選的照相機彼此鄰接，則可以選擇這些照相機其中之一。

因而，根據(jù)本實施例，如果球的位置改變很大，則可以通過使用球的位置和球門的位置之間的關系來進行照相機切換。根據(jù)球的位置，可以輸出朝向球門的被攝體的視頻圖像(即，進攻隊的視頻圖像)和背對球門的被攝體的視頻圖像(即，防守隊的視頻圖像)。

在本實施例中，盡管考慮到支持對方隊而輸出兩種類型的視頻圖像，但是可以僅連續(xù)輸出進行進攻的隊的視頻圖像，或者可以僅連續(xù)輸出進行防守的隊的視頻圖像。在隊的進攻和防守角色切換時，如圖10的示例所述，照相機可以在切換前的照相機和切換后的照相機之間順次切換。

此外，在本實施例中，盡管通過判斷運動場內的球位于哪一個區(qū)域內來設置基準球門，但是可以使用其它方法來設置基準球門。例如，如果已經知道對方隊進行進攻的方向，則通過使用例如比賽者的隊服的顏色和面部識別來檢測持球的比賽者，從而判斷出哪一隊正在進行進攻。然后，可以將與持球的隊進行對抗的隊的球門(即，與進行進攻的隊對抗的隊的球門)設置為基準球門。

在進行照相機切換時，如圖11a～11c所示，切換前的照相機和切換后的照相機所拍攝的視頻圖像中的球的大小和位置的改變可能落入各特定范圍。具體地，對各照相機所拍攝的視頻圖像進行裁切，以使得各照相機所拍攝的球在顯示畫面中的位置和大小變得均一。這可以減少由于在照相機切換時球的大小和位置的改變量而引起的視覺沖擊。在這種情況下，為了維持裁切后的視頻圖像的輸出分辨率，可以使用具有比所輸出的視頻圖像的分辨率高的分辨率的照相機，或者照相機可以具有光學變焦功能。同樣地，可以進行裁切，以使得不是球而是各球門的大小落入特定范圍，或者可以改變變焦倍率。

在以上描述中，由于各球門的位置是球門的區(qū)域中的特定位置，因此如圖12a所示球門的寬度的中央可以是球門的位置，或者如圖12b所示球門的寬度的端部的位置可以是球門的位置?？梢赃m當切換用作球門的位置的對象。例如，如圖12b所示，如果球位于圖12b的下側，則可以使用球的相對側的球門的上側作為球門的位置。這樣，適當改變球門的位置增加了照相機選擇候選的數(shù)量，并且還針對球門提供了角度，從而使得球門能夠位于視角內。

根據(jù)視頻圖像，可能由于球被隱藏在比賽者之后而使得無法看到球。因而，可以通過球檢測處理來判斷球是否出現(xiàn)在與所選擇的照相機鄰接的照相機所拍攝的視頻圖像中，并且進行向用于拍攝球和球門均出現(xiàn)的視頻圖像的照相機的切換。

在本實施例中，盡管采用足球作為示例給出了以上描述，但是根據(jù)本實施例的系統(tǒng)可以在諸如手球、橄欖球、美式足球、籃球和冰球等的試圖射門得分的兩隊的球類比賽中使用。也就是說，根據(jù)本實施例的結構不僅適用于室外體育場，而且還適用于諸如體育館等的室內體育場。

在本實施例中，盡管給出了基于穿過球的位置和球門的位置的直線來選擇照相機的示例，但是本發(fā)明的一個或多個實施例不限于該示例。在其它方法中，例如，可以保持基于預先獲取到的各球門的位置而使球的位置與要選擇的照相機彼此相關聯(lián)的表。這使得能夠基于從俯瞰照相機等所拍攝的視頻圖像所指定的球的位置和上述表來選擇照相機。同樣，在該示例中，信息處理設備基于球的位置和球門的位置之間的關系來選擇照相機。這同樣適用于要描述的其它實施例。

在本實施例中，盡管給出了基于球和球門之間的位置關系來選擇照相機的示例，但是該位置關系不限于球和球門之間的位置關系。例如，可以基于特定比賽者和球門之間的位置關系來選擇照相機，或者可以基于特定比賽者和球之間的位置關系來選擇照相機。此外，可以基于第一特定比賽者和第二特定比賽者之間的位置關系來選擇照相機。也就是說，可以基于第一預定對象和和第二預定對象之間的位置關系來選擇照相機。照相機不是必須從多個照相機107中進行選擇。也就是說，本實施例可以適用于虛擬視點圖像系統(tǒng)，以使得虛擬視點可以基于第一預定對象(例如，球)和第二預定對象(例如，球門)之間的位置關系而自動移動。在這種情況下，隨著虛擬視點的移動，改變用于拍攝用于生成與虛擬視點相對應的虛擬視點圖像的照相機107。這同樣適用于第二實施例和后述實施例。

第二實施例

在本實施例和后述實施例中，將重點說明各實施例與第一實施例之間的不同，并且除非以下另外說明，否則其它詳情與第一實施例相同。本實施例與第一實施例的不同之處在于：進行圖13中的步驟s1301的處理來替代步驟s506的處理(用于判斷前次在步驟s504中所確定出的球的位置和本次在步驟s504中所確定出的球的位置之間的差是否在規(guī)定距離以上的處理)。將參考圖13的流程圖來說明根據(jù)本實施例的信息處理設備201所進行的照相機選擇處理。

在步驟s1301中，切換判斷單元404判斷前次在步驟s505中所確定出的角度和本次在步驟s505中所確定出的角度之間的差是否在規(guī)定角度(例如，圖13中的5°)以上。作為該判斷的結果，如果前次在步驟s505中所確定出的角度和本次在步驟s505中所確定出的角度之間的差在規(guī)定角度以上，則處理進入步驟s507，而如果差小于規(guī)定角度，則處理進入步驟s510。

因而，根據(jù)本實施例，即使在球的位置改變的情況下，如果光軸方向不變，則也不必進行照相機切換，由此省去不必要的切換處理。圖14示出盡管球的位置改變(從球位置1401到球位置1402)、但是用于連接球位置1401(1402)和球門105的直線的角度并未改變的示例。盡管位置從球位置1401改變成球位置1402，但是直線的角度并未改變(直線的斜率的改變小于閾值)，因而不進行照相機切換。如果直線的斜率的改變在閾值以上，則進行照相機切換。

第三實施例

本實施例與第一實施例的不同之處在于：進行根據(jù)與圖15的流程圖的處理來替代根據(jù)圖5的流程圖的處理。

步驟s1501

切換判斷單元404判斷從進行了前次照相機切換起是否經過了規(guī)定時間段(例如，圖15中的1秒)。作為該判斷的結果，如果判斷為從進行了前次照相機切換起經過了規(guī)定時間段，則處理進入步驟s504，而如果判斷為尚未經過規(guī)定時間段，則處理進入步驟s510。

步驟s1502

切換判斷單元404通過將前次在步驟s504中所確定出的球的位置和本次在步驟s504中所確定出的球的位置之間的差與幀頻(幀/秒)相乘，來確定球的移動速度。用于確定球的移動速度的方法不限于該方法。然后，切換判斷單元404判斷所確定出的球的移動速度是否小于規(guī)定速度(例如，圖15中的1m/sec)。作為該判斷的結果，如果所確定出的球的移動速度不小于規(guī)定速度，則處理進入步驟s510，而如果所確定出的球的移動速度小于規(guī)定速度，則處理進入步驟s505。

因而，根據(jù)本實施例，如果球的移動速度小于閾值，則可以進行照相機切換。如果球的移動速度不小于特定速度，則無法使照相機切換跟上移動速度，并且可能發(fā)生即使進行了照相機切換球也不會出現(xiàn)的情形。由于該原因，如果球以特定速度以上移動，則即使球的位置或者球與球門之間形成的角度改變，也不進行照相機切換，而如果球的速度變得小于閾值，則進行照相機切換。如果檢測到球的移動，則可以設置變焦倍率，以實現(xiàn)廣視角，從而可以掌握整個情景。

第四實施例

本實施例與第一實施例的不同之處在于：進行根據(jù)圖7的流程圖的處理來替代根據(jù)圖5的流程圖的處理。

步驟s1601

切換判斷單元404確定穿過步驟s504中所檢測到的球的位置并且與步驟s505中所確定出的直線相交成直角(直線的角度順時針+90°)的直線(第二直線)。在圖3a的情況下，確定穿過球104的位置并且與穿過球104和球門105(基準球門)的直線701相交成直角的第二直線1701。

步驟s1602

切換判斷單元404參考圖2b的表、從照相機107-1～107-k中選擇具有與步驟s1601中所確定出的直線的角度(步驟s505中所確定出的直線的角度順時針+90°)最接近的光軸方向的照相機。在圖3a的情況下，選擇照相機107-z作為具有與第二直線1701的角度(步驟s505中所確定出的直線的角度順時針+90°)最接近的光軸方向的照相機。步驟s1602的處理是圖8的流程圖中的直線是第二直線的處理。

作為第二直線，可以使用穿過步驟s504中所檢測到的球的位置并且與步驟s505中所確定出的直線相交成直角(直線的角度逆時針+90°)的直線，或者可以使用這兩種類型的直線，從而適當切換這兩種類型的直線。

因而，根據(jù)本實施例，由于選擇具有與第二直線的角度接近的光軸方向的照相機，因此可以連續(xù)輸出從一邊拍攝的朝向球門和球的比賽者的視頻圖像，其中，該第二直線的起始點是球并且與穿過球門和球的直線垂直。如圖3b所示，可以選擇照相機，以使得球在視頻圖像中的位置不位于水平方向上的中央并且球位置的重心位于對方球門的相對側。

第五實施例

圖4a所示的信息處理設備201中所包括的任意功能單元可以通過一個或多個硬件裝置來實現(xiàn)，但是也可以通過軟件(計算機程序)來實現(xiàn)。在這種情況下，可以在信息處理設備201中使用能夠執(zhí)行該計算機程序的任意計算機設備。將參考圖4b的框圖來說明能夠在信息處理設備201中使用的計算機設備的硬件結構的示例。

中央處理單元(cpu)191通過使用在隨機存取存儲器(ram)192中所存儲的計算機程序和數(shù)據(jù)執(zhí)行處理來對計算機設備整體的操作進行控制，并且還執(zhí)行或控制要由信息處理設備201所執(zhí)行的上述處理。

ram192具有用于存儲從只讀存儲器(rom)193或外部存儲裝置196載入的計算機程序或數(shù)據(jù)、以及經由接口(i/f)197從外部裝置(照相機107-1～107-k)接收到的視頻圖像的區(qū)域。ram192還具有cpu191執(zhí)行各處理時所使用的工作區(qū)域。因而，ram192可以適當?shù)靥峁└鲄^(qū)域。

rom103存儲計算機設備的不必重寫的設置數(shù)據(jù)或者計算機程序(引導程序等)。

操作單元194包括諸如鼠標和鍵盤等的用戶接口，并且用戶可以對操作單元194進行操作，以將各種類型的指示輸入至cpu191。

顯示單元195包括陰極射線管(crt)或液晶顯示屏等，并且可以使用例如圖像和/或字符來顯示cpu191所進行的處理的結果?？梢院喜⒉僮鲉卧?94和顯示單元195，以形成觸摸面板。

外部存儲裝置196是由硬盤驅動器所代表的大型存儲裝置。外部存儲裝置196存儲操作系統(tǒng)(os)、用于使cpu191執(zhí)行或控制要由信息處理設備201執(zhí)行的上述處理的計算機程序、以及數(shù)據(jù)。計算機程序包含用于使cpu191執(zhí)行或控制視頻圖像輸入單元401、球位置檢測單元402、基準球門指定單元403、切換判斷單元404、切換單元405以及視頻圖像輸出單元406的功能。數(shù)據(jù)包含用作上述描述中的已知信息的數(shù)據(jù)。

外部存儲裝置196中所存儲的計算機程序和數(shù)據(jù)根據(jù)cpu191所進行的控制而適當載入ram192中，并且利用cpu191來進行處理。

將照相機107-1～107-k連接至i/f197，并且經由i/f197將照相機107-1～107-k所拍攝的視頻圖像發(fā)送至ram192或外部存儲裝置196。

將cpu191、ram192、rom193、操作單元194、顯示單元195、外部存儲裝置196和i/f197中的全部連接至總線198。注意，圖4b所示的結構僅是示例，并且硬件結構不限于該結構。上述實施例或變形例中的一些或全部可以適當組合并使用。

在上述實施例中，給出了如下示例：從多個攝像設備中選擇至少一個攝像設備作為選中攝像設備，并且顯示選中攝像設備所拍攝的視頻圖像。注意，本發(fā)明的一個或多個實施例不限于該示例。例如，根據(jù)本實施例的結構適用于虛擬視點圖像系統(tǒng)。在根據(jù)本實施例的結構應用于虛擬視點圖像系統(tǒng)的情況下，圖4a所示的切換判斷單元404決定在用于基于球和球門之間的位置關系生成虛擬視點圖像時所涉及的虛擬視點的位置和方向。虛擬視點圖像是如同根據(jù)與真實照相機拍攝圖像的視點不同的虛擬視點拍攝圖像那樣生成的圖像?？梢酝ㄟ^使用如圖1所示排列的多個照相機107所拍攝的拍攝圖像來生成虛擬視點圖像。

圖4a所示的切換判斷單元404判斷虛擬視點，并且切換單元405根據(jù)該判斷的結果來移動虛擬視點。然后，視頻圖像輸出單元406根據(jù)切換判斷單元404所決定的虛擬視點和通過視頻圖像輸入單元401所接收到的多個照相機107所拍攝的拍攝圖像來生成虛擬視點圖像。雖然在照相機107被切換的情況下，在視點之間過度頻繁切換可能會降低可視性，但是在虛擬視點的情況下，以實時為基礎的虛擬視點的變化不太可能降低可視性。因而，在移動虛擬視點的情況下，不進行圖5的步驟s503中的判斷，并且在步驟s502和s511之后處理直接進入步驟s504。此外，跳過圖5中的步驟s506，并且處理從步驟s505直接進入步驟s507。注意，用于移動視點的適當時刻和條件根據(jù)內容和用戶意圖而改變，因而本發(fā)明的一個或多個實施例不是必須限制成特定方法。

此外，在上述實施例中，盡管如圖4a所示給出了用于選擇照相機的切換判斷單元404和視頻圖像輸出單元406包括在一個信息處理設備201中的示例，但是該結構不限于該示例，并且切換判斷單元404和視頻圖像輸出單元406可以包括在各自的信息處理設備201中。也就是說，第一信息處理設備201基于第一預定對象(例如，球)和第二預定對象(例如，球門)之間的位置關系來決定照相機(或者虛擬視點)，并且將該決定輸出至第二信息處理設備201。然后，第二信息處理設備201從第一信息處理設備201獲取針對照相機(虛擬視點)的決定，并且還從多個照相機107獲取所拍攝圖像。然后，第二信息處理設備201將與從第一信息處理設備201所獲取到的決定相對應的圖像輸出至顯示裝置。在如上所述設置了第一信息處理設備201和第二信息處理設備201的實施例中，第一信息處理設備201進行用于控制第二信息處理設備201所輸出的圖像數(shù)據(jù)的處理(發(fā)送控制處理)。

根據(jù)與本實施例相對應的結構，可以從安裝在體育場內的多個照相機中，選擇更加適合展現(xiàn)比賽的情景的照相機。

其它實施例

本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網絡或者各種存儲介質將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

盡管已經參考典型實施例說明了本發(fā)明，但是應該理解，本發(fā)明不限于所公開的典型實施例。所附權利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結構和功能。