專利名稱：方法、裝置和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及方法、裝置和系統(tǒng)。
背景技術(shù)：
許多人喜歡觀看和制作家庭視頻。例如，YouTube非常流行。一旦這種視頻被上載到因特網(wǎng)，人們就可以對(duì)視頻進(jìn)行評(píng)論并向制作者留言。但是，為了觀看視頻，視頻剪輯(clip)被下載。這具有兩個(gè)優(yōu)點(diǎn)。首先，在視頻被流式傳輸?shù)皆O(shè)備時(shí)，需要很大的帶寬。此外，視頻是被從單個(gè)視場(chǎng)捕捉并被這樣顯示的。本發(fā)明的一個(gè)目的在于提高一個(gè)用戶對(duì)另一個(gè)用戶所創(chuàng)建的視頻集錦(video highlight)的交互性。

發(fā)明內(nèi)容
根據(jù)第一方面,提供了一種在客戶端設(shè)備上觀看集錦套件(highlight package)的方法，該方法包括在該客戶端設(shè)備處接收包括多個(gè)幀的視頻流，從服務(wù)器接收視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段(segment)的位置信息，并將所限定的片段顯示給用戶。該方法還可以包括在所述客戶端設(shè)備處接收注解信息，所述注解信息限定了要寫在所顯示的幀的片段上的注解。該方法還可以包括從除了提供所述視場(chǎng)信息的所述服務(wù)器之外的源接收所述視頻流。所述源可以是對(duì)等(peer-to-peer)源。該方法可以包括從所述客戶端設(shè)備向所述服務(wù)器傳送對(duì)所述集錦套件的用戶評(píng)分。該方法可以包括在所述客戶端設(shè)備處接收基于針對(duì)所述集錦套件的評(píng)分來選擇的視頻流。該方法可以包括在所述客戶端設(shè)備處接收基于由所述客戶端設(shè)備的用戶提供的且被存儲(chǔ)在所述服務(wù)器內(nèi)的偏好來選擇的視頻流。所述偏好可以是用戶最喜歡的足球隊(duì)或者最喜歡的集錦套件作者中的任一者。該方法可以包括向所述服務(wù)器傳送由所述客戶端設(shè)備的用戶提供的對(duì)所述集錦套件的注解(annotation)。該方法可以包括向所述服務(wù)器傳送所述集錦套件的經(jīng)修改版本。根據(jù)本發(fā)明另一個(gè)方面，提供了一種在客戶端設(shè)備上生成集錦套件的方法，包括在所述客戶端設(shè)備處接收包括多個(gè)幀的視頻流，生成視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，并且將所述位置信息和唯一地標(biāo)識(shí)出所述視頻流中的幀的幀標(biāo)識(shí)符傳輸給服務(wù)器。該方法還可以包括在所述客戶端設(shè)備處生成限定了寫在所述幀的片段上的注解的注解信息。根據(jù)一個(gè)方面，提供了一種包括計(jì)算機(jī)可讀指令的計(jì)算機(jī)程序，所述計(jì)算機(jī)可讀指令當(dāng)被載入到計(jì)算機(jī)上時(shí)將所述計(jì)算機(jī)配置為執(zhí)行根據(jù)任一個(gè)實(shí)施例所述的方法。根據(jù)一個(gè)方面，提供了一種客戶端設(shè)備，包括接收器和顯示器，所述接收器可操作來接收包括多個(gè)幀的視頻流并從服務(wù)器接收視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，所述顯示器在使用時(shí)可操作來向用戶顯示所限定的片段。所述接收器可能還可操作來接收注解信息，所述注解信息限定了要寫在所顯示的幀的片段上的注解。所述接收器可能還可操作來從除了提供所述視場(chǎng)信息的所述服務(wù)器之外的源接收所述視頻流。所述源是對(duì)等源。 該設(shè)備可以包括輸出設(shè)備，該輸出設(shè)備可操作來從所述客戶端設(shè)備向所述服務(wù)器傳送對(duì)所述集錦套件的用戶評(píng)分。所述接收器可能還可操作來在所述客戶端設(shè)備處接收基于針對(duì)所述集錦套件的評(píng)分來選擇的視頻流。所述接收器可能還可操作來在所述客戶端設(shè)備處接收基于由所述客戶端設(shè)備的用戶提供的且被存儲(chǔ)在所述服務(wù)器內(nèi)的偏好來選擇的視頻流。所述偏好可以是用戶最喜歡的足球隊(duì)或者最喜歡的集錦套件作者中的任一者。所述輸出設(shè)備可能還可操作來向所述服務(wù)器傳送由所述客戶端設(shè)備的用戶提供的對(duì)所述集錦套件的注解。所述輸出設(shè)備可能還可操作來向所述服務(wù)器傳送所述集錦套件的經(jīng)修改版本。根據(jù)另一個(gè)方面，提供了一種用于在客戶端設(shè)備上生成集錦套件的設(shè)備，包括接收器、生成設(shè)備和輸出設(shè)備，所述接收器可操作來接收包括多個(gè)幀的視頻流，所述生成設(shè)備可操作來生成視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，并且所述輸出設(shè)備可操作來將所述位置信息和唯一地標(biāo)識(shí)出所述視頻流中的中貞的巾貞標(biāo)識(shí)符傳輸給服務(wù)器。所述生成設(shè)備可能可操作來在所述客戶端設(shè)備處生成限定了寫在所述幀的片段上的注解的注解信息。根據(jù)另一個(gè)方面，提供了一種系統(tǒng)，該系統(tǒng)包括連接到網(wǎng)絡(luò)的服務(wù)器，該服務(wù)器在使用時(shí)與根據(jù)任一個(gè)上述實(shí)施例所述的設(shè)備通信。


本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)將從要結(jié)合附圖閱讀的如下對(duì)例示性實(shí)施例的詳細(xì)描述中清楚明了，在附圖中圖I示出了根據(jù)本發(fā)明第一實(shí)施例的系統(tǒng)；圖2示出了在第一實(shí)施例的系統(tǒng)中的客戶端設(shè)備；圖3示出了根據(jù)本發(fā)明第二實(shí)施例的系統(tǒng)；圖4A示出了本發(fā)明第一實(shí)施例的服務(wù)器；
圖4B示出了本發(fā)明第二實(shí)施例的服務(wù)器；圖5示出了根據(jù)第一或第二實(shí)施例的、說明了客戶端設(shè)備向服務(wù)器的登記過程的流程圖；圖6示出了根據(jù)適用于第一和第二實(shí)施例兩者的本發(fā)明的示例的對(duì)象跟蹤方法的流程圖；圖7A示出了根據(jù)本發(fā)明的第一和第二實(shí)施例兩者的對(duì)象鍵值創(chuàng)建；圖7B示出了根據(jù)本發(fā)明的第一和第二實(shí)施例兩者的向球場(chǎng)的3D模型添加方向性指示;圖8示出了根據(jù)本發(fā)明第一和第二實(shí)施例的多個(gè)球員以及他們的關(guān)聯(lián)邊界框； 圖9示出了根據(jù)本發(fā)明第一和第二實(shí)施例兩者的對(duì)象跟蹤和遮蔽檢測(cè)方法的流程圖；圖IOA和IOB示出了根據(jù)本發(fā)明第一和第二實(shí)施例兩者的對(duì)象跟蹤和遮蔽檢測(cè)的
一些示例；圖11示出了根據(jù)本發(fā)明第一實(shí)施例的服務(wù)器內(nèi)的重定格式設(shè)備；圖12示出了根據(jù)本發(fā)明第二實(shí)施例的服務(wù)器內(nèi)的重定格式設(shè)備；圖13是根據(jù)本發(fā)明第一和第二實(shí)施例兩者的、用于確定相機(jī)位置與相機(jī)視場(chǎng)內(nèi)的對(duì)象之間的距離的系統(tǒng)的示意圖；圖14是根據(jù)本發(fā)明第一和第二實(shí)施例兩者的、用于確定相機(jī)與相機(jī)視場(chǎng)內(nèi)的對(duì)象之間的距離的系統(tǒng)的示意圖；圖15A示出了根據(jù)本發(fā)明第一實(shí)施例的客戶端設(shè)備；圖15B示出了根據(jù)本發(fā)明第二實(shí)施例的客戶端設(shè)備；圖16A示出了位于圖15A的客戶端設(shè)備中的客戶端處理設(shè)備；圖16B示出了位于圖15B的客戶端設(shè)備中的客戶端處理設(shè)備；圖17示出了根據(jù)本發(fā)明另一實(shí)施例的聯(lián)網(wǎng)系統(tǒng)；圖18示出了根據(jù)第一或第二實(shí)施例的位于圖17的聯(lián)網(wǎng)系統(tǒng)中的用于生成集錦套件的客戶端設(shè)備；圖19A和19B示出了根據(jù)第一或第二實(shí)施例的位于圖17的聯(lián)網(wǎng)系統(tǒng)中的用于觀看集錦套件的客戶端設(shè)備；圖20示出了根據(jù)本發(fā)明另一實(shí)施例的可在便攜式設(shè)備上實(shí)現(xiàn)擴(kuò)增現(xiàn)實(shí)的體育場(chǎng)的平面視圖；圖21示出了根據(jù)圖20的便攜式設(shè)備的看圖；圖22示出了當(dāng)擴(kuò)增現(xiàn)實(shí)被啟動(dòng)時(shí)、圖20和圖21的便攜式設(shè)備的顯示；以及圖23示出了說明本發(fā)明的擴(kuò)增現(xiàn)實(shí)實(shí)施例的流程圖。
具體實(shí)施例方式圖I示出了系統(tǒng)100。在該系統(tǒng)100中，由相機(jī)布置130捕捉場(chǎng)景的圖像。在實(shí)施例中，場(chǎng)景具有諸如足球比賽之類的體育事件，但是本發(fā)明不限于此。在該相機(jī)布置130中，三個(gè)高清相機(jī)被定位在機(jī)架(rig)(未示出)上。布置130使得能夠生成縫合圖像(stitched image)。布置130因此使得各個(gè)相機(jī)捕捉同一場(chǎng)景的不同部分,其中在各個(gè)相機(jī)之間具有小的視場(chǎng)重疊。三幅圖像各自是高清圖像，它們?cè)诒豢p合在一起時(shí)產(chǎn)生超高清圖像。由相機(jī)布置130中的三個(gè)相機(jī)捕捉的三幅高清圖像被饋入到圖像處理器135，該圖像處理器135對(duì)這些圖像執(zhí)行諸如色彩增強(qiáng)之類的編輯。此外，圖像處理器135從相機(jī)布置130中的相機(jī)接收與諸如焦距、縮放系數(shù)等的相機(jī)參數(shù)有關(guān)的元數(shù)據(jù)。增強(qiáng)的圖像和元數(shù)據(jù)被饋給后面將參考圖4A說明的第一實(shí)施例的服務(wù)器110或者將參考圖4B說明的第二實(shí)施例的服務(wù)器110'。在實(shí)施例中，在用戶設(shè)備200A-N中執(zhí)行實(shí)際的圖像縫合。但是，為了降低用戶設(shè)備200A-N內(nèi)的運(yùn)算成本，執(zhí)行縫合所需的參數(shù)是在與圖像處理器135相連的服務(wù)器110內(nèi)計(jì)算的。服務(wù)器110可以以有線或者無線方式直接或經(jīng)由諸如局域網(wǎng)、廣域網(wǎng)或因特網(wǎng)之類的網(wǎng)絡(luò)連接到圖像處理器135。在GB 2444566A中描述了計(jì)算這些參數(shù)和實(shí)際執(zhí)行縫合的方法。此外，在GB 2444566A中公開了一種合適類型的相機(jī)布置130。GB2444566A中與參數(shù)計(jì)算、縫合方法和相機(jī)布置有關(guān)的內(nèi)容被結(jié)合于此。 如GB 2444566A所述，針對(duì)相機(jī)布置130中的每一個(gè)相機(jī)的相機(jī)參數(shù)被確定。這些參數(shù)包括針對(duì)每一個(gè)相機(jī)的焦距和相對(duì)偏轉(zhuǎn)(yaw)、俯仰(pitch)和滾轉(zhuǎn)(roll),以及對(duì)鏡頭失真、桶形失真等進(jìn)行校正的參數(shù)，并且這些參數(shù)在服務(wù)器110上被確定。此外，還可以在服務(wù)器110中計(jì)算用于縫合圖像所需的諸如色像差(chromatic aberration)校正參數(shù)、色度測(cè)量和曝光校正參數(shù)之類的其它參數(shù)。而且，如技術(shù)人員所了解的，還可以在服務(wù)器110中計(jì)算圖像縫合處理所需的其它值。GB 2444566A中說明了這些值，因此為了簡便起見，將不在下文中對(duì)其進(jìn)行說明。在服務(wù)器110中計(jì)算出的這些值被發(fā)送到將在后面說明的各個(gè)用戶設(shè)備200A-N。除了圖像縫合參數(shù)是在服務(wù)器110中計(jì)算的之外，還可以發(fā)生其它計(jì)算。例如，發(fā)生對(duì)象檢測(cè)和分割，以識(shí)別并提取圖像中的可應(yīng)用三維效果的對(duì)象。標(biāo)識(shí)出圖像中的每一個(gè)檢測(cè)出的對(duì)象的位置的位置信息也在服務(wù)器110內(nèi)被確定。此外，還在服務(wù)器110內(nèi)生成深度圖。深度圖向相機(jī)所捕捉的圖像中的每一個(gè)像素分配在所捕捉的場(chǎng)景中離相機(jī)的相應(yīng)距離。換而言之，一旦針對(duì)所捕捉圖像完成了深度圖，就可以確定場(chǎng)景中與像素相對(duì)應(yīng)的點(diǎn)與捕捉該圖像的相機(jī)之間的距離。此外，還在服務(wù)器110內(nèi)維持被周期性更新的背景模型。以使得背景圖像的不同部分被以不同速率更新的方式來更新背景模型。具體而言，依據(jù)圖像部分是否在先前幀中被檢測(cè)為參與者(Player)來更新背景模型?？商娲?，服務(wù)器110可以具有兩個(gè)背景模型。在此情況中，在服務(wù)器110內(nèi)維持了一個(gè)長期背景模型和一個(gè)短期背景模型。長期背景模型定義了圖像中在諸如5分鐘之類的較長時(shí)間段內(nèi)的背景，而短期模型定義了在諸如I秒之類的較短時(shí)段內(nèi)的背景。對(duì)短期和長期背景模型的使用使得能夠?qū)⒅T如照明變化之類的短期事件考慮在內(nèi)。在服務(wù)器110內(nèi)計(jì)算出的深度圖被發(fā)送到各個(gè)用戶設(shè)備200A-N。在實(shí)施例中，相機(jī)布置130內(nèi)的每一個(gè)相機(jī)是固定的。這意味著深度圖不隨時(shí)間變化。但是，針對(duì)每一個(gè)相機(jī)的深度圖在受觸發(fā)而允許新的用戶設(shè)備連接到服務(wù)器110時(shí)被發(fā)送到各個(gè)用戶設(shè)備200A-N。例如，深度圖可以在新的用戶設(shè)備向服務(wù)器110登記時(shí)或者在時(shí)間方面周期性地被發(fā)送出去。如將了解到的，如果相機(jī)的視場(chǎng)移動(dòng)了，則深度圖需要被重新計(jì)算并被更加頻繁地發(fā)送到用戶設(shè)備200A-N。但是，還可以設(shè)想到將深度圖持續(xù)地發(fā)送到各個(gè)用戶設(shè)備200A-N。后面將說明生成深度圖和背景模型的方式。此外，后面將說明執(zhí)行對(duì)象檢測(cè)和對(duì)象分割的方式。與服務(wù)器110相連的還有多個(gè)用戶設(shè)備200A-N。這些用戶設(shè)備200A-N在實(shí)施例中通過因特網(wǎng)120來連接到服務(wù)器110。但是，將理解，本發(fā)明不限于此，而是，用戶設(shè)備200A-N可以通過諸如局域網(wǎng)(LAN)之類的任何類型的網(wǎng)絡(luò)來連接到服務(wù)器110，或者可以以有線方式連接到服務(wù)器110，或者可以以無線方式連接到服務(wù)器110。與各個(gè)用戶設(shè)備附接的還有相應(yīng)的顯示器205A-N。顯示器205A-N可以是電視機(jī)、或者監(jiān)視器或者能夠顯示可被用戶感知為三維圖像的圖像的任意種類的顯示器。在本發(fā)明的實(shí)施例中，用戶設(shè)備200A-N是PlayStation 3游戲機(jī)(games console)。但是,本發(fā)明不限于此。事實(shí)上，用戶設(shè)備可以是機(jī)頂盒、計(jì)算機(jī)或者能夠處理圖像的任何其它類型的設(shè)備。 經(jīng)由因特網(wǎng)120與服務(wù)器110和各個(gè)用戶設(shè)備200A-N相連的還有社區(qū)集線器1700(有時(shí)候稱為網(wǎng)絡(luò)服務(wù)器)。后面將說明社區(qū)集線器1700的構(gòu)造和功能。圖2中示出了用戶設(shè)備200A的示意圖。用戶設(shè)備包含存儲(chǔ)介質(zhì)220。在本發(fā)明的實(shí)施例中，存儲(chǔ)介質(zhì)220是硬盤驅(qū)動(dòng)器，但是本發(fā)明不限于此。存儲(chǔ)介質(zhì)可以是光學(xué)介質(zhì)或者半導(dǎo)體存儲(chǔ)器等。與存儲(chǔ)介質(zhì)220相連的是中央處理器250。在實(shí)施例中，中央處理器250是單元處理器(Cell Processor) 0單元處理器在實(shí)施例中是有利的，因?yàn)槠涮貏e適合于諸如圖像處理之類的復(fù)雜計(jì)算。另外，連接到中央處理器250的有無線配件接口 210，該無線配件接口 210適合連接到無線配件210A并與之通信。在實(shí)施例中，無線配件210A是用戶操作設(shè)備，該用戶操作設(shè)備可以是六軸控制器，不過本發(fā)明不限于此。六軸控制器允許用戶與用戶設(shè)備200A交互并控制用戶設(shè)備200A。此外，圖形處理器230連接到中央處理器250。圖形處理器230可操作來連接到顯示器205A并控制顯示器205A以顯示立體圖像。如將了解的，諸如音頻處理器240之類的其它處理器也連接到中央處理器250。參考圖3，示出了系統(tǒng)100的另一實(shí)施例。該另一系統(tǒng)稱為100'，其中，相似標(biāo)號(hào)指示相似特征，并且該另一實(shí)施例被配置為經(jīng)由長期演進(jìn)3GPP網(wǎng)絡(luò)來提供內(nèi)容。在此另一實(shí)施例中，服務(wù)器110'連接到服務(wù)網(wǎng)關(guān)305，并提供特別適合于經(jīng)由移動(dòng)網(wǎng)絡(luò)分發(fā)的內(nèi)容。如技術(shù)人員所了解的，服務(wù)網(wǎng)關(guān)305將用戶數(shù)據(jù)路由至數(shù)個(gè)增強(qiáng)型Node-B以及從這數(shù)個(gè)增強(qiáng)型Node-B路由用戶數(shù)據(jù)。為了簡便起見，在圖3中示出了單個(gè)增強(qiáng)型Node-B 310。該增強(qiáng)型Node-B 310與多個(gè)用戶裝備315A-C通信。圖4A示出了服務(wù)器110的實(shí)施例。在圖4A的此實(shí)施例中，經(jīng)圖像處理器135處理的圖像被饋給圖像縫合設(shè)備1101。如上所述，圖像縫合設(shè)備1101生成超高清影像，該超高清影像包括三幅單獨(dú)捕捉的被縫合在一起的圖像。GB 2444566A對(duì)此進(jìn)行了描述，因此下文中將不對(duì)其進(jìn)行描述?？p合圖像被饋給背景生成器1102，背景生成器1102從該縫合圖像中去除前景對(duì)象。換而言之，背景生成器1102生成了僅包含縫合圖像的背景的圖像。后面將說明背景生成器1102的構(gòu)造和功能。另外，縫合圖像還被饋給對(duì)象鍵值(object key)產(chǎn)生設(shè)備1103。這識(shí)別出縫合圖像中的前景對(duì)象并確定各個(gè)識(shí)別出的對(duì)象的位置，如將說明的。生成的背景被饋給重定格式設(shè)備1104，并被饋給對(duì)象鍵值產(chǎn)生設(shè)備1103。重定格式設(shè)備1104將生成的背景格式化成更適當(dāng)?shù)母袷揭怨┙?jīng)由網(wǎng)絡(luò)120傳輸，如后面將說明的。來自對(duì)象鍵值產(chǎn)生設(shè)備1103的輸出被饋給加法器1105和高級(jí)視頻編碼(AVC)編碼器1106。特別地，對(duì)象鍵值產(chǎn)生設(shè)備1103的一個(gè)輸出可操作來控制與AVC編碼器1106相關(guān)聯(lián)的量化器。AVC編碼器1106的輸出產(chǎn)生合成流,該合成流包括來自相機(jī)布置130的縫合圖像和所提取的對(duì)象兩者，如后面將說明的。來自對(duì)象鍵值產(chǎn)生設(shè)備1103的輸出還包含與對(duì)象相關(guān)聯(lián)的元數(shù)據(jù)。例如，元數(shù)據(jù)可以包括參與者名字、參與者數(shù)目或者參與者生物信息。該元數(shù)據(jù)被饋給與網(wǎng)絡(luò)120相連的數(shù)據(jù)流產(chǎn)生設(shè)備1108。重定格式設(shè)備1104的輸出也被饋給加法器1105。來自加法器1105的輸出被饋 給AVC編碼器1106。來自AVC編碼器1106的輸出被饋給數(shù)據(jù)流產(chǎn)生設(shè)備1108。數(shù)據(jù)流產(chǎn)生設(shè)備1108隨后將輸入的信號(hào)復(fù)用在一起。復(fù)用流隨后被轉(zhuǎn)換成數(shù)據(jù)分組并經(jīng)由因特網(wǎng)120被傳送到適當(dāng)?shù)挠脩粼O(shè)備。圖4B示出了替代的服務(wù)器110'。在該替代服務(wù)器110'中，許多組件與結(jié)合圖4A論述的組件相同。這些相同組件具有相同標(biāo)號(hào)。但是，此實(shí)施例中的背景生成器1102'沒有到重定格式設(shè)備1104'的輸出。取代之，來自圖像縫合設(shè)備1101的輸出被饋給背景生成器1102'和重定格式設(shè)備1104'兩者。此外，在替代服務(wù)器110'中，沒有加法器。取代之，來自重定格式設(shè)備1104'的輸出被直接饋給AVC編碼器1106'。而且，此實(shí)施例中的對(duì)象鍵值產(chǎn)生設(shè)備1103'不產(chǎn)生如圖4A的實(shí)施例中所產(chǎn)生那樣的合成圖像。用戶登記在從服務(wù)器110向用戶設(shè)備200A-N或者從替代服務(wù)器110'向用戶裝備315A-C發(fā)送任意內(nèi)容之前，各個(gè)設(shè)備或裝備需要向適當(dāng)?shù)姆?wù)器登記。下面涉及用戶設(shè)備200A向服務(wù)器110的登記，并且在圖5中進(jìn)行說明。應(yīng)當(dāng)注意，用戶裝備將以相同方式向替代服務(wù)器110'登記。當(dāng)用戶開啟用戶設(shè)備200A時(shí)，用戶使用無線配件210A來選擇他們希望在顯示器205A上觀看的特定事件。該事件可以是流行音樂會(huì)、體育事件或者任何種類的事件。在下面的示例中，事件是足球比賽。該選擇是開始步驟S50。為了觀看事件，用戶可能需要支付一次性的費(fèi)用，或者事件可以是訂閱套件的一部分。該費(fèi)用或者套件可以通過在觀看事件之前在用戶設(shè)備200A中輸入信用卡詳情來購買?？商娲?，事件可通過任何其它手段來購買，或者事實(shí)上，事件可能是免費(fèi)的。為了觀看事件，用戶將需要向服務(wù)器110登記。用戶設(shè)備200A因此用作相對(duì)于服務(wù)器110的客戶端設(shè)備。該登記發(fā)生在步驟S55中，并且允許服務(wù)器110從用戶設(shè)備200A獲得使能在服務(wù)器110和用戶設(shè)備200A之間發(fā)生通信的諸如IP地址等的必要信息。此外，在此階段還可以由服務(wù)器110收集其它信息，例如，與要由用戶觀看的事件有關(guān)的、允許對(duì)該用戶發(fā)生定向廣告的信息。在登記之后，用戶在步驟S510中對(duì)他們希望觀看的事件進(jìn)行確認(rèn)并確認(rèn)支付詳情。
在步驟S515，用戶設(shè)備200A從服務(wù)器110和顯示器205A兩者接收初始化信息。來自顯示器205A的初始化信息可以包括與畫面尺寸有關(guān)的信息。這可以直接從顯示器205A獲得或者可以由用戶輸入。來自服務(wù)器110的初始化信息可以包括深度圖。初始化信息可以響應(yīng)于來自用戶設(shè)備200A的請(qǐng)求而被提供，或者可以響應(yīng)于登記而從服務(wù)器110傳送過來?？商娲?，初始化信息可以周期性地被傳送到與服務(wù)器110相連的各個(gè)用戶設(shè)備200A。這里應(yīng)當(dāng)注意，深度圖僅需要被提供給用戶設(shè)備200A—次，因?yàn)橄鄼C(jī)布置130是固定的。在相機(jī)布置130是可移動(dòng)的情況下，則初始化信息將被更加定期地提供。初始化信息被存儲(chǔ)在用戶設(shè)備200A內(nèi)的存儲(chǔ)介質(zhì)220中。在步驟S520，服務(wù)器110提供從在圖像縫合設(shè)備1101中被縫合在一起的圖像生成的背景的格式化高清圖像。用戶設(shè)備200A的中央處理器250使用該格式化背景圖像來生成超聞清圖像以供顯不。另外，中央處理器250還生成超聞清圖像的左右版本和/或超聞清圖像的可變視場(chǎng)，以顯示超高清圖像或者圖像的視場(chǎng)的3D(或者立體)表示。如這里指出的，用戶還可以確定他們希望具有的、事件的視場(chǎng)。該視場(chǎng)將使用接口 210A來選擇。在GB 2444566A中還描述了用戶設(shè)備200A用來允許選擇適當(dāng)視場(chǎng)的方法。另外，針對(duì)每一個(gè)捕捉的圖像，服務(wù)器110對(duì)該圖像進(jìn)行分析以檢測(cè)圖像中的對(duì)象。該檢測(cè)是在對(duì)象鍵值產(chǎn)生設(shè)備1103中執(zhí)行的，對(duì)象鍵值產(chǎn)生設(shè)備1103的功能在下面論述。在檢測(cè)出圖像中的對(duì)象之后，產(chǎn)生對(duì)象塊。對(duì)象塊包含前景對(duì)象。這將在后面得到說明。還產(chǎn)生了標(biāo)識(shí)出所提取的對(duì)象在圖像中的位置的位置數(shù)據(jù)。這也在后面論述。高清背景圖像、圖像內(nèi)的經(jīng)分割對(duì)象以及位置數(shù)據(jù)被發(fā)送給用戶設(shè)備200A。在用戶設(shè)備200A從服務(wù)器110接收到前述信息之后，用戶設(shè)備200A生成超高清圖像。這是步驟S325。另外，使用深度圖、隔離的對(duì)象塊和所檢出對(duì)象在圖像中的位置數(shù)據(jù)，用戶設(shè)備200A對(duì)超高清圖像應(yīng)用三維效果。此外，其它元數(shù)據(jù)被提供給用戶設(shè)備200A。為了改進(jìn)用戶體驗(yàn)，諸如球員信息之類的對(duì)象元數(shù)據(jù)被提供。此外，宏塊數(shù)目可以與各個(gè)對(duì)象塊一起被提供。這標(biāo)識(shí)出了與各個(gè)對(duì)象塊相關(guān)聯(lián)的宏塊數(shù)目。這降低了在用戶設(shè)備200A內(nèi)的將對(duì)象塊置于背景圖像上的運(yùn)算成本。對(duì)于替代服務(wù)器110'，類似信息被提供給用戶裝備320A。但是，在此實(shí)施例中，重定格式后的所捕捉并經(jīng)縫合圖像(而不是在服務(wù)器110的實(shí)施例中的重定格式后的背景圖像)被提供。另外，對(duì)象塊未被提供，因?yàn)樵诖藢?shí)施例中沒有對(duì)檢測(cè)出的對(duì)象應(yīng)用額外的
三維效果。對(duì)象檢測(cè)和跟蹤現(xiàn)在將參考圖6、7和8來描述根據(jù)本發(fā)明示例的對(duì)象跟蹤。特別地，下面的對(duì)象檢測(cè)和跟蹤涉及服務(wù)器110。但是，在替代服務(wù)器110'中使用相同的對(duì)象檢測(cè)和跟蹤技術(shù)。圖6示出了根據(jù)本發(fā)明示例的對(duì)象跟蹤方法的流程圖。為了跟蹤對(duì)象，從所接收視頻中的、跨預(yù)定數(shù)目的幀被檢測(cè)為基本靜態(tài)的那些部分構(gòu)造背景模型。在第一步驟S60中，對(duì)從布置130內(nèi)的一個(gè)相機(jī)接收的表示足球場(chǎng)的視頻圖像進(jìn)行處理以構(gòu)造圖像的背景模型。構(gòu)造背景模型是為了創(chuàng)建前景掩膜，該前景掩膜輔助識(shí)別和跟蹤各個(gè)球員。前景掩膜將被用于生成后面說明的對(duì)象鍵值。在步驟S60通過如下方式來形成背景模型針對(duì)每一個(gè)像素確定連續(xù)幀之間的像素平均以及像素值的方差，以便構(gòu)建背景模型。于是，在連續(xù)幀中像素均值沒有大變化的這些像素可被識(shí)別為背景像素，以便識(shí)別前景掩膜。
這樣的背景/前景分割是在圖像處理領(lǐng)域中已知的處理，并且本發(fā)明可以利用發(fā)表在會(huì)議記錄ICVGIP, 2004中的由Manzanera和Richefeu所著且題為“A robust andComputationally Efficient Motion Detection Algorithm Based on E - A BackgroundEstimation”的文獻(xiàn)中描述的算法。但是，本發(fā)明不應(yīng)當(dāng)被視為限制于此已知技術(shù)，用于相對(duì)于背景模型生成前景掩膜以供在跟蹤時(shí)使用的其它技術(shù)也是已知的。將了解，在視頻相機(jī)的視場(chǎng)包含人群中的一些人的情況下，該人群不太可能被包括在背景模型中，因?yàn)樗麄兒芸赡軄砘刈邉?dòng)。這是不希望的，因?yàn)檫@很可能增大在執(zhí)行對(duì)象跟蹤時(shí)在單元處理器上的處理負(fù)荷，并且這是不必要的，因?yàn)榇蠖鄶?shù)體育播音員不太可能對(duì)跟S示人群中的人感興趣。在本發(fā)明的示例中，可以構(gòu)造單個(gè)背景模型，或者事實(shí)上可以構(gòu)造兩個(gè)背景模型。在構(gòu)造單個(gè)背景模型的情況中，背景的不同部分被取決于是否曾在先前幀中的這種位置處檢測(cè)到球員來以不同速率更新。例如，在球員存在于先前幀中的情況下，背景可以不那么頻繁地被更新，以使得球員不成為背景圖像的一部分。
可替代地，在創(chuàng)建兩個(gè)背景模型的情況下，一個(gè)模型可在比賽開始時(shí)構(gòu)造，并且甚至可以在球員進(jìn)入球場(chǎng)之前完成。這被稱為長期背景模型。另外，另一個(gè)背景模型可貫穿整個(gè)比賽被周期地重新計(jì)算，以便將可能貫穿整個(gè)比賽變化的諸如陰影之類的照明條件的任何改變考慮在內(nèi)。這是短期背景模型。在比賽開始時(shí)創(chuàng)建的背景模型和周期性地被重新計(jì)算的背景模型兩者都被存儲(chǔ)在服務(wù)器110的存儲(chǔ)介質(zhì)(未示出)中。對(duì)于下面的說明，使用單個(gè)背景模型。在步驟S605，從來自相機(jī)的進(jìn)入圖像中減去背景模型以識(shí)別出具有差異的區(qū)域。于是，背景模型被從圖像中減去，并且得到的圖像被用于生成針對(duì)每一個(gè)球員的掩膜。在步驟S610，針對(duì)已經(jīng)減去背景模型而產(chǎn)生的圖像版本中的像素值來創(chuàng)建閾值。通過首先跨視頻圖像的一系列幀確定像素平均來生成背景模型。根據(jù)每一個(gè)像素的均值，可以從視頻圖像的幀計(jì)算出每一個(gè)像素的方差。像素的方差隨后被用于確定閾值，該閾值將針對(duì)視頻圖像的所有像素中的每一個(gè)像素而變化。對(duì)于與圖像中的方差較高的部分(例如包括人群的部分)相對(duì)應(yīng)的像素，閾值可被設(shè)定為較高值，而圖像中的與球場(chǎng)相對(duì)應(yīng)的部分將具有較低閾值，這是因?yàn)槌饲騿T的存在之外的球場(chǎng)的顏色和容量將總是相同。于是，閾值將判斷出前景元素是否存在，并因此前景掩膜可被相應(yīng)地識(shí)別出。在步驟S615，使用基于與平均人形模型的相關(guān)度的形狀概率來提取前景掩膜內(nèi)的形狀。此外，還從圖像中提取出顏色特征以創(chuàng)建顏色概率掩膜，從而例如從球員汗衫的顏色來識(shí)別出球員。于是，可以使用各個(gè)球隊(duì)的汗衫的顏色來對(duì)球員進(jìn)行彼此區(qū)分。為此，服務(wù)器110依據(jù)各個(gè)足球隊(duì)的隊(duì)服的已知顏色來生成顏色模版。因而，需要各個(gè)球隊(duì)的汗衫的顏色、守門員汗衫的顏色以及裁判的汗衫的顏色。但是，將了解，可以使用其它合適的顏色模版和/或模版匹配處理。上面說明的背景生成是在背景生成器1102中執(zhí)行的。返回到圖6，在步驟S615中，服務(wù)器110對(duì)各個(gè)顏色模版的各個(gè)像素與球員圖像的汗衫區(qū)域所對(duì)應(yīng)的像素進(jìn)行比較。服務(wù)器110隨后生成指示出顏色模版的像素與所選擇的像素之間的相似性的概率值，以根據(jù)球隊(duì)和球場(chǎng)顏色模型、基于色相飽和度值(HSV)顏色空間中的距離來形成顏色概率。另外，使用形狀概率來定位球員，這是基于與平均人形模型的相關(guān)度的。此外，運(yùn)動(dòng)概率是基于距由遞歸最小平方估計(jì)器使用開始位置、速度和加速參數(shù)預(yù)測(cè)出的位置的距離的。在圖7A中圖示出了對(duì)象鍵值創(chuàng)建設(shè)備1103對(duì)對(duì)象鍵值的創(chuàng)建。圖7A示出了由布置130中的相機(jī)之一生成的足球場(chǎng)的相機(jī)視圖710。如已經(jīng)說明過的，球場(chǎng)形成了背景模型部分，而球員730、732、734、736、738和740應(yīng)當(dāng)形成前景掩膜部分并且各自是分離的，如上所述。球員邊界框(可以稱為矩形輪廓)被示出為圍繞各個(gè)球員的虛線。到目前為止，針對(duì)相機(jī)圖像處理執(zhí)行了步驟S60、S605、S610和S615。已經(jīng)設(shè)計(jì)出前景掩膜，在步驟S620中在首先按距相機(jī)的接近度對(duì)球員軌跡進(jìn)行排序之后執(zhí)行球員跟蹤。于是，首先對(duì)被識(shí)別為最接近相機(jī)的球員進(jìn)行處理，以從跟蹤處理中消除這些球員。在步驟S630，對(duì)球員位置進(jìn)行更新以便最大化形狀概率、顏色概率和運(yùn)動(dòng)概率。在步驟S640中，構(gòu)造遮蔽掩膜(occlusion mask),該遮蔽掩膜排除了已知被其它更接近的球員軌跡覆蓋的圖像區(qū)域。這確保了部分或全部被其它球員遮蔽的球員僅能夠被匹配到可視圖像區(qū)域。遮蔽掩膜提高了跟蹤可靠性，因?yàn)槠浣档土塑壽E合并(通過軌跡合并，兩條軌跡在遮蔽事件之后跟隨同一球員)的發(fā)生率。這是在許多目標(biāo)由于他們無法按顏色進(jìn)行(容易地)區(qū)分而看起來相同時(shí)的特殊問題。遮蔽掩膜允許將像素指派給較近的球員并排除較遠(yuǎn)的球 員，從而防止兩條軌跡匹配到相同的像素集合并因而維持了它們的單獨(dú)身份。之后跟隨的是通過提取相機(jī)圖像內(nèi)提供的特征并將這些特征映射到3D模型上來跟蹤各個(gè)球員的處理，如圖7A和7B所示。于是，針對(duì)由相機(jī)產(chǎn)生的2D圖像內(nèi)的相應(yīng)位置，向球員指派使得形狀概率、顏色概率和運(yùn)動(dòng)概率最大化的3D位置。如將簡短說明的，在已經(jīng)檢測(cè)到遮蔽事件的情況下，將修改對(duì)球員的選擇以及球員從2D圖像到3D模型的映射。為了輔助從2D圖像到3D模型的映射，在步驟S625中將要跟蹤的球員初始化為使得形狀和顏色概率的峰值被映射到最適當(dāng)選擇的球員。應(yīng)當(dāng)強(qiáng)調(diào)，在步驟S625執(zhí)行的跟蹤初始化僅被執(zhí)行一次，通常是在跟蹤處理的開始時(shí)。為了系統(tǒng)的良好跟蹤初始化，應(yīng)當(dāng)適當(dāng)?shù)胤蛛x球員。在跟蹤初始化之后，根據(jù)本發(fā)明的技術(shù)來自動(dòng)校正在跟蹤球員時(shí)的任何錯(cuò)誤。為了根據(jù)2D圖像位置實(shí)現(xiàn)3D模型中的跟蹤，通過使用投影矩陣P來實(shí)現(xiàn)變換。跟蹤要求2D圖像位置能夠與3D模型內(nèi)的位置相關(guān)。這種變換是通過使用投影(P)矩陣來實(shí)現(xiàn)的。2D空間中的點(diǎn)等同于3D空間中的線
P P P 尸
r -I r 00 ^rOl 1 02 1 03 Ay = Pl° Pu Pn Pu y
PPPPz'
IrIQ r2\ 1 22 1 23 “
_」 0 0 0 I _ _w_2D空間中的點(diǎn)等同于3D空間中的線，是因?yàn)樽鳛榫嘞鄼C(jī)的距離的第三維度是未知的，并因此將相應(yīng)地表現(xiàn)為跨3D模型的線?？梢允褂脤?duì)象(球員)的高度來確定距相機(jī)的距離。通過沿著位于已知地平線上方固定高度(人的平均身高)處的線選擇一點(diǎn)來獲得3D空間中的點(diǎn)。投影矩陣P被先驗(yàn)地獲得，在通過相機(jī)校準(zhǔn)處理進(jìn)行的匹配之前每一相機(jī)進(jìn)行一次這種獲得，在該相機(jī)校準(zhǔn)處理中，球場(chǎng)的物理特性(例如，球場(chǎng)70的角71a、71b、71c、71d)被用于確定相機(jī)參數(shù)，這些相機(jī)參數(shù)因而可以輔助將已被識(shí)別的球員的2D位置映射到3D模型上。這是使用已建立方法的已知技術(shù)。就物理參數(shù)而言，投影矩陣P包含相機(jī)的縮放水平、焦點(diǎn)中心、3D位置和3D旋轉(zhuǎn)向量(其指向何方)。在步驟S630中執(zhí)行的跟蹤算法是可擴(kuò)展的，并且能夠在一個(gè)或多個(gè)相機(jī)上操作，而僅要求球場(chǎng)上的所有點(diǎn)都從至少一個(gè)相機(jī)(以足夠的分辨率)可見。除了顏色和形狀匹配之外，步驟S630還包括如下處理其中，被跟蹤的球員的運(yùn)動(dòng)也被包括以便以更高的概率來正確地識(shí)別各個(gè)球員。于是，可以在相關(guān)運(yùn)動(dòng)和方向兩個(gè)方面來確定幀之間的球員的相關(guān)運(yùn)動(dòng)。因而，可以對(duì)后續(xù)幀使用相對(duì)運(yùn)動(dòng)以產(chǎn)生用于識(shí)別特定球員的搜索區(qū)域。此外，如圖7B所示，足球場(chǎng)的3D模型可以用線條730. 1,732. I、734. 1,736. 1,738. 1,740. I來擴(kuò)增(augment)，這些線條被相對(duì)于球員的位置的圖形指示來定位，以反應(yīng)出球員的運(yùn)動(dòng)在足球場(chǎng)上的相對(duì)方向。在步驟S640，一旦已經(jīng)在3D模型中識(shí)別出球員的相對(duì)位置，則該位置被相應(yīng)地往回投影到足球場(chǎng)的2D圖像視圖，并且相對(duì)邊界被投影成圍繞根據(jù)其在3D模型中的位置識(shí)別出的球員。此外，在步驟S640，圍繞球員的相對(duì)邊界隨后被添加到針對(duì)該球員的遮蔽掩膜。
圖7B示出了足球場(chǎng)的虛擬模型220的平面視圖。在圖7B所示的示例中，(在球場(chǎng)左手側(cè)的)球員730、732和734已被服務(wù)器110識(shí)別為穿著與(在球場(chǎng)右手側(cè)的)球員736、738和740不同顏色的足球衫，因而指示出他們屬于不同的球隊(duì)。以這種方式區(qū)分球員使得可以更容易地檢測(cè)在遮蔽事件之后的各個(gè)球員，因?yàn)樗麄兡軌虬凑账麄兊囊路念伾珌砣菀椎剡M(jìn)行相互區(qū)分。往回參考圖6，在步驟S630，使用諸如卡爾曼濾波之類的已知技術(shù)來跟蹤各個(gè)球員的位置，不過將了解可以使用其它的合適技術(shù)。這個(gè)跟蹤既發(fā)生在相機(jī)視圖710中，又發(fā)生在虛擬模型720中。在本發(fā)明的示例中，由服務(wù)器110使用球員在虛擬模型720中的位置執(zhí)行的速度預(yù)測(cè)被用于輔助跟蹤相機(jī)視圖710中的各個(gè)球員。步驟S630和S640被重復(fù)，直到如判決框S635所表示的、所有球員都已得到處理為止。于是，如果不是所有球員都已得到處理，則處理行進(jìn)到步驟S630，而如果處理已經(jīng)結(jié)束，則處理終止于S645。如圖6所示，所圖示的方法包括另一步驟S650，如果由一個(gè)以上的相機(jī)產(chǎn)生圖像則需要該步驟S650。如此一來，可以針對(duì)來自每一個(gè)相機(jī)的視頻圖像來執(zhí)行處理步驟S60至S645。如此一來，每一個(gè)球員都將被提供以來自每一個(gè)相機(jī)的檢測(cè)概率。因此，根據(jù)步驟S650，根據(jù)來自每一個(gè)相機(jī)的、每一個(gè)球員的概率來估計(jì)每一個(gè)球員的位置,并且根據(jù)各個(gè)相機(jī)所提供的概率中的最高者估計(jì)出的球員的位置(因而是針對(duì)每一個(gè)球員的具有最高概率的位置)被識(shí)別為針對(duì)該球員的位置。該位置是上面提及的位置數(shù)據(jù)。如果已經(jīng)確定在跟蹤足球場(chǎng)上的球員時(shí)發(fā)生了錯(cuò)誤，則可以在步驟S655重新初始化針對(duì)該球員的軌跡。在對(duì)特定球員的檢測(cè)概率針對(duì)特定軌跡而言相對(duì)較低的情況下產(chǎn)生對(duì)跟蹤時(shí)的錯(cuò)誤的檢出，相應(yīng)地該軌跡被重新初始化。執(zhí)行圖6所圖示的方法的結(jié)果是生成針對(duì)每一個(gè)球員的路徑數(shù)據(jù)，該路徑數(shù)據(jù)提供了球員在視頻圖像的每一幀中的位置，并且表示該球員貫穿整場(chǎng)比賽所采取的路徑。這一計(jì)算出的位置是被發(fā)送到用戶設(shè)備200A的位置數(shù)據(jù)。因而，路徑數(shù)據(jù)提供了相對(duì)于時(shí)間的位置。當(dāng)在一個(gè)球員遮掩了另一個(gè)球員的全部或者一部分(如圖8所示)的情況下從單個(gè)相機(jī)視圖跟蹤各個(gè)球員的位置時(shí)，可能產(chǎn)生問題。圖8示出了多個(gè)球員810、820、830和840以及如圍繞各個(gè)球員的虛線所指示的他們的關(guān)聯(lián)邊界框。球員810和840可清楚地相互區(qū)分，而球員820遮掩了球員830的一部分。這是所謂的遮蔽事件。遮蔽事件可能在如下情況中發(fā)生一個(gè)球員的全部或者一部分遮掩了至少一個(gè)其它球員的全部或者一部分，使得跟蹤這些球員變得模糊，即使在將諸如球員的相對(duì)運(yùn)動(dòng)和方向之類的其它因素考慮在內(nèi)之后也是如此。但是，將了解，可能發(fā)生涉及兩個(gè)或更多個(gè)球員的遮蔽事件。為了檢測(cè)遮蔽事件，服務(wù)器110檢測(cè)是否在與一個(gè)球員所關(guān)聯(lián)的掩膜的全部或一部分相同的圖像區(qū)域中發(fā)生了另一個(gè)球員所關(guān)聯(lián)的掩膜的全部或一部分，如圖8所示。在遮蔽事件所涉及的球員屬于對(duì)立球隊(duì)并因而具有不同顏色的汗衫的情況中，他們可能很容易被區(qū)分并相應(yīng)地被跟蹤。但是，在遮蔽事件之后，如果球員兩者都屬于同一方，則服務(wù)器110可能無法區(qū)分哪個(gè)球員是哪個(gè)，特別是因?yàn)樵诶缬蓻_撞引起的遮蔽事件之后的他們的運(yùn)動(dòng)可能是不可預(yù)測(cè)的，并因此可能不能正確地跟蹤球員。其結(jié)果是，被指派給各個(gè)球員的跟蹤路徑可能變成是交換了的。為了解決被跟蹤的球員的模糊性，服務(wù)器110利用遮蔽事件所涉及的所有球員的 身份來標(biāo)示(label)遮蔽事件所涉及的所有那些球員。然后，在稍后的時(shí)間，如果這些球員中的一個(gè)或多個(gè)變得可容易區(qū)分，則服務(wù)器110使用該信息來將球員的身份重新指派給正確的球員以便維持哪個(gè)球員是哪個(gè)的記錄。這個(gè)處理將參考圖9更詳細(xì)地描述。圖9示出了根據(jù)本發(fā)明的示例的進(jìn)行對(duì)象跟蹤和遮蔽檢測(cè)的方法的流程圖。在步驟S900，服務(wù)器110對(duì)所捕捉的視頻圖像執(zhí)行圖像處理，以便如參考上面的圖6所描述那樣地提取一個(gè)或多個(gè)圖像特征。所提取的圖像特征隨后被與從對(duì)象的可能示例提取出的相應(yīng)圖像特征進(jìn)行比較，以便識(shí)別出各個(gè)對(duì)象。在一個(gè)示例中，根據(jù)汗衫上的編號(hào)來識(shí)別球員。服務(wù)器110隨后生成每一個(gè)對(duì)象的對(duì)象標(biāo)識(shí)，該對(duì)象標(biāo)識(shí)識(shí)別出各個(gè)對(duì)象。該標(biāo)識(shí)被連同圖像和位置信息來存儲(chǔ)為元數(shù)據(jù)。可替代地，在一個(gè)示例中，由操作者經(jīng)由操作者界面來識(shí)別每一個(gè)對(duì)象(例如，球員)。服務(wù)器110隨后使用來自操作者界面的數(shù)據(jù)輸入來生成對(duì)象標(biāo)識(shí)數(shù)據(jù)。但是，技術(shù)人員將了解，操作者可將圖像辨識(shí)技術(shù)與標(biāo)識(shí)相組合來生成對(duì)象標(biāo)識(shí)數(shù)據(jù)，或者可以使用其它的合適對(duì)象標(biāo)識(shí)方法，例如通過球員汗衫后背上的數(shù)字來標(biāo)識(shí)球員的數(shù)字辨識(shí)。在步驟S905，服務(wù)器110依據(jù)在步驟S900提取出的一個(gè)或多個(gè)圖像特征來檢測(cè)如上面參考圖6所述的諸如球員之類的要檢測(cè)的任何對(duì)象。如上所述，還使用虛擬模型720和相機(jī)視圖710兩者來跟蹤各個(gè)球員。服務(wù)器110使用在跟蹤處理期間生成的數(shù)據(jù)來生成并存儲(chǔ)對(duì)象路徑數(shù)據(jù)，對(duì)象路徑數(shù)據(jù)描述了各個(gè)對(duì)象在所接收的視頻圖像內(nèi)所采取的路徑。對(duì)象路徑數(shù)據(jù)采取球員的x-y坐標(biāo)的樣本相對(duì)于時(shí)間的形式。在本發(fā)明的示例中，路徑數(shù)據(jù)具有格式(ti; Xi, Yi),其中，ti是樣本時(shí)間，Xi和Ji是對(duì)象在樣本時(shí)間&處的X和y坐標(biāo)。但是，將了解，可以使用其他合適的路徑數(shù)據(jù)格式。在步驟S915，服務(wù)器110登錄針對(duì)每一個(gè)對(duì)象的對(duì)象標(biāo)識(shí)數(shù)據(jù)以及與每一個(gè)對(duì)象在視頻圖像內(nèi)采取的路徑有關(guān)的對(duì)象路徑數(shù)據(jù)。所登錄的數(shù)據(jù)被存儲(chǔ)在服務(wù)器110的硬盤驅(qū)動(dòng)器(HDD)上或者動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)中。這使得可以保持關(guān)于哪個(gè)球員與各個(gè)檢測(cè)到并跟蹤的路徑相關(guān)聯(lián)的記錄。所登錄的數(shù)據(jù)隨后可被用于生成關(guān)于各個(gè)球員以及他們?cè)诒荣惼陂g所處的位置的數(shù)據(jù)。例如，可從存儲(chǔ)在關(guān)聯(lián)日志中的數(shù)據(jù)生成一球員在球場(chǎng)的特定區(qū)域中花費(fèi)的時(shí)間。這一信息可在比賽期間或者在比賽結(jié)束時(shí)被發(fā)送給用戶設(shè)備200A，并且可被顯示給用戶(如果他們希望的話)。在本發(fā)明的實(shí)施例中，被顯示的所登錄數(shù)據(jù)可以包括球員所覆蓋的距離等。這將由用戶設(shè)備200A的用戶來選擇。此外，如果由于任何原因使得球員與路徑之間的關(guān)聯(lián)性變得模糊(例如，在遮蔽事件之后可能發(fā)生)，則此記錄可被保持直到模糊性得到解決為止，如下面所述的。下面的表I示出了所登錄的對(duì)象標(biāo)識(shí)數(shù)據(jù)以及對(duì)象路徑數(shù)據(jù)的示例。
權(quán)利要求
1.一種在客戶端設(shè)備上觀看集錦套件的方法，包括在所述客戶端設(shè)備處接收包括多個(gè)幀的視頻流，從服務(wù)器接收視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，并將所限定的片段顯示給用戶。
2.根據(jù)權(quán)利要求I所述的方法，還包括在所述客戶端設(shè)備處接收注解信息，所述注解信息限定了要寫在所顯示的幀的片段上的注解。
3.根據(jù)權(quán)利要求I或2所述的方法，包括從除了提供所述視場(chǎng)信息的所述服務(wù)器之外的源接收所述視頻流。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述源是對(duì)等源。
5.根據(jù)權(quán)利要求I所述的方法，包括從所述客戶端設(shè)備向所述服務(wù)器傳送對(duì)所述集錦套件的用戶評(píng)分。
6.根據(jù)權(quán)利要求I所述的方法，包括在所述客戶端設(shè)備處接收基于針對(duì)所述集錦套件的評(píng)分來選擇的視頻流。
7.根據(jù)權(quán)利要求I所述的方法，包括在所述客戶端設(shè)備處接收基于由所述客戶端設(shè)備的用戶提供的且被存儲(chǔ)在所述服務(wù)器內(nèi)的偏好來選擇的視頻流。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述偏好是用戶最喜歡的足球隊(duì)或者最喜歡的集錦套件作者中的任一者。
9.根據(jù)權(quán)利要求I所述的方法，包括向所述服務(wù)器傳送由所述客戶端設(shè)備的用戶提供的對(duì)所述集錦套件的注解。
10.根據(jù)權(quán)利要求I所述的方法，包括向所述服務(wù)器傳送所述集錦套件的經(jīng)修改版本。
11.一種在客戶端設(shè)備上生成集錦套件的方法，包括在所述客戶端設(shè)備處接收包括多個(gè)幀的視頻流，生成視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，并且將所述位置信息和唯一地標(biāo)識(shí)出所述視頻流中的幀的幀標(biāo)識(shí)符傳輸給服務(wù)器。
12.根據(jù)權(quán)利要求5所述的方法，還包括在所述客戶端設(shè)備處生成限定了寫在所述幀的片段上的注解的注解信息。
13.—種包括計(jì)算機(jī)可讀指令的計(jì)算機(jī)程序，所述計(jì)算機(jī)可讀指令當(dāng)被載入到計(jì)算機(jī)上時(shí)將所述計(jì)算機(jī)配置為執(zhí)行根據(jù)權(quán)利要求I所述的方法。
14.一種存儲(chǔ)介質(zhì)，被配置為在其中或其上存儲(chǔ)根據(jù)權(quán)利要求13所述的計(jì)算機(jī)程序。
15.一種客戶端設(shè)備，包括接收器和顯示器，所述接收器可操作來接收包括多個(gè)幀的視頻流并從服務(wù)器接收視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，所述顯示器在使用時(shí)可操作來向用戶顯示所限定的片段。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述接收器還可操作來接收注解信息，所述注解信息限定了要寫在所顯示的幀的片段上的注解。
17.根據(jù)權(quán)利要求15或16所述的設(shè)備，其中，所述接收器還可操作來從除了提供所述視場(chǎng)信息的所述服務(wù)器之外的源接收所述視頻流。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其中，所述源是對(duì)等源。
19.根據(jù)權(quán)利要求15所述的設(shè)備，包括輸出設(shè)備，該輸出設(shè)備可操作來從所述客戶端設(shè)備向所述服務(wù)器傳送對(duì)所述集錦套件的用戶評(píng)分。
20.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述接收器還可操作來在所述客戶端設(shè)備處接收基于針對(duì)所述集錦套件的評(píng)分來選擇的視頻流。
21.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述接收器還可操作來在所述客戶端設(shè)備處接收基于由所述客戶端設(shè)備的用戶提供的且被存儲(chǔ)在所述服務(wù)器內(nèi)的偏好來選擇的視頻流。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其中，所述偏好是用戶最喜歡的足球隊(duì)或者最喜歡的集錦套件作者中的任一者。
23.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述輸出設(shè)備還可操作來向所述服務(wù)器傳送由所述客戶端設(shè)備的用戶提供的對(duì)所述集錦套件的注解。
24.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述輸出設(shè)備還可操作來向所述服務(wù)器傳送所述集錦套件的經(jīng)修改版本。
25.一種用于在客戶端設(shè)備上生成集錦套件的設(shè)備，包括接收器、生成設(shè)備和輸出設(shè)備，所述接收器可操作來接收包括多個(gè)幀的視頻流，所述生成設(shè)備可操作來生成視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，并且所述輸出設(shè)備可操作來將所述位置信息和唯一地標(biāo)識(shí)出所述視頻流中的幀的幀標(biāo)識(shí)符傳輸給服務(wù)器。
26.根據(jù)權(quán)利要求25所述的設(shè)備，其中，所述生成設(shè)備可操作來在所述客戶端設(shè)備處生成限定了寫在所述幀的片段上的注解的注解信息。
27.—種系統(tǒng)，包括連接到網(wǎng)絡(luò)的服務(wù)器，該服務(wù)器在使用時(shí)與根據(jù)權(quán)利要求15所述的設(shè)備通信。
全文摘要
本發(fā)明提供了方法、裝置和系統(tǒng)。一種在客戶端設(shè)備上觀看集錦套件的方法，包括在客戶端設(shè)備處接收包括多個(gè)幀的視頻流，從服務(wù)器接收視場(chǎng)信息，所述視場(chǎng)信息針對(duì)所接收的視頻流中的幀標(biāo)識(shí)出限定了該幀的片段的位置信息，并將所限定的片段顯示給用戶。
文檔編號(hào)H04N21/266GK102740127SQ20121009285
公開日2012年10月17日 申請(qǐng)日期2012年3月29日 優(yōu)先權(quán)日2011年3月29日
發(fā)明者克里夫·亨利·吉爾拉德, 羅伯特·馬克·斯特凡·波特 申請(qǐng)人:索尼公司