位置/定向數(shù)據(jù)的實時傳送
背景技術(shù):許多智能電話、特色電話、平板計算機、數(shù)字攝像機和類似設(shè)備裝備了全球定位系統(tǒng)(GPS)或其他位置感測接收機、加速度計、或數(shù)字羅盤。這樣的組件可以感測安裝了該組件的設(shè)備的位置和/或定向。這樣的設(shè)備還可以裝備能夠記錄協(xié)調(diào)的視頻和音頻信息的攝像機??梢杂梦恢酶袦y組件所提供的位置和定向信息來標注視頻和音頻數(shù)據(jù)。
技術(shù)實現(xiàn)要素:根據(jù)本公開的一個方面,提供了一種用于提供方位信息的方法,包括:經(jīng)由實時傳輸協(xié)議,由第一設(shè)備向第二設(shè)備發(fā)送消息,所述消息指定與第二設(shè)備相關(guān)聯(lián)的至少一個方位相關(guān)參數(shù);以及由第一設(shè)備經(jīng)由所述實時傳輸協(xié)議從第二設(shè)備接收所述至少一個方位相關(guān)參數(shù)。所述實時傳輸協(xié)議是互聯(lián)網(wǎng)工程任務(wù)組(IETF)請求評述(RFC)3550中規(guī)范的實時傳輸協(xié)議(RTP)。音頻信息在RTP音頻流中傳輸,視頻信息在RTP視頻流中傳輸,至少一個方位相關(guān)參數(shù)在與RTP音頻流和RTP視頻流分開的RTP流中傳輸。根據(jù)本公開的另一個方面,提供了一種用于提供方位信息的方法,包括:經(jīng)由實時傳輸協(xié)議,由第二設(shè)備從第一設(shè)備接收消息,所述消息指定與第二設(shè)備相關(guān)聯(lián)的至少一個方位相關(guān)參數(shù);以及由第二設(shè)備經(jīng)由所述實時傳輸協(xié)議向第一設(shè)備發(fā)送所述至少一個方位相關(guān)參數(shù)。所述實時傳輸協(xié)議是互聯(lián)網(wǎng)工程任務(wù)組(IETF)請求評述(RFC)3550中規(guī)范的實時傳輸協(xié)議(RTP)。音頻信息在RTP音頻流中傳輸,視頻信息在RTP視頻流中傳輸,至少一個方位相關(guān)參數(shù)在與RTP音頻流和RTP視頻流分開的RTP流中傳輸。附圖說明為了更充分地理解本公開,此時結(jié)合附圖和詳細描述參照以下簡要描述,其中,相似的參考標記表示相似的部分。圖1示出了擺動(pan)、傾斜(tilt)和旋轉(zhuǎn)(rotation)的概念。圖2示出了根據(jù)本公開實現(xiàn)的實時傳輸協(xié)議(RTP)有效載荷的結(jié)構(gòu)。圖3示出了根據(jù)本公開實現(xiàn)的RTP有效載荷中的內(nèi)容表條目。圖4示出了根據(jù)本公開實現(xiàn)的示例RTP位置/定向有效載荷。圖5示出了根據(jù)本公開實現(xiàn)的另一示例RTP位置/定向有效載荷。圖6示出了根據(jù)本公開實現(xiàn)的具有時間偏移的內(nèi)容表條目。圖7示出了根據(jù)本公開實現(xiàn)的具有時間偏移的兩個位置/定向幀的示例。圖8示出了根據(jù)本公開實現(xiàn)的具有首部擴展的RTP分組格式。圖9示出了根據(jù)本公開實現(xiàn)的包含位置/定向數(shù)據(jù)的首部擴展。圖10示出了根據(jù)本公開實現(xiàn)的RTCP應(yīng)用分組。圖11示出了根據(jù)本公開實施例的在兩個設(shè)備間交換位置/定向數(shù)據(jù)的協(xié)商。圖12是根據(jù)本公開實現(xiàn)的用于提供位置/定向數(shù)據(jù)的方法的流程圖。圖13示出了適于實現(xiàn)本公開的處理器和相關(guān)組件。具體實施方式首先,應(yīng)當理解,雖然下文提供了本公開的一個或多個實施例的說明性實現(xiàn),可以使用當前已知的或現(xiàn)有的任意數(shù)目的技術(shù)來實現(xiàn)所公開的系統(tǒng)和/或方法。本公開絕不應(yīng)受限于下述說明性實施方式、附圖和技術(shù)(包括本文說明和描述的示例設(shè)計和實施方式在內(nèi)),但可以在所附權(quán)利要求的范圍連同其完全等價范圍內(nèi)作出修改。為各種目的,一并引入在此的2012年1月23日提交的題為“MultimediaFileSupportforMediaCaptureDevicePositionandLocationTimedMetadata”的美國專利申請13/356,409提出了將時間戳與方位相關(guān)參數(shù)相關(guān)聯(lián)并將對參數(shù)的支持集成于國際標準化組織(ISO)系媒體文件格式或基于ISO系媒體文件格式的文件格式(如第三代伙伴計劃(3GPP)或MPEG-4(MP4)文件)。這樣,可以在視頻文件中記錄這樣的信息,使得可以在處理視頻時或顯示視頻時使用該信息。在本公開的實施例中,在多媒體電話或流傳輸中使用以這樣的方式捕捉的位置和/或定向信息。即,可以使用實時流傳輸來向第二設(shè)備發(fā)送與第一設(shè)備相關(guān)聯(lián)的位置和/或定向(LO)信息。例如,LO數(shù)據(jù)可用于建立在視頻呼叫或游戲中涉及的設(shè)備位置和/或定向,用于顯示設(shè)備位置的地圖,用于穩(wěn)定從非穩(wěn)定設(shè)備接收的圖像,或用于其他目的。此處,位置和/或定向信息可一般地稱為方位信息。多種設(shè)備(如視頻攝像機、攝像機電話、智能電話、個人數(shù)字助理、平板計算機和類似設(shè)備)能夠記錄視頻和/或音頻信息。一些這樣的設(shè)備可以僅記錄視頻信息或僅記錄音頻信息,但此處的討論將關(guān)注與能夠記錄視頻和音頻的設(shè)備。此處,能夠記錄視頻和/或音頻信息的任意這樣的裝置將被稱為設(shè)備。在此處描述的一些示例實施例中,可能使用術(shù)語“攝像機”代替術(shù)語“設(shè)備”。然而,應(yīng)理解:本公開更一般地適用于設(shè)備。設(shè)備可能能夠以方位數(shù)據(jù)標記所記錄的信息,所述方位數(shù)據(jù)可以包括地理位置和/或物理定向。即,包含視頻和/或音頻信息的文件可以與描述文件創(chuàng)建時設(shè)備方位的元數(shù)據(jù)相關(guān)聯(lián)。方位信息可由GPS系統(tǒng)或類似系統(tǒng)確定。本公開的實現(xiàn)可以將時間戳與設(shè)備檢測到的位置相關(guān)參數(shù)和定向相關(guān)參數(shù)相關(guān)聯(lián)。如以下詳細討論的,位置相關(guān)信息可以包括緯度、經(jīng)度和/或高度,而定向相關(guān)信息可以包括擺動、旋轉(zhuǎn)、傾斜和/或縮放。在創(chuàng)建視頻和/或音頻記錄的整個過程中可以連續(xù)記錄位置相關(guān)信息和/或定向相關(guān)信息的多個采樣,并且可以為采樣加時間戳。位置相關(guān)和/或定向相關(guān)信息可以被記錄為視頻和/或音頻記錄期間的靜態(tài)信息。可以在能夠與視頻軌和音頻軌相關(guān)聯(lián)的元數(shù)據(jù)軌中記錄采樣。位置相關(guān)信息可以包括經(jīng)度、緯度和/或高度。經(jīng)度可以是以度數(shù)指示經(jīng)度的16.16定點數(shù)。負值可以表示西經(jīng)。緯度可以是以度數(shù)指示緯度的16.16定點數(shù)。負值可以表示南緯。高度可以是以米指示高度的16.16定點數(shù)。由0指示的參考高考可以被設(shè)置為海平面。設(shè)備在給定位置的定向可由其沿三個正交軸的旋轉(zhuǎn)方位唯一確定。圖1示出了起初面向y軸的設(shè)備的擺動、傾斜和旋轉(zhuǎn)的定向相關(guān)參數(shù)。在特定情況下,可能只有這些參數(shù)的子集是相關(guān)的。例如,對于定向麥克風,旋轉(zhuǎn)參數(shù)值可以有關(guān)或可以無關(guān)。在圖中,x-y面與地球表面平行,z軸按攝像機位置垂直于地球表面(即,正z方向指向天空)。沿攝像機朝向的方向指向的任意矢量將具有x-y面中的分量矢量和沿z軸的另一分量矢量。x-y面中存在分量的唯一例外是:攝像機豎直向下指向地面或豎直向上指向天空的情況。在該例外情況下,擺動值是未定義的,并且無需包括在定向參數(shù)中。假設(shè)x-y面中的分量矢量存在,其方向限定了正y軸。換言之,沿攝像機朝向的方向指向的任意矢量的羅盤方向分量是正y軸方向。擺動值可以被定義為使起初指向x-y面中的固定參考方向(例如東)的矢量與y軸對準所需的繞z軸的逆時針(或備選地順時針)旋轉(zhuǎn)量。即,擺動可以是以度數(shù)測量且與沿攝像機朝向的方向指向的任意矢量的在平行于地球表面的面中的分量的羅盤方向相對應(yīng)的16.16定點數(shù)。北可以對應(yīng)于0度,東可以對應(yīng)于90度等。如果攝像機沿與地球表面垂直的方向指向(豎直向上指向天空或豎直向下指向地面),則擺動值是未定義的。應(yīng)用知道擺動方向是“真實”方向還是磁方向可能是有用的。北的“真實”方向是地理北極的方向,而磁方向是羅盤針指向的方向。兩者的區(qū)別部分是由磁北極和地理北極的位置不同而引起的,部分是由諸如本地鐵礦礦藏等因素引起的。傾斜值對應(yīng)于攝像機繞x軸的旋轉(zhuǎn)方位(x軸被定義為與y軸和z軸垂直顯示)。即,傾斜可以是以度數(shù)測量的與繞通過攝像機中心的等幅平面中垂直于擺動方向的軸的旋轉(zhuǎn)方位相對應(yīng)的16.16定點數(shù)。如果攝像機平行于地球表面指向,傾斜為0。如果攝像機豎直向上指向天空,傾斜為90度;如果攝像機豎直向下指向地面,傾斜為-90度。旋轉(zhuǎn)值對應(yīng)于繞沿攝像機朝向的方向的軸的攝像機旋轉(zhuǎn)方位。即,旋轉(zhuǎn)可以是以度數(shù)測量的與繞y軸的旋轉(zhuǎn)方位相對應(yīng)的16.16定點數(shù)。由于傾斜和旋轉(zhuǎn)是獨立參數(shù),針對傾斜值0定義了旋轉(zhuǎn)。即,攝像機首先被傾斜為平行于地球表面沿對應(yīng)于擺動的方向指向。此時,旋轉(zhuǎn)是使起初豎直向上指向天空的矢量與攝像機“上”方向?qū)仕璧睦@攝像機朝向的軸的逆時針旋轉(zhuǎn)量。在由于攝像機直上或直下指向擺動為未定義的情況下,旋轉(zhuǎn)可以被定義為使起初指向北的矢量與攝像機“上”方向?qū)仕璧男D(zhuǎn)量。除了以上定義的參數(shù),還可以定義一個或更多個變焦參數(shù),指示與來自攝像機的圖像相關(guān)聯(lián)的光學變焦和/或數(shù)字變焦量。光學變焦可以是指示光學放大比例因子的16.16定點數(shù)。數(shù)字變焦可以是指示由于剪切并將像素尺寸插值回原始尺寸而導致的圖像的放大比例因子的16.16定點數(shù)。對于變焦,也可以存在水平和/或垂直分量,指示作為變焦中心的圖像內(nèi)的水平和/或垂直方位。變焦還可以以圖像中的GPS位置為中心。變焦可以缺省地適用于整個圖像,但也可以適用于圖像的一部分。本領(lǐng)域普通技術(shù)人員將意識到:變焦參數(shù)具有多種可能實現(xiàn)。本公開的實施例提供了用于在多媒體會話內(nèi)實時傳送位置和/或定向(LO)數(shù)據(jù)的系統(tǒng)和方法。例如,會話可以是多媒體電話會話或流傳輸會話。在允許在傳送中包括指定數(shù)據(jù)的全部或任意子集方面,實施例是靈活的。更具體地,針對LO數(shù)據(jù)在多媒體會話中的實時傳送,提供至少三種實現(xiàn)。在第一實現(xiàn)中,在與現(xiàn)有音頻和音頻流分開的實時傳輸協(xié)議(RTP)流中包括LO數(shù)據(jù)。在第二實現(xiàn)中,在現(xiàn)有音頻或視頻流的RTP首部擴展中包括LO數(shù)據(jù)。在第三實現(xiàn)中,在RTP控制協(xié)議(RTCP)應(yīng)用分組中包括LO數(shù)據(jù)。將依次提供這三個實現(xiàn)中每一個的細節(jié)。在這些實現(xiàn)的任一個中,可以向設(shè)備提供指定該設(shè)備希望從另一設(shè)備接收的LO數(shù)據(jù)的元素的能力。RTP定義于互聯(lián)網(wǎng)工程任務(wù)組(IETF)請求評述(RFC)3550中,一并在此用作參考。在第一實現(xiàn)中,在與音頻和視頻流分開的RTP流中傳送LO數(shù)據(jù)。由于LO參數(shù)可以獨立于音頻和視頻編碼,將這些參數(shù)包含在單獨的流中具有以下優(yōu)勢:可以方便地與音頻和視頻分開協(xié)商LO參數(shù),并且可以單獨啟用或禁用該流。為了執(zhí)行LO元數(shù)據(jù)軌的RTP流傳輸或以其他方式在多媒體會話內(nèi)實時傳送LO數(shù)據(jù),可以先定義RTP有效載荷格式。在實施例中,RTP有效載荷的基本結(jié)構(gòu)可以如圖2所示定義,并且可以包括內(nèi)容表210和LO數(shù)據(jù)220。內(nèi)容表(ToC)210包括一個或更多個ToC條目,每個條目對應(yīng)于L...