云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法。步驟如下：1）客戶端產(chǎn)生目標(biāo)影像數(shù)據(jù)所在的空間區(qū)域等參數(shù)；2）建立與服務(wù)器端的連接，發(fā)送上一步驟中的各參數(shù)進(jìn)行請(qǐng)求；3）服務(wù)器端訪問(wèn)云存儲(chǔ)HDFS集群，加載目標(biāo)分布式影像數(shù)據(jù)集的元數(shù)據(jù)；4）根據(jù)客戶端的請(qǐng)求參數(shù)、元數(shù)據(jù)信息，計(jì)算客戶端所請(qǐng)求的目標(biāo)影像塊范圍；5）服務(wù)器從云存儲(chǔ)HDFS集群的分布式影像數(shù)據(jù)集加載目標(biāo)影像數(shù)據(jù)塊集合；6）將目標(biāo)影像數(shù)據(jù)塊的元數(shù)據(jù)信息、影像數(shù)據(jù)塊隊(duì)列等封裝成影像數(shù)據(jù)幀IDF，并傳回客戶端；7）客戶端對(duì)接收到的IDF進(jìn)行解析和處理。本發(fā)明在遙感數(shù)據(jù)云存儲(chǔ)的影像數(shù)據(jù)高效發(fā)布方面，具有十分重要的實(shí)際應(yīng)用價(jià)值。
【專(zhuān)利說(shuō)明】云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)和地理信息科學(xué)領(lǐng)域，尤其涉及一種云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法。
【背景技術(shù)】
[0002]近年來(lái)，隨著對(duì)地觀測(cè)技術(shù)的迅速發(fā)展，高分辨率遙感數(shù)據(jù)量呈幾何級(jí)數(shù)增長(zhǎng)。通過(guò)云存儲(chǔ)來(lái)解決動(dòng)態(tài)增長(zhǎng)的海量遙感數(shù)據(jù)存儲(chǔ)管理難題，是一種極具潛力的解決方案。對(duì)于大型的高分辨率遙感影像數(shù)據(jù)，通過(guò)分層分塊方式進(jìn)行組織，構(gòu)建多分辨率層級(jí)影像金字塔，使用戶可以對(duì)指定分辨率層級(jí)和空間區(qū)域影像進(jìn)行獲取，是實(shí)現(xiàn)影像數(shù)據(jù)高效發(fā)布的重要方法。為此，遙感數(shù)據(jù)云存儲(chǔ)平臺(tái)需要應(yīng)付大規(guī)模影像數(shù)據(jù)塊的并發(fā)請(qǐng)求。
[0003]目前，在影像數(shù)據(jù)塊的傳輸方式上，通常是為每一個(gè)影像數(shù)據(jù)塊建立一個(gè)單獨(dú)連接。對(duì)于云存儲(chǔ)分布式文件系統(tǒng)來(lái)說(shuō)，盡管能夠通過(guò)增加存儲(chǔ)節(jié)點(diǎn)來(lái)應(yīng)付動(dòng)態(tài)增長(zhǎng)的并發(fā)連接，但在傳輸大規(guī)模影像塊時(shí)仍然需要頻繁地建立和關(guān)閉數(shù)據(jù)連接，其傳輸效率仍然十分低下，并且嚴(yán)重浪費(fèi)并發(fā)連接資源。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的目的是克服現(xiàn)有技術(shù)的不足，提供一種云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法。
[0005]云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法包括如下步驟:
[0006]I)客戶端產(chǎn)生需要請(qǐng)求的影像數(shù)據(jù)集UR1、目標(biāo)影像層級(jí)、以及影像中目標(biāo)區(qū)域的外邊界范圍BBox,其中BBox包含left、right、top和bottom四個(gè)參數(shù)；
[0007]2)客戶端建立起與服務(wù)器端HTTP連接，通過(guò)Post方式發(fā)送上一步驟中的各參數(shù)進(jìn)行請(qǐng)求；
[0008]3)服務(wù)器端接收到客戶端請(qǐng)求之后，通過(guò)HDFS APIs訪問(wèn)云存儲(chǔ)HDFS集群上對(duì)應(yīng)URI的分布式影像數(shù)據(jù)集DID-over-HDFS，加載元數(shù)據(jù)信息；
[0009]4)服務(wù)器端根據(jù)客戶端的請(qǐng)求參數(shù)、元數(shù)據(jù)信息中的各層影像范圍和影像數(shù)據(jù)塊行列數(shù)，計(jì)算客戶端所請(qǐng)求的目標(biāo)影像塊行列號(hào)范圍；
[0010]5)服務(wù)器端根據(jù)目標(biāo)影像塊行列號(hào)范圍，通過(guò)HDFS API從云存儲(chǔ)HDFS集群上的分布式影像數(shù)據(jù)集上加載目標(biāo)影像塊；
[0011]6)服務(wù)器端將目標(biāo)影像數(shù)據(jù)塊的元數(shù)據(jù)信息、影像數(shù)據(jù)塊隊(duì)列等封裝成影像數(shù)據(jù)幀IDF，并傳回給客戶端；
[0012]7)客戶端對(duì)接收到的影像數(shù)據(jù)幀IDF進(jìn)行解析和處理，通過(guò)讀取幀中影像數(shù)據(jù)塊的數(shù)量、各影像數(shù)據(jù)塊行列號(hào)信息，對(duì)影像數(shù)據(jù)塊進(jìn)行拼接處理，從而獲取到目標(biāo)區(qū)域影像數(shù)據(jù)。
[0013]步驟3)所述的分布式影像數(shù)據(jù)集DID-over-HDFS是由一個(gè)大型數(shù)據(jù)集文件和索引文件構(gòu)成，在分布式文件系統(tǒng)HDFS上進(jìn)行存儲(chǔ)；將影像數(shù)據(jù)分層分塊后形成的多分辨率層級(jí)影像金字塔，基于〈M，B〉存儲(chǔ)模型，有序地組合成一個(gè)大型數(shù)據(jù)集，并在分布式文件系統(tǒng)HDFS上進(jìn)行分布式存儲(chǔ)，其中M為影像數(shù)據(jù)塊的行列位置碼，B為影像數(shù)據(jù)塊二進(jìn)制流；在數(shù)據(jù)集頭部存儲(chǔ)元數(shù)據(jù)信息，包含影像坐標(biāo)范圍、層數(shù)、行列數(shù)、各層分辨率信息；同時(shí)，使用一個(gè)基于〈M，P〉存儲(chǔ)模型的索引文件對(duì)數(shù)據(jù)集中的各影像數(shù)據(jù)塊進(jìn)行索引，通過(guò)P來(lái)指向數(shù)據(jù)集中影像數(shù)據(jù)塊的存儲(chǔ)位置，從而支持通過(guò)行列位置碼M來(lái)讀取影像數(shù)據(jù)塊。
[0014]步驟6)所述的影像數(shù)據(jù)幀IDF分別由頭部和數(shù)據(jù)主體部分組成，頭部包括幀的版本號(hào)，影像數(shù)據(jù)塊數(shù)量，數(shù)據(jù)主體長(zhǎng)度，影像數(shù)據(jù)元數(shù)據(jù)長(zhǎng)度，元數(shù)據(jù)序列化對(duì)象和元數(shù)據(jù)對(duì)象校驗(yàn)和，數(shù)據(jù)主體部分采用<M，(L, B) >鍵值對(duì)結(jié)構(gòu)存儲(chǔ)，其中M表示影像數(shù)據(jù)塊的行列位置碼，L為影像數(shù)據(jù)塊長(zhǎng)度，B為影像數(shù)據(jù)塊二進(jìn)制流。
[0015]本發(fā)明與現(xiàn)有技術(shù)相比具有的有益效果:
[0016](I)大大提高了遙感數(shù)據(jù)云平臺(tái)的大規(guī)模影像數(shù)據(jù)塊集合傳輸?shù)男?，有效降低了系統(tǒng)處理大規(guī)模并發(fā)短連接的資源耗費(fèi)，為云數(shù)據(jù)中心建設(shè)提供了關(guān)鍵技術(shù)；
[0017](2)使用云存儲(chǔ)方式和影像數(shù)據(jù)分層分塊組織來(lái)實(shí)現(xiàn)動(dòng)態(tài)增長(zhǎng)的遙感數(shù)據(jù)存儲(chǔ)管理，解決海量高分辨率遙感影像數(shù)據(jù)存儲(chǔ)和發(fā)布難題；
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0018]圖1是本發(fā)明的影像數(shù)據(jù)幀結(jié)構(gòu)；
[0019]圖2是本發(fā)明的M-Code結(jié)構(gòu)；
[0020]圖3是本發(fā)明的基于NCM的影像數(shù)據(jù)傳輸流程。
【具體實(shí)施方式】
[0021]云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法包括如下步驟:
[0022]I)客戶端產(chǎn)生需要請(qǐng)求的影像數(shù)據(jù)集UR1、目標(biāo)影像層級(jí)、以及影像中目標(biāo)區(qū)域的外邊界范圍BBox,其中BBox包含left、right、top和bottom四個(gè)參數(shù)；
[0023]2)客戶端建立起與服務(wù)器端HTTP連接，通過(guò)Post方式發(fā)送上一步驟中的各參數(shù)進(jìn)行請(qǐng)求；
[0024]3)服務(wù)器端接收到客戶端請(qǐng)求之后，通過(guò)HDFS APIs訪問(wèn)云存儲(chǔ)HDFS集群上對(duì)應(yīng)URI的分布式影像數(shù)據(jù)集DID-over-HDFS，加載元數(shù)據(jù)信息；
[0025]4)服務(wù)器端根據(jù)客戶端的請(qǐng)求參數(shù)、元數(shù)據(jù)信息中的各層影像范圍和影像數(shù)據(jù)塊行列數(shù)，計(jì)算客戶端所請(qǐng)求的目標(biāo)影像塊行列號(hào)范圍；
[0026]5)服務(wù)器端根據(jù)目標(biāo)影像塊行列號(hào)范圍，通過(guò)HDFS API從云存儲(chǔ)HDFS集群上的分布式影像數(shù)據(jù)集上加載目標(biāo)影像塊；
[0027]6)服務(wù)器端將目標(biāo)影像數(shù)據(jù)塊的元數(shù)據(jù)信息、影像數(shù)據(jù)塊隊(duì)列等封裝成影像數(shù)據(jù)幀IDF，并傳回給客戶端；
[0028]7)客戶端對(duì)接收到的影像數(shù)據(jù)幀IDF進(jìn)行解析和處理，通過(guò)讀取幀中影像數(shù)據(jù)塊的數(shù)量、各影像數(shù)據(jù)塊行列號(hào)信息，對(duì)影像數(shù)據(jù)塊進(jìn)行拼接處理，從而獲取到目標(biāo)區(qū)域影像數(shù)據(jù)。
[0029]步驟3)所述的分布式影像數(shù)據(jù)集DID-over-HDFS是由一個(gè)大型數(shù)據(jù)集文件和索引文件構(gòu)成，在分布式文件系統(tǒng)HDFS上進(jìn)行存儲(chǔ)；將影像數(shù)據(jù)分層分塊后形成的多分辨率層級(jí)影像金字塔，基于〈M，B〉存儲(chǔ)模型，有序地組合成一個(gè)大型數(shù)據(jù)集，并在分布式文件系統(tǒng)HDFS上進(jìn)行分布式存儲(chǔ)，其中M為影像數(shù)據(jù)塊的行列位置碼，B為影像數(shù)據(jù)塊二進(jìn)制流；在數(shù)據(jù)集頭部存儲(chǔ)元數(shù)據(jù)信息，包含影像坐標(biāo)范圍、層數(shù)、行列數(shù)、各層分辨率信息；同時(shí)，使用一個(gè)基于〈M，P〉存儲(chǔ)模型的索引文件對(duì)數(shù)據(jù)集中的各影像數(shù)據(jù)塊進(jìn)行索引，通過(guò)P來(lái)指向數(shù)據(jù)集中影像數(shù)據(jù)塊的存儲(chǔ)位置，從而支持通過(guò)行列位置碼M來(lái)讀取影像數(shù)據(jù)塊。 [0030]步驟6)所述的影像數(shù)據(jù)幀IDF分別由頭部和數(shù)據(jù)主體部分組成，頭部包括幀的版本號(hào)，影像數(shù)據(jù)塊數(shù)量，數(shù)據(jù)主體長(zhǎng)度，影像數(shù)據(jù)元數(shù)據(jù)長(zhǎng)度，元數(shù)據(jù)序列化對(duì)象和元數(shù)據(jù)對(duì)象校驗(yàn)和，數(shù)據(jù)主體部分采用<M，(L, B) >鍵值對(duì)結(jié)構(gòu)存儲(chǔ)，其中M表示影像數(shù)據(jù)塊的行列位置碼，L為影像數(shù)據(jù)塊長(zhǎng)度，B為影像數(shù)據(jù)塊二進(jìn)制流。
[0031]實(shí)施例
[0032]云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用(NCM, Network Connection Multiplexing)的影像數(shù)據(jù)塊高效傳輸方法的實(shí)施內(nèi)容包括影像數(shù)據(jù)幀的定義和影像數(shù)據(jù)的傳輸兩個(gè)部分內(nèi)容。
[0033](I)基于NCM影像傳輸?shù)挠跋駭?shù)據(jù)幀定義
[0034]數(shù)據(jù)幀的概念原先來(lái)自協(xié)議棧，指數(shù)據(jù)鏈路層協(xié)議的數(shù)據(jù)單元。本發(fā)明所述的影像數(shù)據(jù)幀(Image Data Frame, IDF)是一種特定的影像數(shù)據(jù)傳輸格式，對(duì)待傳輸?shù)挠跋駭?shù)據(jù)塊隊(duì)列進(jìn)行封裝，進(jìn)而通過(guò)應(yīng)用層的傳輸協(xié)議(如HTTP或FTP等)對(duì)影像塊進(jìn)行批量傳輸。
[0035]影像數(shù)據(jù)幀的結(jié)構(gòu)如圖1所示，分別由頭部(Header)和數(shù)據(jù)主體(Body)部分組成,頭部包括幀的版本號(hào),影像數(shù)據(jù)塊數(shù)量,數(shù)據(jù)主體長(zhǎng)度,元數(shù)據(jù)長(zhǎng)度,元數(shù)據(jù)序列化對(duì)象和元數(shù)據(jù)對(duì)象校驗(yàn)和；數(shù)據(jù)主體部分則是由影像塊數(shù)據(jù)(Blocks)組成，采用<M，(L，B)>鍵值對(duì)結(jié)構(gòu)來(lái)存儲(chǔ)。其中:
[0036]Ver (Version):一個(gè)64位長(zhǎng)整形數(shù)據(jù)，表示該影像數(shù)據(jù)幀的版本；
[0037]Num (Block Number):一個(gè)64位長(zhǎng)整形數(shù)據(jù),表示影像數(shù)據(jù)塊的數(shù)量；
[0038]Lb (Body Length):一個(gè)64位長(zhǎng)整形數(shù)據(jù)，表示數(shù)據(jù)主體部分的數(shù)據(jù)長(zhǎng)度；
[0039]Lm (Metadata Length):—個(gè)64位長(zhǎng)整形數(shù)據(jù)，表示元數(shù)據(jù)的實(shí)際長(zhǎng)度；
[0040]Cm (Metadata CSC32):一個(gè)64位長(zhǎng)整形數(shù)據(jù)，表示元數(shù)據(jù)的校驗(yàn)和；
[0041]Mi (M-Code):一個(gè)64位長(zhǎng)整形數(shù)據(jù)，表示影像數(shù)據(jù)塊在該區(qū)域的行列位置碼；
[0042]Li (Length):一個(gè)64位長(zhǎng)整形數(shù)據(jù)，表示二進(jìn)制數(shù)據(jù)的實(shí)際長(zhǎng)度；
[0043]Bi (Block):二進(jìn)制數(shù)據(jù)，表示影像數(shù)據(jù)塊的存儲(chǔ)數(shù)據(jù)；
[0044]Ci (CSC32 ): 一個(gè)64位長(zhǎng)整形數(shù)據(jù)，分別表示幀頭、元數(shù)據(jù)和各影像數(shù)據(jù)塊的校驗(yàn)和。
[0045]其中，為保證數(shù)據(jù)傳輸過(guò)程中的正確性，對(duì)序列化后的元數(shù)據(jù)對(duì)象和所有影像數(shù)據(jù)塊分別使用CSC32校驗(yàn)碼?？蛻舳丝梢赃x擇對(duì)影像數(shù)據(jù)塊進(jìn)行快速校驗(yàn)，當(dāng)發(fā)現(xiàn)影像數(shù)據(jù)塊數(shù)據(jù)錯(cuò)誤時(shí)，可對(duì)特定影像數(shù)據(jù)塊再次發(fā)起請(qǐng)求。
[0046]位置碼M-Code的結(jié)構(gòu)如圖2所示，分別采用24位來(lái)存儲(chǔ)行號(hào)和列號(hào)，其中第O~23位存儲(chǔ)列號(hào)，第24~47位存儲(chǔ)行號(hào)，第48~62位為保留位，第64為有效位。這種結(jié)構(gòu)緊湊的存儲(chǔ)方式，有利于數(shù)據(jù)處理中排序和傳輸。通過(guò)行列號(hào)生成M-Code如下:
[0047]M= ((long) reserved) < < 48 | ((long) row) < < 24 | ((long) col) (I)
[0048]反之，客戶端通過(guò)M-Code獲取行列號(hào)如下:
[0049]reserved = M > > 48(2)[0050]row = (Μ > > 24) &0xFFFFFFL(3)
[0051]col = M&OxFFFFFFL (4)
[0052]其中，設(shè)reserved為保留位，row為影像數(shù)據(jù)塊所在的行號(hào)，col為列號(hào)；符號(hào)“〈〈”為向左移位，符號(hào)“》”為向右移位，“ I ”為按位求或，“&”為按位求與。
[0053]元數(shù)據(jù)中包含影像信息、影像塊數(shù)據(jù)的行數(shù)和列數(shù)等，客戶端在接收到元數(shù)據(jù)二進(jìn)制數(shù)之后可反序列化為元數(shù)據(jù)對(duì)象，進(jìn)而讀取元數(shù)據(jù)各字段信息。具體的元數(shù)據(jù)格式可根據(jù)IDF版本號(hào)來(lái)指定。
[0054](2 )基于NCM的影像數(shù)據(jù)塊傳輸流程
[0055]基于NCM的影像數(shù)據(jù)塊傳輸流程如圖3所示，圖中“DID-over-HDFS”是一種建立在云存儲(chǔ)分布式文件系統(tǒng)HDFS之上的分布式影像數(shù)據(jù)集(DID, Distributed Image Dataset)容器，主要用于解決HDFS等不適合直接用于存儲(chǔ)大規(guī)模影像數(shù)據(jù)塊小文件等問(wèn)題。以HTTP傳輸為例，影像數(shù)據(jù)塊的獲取步驟如下:
[0056]I)客戶端產(chǎn)生需要請(qǐng)求的影像數(shù)據(jù)集UR1、目標(biāo)影像層級(jí)、以及影像中目標(biāo)區(qū)域的外邊界范圍BBox (Bounding Box,含left、right、top和bottom四個(gè)參數(shù))等參數(shù)；
[0057]2)客戶端建立起與服務(wù)器端的連接，并通過(guò)Post方式發(fā)送上一步驟中的各參數(shù)進(jìn)行請(qǐng)求；
[0058]3)服務(wù)器端接收到客戶端請(qǐng)求之后，通過(guò)HDFS APIs訪問(wèn)云存儲(chǔ)HDFS集群上對(duì)應(yīng)URI的分布式影像數(shù)據(jù)集，并加載元數(shù)據(jù)信息；
[0059]4)服務(wù)器端根據(jù)客戶端的請(qǐng)求參數(shù)、元數(shù)據(jù)信息，計(jì)算客戶端所請(qǐng)求的目標(biāo)影像塊范圍；
[0060]5)服務(wù)器端根據(jù)目標(biāo)影像塊范圍，通過(guò)HDFS API從云存儲(chǔ)HDFS集群上的分布式影像數(shù)據(jù)集中加載目標(biāo)影像塊；
[0061]6)服務(wù)器端將目標(biāo)影像數(shù)據(jù)塊的元數(shù)據(jù)信息、影像數(shù)據(jù)塊隊(duì)列等封裝成影像數(shù)據(jù)幀IDF，并傳回給客戶端；
[0062]7)客戶端對(duì)接收到的IDF進(jìn)行解析和處理。
[0063]此外，圖3中的Client API用于封裝相關(guān)HTTP操作，為上層應(yīng)用提供透明的影像數(shù)據(jù)訪問(wèn)方式。客戶端程序調(diào)用Client API相關(guān)接口，既可以返回經(jīng)過(guò)拼接完畢的區(qū)域影像數(shù)據(jù)，也可以直接返回IDF數(shù)據(jù)幀二進(jìn)制流，供用戶的進(jìn)一步處理。
[0064]以上整個(gè)影像數(shù)據(jù)訪問(wèn)流程中，僅用一個(gè)HTTP連接來(lái)完成云存儲(chǔ)平臺(tái)上目標(biāo)影像數(shù)據(jù)塊集合的傳輸，大大減少網(wǎng)絡(luò)層TCP連接的頻繁建立和關(guān)閉，提高影像數(shù)據(jù)塊的傳輸效率，降低了對(duì)系統(tǒng)資源的壓力。
【權(quán)利要求】
1.云環(huán)境下基于網(wǎng)絡(luò)連接復(fù)用的影像數(shù)據(jù)塊高效傳輸方法，其特征在于包括如下步驟: 1)客戶端產(chǎn)生需要請(qǐng)求的影像數(shù)據(jù)集UR1、目標(biāo)影像層級(jí)、以及影像中目標(biāo)區(qū)域的外邊界范圍BBox,其中BBox包含left、right、top和bottom四個(gè)參數(shù)； 2)客戶端建立起與服務(wù)器端HTTP連接，通過(guò)Post方式發(fā)送上一步驟中的各參數(shù)進(jìn)行請(qǐng)求； 3)服務(wù)器端接收到客戶端請(qǐng)求之后，通過(guò)HDFSAPIs訪問(wèn)云存儲(chǔ)HDFS集群上對(duì)應(yīng)URI的分布式影像數(shù)據(jù)集DID-over-HDFS，加載元數(shù)據(jù)信息； 4)服務(wù)器端根據(jù)客戶端的請(qǐng)求參數(shù)、元數(shù)據(jù)信息中的各層影像范圍和影像數(shù)據(jù)塊行列數(shù)，計(jì)算客戶端所請(qǐng)求的目標(biāo)影像塊行列號(hào)范圍； 5)服務(wù)器端根據(jù)目標(biāo)影像塊行列號(hào)范圍，通過(guò)HDFSAPI從云存儲(chǔ)HDFS集群上的分布式影像數(shù)據(jù)集上加載目標(biāo)影像塊； 6)服務(wù)器端將目標(biāo)影像數(shù)據(jù)塊的元數(shù)據(jù)信息、影像數(shù)據(jù)塊隊(duì)列等封裝成影像數(shù)據(jù)幀IDF，并傳回給客戶端； 7)客戶端對(duì)接收到的影像數(shù)據(jù)幀IDF進(jìn)行解析和處理，通過(guò)讀取幀中影像數(shù)據(jù)塊的數(shù)量、各影像數(shù)據(jù)塊行列號(hào)信息，對(duì)影像數(shù)據(jù)塊進(jìn)行拼接處理，從而獲取到目標(biāo)區(qū)域影像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征是:步驟3)所述的分布式影像數(shù)據(jù)集DID-over-HDFS是由一個(gè)大型數(shù)據(jù)集文件和索引文件構(gòu)成，在分布式文件系統(tǒng)HDFS上進(jìn)行存儲(chǔ)；將影像數(shù)據(jù)分層分塊后形成的多分辨率層級(jí)影像金字塔，基于〈M，B〉存儲(chǔ)模型，有序地組合成一個(gè)大型數(shù)據(jù)集，并在分布式文件系統(tǒng)HDFS上進(jìn)行分布式存儲(chǔ)，其中M為影像數(shù)據(jù)塊的行列位置碼，B為影像數(shù)據(jù)塊二進(jìn)制流；在數(shù)據(jù)集頭部存儲(chǔ)元數(shù)據(jù)信息，包含影像坐標(biāo)范圍、層數(shù)、行列數(shù)、各層分辨率信息；同時(shí)，使用一個(gè)基于〈M，P〉存儲(chǔ)模型的索引文件對(duì)數(shù)據(jù)集中的各影像數(shù)據(jù)塊進(jìn)行索引，通過(guò)P來(lái)指向數(shù)據(jù)集中影像數(shù)據(jù)塊的存儲(chǔ)位置，從而支持通過(guò)行列位置碼M來(lái)讀取影像數(shù)據(jù)塊。
3.根據(jù)權(quán)利要求1所述的方法，其特征是:步驟6)所述的影像數(shù)據(jù)幀IDF分別由頭部和數(shù)據(jù)主體部分組成,頭部包括幀的版本號(hào),影像數(shù)據(jù)塊數(shù)量,數(shù)據(jù)主體長(zhǎng)度,影像數(shù)據(jù)元數(shù)據(jù)長(zhǎng)度，元數(shù)據(jù)序列化對(duì)象和元數(shù)據(jù)對(duì)象校驗(yàn)和，數(shù)據(jù)主體部分采用<M，(L, B)〉鍵值對(duì)結(jié)構(gòu)存儲(chǔ)，其中M表示影像數(shù)據(jù)塊的行列位置碼，L為影像數(shù)據(jù)塊長(zhǎng)度，B為影像數(shù)據(jù)塊二進(jìn)制流。
【文檔編號(hào)】H04N21/234GK103475905SQ201310442735
【公開(kāi)日】2013年12月25日 申請(qǐng)日期:2013年9月25日 優(yōu)先權(quán)日:2013年9月25日
【發(fā)明者】杜震洪, 張豐, 劉仁義, 池子文 申請(qǐng)人:浙江大學(xué)