基于虛擬管理分布式文件系統(tǒng)的視頻存儲(chǔ)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻存儲(chǔ)技術(shù)領(lǐng)域，尤其是一種基于虛擬管理分布式文件系統(tǒng)的視頻存儲(chǔ)方法及系統(tǒng)。
【背景技術(shù)】
[0002]近年來，隨著計(jì)算機(jī)網(wǎng)絡(luò)和多媒體技術(shù)的高速發(fā)展，各種多媒體信息蜂擁而至。視頻作為一種常見的多媒體形式，是聲音、圖像和文字等信息的載體，成為廣大網(wǎng)絡(luò)用戶喜愛的交流媒介，與人類的日常生活息息相關(guān)。由于人們對(duì)于視頻的質(zhì)量要求也越來越高，高清化成為了一種趨勢(shì)，這使得視頻的文件大小呈海量級(jí)增長(zhǎng)，而且視頻還存在多人同時(shí)并發(fā)訪問的特點(diǎn)，因此如何分發(fā)、存儲(chǔ)、管理和共享這些海量視頻資源已成為急需解決的問題。
[0003]研究發(fā)現(xiàn)，目前可采用傳統(tǒng)的分布式數(shù)據(jù)庫(kù)架構(gòu)作為視頻管理平臺(tái)對(duì)視頻進(jìn)行存儲(chǔ)和管理。但其效率并不高，而且其存儲(chǔ)能力受制于所依賴的數(shù)據(jù)庫(kù)管理系統(tǒng)的能力，對(duì)數(shù)據(jù)資源的管理與發(fā)布支持也比較弱。
[0004]隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展和云計(jì)算技術(shù)的興起，云存儲(chǔ)逐漸成為現(xiàn)代存儲(chǔ)服務(wù)的提供方式，同時(shí)互聯(lián)網(wǎng)規(guī)模爆炸式的增長(zhǎng)，對(duì)網(wǎng)絡(luò)服務(wù)器數(shù)據(jù)處理能力要求越來越高，月艮務(wù)器集群技術(shù)憑借其良好的伸縮性和低廉的成本，逐漸成為網(wǎng)絡(luò)服務(wù)器處理海量數(shù)據(jù)的一種有效解決方案。云存儲(chǔ)的出現(xiàn)使得這上述困擾有了很好的解決辦法，目前云存儲(chǔ)主要采用分布式文件系統(tǒng)，分布式文件系統(tǒng)的類型多種多樣，包括網(wǎng)絡(luò)文件系統(tǒng)(Network FileSystem，簡(jiǎn)稱NFS)、谷歌文件系統(tǒng)(Google File System，簡(jiǎn)稱GFS)、并行網(wǎng)絡(luò)文件系統(tǒng)(Parallel Network File System，簡(jiǎn)稱 PNFS)、開源散布式文件系統(tǒng)(Free DistributedFile System，簡(jiǎn)稱FastDFS)、Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，簡(jiǎn)稱HDFS)等。不同的分布式文件系統(tǒng)有不同的特點(diǎn)，例如，GFS、HDFS通常處理大文件，若利用其處理小文件反而會(huì)耗費(fèi)更多的內(nèi)存；當(dāng)然，OpenStack的Swift文件系統(tǒng)可以用來存儲(chǔ)任意大小的文件，而且支持多用戶的并發(fā)寫入，但是沒有結(jié)構(gòu)目錄，不支持嵌套，也不支持文件的重寫，只能新建。
[0005]實(shí)際上，視頻的類型多種多樣，有大有小，若采用單一的某一分布式文件系統(tǒng)，不僅會(huì)制約存儲(chǔ)效率，存儲(chǔ)空間也不能得到有效的利用。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問題是如何提高存儲(chǔ)效率和使存儲(chǔ)空間得到有效的利用。
[0007]為解決上述技術(shù)問題，本發(fā)明提出了一種基于虛擬管理分布式文件系統(tǒng)的視頻存儲(chǔ)方法。該視頻存儲(chǔ)方法包括:
[0008]獲取待存儲(chǔ)視頻的類型和大小，并生成所述待存儲(chǔ)視頻的存儲(chǔ)請(qǐng)求；
[0009]根據(jù)所述待存儲(chǔ)視頻的類型和大小從至少兩種類型的分布式文件系統(tǒng)中選擇相應(yīng)的分布式文件系統(tǒng)，并將所述存儲(chǔ)請(qǐng)求發(fā)送至所述相應(yīng)的分布式文件系統(tǒng)；
[0010]所述相應(yīng)的分布式文件系統(tǒng)根據(jù)所述存儲(chǔ)請(qǐng)求對(duì)所述待存儲(chǔ)視頻進(jìn)行存儲(chǔ)操作。
[0011]進(jìn)一步地，該視頻存儲(chǔ)方法還包括:所述相應(yīng)的分布式文件系統(tǒng)實(shí)時(shí)反饋所述待存儲(chǔ)視頻的存儲(chǔ)情況。
[0012]進(jìn)一步地，各分布式文件系統(tǒng)均包括多個(gè)數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)有各所述數(shù)據(jù)節(jié)點(diǎn)的位置信息的主節(jié)點(diǎn)；
[0013]所述相應(yīng)的分布式文件系統(tǒng)對(duì)所述待存儲(chǔ)視頻進(jìn)行存儲(chǔ)操作，具體包括:
[0014]將待存儲(chǔ)視頻進(jìn)行分塊，得到若干數(shù)據(jù)塊；
[0015]根據(jù)主節(jié)點(diǎn)上存儲(chǔ)的位置信息將各個(gè)數(shù)據(jù)塊存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。
[0016]更進(jìn)一步地，該視頻存儲(chǔ)方法還包括:監(jiān)測(cè)各個(gè)分布式文件系統(tǒng)中的各個(gè)數(shù)據(jù)節(jié)點(diǎn)的工作狀態(tài)。
[0017]進(jìn)一步地，該視頻存儲(chǔ)方法還包括:監(jiān)測(cè)各個(gè)分布式文件系統(tǒng)的資源分布情況。
[0018]為解決上述技術(shù)問題，本發(fā)明還提供了了一種基于虛擬管理分布式文件系統(tǒng)的視頻存儲(chǔ)系統(tǒng)。該視頻存儲(chǔ)系統(tǒng)包括:視頻存儲(chǔ)管理平臺(tái)、虛擬管理系統(tǒng)及至少兩種類型的分布式文件系統(tǒng)；
[0019]其中，所述視頻存儲(chǔ)管理平臺(tái)，用于獲取待存儲(chǔ)視頻的類型和大小，生成待存儲(chǔ)視頻的存儲(chǔ)請(qǐng)求，并將待存儲(chǔ)視頻的類型、大小和存儲(chǔ)請(qǐng)求發(fā)送至所述虛擬管理系統(tǒng)；
[0020]所述虛擬管理系統(tǒng)包括資源調(diào)度單元，所述資源調(diào)度單元用于接收所待存儲(chǔ)視頻的類型、大小和存儲(chǔ)請(qǐng)求，根據(jù)所述類型和大小從所述至少兩種類型的分布式文件系統(tǒng)中選擇相應(yīng)的分布式文件系統(tǒng)，并將所述存儲(chǔ)請(qǐng)求發(fā)送至所述相應(yīng)的分布式文件系統(tǒng)；
[0021]所述相應(yīng)的分布式文件系統(tǒng)，用于接收所述存儲(chǔ)請(qǐng)求，并根據(jù)所述存儲(chǔ)請(qǐng)求對(duì)待存儲(chǔ)視頻進(jìn)行存儲(chǔ)操作。
[0022]進(jìn)一步地，所述相應(yīng)的分布式文件系統(tǒng)還用于實(shí)時(shí)將待存儲(chǔ)視頻的存儲(chǔ)情況通過所述虛擬管理系統(tǒng)中的資源調(diào)度單元反饋至所述視頻存儲(chǔ)管理平臺(tái)。
[0023]進(jìn)一步地，各分布式文件系統(tǒng)均包括多個(gè)數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)有各所述數(shù)據(jù)節(jié)點(diǎn)的位置信息的主節(jié)點(diǎn)；
[0024]所述相應(yīng)的分布式文件系統(tǒng)具體用于在所述存儲(chǔ)請(qǐng)求的觸發(fā)下執(zhí)行:
[0025]將待存儲(chǔ)視頻進(jìn)行分塊，得到若干數(shù)據(jù)塊；
[0026]根據(jù)主節(jié)點(diǎn)上存儲(chǔ)的位置信息將各個(gè)數(shù)據(jù)塊存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。
[0027]更進(jìn)一步地，所述主節(jié)點(diǎn)還用于獲取其所屬分布式文件系統(tǒng)中各個(gè)數(shù)據(jù)節(jié)點(diǎn)的工作狀態(tài)信息，并將所述工作狀態(tài)信息發(fā)送至所述虛擬管理系統(tǒng)；
[0028]所述虛擬管理系統(tǒng)還包括資源管理單元；所述資源管理單元用于接收各個(gè)分布式文件系統(tǒng)的主節(jié)點(diǎn)發(fā)送的所述工作狀態(tài)信息。
[0029]進(jìn)一步地，所述資源管理單元還用于監(jiān)測(cè)各個(gè)分布式文件系統(tǒng)的資源分布情況。
[0030]本發(fā)明提供的視頻存儲(chǔ)方法及系統(tǒng)，對(duì)待存儲(chǔ)視頻進(jìn)行存儲(chǔ)的分布式文件系統(tǒng)是根據(jù)該待存儲(chǔ)視頻的類型和大小選擇的，所以，本發(fā)明相對(duì)于現(xiàn)有技術(shù)中所有視頻只能利用某一固定的分布式文件系統(tǒng)來說，提高了視頻的存儲(chǔ)效率，同時(shí)也使分布式文件系統(tǒng)的存儲(chǔ)空間得到了有效的利用。
【附圖說明】
[0031]通過參考附圖會(huì)更加清楚的理解本發(fā)明的特征和優(yōu)點(diǎn)，附圖是示意性的而不應(yīng)理解為對(duì)本發(fā)明進(jìn)行任何限制，在附圖中:
[0032]圖1示出了本發(fā)明基于虛擬管理分布式文件系統(tǒng)的視頻存儲(chǔ)方法的流程示意圖；
[0033]圖2示出了本發(fā)明基于虛擬管理分布式文件系統(tǒng)的視頻存儲(chǔ)系統(tǒng)的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0034]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。
[0035]本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。
[0036]本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非被特定定義，否則不會(huì)用理想化或過于正式的含義來解釋。
[0037]實(shí)施例1
[0038]本發(fā)明提供一種基于虛擬管理分布式文件系統(tǒng)的視頻存儲(chǔ)方法，如圖1所示，該方法包括:
[0039]步驟S1、獲取待存儲(chǔ)視頻的類型和大小，并生成所述待存儲(chǔ)視頻的存儲(chǔ)請(qǐng)求；
[0040]步驟S2、根據(jù)待存儲(chǔ)視頻的類型和大小從至少兩種類型的分布式文件系統(tǒng)中選擇相應(yīng)的分布式文件系統(tǒng)，并將所述存儲(chǔ)請(qǐng)求發(fā)送至所述相應(yīng)的分布式文件系統(tǒng)；
[0041]步驟S3、所述相應(yīng)的分布式文件系統(tǒng)根據(jù)所述存儲(chǔ)請(qǐng)求對(duì)待存儲(chǔ)視頻進(jìn)行存儲(chǔ)操作。
[0042]本發(fā)明對(duì)待存儲(chǔ)視頻進(jìn)行存儲(chǔ)的分布式文件系統(tǒng)是根據(jù)該待存儲(chǔ)視頻的類型和大小選擇的，不同類型或大小的視頻可以選擇不同的分布式文件系統(tǒng)進(jìn)行存儲(chǔ)。例如，當(dāng)待存儲(chǔ)視頻較大時(shí)，可以選擇擅長(zhǎng)處理大文件的GFS、HDFS。所以，本發(fā)明相對(duì)于現(xiàn)有技術(shù)中所有視頻只能利用某一固定的分布式文件系統(tǒng)來說，提高了視頻的存儲(chǔ)效率，同時(shí)也使分布式文件系統(tǒng)的存儲(chǔ)空間得到了有效的利用。
[0043]另外，為了使存儲(chǔ)請(qǐng)求能夠被相應(yīng)的分布式文件系統(tǒng)識(shí)別，還可以將存儲(chǔ)消息進(jìn)行一定的處理和封裝后再發(fā)送至相應(yīng)的分布式文件系統(tǒng)。
[0044]對(duì)上述技術(shù)方案的第一種改進(jìn)，該視頻存儲(chǔ)方法還包括:所述相應(yīng)的分布式文件系統(tǒng)實(shí)時(shí)反饋待存儲(chǔ)視頻的存儲(chǔ)情況。
[0045]該存儲(chǔ)情況可以包括存儲(chǔ)進(jìn)度、存儲(chǔ)結(jié)果(例如存儲(chǔ)成功或存儲(chǔ)失敗)等。通過實(shí)時(shí)反饋存儲(chǔ)情況，使用戶能夠?qū)崟r(shí)了解目前的存儲(chǔ)情況。
[0046]對(duì)上述技術(shù)方案的第二種改進(jìn)，各分布式文件系統(tǒng)均包括多個(gè)數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)有各所述數(shù)據(jù)節(jié)點(diǎn)的位置信息的主節(jié)點(diǎn)；
[0047]所述相應(yīng)的分布式文件系統(tǒng)對(duì)所述待存儲(chǔ)視頻進(jìn)行存儲(chǔ)操作，具體包括: