一種面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)的數(shù)據(jù)副本存儲(chǔ)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)的數(shù)據(jù)副本存儲(chǔ)方法，屬于云計(jì)算和數(shù) 據(jù)副本放置技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的不斷發(fā)展，一方面網(wǎng)絡(luò)上的內(nèi)容由原來的靜態(tài)的圖片和文字向多媒 體業(yè)務(wù)發(fā)展；另一方面用戶持續(xù)增多，內(nèi)容請(qǐng)求頻率也隨之增加，許多服務(wù)普遍存在網(wǎng)絡(luò)帶 寬瓶頸和響應(yīng)時(shí)間較長的問題。在上述問題下，內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN)從技術(shù)上全面解決這 種問題，在國內(nèi)外越來越廣泛的應(yīng)用。然而現(xiàn)有的CDN架構(gòu)也有其突出的問題，面對(duì)業(yè)務(wù)量 急劇增加，突出的問題是IT基礎(chǔ)設(shè)施和存儲(chǔ)空間不足的問題。同時(shí)當(dāng)前⑶N模型還不能達(dá) 到業(yè)務(wù)量不斷變化的需求，不能滿足系統(tǒng)良好擴(kuò)展性的要求。
[0003] 云計(jì)算技術(shù)已經(jīng)取得了迅速的發(fā)展，可實(shí)現(xiàn)運(yùn)算資源，即網(wǎng)絡(luò)、存儲(chǔ)、計(jì)算、平臺(tái)的 全網(wǎng)統(tǒng)一調(diào)度和共享。云計(jì)算是一個(gè)龐大的資源池，可以提供按需服務(wù)和彈性調(diào)配。因此 云計(jì)算成為解決CDN現(xiàn)存問題的有效技術(shù)方案之一，云計(jì)算的核心技術(shù)之一服務(wù)器虛擬化 這一技術(shù)已經(jīng)運(yùn)用到CDN之中，在CDN系統(tǒng)采用虛擬化技術(shù)后，可以提升資源配置能力和優(yōu) 化部署方法，可以根據(jù)用戶需求快速調(diào)整服務(wù)器的處理能力和設(shè)備數(shù)量。云計(jì)算的另一重 要技術(shù)一一云存儲(chǔ)也開始被用到CDN中。云存儲(chǔ)可以降低成本存儲(chǔ)海量數(shù)據(jù)，并且提供優(yōu) 化于普通存儲(chǔ)方案的安全性。利用云計(jì)算虛擬化，在CDN中心節(jié)點(diǎn)和邊緣節(jié)點(diǎn)引入云存儲(chǔ)， 利用中心域和邊緣域內(nèi)所有服務(wù)器資源的設(shè)備能力實(shí)現(xiàn)文件的動(dòng)態(tài)分布存儲(chǔ)，并能根據(jù)用 戶需求和文件訪問的熱點(diǎn)程度自動(dòng)進(jìn)行存儲(chǔ)調(diào)整。在云存儲(chǔ)過程中，一個(gè)文件可以被切割 為多個(gè)片段，并且在不同存儲(chǔ)節(jié)點(diǎn)中保存多個(gè)副本。
[0004] 云計(jì)算CDN網(wǎng)絡(luò)中使用數(shù)據(jù)副本技術(shù)，即創(chuàng)建同一數(shù)據(jù)的多個(gè)副本并將其分布在 系統(tǒng)中的若干節(jié)點(diǎn)方便用戶訪問。然而，由于云計(jì)算環(huán)境中存儲(chǔ)的文件很大（MB級(jí)或GB 級(jí)），受網(wǎng)絡(luò)帶寬和本地機(jī)器的存儲(chǔ)能力的制約，不可能在所有的節(jié)點(diǎn)服務(wù)器上復(fù)制數(shù)據(jù)。 因此，需要尋找一些合適的候選位置，使得在這些位置存放數(shù)據(jù)副本后，各個(gè)節(jié)點(diǎn)服務(wù)器的 用戶訪問這些數(shù)據(jù)的代價(jià)綜合最小。決定副本放置的因素包括：網(wǎng)絡(luò)帶寬、傳輸延遲、數(shù)據(jù) 文件請(qǐng)求頻率和分布、資源價(jià)格等因素，需要綜合考慮。
[0005] 不同的應(yīng)用場(chǎng)景下，副本放置的問題面臨的要求是不同的。云計(jì)算CDN網(wǎng)絡(luò)是用 來把文件提供者提供的數(shù)據(jù)文件按一定的策略推送到離用戶較近的地方。此時(shí)的副本放置 問題可定義為在給定一組用于存儲(chǔ)內(nèi)容的邊緣服務(wù)器，根據(jù)用戶的訪問歷史信息，使用一 定的策略來確定將內(nèi)容副本放置于哪些邊緣服務(wù)器上。
[0006] 按照部署架構(gòu)分，云計(jì)算⑶N網(wǎng)絡(luò)可以分為三層，即中心層、區(qū)域?qū)雍瓦吘墝?。?duì) 應(yīng)的節(jié)點(diǎn)可以分為中心節(jié)點(diǎn)、區(qū)域節(jié)點(diǎn)和邊緣節(jié)點(diǎn)。中心節(jié)點(diǎn)和區(qū)域節(jié)點(diǎn)稱為骨干節(jié)點(diǎn)，他 們把內(nèi)容從內(nèi)容源分發(fā)到邊緣節(jié)點(diǎn)，邊緣服務(wù)器節(jié)點(diǎn)的主要任務(wù)是向用戶提供服務(wù)，用戶 提交訪問請(qǐng)求后直接從邊緣服務(wù)器節(jié)點(diǎn)得到響應(yīng)。從資源擁有的角度來分，可以把節(jié)點(diǎn)分 為源服務(wù)器節(jié)點(diǎn)和邊緣服務(wù)器節(jié)點(diǎn)。源服務(wù)器節(jié)點(diǎn)存儲(chǔ)了全網(wǎng)絡(luò)的數(shù)據(jù)文件；邊緣服務(wù)器 節(jié)點(diǎn)管理數(shù)據(jù)副本和轉(zhuǎn)發(fā)數(shù)據(jù)。邊緣服務(wù)器的管理功能記錄用戶的請(qǐng)求信息；轉(zhuǎn)發(fā)功能是 收到用戶的內(nèi)容請(qǐng)求信息，如果本地沒有被請(qǐng)求的數(shù)據(jù)內(nèi)容，邊緣服務(wù)器節(jié)點(diǎn)會(huì)向源服務(wù) 器節(jié)點(diǎn)發(fā)出數(shù)據(jù)請(qǐng)求的消息，待邊緣服務(wù)器節(jié)點(diǎn)收到反饋信息后再轉(zhuǎn)發(fā)給請(qǐng)求數(shù)據(jù)內(nèi)容的 用戶。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明所要解決的技術(shù)問題是提供一種面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)的數(shù)據(jù)副本存 儲(chǔ)方法，綜合考慮了選取副本節(jié)點(diǎn)過程中所產(chǎn)生的代價(jià)，以及副本節(jié)點(diǎn)向用戶服務(wù)時(shí)產(chǎn)生 的代價(jià)，選取總代價(jià)最小的副本節(jié)點(diǎn)進(jìn)行副本放置，能夠向用戶提供高效的服務(wù)。
[0008] 本發(fā)明為了解決上述技術(shù)問題采用以下技術(shù)方案：本發(fā)明設(shè)計(jì)了一種面向云計(jì)算 內(nèi)容分發(fā)網(wǎng)絡(luò)的數(shù)據(jù)副本存儲(chǔ)方法，其中，面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)包括一個(gè)源服務(wù)器節(jié) 點(diǎn)和至少兩個(gè)邊緣服務(wù)器節(jié)點(diǎn)，源服務(wù)器節(jié)點(diǎn)中存儲(chǔ)全網(wǎng)數(shù)據(jù)文件和數(shù)據(jù)文件副本列表， 數(shù)據(jù)文件副本列表中存儲(chǔ)預(yù)設(shè)待存儲(chǔ)數(shù)據(jù)文件副本和其對(duì)應(yīng)的數(shù)據(jù)大?。凰鰯?shù)據(jù)副本存 儲(chǔ)方法，針對(duì)數(shù)據(jù)文件副本列表中的各個(gè)待存儲(chǔ)數(shù)據(jù)文件副本，依次分別按如下步驟進(jìn)行 數(shù)據(jù)副本存儲(chǔ)；
[0009] 步驟001.針對(duì)面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)，按預(yù)設(shè)段數(shù)進(jìn)行平均劃分，獲得各段網(wǎng) 絡(luò)的長度r，進(jìn)入步驟002 ;
[0010] 步驟002.選取以源服務(wù)器節(jié)點(diǎn)為中心，r為半徑范圍內(nèi)所有的邊緣服務(wù)器節(jié)點(diǎn)， 構(gòu)成待部署邊緣服務(wù)器節(jié)點(diǎn)集合，進(jìn)入步驟003 ;
[0011] 步驟003.獲得數(shù)據(jù)文件副本列表中的一個(gè)待存儲(chǔ)數(shù)據(jù)文件副本a，并針對(duì)待部署 邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣服務(wù)器節(jié)點(diǎn)，分別判斷邊緣服務(wù)器節(jié)點(diǎn)中是否存在該待 存儲(chǔ)數(shù)據(jù)文件副本a，是則將該邊緣服務(wù)器節(jié)點(diǎn)由待部署邊緣服務(wù)器節(jié)點(diǎn)集合中刪除，更新 待部署邊緣服務(wù)器節(jié)點(diǎn)集合，否則不操作；針對(duì)待部署邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣 服務(wù)器節(jié)點(diǎn)分別按上述操作執(zhí)行完成后，進(jìn)入步驟004 ;
[0012] 步驟004.獲得待部署邊緣服務(wù)器節(jié)點(diǎn)集合中各個(gè)邊緣服務(wù)器節(jié)點(diǎn)的剩余存儲(chǔ)空 間，同時(shí)，根據(jù)數(shù)據(jù)文件副本列表，獲得該待存儲(chǔ)數(shù)據(jù)文件副本a的數(shù)據(jù)大小Size a，并將該 待存儲(chǔ)數(shù)據(jù)文件副本a的數(shù)據(jù)大小Sizea，分別與待部署邊緣服務(wù)器節(jié)點(diǎn)集合中各個(gè)邊緣服 務(wù)器節(jié)點(diǎn)的剩余存儲(chǔ)空間進(jìn)行比較，刪除待部署邊緣服務(wù)器節(jié)點(diǎn)集合中，剩余存儲(chǔ)空間小 于該待存儲(chǔ)數(shù)據(jù)文件副本a的數(shù)據(jù)大小Size a的邊緣服務(wù)器節(jié)點(diǎn)，更新待部署邊緣服務(wù)器 節(jié)點(diǎn)集合，并進(jìn)入步驟005 ;
[0013] 步驟005.獲得待部署邊緣服務(wù)器節(jié)點(diǎn)集合中各個(gè)邊緣服務(wù)器節(jié)點(diǎn)分別與源服務(wù) 器節(jié)點(diǎn)之間的權(quán)值，分別作為該各個(gè)邊緣服務(wù)器節(jié)點(diǎn)與源服務(wù)器節(jié)點(diǎn)之間的距離di Sl，其 中，i = U.....I}，I為待部署邊緣服務(wù)器節(jié)點(diǎn)集合中邊緣服務(wù)器節(jié)點(diǎn)的數(shù)量，進(jìn)入步驟 006 ；
[0014] 步驟006.分別獲得待部署邊緣服務(wù)器節(jié)點(diǎn)集合中各個(gè)邊緣服務(wù)器節(jié)點(diǎn)所接收用 戶請(qǐng)求的次數(shù)，以及整個(gè)面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)所接收用戶請(qǐng)求的次數(shù)；并且分別將邊 緣服務(wù)器節(jié)點(diǎn)接收用戶請(qǐng)求次數(shù)占整個(gè)面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)接收用戶請(qǐng)求次數(shù)的比 例，作為待部署邊緣服務(wù)器節(jié)點(diǎn)集合中對(duì)應(yīng)各個(gè)邊緣服務(wù)器節(jié)點(diǎn)的負(fù)載I 1，進(jìn)入步驟007 ;
[0015] 步驟007.針對(duì)待部署邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣服務(wù)器節(jié)點(diǎn)，根據(jù)如下 公式，分別獲得該待存儲(chǔ)數(shù)據(jù)文件副本a從源服務(wù)器節(jié)點(diǎn)，分別傳輸至各個(gè)邊緣服務(wù)器節(jié) 點(diǎn)的傳輸代價(jià)Tr l rast，進(jìn)入步驟008 ;
[0016] Tr l cost= size ^dis1
[0017] 步驟008.針對(duì)待部署邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣服務(wù)器節(jié)點(diǎn)，根據(jù)如下 公式，分別獲得該待存儲(chǔ)數(shù)據(jù)文件副本a在各個(gè)邊緣服務(wù)器節(jié)點(diǎn)上的放置代價(jià)P l rast，進(jìn)入 步驟009 ;
[0018] P l cost= P a*siZea^b1
[0019] 其中，Pa為該待存儲(chǔ)數(shù)據(jù)文件副本a在放置時(shí)所需網(wǎng)絡(luò)帶寬占對(duì)應(yīng)邊緣服務(wù)器節(jié) 點(diǎn)網(wǎng)絡(luò)帶寬的比例，P aG (0, I) ;b i為待部署邊緣服務(wù)器節(jié)點(diǎn)集合中第i個(gè)邊緣服務(wù)器節(jié) 點(diǎn)的網(wǎng)絡(luò)帶寬；
[0020] 步驟009.針對(duì)待部署邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣服務(wù)器節(jié)點(diǎn)，根據(jù)如下 公式，分別獲得該待存儲(chǔ)數(shù)據(jù)文件副本a在各個(gè)邊緣服務(wù)器節(jié)點(diǎn)上的存儲(chǔ)代價(jià)St l rast，進(jìn) 入步驟010 ;
[0021] St i cost= (I- a ) ^request a+ a ^li
[0022] 其中，a為預(yù)設(shè)平衡因子；request為該待存儲(chǔ)數(shù)據(jù)文件副本a被訪問的次數(shù)；
[0023] 步驟010.針對(duì)待部署邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣服務(wù)器節(jié)點(diǎn)，根據(jù)如下 公式，分別對(duì)其傳輸代價(jià)Tr l rast、放置代價(jià)P l rast、存儲(chǔ)代價(jià)St l rast進(jìn)行求和，分別獲得待 部署邊緣服務(wù)器節(jié)點(diǎn)集合中各個(gè)邊緣服務(wù)器節(jié)點(diǎn)的傳輸代價(jià)T l rast，進(jìn)入步驟011 ;
[0024] T-cost= Tr J cosJP l cosJSt l cost
[0025] 步驟011.針對(duì)待部署邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣服務(wù)器節(jié)點(diǎn)，根據(jù)如下 公式，在待部署邊緣服務(wù)器節(jié)點(diǎn)集合中，分別獲得各個(gè)邊緣服務(wù)器節(jié)點(diǎn)作為服務(wù)中心向其 余所有邊緣服務(wù)器節(jié)點(diǎn)提供服務(wù)時(shí)產(chǎn)生的代價(jià)S l rast，并進(jìn)入步驟012 ;
[0026] Slcost=CfG1
[0027] 其中，（^為將待部署邊緣服務(wù)器節(jié)點(diǎn)集合中第i個(gè)邊緣服務(wù)器節(jié)點(diǎn)建立為服務(wù)中 心所產(chǎn)生的代價(jià)，G 1為在面向云計(jì)算內(nèi)容分發(fā)網(wǎng)絡(luò)中，除第i個(gè)邊緣服務(wù)器節(jié)點(diǎn)以外的其余 各個(gè)邊緣服務(wù)器節(jié)點(diǎn)由作為服務(wù)中心的第i個(gè)邊緣服務(wù)器節(jié)點(diǎn)處獲得服務(wù)的代價(jià)；
[0028] 步驟012.針對(duì)待部署邊緣服務(wù)器節(jié)點(diǎn)集合中的各個(gè)邊緣服務(wù)器節(jié)點(diǎn)，根據(jù)如下 公式：
[0029] Total-lcost= T-lcost+S-lcost
[0030