專(zhuān)利名稱：視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)據(jù)存儲(chǔ)領(lǐng)域，特別是一種視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法。
二
背景技術(shù)：
分級(jí)存儲(chǔ)管理就是要將用戶擁有的所有存儲(chǔ)資源統(tǒng)一管理，提高每種存儲(chǔ)設(shè)備的利 用率，節(jié)約了成本。在分級(jí)存儲(chǔ)中，存儲(chǔ)的分級(jí)是十分明顯的，僅從設(shè)備上說(shuō)，就有 磁帶機(jī)、磁帶庫(kù)、NAS、中低端盤(pán)陣、高端存儲(chǔ)系統(tǒng)等等。傳統(tǒng)的分級(jí)存儲(chǔ)管理系統(tǒng)中 在線、近線與離線存儲(chǔ)存放的數(shù)據(jù)價(jià)值不同，如何根據(jù)用戶數(shù)據(jù)的不同價(jià)值合理利用 好每種存儲(chǔ)資源是一個(gè)挑戰(zhàn)。分級(jí)存儲(chǔ)管理起源于1978年，首先使用于IBM的大型機(jī) 系統(tǒng)。近10年來(lái)，HSM被廣泛應(yīng)用于開(kāi)放系統(tǒng)的Unix和Windows平臺(tái)。其中最關(guān)鍵的 技術(shù)就是近線存儲(chǔ)和數(shù)據(jù)遷移技術(shù)。傳統(tǒng)的分級(jí)存儲(chǔ)管理是一種將離線存儲(chǔ)與在線存 儲(chǔ)融合的技術(shù)。它將高速、高容量的非在線存儲(chǔ)設(shè)備作為磁盤(pán)設(shè)備的下一級(jí)設(shè)備，然 后將磁盤(pán)中常用的數(shù)據(jù)按指定的策略自動(dòng)遷移到磁帶庫(kù)等二級(jí)大容量存儲(chǔ)設(shè)備上。當(dāng) 需要使用這些數(shù)據(jù)時(shí)，分級(jí)存儲(chǔ)系統(tǒng)會(huì)自動(dòng)將這些數(shù)據(jù)從下一級(jí)存儲(chǔ)設(shè)備調(diào)回到上一 級(jí)磁盤(pán)上。對(duì)于用戶來(lái)說(shuō)，上述數(shù)據(jù)遷移操作完全是透明的，只是在訪問(wèn)磁盤(pán)的速度 上略有怠慢，而在邏輯磁盤(pán)的容量上明顯感覺(jué)大大提高了。通俗地講，數(shù)據(jù)遷移是一 種可以把大量不經(jīng)常訪問(wèn)的數(shù)據(jù)存放在磁帶庫(kù)、光盤(pán)庫(kù)等離線介質(zhì)上，只在磁盤(pán)陣列 上保存少量訪問(wèn)頻率高的數(shù)據(jù)的技術(shù)。當(dāng)那些磁帶等介質(zhì)上數(shù)據(jù)被訪問(wèn)時(shí)，系統(tǒng)自動(dòng) 地把這些數(shù)據(jù)回遷到磁盤(pán)陣列中；同樣，磁盤(pán)陣列中很久未訪問(wèn)的數(shù)據(jù)被自動(dòng)遷移到 磁帶介質(zhì)上，從而大大降低投入和管理成本。HSM應(yīng)用也具備監(jiān)測(cè)磁盤(pán)容量并在關(guān)鍵容 量情況下做出反應(yīng)的能力。這種軟件經(jīng)過(guò)配置后可以為某個(gè)巻設(shè)定一個(gè)最小的剩余空 間，當(dāng)達(dá)到這個(gè)極限后自動(dòng)向用戶發(fā)出警告，提示用戶或自動(dòng)進(jìn)行數(shù)據(jù)遷移。這樣便 可以立即釋放空間，管理員也可以在今后有空閑時(shí)再來(lái)解決空間的問(wèn)題。
視頻點(diǎn)播系統(tǒng)中的存儲(chǔ)管理系統(tǒng)分為三級(jí)，高速的磁盤(pán)陣列作為一級(jí)存儲(chǔ)設(shè)備， DVD光盤(pán)庫(kù)作為二級(jí)近線存儲(chǔ)設(shè)備，而大容量低成本的磁帶庫(kù)則作三級(jí)的近線存儲(chǔ)設(shè) 備。視頻點(diǎn)播系統(tǒng)中三級(jí)的存儲(chǔ)結(jié)構(gòu)是實(shí)現(xiàn)計(jì)算機(jī)系統(tǒng)大容量存儲(chǔ)數(shù)據(jù)的方法之一。 它將大容量的近線存儲(chǔ)設(shè)備作為硬盤(pán)的下一級(jí)設(shè)備，然后將硬盤(pán)中常用的數(shù)據(jù)按指定的策略自動(dòng)遷移到光盤(pán)等二、三級(jí)大容量存儲(chǔ)設(shè)備上。當(dāng)點(diǎn)播系統(tǒng)用戶需求上升時(shí)， 分級(jí)存儲(chǔ)系統(tǒng)會(huì)按特點(diǎn)數(shù)據(jù)遷移管理方法自動(dòng)將這些數(shù)據(jù)從后一級(jí)存儲(chǔ)設(shè)備調(diào)回到上 級(jí)。對(duì)于用戶來(lái)說(shuō)，上述數(shù)據(jù)遷移操作完全是透明的。用戶可能會(huì)感到訪問(wèn)硬盤(pán)的速 度稍慢一點(diǎn)，但會(huì)明顯感覺(jué)其邏輯硬盤(pán)的容量大大提高。相對(duì)傳統(tǒng)的數(shù)據(jù)管理模式， 這種技術(shù)的解決方案所帶來(lái)的優(yōu)勢(shì)是顯而易見(jiàn)的。
三

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)體管理方法，該方法能在根據(jù)視 頻點(diǎn)播用戶的請(qǐng)求頻率，自動(dòng)進(jìn)行三級(jí)存儲(chǔ)設(shè)備間的數(shù)據(jù)遷移，并能夠大大提高視頻 點(diǎn)播的節(jié)目在高速存儲(chǔ)設(shè)備上點(diǎn)播命中率，可以在性能和硬件價(jià)格間作出非常好的平 衡。
實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案為 一種視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法，包括以下步驟
第一步，首先隨機(jī)地將所有點(diǎn)播的視頻數(shù)據(jù)中的20%存在一級(jí)高速磁盤(pán)陣列存儲(chǔ)設(shè) 備上；在另外的80%視頻數(shù)據(jù)中，其3(^的數(shù)據(jù)存儲(chǔ)在二級(jí)的DVD光盤(pán)庫(kù)上，其70% 的數(shù)據(jù)存儲(chǔ)在三級(jí)的磁帶庫(kù)中；
第二步，在視頻點(diǎn)播系統(tǒng)初始化時(shí)間段內(nèi)，對(duì)視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)遷移管理；
第三步，系統(tǒng)初始化時(shí)間段后對(duì)視頻數(shù)據(jù)進(jìn)行最小加權(quán)周期頻率數(shù)據(jù)遷移管理。
本發(fā)明視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法的第二步中，進(jìn)行數(shù)據(jù)遷移管理是使用 LFRU數(shù)據(jù)遷移管理方法，其步驟如下
假設(shè)系統(tǒng)的節(jié)目庫(kù)有W個(gè)節(jié)目，排序后節(jié)目訪問(wèn)概率符合Zipf法則，第k個(gè)節(jié)目 為A,則節(jié)目庫(kù)可表示為<formula>complex formula see original document page 5</formula>
對(duì)節(jié)目庫(kù)中每個(gè)節(jié)目使用如下公式計(jì)算其RFN值<formula>complex formula see original document page 5</formula>
其中D是為了解決在過(guò)渡期數(shù)據(jù)訪問(wèn)不穩(wěn)定的問(wèn)題，定義一個(gè)過(guò)渡時(shí)間區(qū)間；R 表示時(shí)間信息；F表示頻率信息；N表示節(jié)目所在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)；t為系統(tǒng)的邏輯時(shí)
鐘，表示當(dāng)前時(shí)間值，k表示節(jié)目號(hào)；
節(jié)目上一次訪問(wèn)距離現(xiàn)在的時(shí)間值<formula>complex formula see original document page 6</formula>
tk為每一個(gè)節(jié)目都擁有的計(jì)時(shí)器，表示對(duì)節(jié)目pk最近一次被訪問(wèn)的時(shí)間值，其初始值 為t。，是系統(tǒng)作為參考起點(diǎn)的時(shí)間值；Ck表示對(duì)節(jié)目pk訪問(wèn)的次數(shù)；Nk表示節(jié)目所
在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)；tik表示節(jié)目pk第i次訪問(wèn)的時(shí)間值，上式用于計(jì)算節(jié)目訪問(wèn)的頻 率信息，<formula>complex formula see original document page 6</formula>表示節(jié)目過(guò)去所有訪問(wèn)距離現(xiàn)在的時(shí)間的平均值，RF將時(shí)間信息和頻率信息都?xì)w一化為一個(gè)時(shí)間"距離"值，用它們的加權(quán)和作為替換的一個(gè)比較因子。
本發(fā)明視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法的第三中，進(jìn)行最小加權(quán)周期頻率數(shù)據(jù)遷移管理的步驟為
加權(quán)周期點(diǎn)播頻率用符號(hào)WDF表示，^D《就是第i個(gè)節(jié)目的加權(quán)周期點(diǎn)播頻率， 節(jié)目的加權(quán)點(diǎn)播頻率用以下公式計(jì)算
其中，i表示存儲(chǔ)設(shè)備上所有節(jié)目中的第i個(gè)節(jié)目；j表示時(shí)間段，j從l到7分 別表示倒數(shù)第一天到倒數(shù)第七天；ADFij表示第i個(gè)節(jié)目在倒數(shù)第j天的平均點(diǎn)播頻率; Wj表示倒數(shù)第j天的加權(quán)值，Wj從W1到W1依次遞減；WDFi表示第i個(gè)節(jié)目的加權(quán)周 期點(diǎn)播頻率。
本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)為采用視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法， 針對(duì)視頻點(diǎn)播用戶請(qǐng)求特點(diǎn)自動(dòng)進(jìn)行三級(jí)存儲(chǔ)設(shè)備間的數(shù)據(jù)遷移，大大提高視頻點(diǎn)播 的節(jié)目在高速存儲(chǔ)設(shè)備上點(diǎn)播命中率，可以提高系統(tǒng)提供服務(wù)的相應(yīng)速度，在性能和 硬件價(jià)格間作出最好的平衡。在針對(duì)視頻點(diǎn)播系統(tǒng)的用戶請(qǐng)求的分析基礎(chǔ)上，分為兩 個(gè)階段進(jìn)行分級(jí)存儲(chǔ)的數(shù)據(jù)遷移管理。在視頻點(diǎn)播系統(tǒng)初始化時(shí)間段內(nèi)，系統(tǒng)的運(yùn)行 不夠穩(wěn)定，這段時(shí)間過(guò)后系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，使用改進(jìn)的LFRU方法，此后使用最小加 權(quán)周期頻率替換方法進(jìn)行數(shù)據(jù)遷移。本發(fā)明的數(shù)據(jù)遷移方法把大量不經(jīng)常訪問(wèn)的數(shù)據(jù)
存放在價(jià)格便宜，速度較慢的磁帶庫(kù)、光盤(pán)庫(kù)等近線介質(zhì)上，只在磁盤(pán)陣列上保存少 量訪問(wèn)頻率高的數(shù)據(jù)的技術(shù)。使得點(diǎn)播命中率和硬件價(jià)格得到最好的平衡。
四


圖l是對(duì)二級(jí)存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖。
圖2是本發(fā)明的三級(jí)存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖。
圖3是本發(fā)明的改進(jìn)的LFRU數(shù)據(jù)遷移方法與LFU、 LRU的比較圖。
圖4是本發(fā)明的最小加權(quán)周期頻率數(shù)據(jù)遷移方法與LFU的比較圖。
五
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。
結(jié)合圖1至圖4，本發(fā)明視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法，包括以下步驟
第一步，首先隨機(jī)地將所有點(diǎn)播的視頻數(shù)據(jù)中的20%存在一級(jí)高速磁盤(pán)陣列存儲(chǔ)設(shè)
備上；在另外的80%視頻數(shù)據(jù)中，其3(^的數(shù)據(jù)存儲(chǔ)在二級(jí)的DVD光盤(pán)庫(kù)上，其70%
的數(shù)據(jù)存儲(chǔ)在三級(jí)的磁帶庫(kù)中；
第二步，在視頻點(diǎn)播系統(tǒng)初始化時(shí)間段內(nèi)，對(duì)視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)遷移管理，即進(jìn)
行數(shù)據(jù)遷移管理是使用改進(jìn)LFRU數(shù)據(jù)遷移管理方法，其步驟如下
假設(shè)系統(tǒng)的節(jié)目庫(kù)有^V個(gè)節(jié)目，排序后節(jié)目訪問(wèn)概率符合Zipf法則，第k個(gè)節(jié)目 為A，則節(jié)目庫(kù)可表示為
<formula>complex formula see original document page 7</formula>
對(duì)節(jié)目庫(kù)中每個(gè)節(jié)目使用如下公式計(jì)算其RFN值<formula>complex formula see original document page 7</formula>
其中D是為了解決在過(guò)渡期數(shù)據(jù)訪問(wèn)不穩(wěn)定的問(wèn)題，定義一個(gè)過(guò)渡時(shí)間區(qū)間；R 表示時(shí)間信息；F表示頻率信息；N表示節(jié)目所在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)；t為系統(tǒng)的邏輯時(shí) 鐘，表示當(dāng)前時(shí)間值，k表示節(jié)目號(hào)；
節(jié)目上一次訪問(wèn)距離現(xiàn)在的時(shí)間值 <formula>complex formula see original document page 8</formula>
tk為每一個(gè)節(jié)目都擁有的計(jì)時(shí)器，表示對(duì)節(jié)目A最近一次被訪問(wèn)的時(shí)間值，其初 始值為t。，是系統(tǒng)作為參考起點(diǎn)的時(shí)間值；Ck表示對(duì)節(jié)目A訪問(wèn)的次數(shù)；Nk表示節(jié) 目所在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)；tik表示節(jié)目A第i次訪問(wèn)的時(shí)間值，上式用于計(jì)算節(jié)目訪問(wèn)的頻率信息Fk=t-t0/Ck表示節(jié)目過(guò)去所有訪問(wèn)距離現(xiàn)在的時(shí)間的平均值，RF將時(shí)間信息和頻率信息都?xì)w一化為一個(gè)時(shí)間"距離"值，用它們的加權(quán)和作為替換的一個(gè)比較 因子。當(dāng)用戶請(qǐng)求的節(jié)目不在一級(jí)存儲(chǔ)設(shè)備上時(shí)，分級(jí)存儲(chǔ)系統(tǒng)會(huì)訪問(wèn)下一級(jí)存儲(chǔ)設(shè) 備為用戶提供視頻服務(wù)，如果此時(shí)點(diǎn)播次數(shù)達(dá)到系統(tǒng)規(guī)定的閥值，則使用方法計(jì)算所 有節(jié)目的RFN值，如果視頻服務(wù)器沒(méi)有足夠剩余空間，則將除請(qǐng)求節(jié)目外RFN值最大 的節(jié)目遷移到高一級(jí)存儲(chǔ)設(shè)備。當(dāng)然此時(shí)的選擇不止一種，可以比較請(qǐng)求節(jié)目ft的RFN 值和最大的RFN值，只有當(dāng)&的RFN值比最大的RFN值小時(shí)才進(jìn)行替換，否則就不將下一級(jí)存儲(chǔ)設(shè)備上的節(jié)目遷移到本級(jí)存儲(chǔ)設(shè)備；為了增加新訪問(wèn)節(jié)目在一、二級(jí)存儲(chǔ) 器的機(jī)會(huì)，也可以給請(qǐng)求的節(jié)目的RFN值加上一個(gè)閥值再進(jìn)行比較。
第三步，系統(tǒng)初始化時(shí)間段后對(duì)視頻數(shù)據(jù)進(jìn)行最小加權(quán)周期頻率數(shù)據(jù)遷移管理， 即進(jìn)行最小加權(quán)周期頻率數(shù)據(jù)遷移管理的步驟為
加權(quán)周期點(diǎn)播頻率用符號(hào)WDF表示，就是第i個(gè)節(jié)目的加權(quán)周期點(diǎn)播頻率， 節(jié)目的加權(quán)點(diǎn)播頻率用以下公式計(jì)算<formula>complex formula see original document page 8</formula>
其中，i表示存儲(chǔ)設(shè)備上所有節(jié)目中的第i個(gè)節(jié)目；j表示時(shí)間段，j從l到7分別表示倒數(shù)第一天到倒數(shù)第七天；ADFij表示第i個(gè)節(jié)目在倒數(shù)第j天的平均點(diǎn)播頻率；R表示倒數(shù)第j天的加權(quán)值，Wj從W1到W7依次遞減；WDFi表示第i個(gè)節(jié)目的加權(quán)周 期點(diǎn)播頻率。
下面對(duì)本發(fā)明改進(jìn)的LFRU數(shù)據(jù)遷移方法和最小加權(quán)周期頻率替換方法作進(jìn)一步說(shuō)明。
(1)改進(jìn)的LFRU數(shù)據(jù)遷移方法
假設(shè)系統(tǒng)的節(jié)目庫(kù)有N個(gè)節(jié)目，排序后節(jié)目訪問(wèn)概率符合Zipf法則，第k個(gè)節(jié)目 為A，則節(jié)目庫(kù)可表示為
<formula>complex formula see original document page 9</formula>
為了解決在過(guò)渡期數(shù)據(jù)訪問(wèn)不穩(wěn)定的問(wèn)題，定義一個(gè)過(guò)渡時(shí)間區(qū)D。在D時(shí)間區(qū)間內(nèi)，先使用類(lèi)似LRU方法中的訪問(wèn)時(shí)間信息，提高方法對(duì)訪問(wèn)模式變化的適應(yīng)性。 當(dāng)系統(tǒng)運(yùn)行趨向于穩(wěn)定后，方法使用類(lèi)似于LFU方法中使用的頻率信息。在改進(jìn)的LFRU方法中，RFN值決定節(jié)目是遷移否數(shù)據(jù)。RFN值是數(shù)據(jù)訪問(wèn)的時(shí)間信息和頻率信息的加權(quán)和與節(jié)目所在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)的乘積。
RFN = RF * N
RF=Fd(t)×R+[1-Fd(t)]*F
其中，R表示時(shí)間信息，F(xiàn)表示頻率信息，N表示節(jié)目所在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)。在D時(shí)間區(qū)間內(nèi)，時(shí)間信息和頻率信息是互補(bǔ)的，所以w和F的權(quán)重分別是與時(shí)間相關(guān)的函數(shù)Fd(t)和l-FD(t)。
為了適應(yīng)從震蕩到穩(wěn)定的應(yīng)用情況，F(xiàn)d(t)函數(shù)應(yīng)該具有以下性質(zhì)(1)在D的初期Fd(t)取值要大于1-Fd(t)，在D的后期Fd(t)取值要小于1-Fd(t)。(2)在時(shí)間段D內(nèi)Fd(t)應(yīng)該由1平和地趨向于O，而l-Fd(t)則由O平和地趨向于1，所謂平和就是曲線 的斜率不能有大的變化。這樣RF值就從W趨向于F，從具有時(shí)間適應(yīng)性的訪問(wèn)時(shí)間信 息轉(zhuǎn)向具有全局優(yōu)化特點(diǎn)的頻率信息。
在遷移管理方法中取Fd(t)=(D-t)/D,RF=(D-t)/D*R+t/D*F。很明顯，當(dāng)t=0是Fd(t)=1.RF=R，方法等價(jià)于LRU方法；當(dāng)t=D時(shí)Fd(t)=0，RF=F，方法等價(jià)于LFU方法。在D時(shí)間區(qū)間內(nèi)，t從0到D，方法也從LRU過(guò)度到LFU方法，滿足上述的要求。
對(duì)節(jié)目庫(kù)中每個(gè)節(jié)目使用如下公式計(jì)算其RFN值。
RFNk=(((D-t)/D)*Rk+t/D*Fk)*Nk
其中，t為系統(tǒng)的邏輯時(shí)鐘，表示當(dāng)前時(shí)間值；tk為每一個(gè)節(jié)目都擁有的計(jì)時(shí)器,
表示對(duì)節(jié)目Pk最近一次被訪問(wèn)的時(shí)間值，其初始值為t。，是系統(tǒng)作為參考起點(diǎn)的時(shí)間
值；ck表示對(duì)節(jié)目A訪問(wèn)的次數(shù)；nk表示節(jié)目所在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)；tik表示節(jié)目pk第
i次訪問(wèn)的時(shí)間值。
<formula>complex formula see original document page 10</formula>
上式用于計(jì)算節(jié)目訪問(wèn)的時(shí)間信息，表示節(jié)目上一次訪問(wèn)距離現(xiàn)在的時(shí)間值。<formula>complex formula see original document page 10</formula>
上式用于計(jì)算節(jié)目訪問(wèn)的頻率信息，<formula>complex formula see original document page 10</formula>表示節(jié)目過(guò)去所有訪問(wèn)距離現(xiàn)在的 時(shí)間的平均值。RF將時(shí)間信息和頻率信息都?xì)w"^化為一個(gè)時(shí)間"距離"值，用它們的 加權(quán)和作為替換的一個(gè)比較因子。
本發(fā)明將上述策略用于過(guò)渡時(shí)間段"內(nèi)動(dòng)態(tài)地進(jìn)行數(shù)據(jù)遷移管理。當(dāng)用戶請(qǐng)求的 節(jié)目不在一級(jí)存儲(chǔ)設(shè)備上，分級(jí)存儲(chǔ)系統(tǒng)會(huì)訪問(wèn)下一級(jí)存儲(chǔ)設(shè)備為用戶提供視頻服務(wù)， 如果此時(shí)點(diǎn)播次數(shù)達(dá)到系統(tǒng)規(guī)定的閥值，則使用方法計(jì)算所有節(jié)目的RFN值，如果視 頻服務(wù)器沒(méi)有足夠剩余空間，則將除請(qǐng)求節(jié)目外RFN值最大的節(jié)目遷移到高一級(jí)存儲(chǔ) 設(shè)備。當(dāng)然此時(shí)的選擇不止一種，可以比較請(qǐng)求節(jié)目A的RFN值和最大的RFN值，只 有當(dāng)&的RFN值比最大的RFN值小時(shí)才進(jìn)行替換，否則就不將下一級(jí)存儲(chǔ)設(shè)備上的節(jié) 目遷移到本級(jí)存儲(chǔ)設(shè)備；為了增加新訪問(wèn)節(jié)目在一、二級(jí)存儲(chǔ)器的機(jī)會(huì)，也可以給請(qǐng) 求的節(jié)目的RFN值加上一個(gè)閥值再進(jìn)行比較。
雖然LFRU方法和LRFU方法都是對(duì)LFU和LRU方法的折衷，但它們還是有很大的 差別。如前面所述LRFU方法是對(duì)訪問(wèn)時(shí)間乘上一個(gè)和頻率有關(guān)的權(quán)重，它是基于訪問(wèn) 時(shí)間的替換方法。而LFRU方法則是給訪問(wèn)頻率乘上一個(gè)和訪問(wèn)時(shí)間有關(guān)的加權(quán)值，是 基于訪問(wèn)頻率的。另外，LRFU方法中的權(quán)重函數(shù)和時(shí)間無(wú)關(guān)，參數(shù)選擇后方法也固定 下來(lái)，沒(méi)有適應(yīng)性。LFRU方法中的權(quán)重函數(shù)則隨時(shí)間發(fā)生變化，可以從^ V方法過(guò)度 到AH/方法。它的折衷性在設(shè)定的時(shí)間段內(nèi)起作用并且是變化的，這和Z舒W方法完全 不同。改進(jìn)的LFRU方法更是繼承了原LFRU方法的優(yōu)點(diǎn)，并同時(shí)考慮了節(jié)目所在視頻 服務(wù)節(jié)點(diǎn)的個(gè)數(shù)這個(gè)因素，具有很好的效果。
(2)最小加權(quán)周期頻率替換方法
技術(shù)領(lǐng)域：
本發(fā)明進(jìn)行分級(jí)存儲(chǔ)管理所提出的最小加權(quán)周期頻率數(shù)據(jù)遷移方法是以節(jié)目的點(diǎn) 播頻率為依據(jù)。本方法引入了一個(gè)加權(quán)周期點(diǎn)播頻率的概念。
視頻點(diǎn)播系統(tǒng)服務(wù)對(duì)象是人，而人的生活是有時(shí)間規(guī)律的，人們每天白天工作學(xué) 習(xí)，晚上才有空進(jìn)行休息和娛樂(lè)，到了深夜我們還得進(jìn)行睡眠為第二天的工作學(xué)習(xí)養(yǎng) 精蓄銳。每個(gè)禮拜的周末又有兩天的休息時(shí)間，這段時(shí)間我們可以盡情的娛樂(lè)。根據(jù) 人的生活規(guī)律，可以想到視頻點(diǎn)播請(qǐng)求的時(shí)間規(guī)律性，就是每天的點(diǎn)播請(qǐng)求大多在晚 上至深夜這段時(shí)間，而每周的周末兩天又是點(diǎn)播請(qǐng)求比較集中的時(shí)段，也就是點(diǎn)播請(qǐng) 求基本上是以星期循環(huán)的，每個(gè)星期的請(qǐng)求分布具有時(shí)間上的相似性。
根據(jù)前面的分析，考慮用當(dāng)前時(shí)間前一周的點(diǎn)播頻率來(lái)預(yù)測(cè)節(jié)目的未來(lái)點(diǎn)播頻率， 同時(shí)把一周按自然天分成七天，節(jié)目的預(yù)測(cè)點(diǎn)播頻率就是節(jié)目在這七天的平均點(diǎn)播頻 率的加權(quán)和，我們稱之為加權(quán)周期點(diǎn)播頻率。根據(jù)數(shù)據(jù)訪問(wèn)的局部性原理，最近訪問(wèn) 的數(shù)據(jù)更可能隨后被訪問(wèn)，因此這七天的點(diǎn)播頻率信息對(duì)預(yù)測(cè)值的影響應(yīng)該隨時(shí)間的 遠(yuǎn)近而有所區(qū)別，這種區(qū)別就用加權(quán)的方式實(shí)現(xiàn)。節(jié)目的平均點(diǎn)播頻率就是每個(gè)節(jié)目 拷貝在某一天的平均點(diǎn)播次數(shù)，假定某天節(jié)目J'共有歷個(gè)點(diǎn)播請(qǐng)求，則該節(jié)目該天的 平均點(diǎn)播頻率為歷。
加權(quán)周期點(diǎn)播頻率用符號(hào)r/F表示，WDf;就是第i個(gè)節(jié)目的加權(quán)周期點(diǎn)播頻率。 節(jié)目的加權(quán)點(diǎn)播頻率用以下公式計(jì)算-
其中，/表示存儲(chǔ)設(shè)備上所有節(jié)目中的第i個(gè)節(jié)目；J'表示時(shí)間段，J'從l到7分 別表示倒數(shù)第一天到倒數(shù)第七天；^D^表示第i個(gè)節(jié)目在倒數(shù)第J天的平均點(diǎn)播頻率; ^表示倒數(shù)第J'天的加權(quán)值，K從『,到『7依次遞減；表示第/個(gè)節(jié)目的加權(quán)周 期點(diǎn)播頻率。
以上計(jì)算節(jié)目加權(quán)周期點(diǎn)播頻率的方法可以不作修改用于分級(jí)存儲(chǔ)管理的周期數(shù) 據(jù)遷移。加權(quán)周期點(diǎn)播頻率的計(jì)算方法通過(guò)對(duì)前七天的平均點(diǎn)播頻率進(jìn)行一定的加權(quán) 統(tǒng)計(jì)，計(jì)算得到的值對(duì)節(jié)目的未來(lái)點(diǎn)播請(qǐng)求有很好的預(yù)測(cè)性。
加權(quán)周期點(diǎn)播頻率只是分級(jí)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)遷移的依據(jù)之一，當(dāng)然也是最重要 的依據(jù)，基本上是優(yōu)先將加權(quán)周期點(diǎn)播頻率最小的節(jié)目遷移到下一級(jí)存儲(chǔ)設(shè)備，但是視頻點(diǎn)播系統(tǒng)是一個(gè)復(fù)雜的系統(tǒng)，還有以下情況需要考慮。
在視頻點(diǎn)播系統(tǒng)應(yīng)用中，肯定會(huì)出現(xiàn)這樣的情況:一部大片剛剛上映，可想而知這 樣的大片肯定點(diǎn)播率非常高。我們?yōu)槊總€(gè)節(jié)目設(shè)定一個(gè)值^，其值表示是否可遷移到 下一級(jí)存儲(chǔ)設(shè)備。l表示不能遷移，O則可以遷移到下一級(jí)存儲(chǔ)設(shè)備。
在這段時(shí)間內(nèi)，系統(tǒng)的運(yùn)行不夠穩(wěn)定，這段時(shí)間過(guò)后系統(tǒng)達(dá)到穩(wěn)定狀態(tài)。在設(shè)定 的時(shí)間段內(nèi)使用改進(jìn)的LFRL)方法，此后使用最小加權(quán)周期頻率替換方法進(jìn)行數(shù)據(jù)遷移。 數(shù)據(jù)遷移是一種可以把大量不經(jīng)常訪問(wèn)的數(shù)據(jù)存放在磁帶庫(kù)、光盤(pán)庫(kù)等近線介質(zhì)上， 只在磁盤(pán)陣列上保存少量訪問(wèn)頻率高的數(shù)據(jù)的技術(shù)。并且這種數(shù)據(jù)遷移對(duì)用戶來(lái)說(shuō)是 透明的。
為了驗(yàn)證本發(fā)明改進(jìn)的LFRU方法和最小加權(quán)周期頻率替換方法的在分級(jí)存儲(chǔ)系統(tǒng) 中的性能，我們?cè)谝曨l點(diǎn)播系統(tǒng)中實(shí)現(xiàn)了 LFU、 LRU方法和LFRU方法，與改進(jìn)的LFRU 方法和最小加權(quán)周期頻率替換方法程序一起進(jìn)行半虛擬實(shí)驗(yàn)。
系統(tǒng)準(zhǔn)備了50個(gè)節(jié)目存儲(chǔ)在磁盤(pán)陣列中，將其中十個(gè)節(jié)目看成熱門(mén)節(jié)目，二十個(gè) 看成冷門(mén)節(jié)目，剩余的二十個(gè)看成不冷不熱的節(jié)目。隨機(jī)拷貝一些節(jié)目到三級(jí)存儲(chǔ)系 統(tǒng)中。實(shí)驗(yàn)中采用動(dòng)態(tài)數(shù)據(jù)遷移策略，然后統(tǒng)計(jì)動(dòng)態(tài)數(shù)據(jù)遷移策略中使用的各種遷移 三方的命中率，即用戶請(qǐng)求在高速磁盤(pán)陣列中的比例。
首先比較改進(jìn)的LFRU方法與LFU、 LRU方法的性能。用一個(gè)240個(gè)數(shù)組成的循環(huán) 隊(duì)列模擬用戶請(qǐng)求，每個(gè)數(shù)表示請(qǐng)求的節(jié)目ID，隊(duì)列的請(qǐng)求在頻率上服從zipf法則。 每隔15秒從隊(duì)列取一個(gè)數(shù)作為用戶請(qǐng)求，隊(duì)列用完后，數(shù)組的數(shù)整體向前平移模擬訪 問(wèn)概率分布的變化以及節(jié)目訪問(wèn)概率的變化。對(duì)這樣一個(gè)請(qǐng)求模型，分別使用改進(jìn)的 LFRU方法與LFU、 LRU、 LFRU方法作為視頻點(diǎn)播系統(tǒng)三級(jí)的分級(jí)存儲(chǔ)數(shù)據(jù)遷移管理進(jìn)行 實(shí)驗(yàn)，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)得到四種方法的命中率分布如圖3所示。圖中右邊從上到 下四條線分別是改進(jìn)的LFRU方法、LFRU方法、LFU方法、LRU方法的請(qǐng)求命中率折線， 四條線顯示改進(jìn)的LFRU方法命中率比LFRU要好一些。在方法的初期，改進(jìn)的LFRU方 法優(yōu)于LRU方法，在方法的末期，改進(jìn)的LFRU方法優(yōu)于LFU方法，這和理論分析是一 致的。
要測(cè)最小加權(quán)周期頻率數(shù)據(jù)遷移的性能，主要考察訪問(wèn)模式變化時(shí)PLFU方法對(duì)數(shù)
據(jù)陳舊的克服效果，并與LFU方法進(jìn)行比較。用兩個(gè)240個(gè)數(shù)組成的循環(huán)隊(duì)列模擬用 戶請(qǐng)求，且兩個(gè)隊(duì)列節(jié)目的概率有著巨大的差別，每個(gè)數(shù)表示請(qǐng)求的節(jié)目ID，每個(gè)隊(duì)列的請(qǐng)求在頻率上服從zipf法則。每隔15秒從隊(duì)列取一個(gè)數(shù)作為用戶請(qǐng)求，隊(duì)列用完后，隨機(jī)從隊(duì)列任一位置開(kāi)始，如此重復(fù)12次，然后換另一個(gè)隊(duì)列，也做12遍。 通過(guò)對(duì)使用這兩種數(shù)據(jù)遷移方法的實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)，它們的命中率分布如圖4，上下兩條線分別是最小加權(quán)周期頻率替換方法、LFU方法的請(qǐng)求命中率折線，從圖中可以看到最小加權(quán)周期頻率替換方法能較好地適應(yīng)節(jié)目訪問(wèn)模式的變化，克服數(shù)據(jù)的陳舊問(wèn)題。LFU方法對(duì)節(jié)目訪問(wèn)概率的變化比較敏感，命中率在訪問(wèn)模式變化時(shí)波動(dòng)比較大， 要隔較長(zhǎng)時(shí)間才能緩和。
權(quán)利要求
1、一種視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法，包括以下步驟第一步，首先隨機(jī)地將所有點(diǎn)播的視頻數(shù)據(jù)中的20％存在一級(jí)高速磁盤(pán)陣列存儲(chǔ)設(shè)備上；在另外的80％視頻數(shù)據(jù)中，其30％的數(shù)據(jù)存儲(chǔ)在二級(jí)的DVD光盤(pán)庫(kù)上，其70％的數(shù)據(jù)存儲(chǔ)在三級(jí)的磁帶庫(kù)中；第二步，在視頻點(diǎn)播系統(tǒng)初始化時(shí)間段內(nèi)，對(duì)視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)遷移管理；第三步，系統(tǒng)初始化時(shí)間段后對(duì)視頻數(shù)據(jù)進(jìn)行最小加權(quán)周期頻率數(shù)據(jù)遷移管理。
2、 根據(jù)權(quán)利要求1所述的視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法，其特征在于在第二步中，進(jìn)行數(shù)據(jù)遷移管理是使用LFRU數(shù)據(jù)遷移管理方法，其步驟如下假設(shè)系統(tǒng)的節(jié)目庫(kù)有/V個(gè)節(jié)目，排序后節(jié)目訪問(wèn)概率符合Zipf法則，第k個(gè)節(jié)目 為A，則節(jié)目庫(kù)可表示為^A的訪問(wèn)概率<formula>formula see original document page 2</formula> 對(duì)節(jié)目庫(kù)中每個(gè)節(jié)目使用如下公式計(jì)算其RFN值其中D是為了解決在過(guò)渡期數(shù)據(jù)訪問(wèn)不穩(wěn)定的問(wèn)題，定義一個(gè)過(guò)渡時(shí)間區(qū)間；R 表示時(shí)間信息；F表示頻率信息；N表示節(jié)目所在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)；t為系統(tǒng)的邏輯時(shí) 鐘，表示當(dāng)前時(shí)間值，k表示節(jié)目號(hào)；節(jié)目上一次訪問(wèn)距離現(xiàn)在的時(shí)間值及<formula>formula see original document page 2</formula>々為每一個(gè)節(jié)目都擁有的計(jì)時(shí)器，表示對(duì)節(jié)目A最近一次被訪問(wèn)的時(shí)間值，其初始值 為t。，是系統(tǒng)作為參考起點(diǎn)的時(shí)間值；^表示對(duì)節(jié)目A訪問(wèn)的次數(shù)；A^表示節(jié)目所 在服務(wù)節(jié)點(diǎn)的個(gè)數(shù)；^表示節(jié)目A第i次訪問(wèn)的時(shí)間值，上式用于計(jì)算節(jié)目訪問(wèn)的頻率信息，^-ti表示節(jié)目過(guò)去所有訪問(wèn)距離現(xiàn)在的時(shí)間的平均值，RF將時(shí)間信息和 頻率信息都?xì)w一化為一個(gè)時(shí)間"距離"值，用它們的加權(quán)和作為替換的一個(gè)比較因子。
3、根據(jù)權(quán)利要求1所述的視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法，其特征在于在第 三中，進(jìn)行最小加權(quán)周期頻率數(shù)據(jù)遷移管理的步驟為加權(quán)周期點(diǎn)播頻率用符號(hào)WDF表示，就是第i個(gè)節(jié)目的加權(quán)周期點(diǎn)播頻率， 節(jié)目的加權(quán)點(diǎn)播頻率用以下公式計(jì)算<formula>formula see original document page 3</formula>其中，i表示存儲(chǔ)設(shè)備上所有節(jié)目中的第i個(gè)節(jié)目；j表示時(shí)間段，j從l到7分別表示倒數(shù)第一天到倒數(shù)第七天；^"《表示第i個(gè)節(jié)目在倒數(shù)第j天的平均點(diǎn)播頻率;K表示倒數(shù)第j天的加權(quán)值，^從『'到^依次遞減；『"^表示第i個(gè)節(jié)目的加權(quán)周 期點(diǎn)播頻率。
全文摘要
本發(fā)明公開(kāi)了一種視頻點(diǎn)播系統(tǒng)的分級(jí)存儲(chǔ)管理方法。其首先隨機(jī)地將所有點(diǎn)播的視頻數(shù)據(jù)中的20％存在一級(jí)高速磁盤(pán)陣列存儲(chǔ)設(shè)備上；在另外的80％視頻數(shù)據(jù)中，其30％的數(shù)據(jù)存儲(chǔ)在二級(jí)的DVD光盤(pán)庫(kù)上，其70％的數(shù)據(jù)存儲(chǔ)在三級(jí)的磁帶庫(kù)中；在視頻點(diǎn)播系統(tǒng)初始化時(shí)間段內(nèi)，對(duì)視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)遷移管理；系統(tǒng)初始化時(shí)間段后對(duì)視頻數(shù)據(jù)進(jìn)行最小加權(quán)周期頻率數(shù)據(jù)遷移管理。本發(fā)明大大提高視頻點(diǎn)播的節(jié)目在高速存儲(chǔ)設(shè)備上點(diǎn)播命中率，可以提高系統(tǒng)提供服務(wù)的相應(yīng)速度，在性能和硬件價(jià)格間作出最好的平衡。
文檔編號(hào)G06F12/12GK101201801SQ200610098300
公開(kāi)日2008年6月18日 申請(qǐng)日期2006年12月11日 優(yōu)先權(quán)日2006年12月11日
發(fā)明者劉鳳玉, 琨 張, 建 徐, 李千目, 宜 衷, 趙學(xué)龍, 維 魏 申請(qǐng)人:南京理工大學(xué)