專利名稱：分布式文件系統(tǒng)的存儲(chǔ)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域,具體而言,涉及ー種分布式文件系統(tǒng)(Distributed FileSystem，簡(jiǎn)稱為DFS)的存儲(chǔ)方法及裝置。
背景技術(shù)：
分布式存儲(chǔ)通過(guò)將數(shù)據(jù)分布保存在多個(gè)服務(wù)器的多個(gè)磁盤上來(lái)實(shí)現(xiàn)數(shù)據(jù)的海量存儲(chǔ)和快速部署。隨著存儲(chǔ)設(shè)備的類型更新，新的存儲(chǔ)設(shè)備會(huì)不斷地加入到磁盤集群中，分布式存儲(chǔ)必須支持對(duì)這些存儲(chǔ)設(shè)備的即插即用。不同的存儲(chǔ)設(shè)備的容量和性能各不相同，如何讓它們的空間和性能得到最大程度的利用是需要著重關(guān)注的問(wèn)題。原有的磁盤讀寫策略主要關(guān)注磁盤與文件訪問(wèn)服務(wù)器之間 的空間均衡，或采用隨機(jī)輪選策略?，F(xiàn)有的其他負(fù)載均衡技術(shù)主要關(guān)注文件寫入時(shí)根據(jù)文件訪問(wèn)服務(wù)器的負(fù)荷信息決定寫文件時(shí)文件訪問(wèn)服務(wù)器的選取。但是，現(xiàn)有的負(fù)載均衡策略并沒(méi)有解決文件讀出時(shí)熱點(diǎn)文件的高頻次訪問(wèn)帶來(lái)的磁盤負(fù)載的問(wèn)題，系統(tǒng)存在以下不足不同的存儲(chǔ)設(shè)備能夠承受的每秒進(jìn)行讀寫操作的次數(shù)(Input/Output Operation Per Second,簡(jiǎn)稱為IOPS)不同。最初，存儲(chǔ)文件分片是根據(jù)磁盤空間均衡策略或隨機(jī)策略選取的，同樣的負(fù)荷在高性能存儲(chǔ)設(shè)備上能穩(wěn)定運(yùn)行，在低性能存儲(chǔ)設(shè)備上卻可能導(dǎo)致讀延遲現(xiàn)象。在高低性能存儲(chǔ)設(shè)備共存的條件下，低性能的存儲(chǔ)設(shè)備將成為分布式存儲(chǔ)設(shè)備的短板，在進(jìn)行文件讀取操作時(shí)表現(xiàn)尤為明顯。正是由于低性能存儲(chǔ)設(shè)備的短板效應(yīng)，不同存儲(chǔ)設(shè)備間的性能差異將使磁盤集群的整體性能降低，導(dǎo)致高性能存儲(chǔ)設(shè)備的性能不能得到最大化的利用。

發(fā)明內(nèi)容
本發(fā)明提供了ー種分布式文件系統(tǒng)的存儲(chǔ)方法及裝置，以至少解決相關(guān)技術(shù)中，文件讀出時(shí)熱點(diǎn)文件的高頻次訪問(wèn)帶來(lái)的磁盤負(fù)載的問(wèn)題。根據(jù)本發(fā)明的ー個(gè)方面，提供了ー種分布式文件系統(tǒng)的存儲(chǔ)方法，包括確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)；根據(jù)訪問(wèn)次數(shù)將文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中。優(yōu)選地，根據(jù)訪問(wèn)次數(shù)將文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中包括確定訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值；在所有存儲(chǔ)設(shè)備中確定比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備，并且存儲(chǔ)設(shè)備存在空閑塊；將文件遷移到存儲(chǔ)設(shè)備中。優(yōu)選地，在確定訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值之后，上述方法還包括將文件的訪問(wèn)熱度屬性設(shè)置為熱門。優(yōu)選地，在確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)之前，上述方法還包括分別確定分布式文件系統(tǒng)內(nèi)的各個(gè)存儲(chǔ)設(shè)備的IOPS極限值與當(dāng)前IOPS值；分別計(jì)算各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值；分別比較比值與預(yù)先設(shè)定的臨界值；如果比值大于臨界值，確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。優(yōu)選地，在確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移之后，上述方法還包括接收到對(duì)文件的讀請(qǐng)求，將文件的訪問(wèn)次數(shù)加I。優(yōu)選地，在確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)之前，上述方法還包括文件訪問(wèn)服務(wù)器計(jì)算其對(duì)應(yīng)的存儲(chǔ)設(shè)備的IOPS值；文件訪問(wèn)服務(wù)器按照預(yù)定周期向元數(shù)據(jù)服務(wù)器上報(bào)IOPS值。優(yōu)選地，在根據(jù)訪問(wèn)次數(shù)將文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中之后，上述方法還包括按照預(yù)定周期檢查各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值是否不大于臨界值；如果不大于臨界值，停止對(duì)當(dāng)前存儲(chǔ)設(shè)備中的文件進(jìn)行遷移；如果大于臨界值，繼續(xù)對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。
根據(jù)本發(fā)明的另ー個(gè)方面，提供了ー種分布式文件系統(tǒng)的存儲(chǔ)裝置，應(yīng)用于元數(shù)據(jù)服務(wù)器，包括第一確定模塊，用于確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)；遷移模塊，用于根據(jù)訪問(wèn)次數(shù)將文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中。優(yōu)選地，遷移模塊包括第一確定單元，用于確定訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值；第ニ確定單元，用于在所有存儲(chǔ)設(shè)備中確定比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備，并且存儲(chǔ)設(shè)備存在空閑塊；遷移單元，用于將文件遷移到存儲(chǔ)設(shè)備中。優(yōu)選地，上述裝置還包括第二確定模塊，用于分別確定各個(gè)存儲(chǔ)設(shè)備的IOPS極限值與當(dāng)前IOPS值；計(jì)算模塊，用于分別計(jì)算各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值；比較模塊，用于分別比較比值與預(yù)先設(shè)定的臨界值；第三確定模塊，用于在比值大于臨界值的情況下，確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。通過(guò)本發(fā)明，對(duì)分布式文件系統(tǒng)中的文件按文件訪問(wèn)熱度進(jìn)行分級(jí)存儲(chǔ)，S卩，將預(yù)定時(shí)間內(nèi)訪問(wèn)頻次較高的文件遷移到性能高的存儲(chǔ)設(shè)備中，通過(guò)差異化存儲(chǔ)做到文件分片存儲(chǔ)位置與文件分片訪問(wèn)熱度的關(guān)聯(lián)，從而使存儲(chǔ)設(shè)備間的IOPS壓カ達(dá)到均衡并實(shí)現(xiàn)整體性能的提升。


此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)ー步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中圖I是根據(jù)本發(fā)明實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)方法的流程圖；圖2是根據(jù)本發(fā)明實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)方法的系統(tǒng)架構(gòu)圖；圖3是根據(jù)本發(fā)明優(yōu)選實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)方法的流程圖；圖4是根據(jù)本發(fā)明實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)裝置的結(jié)構(gòu)框圖；圖5是根據(jù)本發(fā)明優(yōu)選實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)裝置的結(jié)構(gòu)框圖ー；圖6是根據(jù)本發(fā)明優(yōu)選實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)裝置的結(jié)構(gòu)框圖ニ。
具體實(shí)施例方式需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。
本發(fā)明實(shí)施例提供了ー種分布式文件系統(tǒng)的存儲(chǔ)方法，圖I是根據(jù)本發(fā)明實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)方法的流程圖，如圖I所示，包括如下的步驟S102至步驟S104。步驟S102，確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)。步驟S104，根據(jù)訪問(wèn)次數(shù)將文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中。相關(guān)技術(shù)中，沒(méi)有解決文件讀出時(shí)熱點(diǎn)文件的高頻次訪問(wèn)帶來(lái)的磁盤負(fù)載的問(wèn)題。本發(fā)明實(shí)施例中，對(duì)分布式文件系統(tǒng)中的文件按文件訪問(wèn)熱度進(jìn)行分級(jí)存儲(chǔ)，即，將預(yù)定時(shí)間內(nèi)訪問(wèn)頻次較高的文件遷移到性能高的存儲(chǔ)設(shè)備中，通過(guò)差異化存儲(chǔ)做到文件分片存儲(chǔ)位置與文件分片訪問(wèn)熱度的關(guān)聯(lián)，從而使存儲(chǔ)設(shè)備間的IOPS壓カ達(dá)到均衡并實(shí)現(xiàn)整體性能的提升。需要說(shuō)明的是，也可以將預(yù)定時(shí)間內(nèi)訪問(wèn)頻次較低的文件遷移到性能低的存儲(chǔ)設(shè)備中，以避免占用高性能的存儲(chǔ)設(shè)備太多存儲(chǔ)空間。
步驟S104包括確定訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值；在所有存儲(chǔ)設(shè)備中確定比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備，并且該性能高的存儲(chǔ)設(shè)備中存在空閑塊；將文件遷移到該性能高的存儲(chǔ)設(shè)備中。本優(yōu)選實(shí)施例中，在訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值的情況下，確定可以存儲(chǔ)該文件的存儲(chǔ)設(shè)備，并且在確定的存儲(chǔ)設(shè)備存在空閑塊時(shí)，進(jìn)行遷移，可以保證文件遷移的準(zhǔn)確性，而不會(huì)出現(xiàn)存儲(chǔ)設(shè)備沒(méi)有空閑塊，卻將文件遷移至該存儲(chǔ)設(shè)備的情況，可能會(huì)導(dǎo)致文件丟失。在ー個(gè)優(yōu)選實(shí)施方式中，在確定訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值之后，還可以將文件的訪問(wèn)熱度屬性設(shè)置為熱門。以屬性的方式顯示文件的訪問(wèn)熱度，方便用戶查看。在另ー個(gè)優(yōu)選實(shí)施方式中，在確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)之前，對(duì)當(dāng)前存儲(chǔ)設(shè)備是否需要進(jìn)行文件遷移進(jìn)行確認(rèn)，即確定當(dāng)前存儲(chǔ)設(shè)備的負(fù)載是否已超過(guò)臨界值(或者成為告警值)，可以通過(guò)以下操作實(shí)現(xiàn)分別確定分布式文件系統(tǒng)內(nèi)的各個(gè)存儲(chǔ)設(shè)備的IOPS極限值與當(dāng)前IOPS值；分別計(jì)算各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值；分別比較比值與預(yù)先設(shè)定的臨界值；如果比值大于臨界值，確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。本優(yōu)選實(shí)施方式中，結(jié)合當(dāng)前存儲(chǔ)設(shè)備的負(fù)載情況以及該設(shè)備內(nèi)的文件的訪問(wèn)熱度，決定是否遷移。用戶對(duì)文件訪問(wèn)的時(shí)間和頻次都是隨機(jī)的，不合理的對(duì)文件進(jìn)行遷移會(huì)降低存儲(chǔ)設(shè)備的使用效率，加快存儲(chǔ)設(shè)備的損耗程度。上述根據(jù)存儲(chǔ)設(shè)備的負(fù)載確定是否需要遷移的過(guò)程，也就是發(fā)起分級(jí)存儲(chǔ)流程的條件(可稱為臨界值算法)，影響發(fā)起遷移的因素主要有兩個(gè)(1)存儲(chǔ)設(shè)備的IOPS是否到達(dá)指定的告警值，當(dāng)IOPS接近臨界值后，存儲(chǔ)設(shè)備的處理速度將出現(xiàn)明顯的下降，必須發(fā)起分級(jí)存儲(chǔ)；(2)系統(tǒng)是否有足夠的空余高性能存儲(chǔ)分片可用，如果沒(méi)有，忽略分級(jí)存儲(chǔ)流程。在實(shí)際應(yīng)用中，根據(jù)文件訪問(wèn)熱度、每個(gè)存儲(chǔ)設(shè)備(例如，磁盤)的IOPS極限值與當(dāng)前IOPS統(tǒng)計(jì)值、存儲(chǔ)設(shè)備的空閑塊情況判斷是否需要發(fā)起分級(jí)存儲(chǔ)。例如，設(shè)是否發(fā)起分級(jí)存儲(chǔ)標(biāo)識(shí)為y，磁盤i的IOPS極限值為IOPSi,磁盤i的當(dāng)前IOPS統(tǒng)計(jì)值為CIOPSi,是否有足夠空閑塊標(biāo)識(shí)為f，只有當(dāng)文件是熱門文件且CioPSiZloPSi的比值大于臨界值a，且目標(biāo)存儲(chǔ)設(shè)備有足夠空閑塊時(shí)，才發(fā)起分級(jí)存儲(chǔ)流程。優(yōu)選地，在確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移之后，上述方法還包括接收到對(duì)文件的讀請(qǐng)求，將文件的訪問(wèn)次數(shù)加I。本優(yōu)選實(shí)施方式中，在根據(jù)當(dāng)前存儲(chǔ)設(shè)備的負(fù)載情況，確定需要進(jìn)行文件遷移的情況下，接收到對(duì)當(dāng)前存儲(chǔ)設(shè)備的文件的讀請(qǐng)求，計(jì)算該文件的訪問(wèn)次數(shù)，可以在一定程度上避免對(duì)每個(gè)存儲(chǔ)設(shè)備的文件都進(jìn)行訪問(wèn)熱度的統(tǒng)計(jì)，給元數(shù)據(jù)服務(wù)器增加負(fù)擔(dān)。在實(shí)際應(yīng)用中，在元數(shù)據(jù)服務(wù)器中設(shè)置分級(jí)存儲(chǔ)開(kāi)關(guān)，確定需要進(jìn)行遷移后，打開(kāi)該開(kāi)關(guān)，再進(jìn)行訪問(wèn)次數(shù)的統(tǒng)計(jì)。優(yōu)選地，上述根據(jù)存儲(chǔ)設(shè)備的負(fù)載確定是否需要遷移的過(guò)程中用到了存儲(chǔ)設(shè)備的IOPS值，該IOPS值可以通過(guò)以下方法獲得文件訪問(wèn)服務(wù)器計(jì)算其對(duì)應(yīng)的存儲(chǔ)設(shè)備的IOPS值；文件訪問(wèn)服務(wù)器按照預(yù)定周期向元數(shù)據(jù)服務(wù)器上報(bào)IOPS值。在實(shí)際應(yīng)用中，文件訪問(wèn)服務(wù)器的服務(wù)程序中設(shè)置有存儲(chǔ)設(shè)備IOPS檢查定時(shí)器，一旦打開(kāi)該定時(shí)器，定時(shí)器調(diào)用操作系統(tǒng)接ロ計(jì)算本文件訪問(wèn)服務(wù)器內(nèi)各存儲(chǔ)設(shè)備(例如，磁盤)的IOPS參數(shù)，文件訪問(wèn)服務(wù)器使用該定時(shí)器將各個(gè)磁盤每隔一定時(shí)間內(nèi)的IOPS值上報(bào)給元數(shù)據(jù)服務(wù)器。

在步驟S104之后，可以判斷將文件遷移后，該文件的原存儲(chǔ)設(shè)備的負(fù)載是否恢復(fù)到臨界值以下，如果仍未恢復(fù)，繼續(xù)對(duì)其中的文件的訪問(wèn)熱度進(jìn)行監(jiān)控，符合條件時(shí)遷移該文件，可以通過(guò)以下步驟實(shí)現(xiàn)按照預(yù)定周期檢查各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值是否不大于臨界值；如果不大于臨界值，停止對(duì)當(dāng)前存儲(chǔ)設(shè)備中的文件進(jìn)行遷移；如果大于臨界值，繼續(xù)對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。上述分布式文件系統(tǒng)的存儲(chǔ)方法優(yōu)化了現(xiàn)有的分布式文件系統(tǒng)存儲(chǔ)的實(shí)現(xiàn)方案，可以理解為文件分片分級(jí)存儲(chǔ)，分級(jí)是指將訪問(wèn)頻次高的文件存儲(chǔ)到性能高的存儲(chǔ)設(shè)備中，也就是將存儲(chǔ)設(shè)備分為兩級(jí)性能低的存儲(chǔ)設(shè)備和性能高的存儲(chǔ)設(shè)備。通過(guò)上述方案，可以使存儲(chǔ)設(shè)備間的IOPS壓カ達(dá)到均衡，并提升整體性能，實(shí)現(xiàn)了對(duì)不同性能存儲(chǔ)設(shè)備的兼容和性能的最大化利用。為了使本發(fā)明的技術(shù)方案和實(shí)現(xiàn)方法更加清楚，下面將結(jié)合優(yōu)選的實(shí)施例對(duì)其實(shí)現(xiàn)過(guò)程進(jìn)行詳細(xì)描述。實(shí)現(xiàn)上述方案的系統(tǒng)架構(gòu)，包括元數(shù)據(jù)服務(wù)器22、文件訪問(wèn)客戶端24、文件訪問(wèn)服務(wù)器26和存儲(chǔ)設(shè)備集群28，如圖2所示，下面分別對(duì)其進(jìn)行描述。元數(shù)據(jù)服務(wù)器22，負(fù)責(zé)管理本分布式文件系統(tǒng)內(nèi)所有文件的文件名、數(shù)據(jù)塊等元數(shù)據(jù)信息，井向文件訪問(wèn)客戶端24提供元數(shù)據(jù)寫入和查詢等操作；本發(fā)明實(shí)施例在在元數(shù)據(jù)文件表的基礎(chǔ)上增加訪問(wèn)壓力權(quán)重值(即預(yù)設(shè)時(shí)間內(nèi)的訪問(wèn)次數(shù))，當(dāng)該文件的權(quán)重值超過(guò)配置的閾值時(shí)，將該文件的所有低性能存儲(chǔ)區(qū)的分片遷移到高性能存儲(chǔ)區(qū)，并保證不影響當(dāng)前用戶的訪問(wèn)。文件訪問(wèn)客戶端24，負(fù)責(zé)為本分布式文件系統(tǒng)面向的應(yīng)用程序提供類似于標(biāo)準(zhǔn)文件系統(tǒng)的接ロ調(diào)用服務(wù)；發(fā)起訪問(wèn)請(qǐng)求，獲取數(shù)據(jù)后返回給應(yīng)用程序；在元數(shù)據(jù)服務(wù)器22發(fā)起遷移請(qǐng)求時(shí)，根據(jù)請(qǐng)求中的分片列表將文件的分片遷移到其他文件訪問(wèn)服務(wù)器上。文件訪問(wèn)服務(wù)器26，負(fù)責(zé)與本分布式文件系統(tǒng)內(nèi)的存儲(chǔ)設(shè)備集群28進(jìn)行交互，進(jìn)行實(shí)際數(shù)據(jù)塊的讀寫操作；響應(yīng)文件訪問(wèn)客戶端24的數(shù)據(jù)讀寫請(qǐng)求，從存儲(chǔ)設(shè)備集群28上讀取數(shù)據(jù)并返回給文件訪問(wèn)客戶端24 ;從文件訪問(wèn)客戶端24讀取數(shù)據(jù)并寫入存儲(chǔ)設(shè)備集群28。圖2所示的文件訪問(wèn)服務(wù)器26中包括文件訪問(wèn)服務(wù)器和文件訪問(wèn)客戶端。存儲(chǔ)設(shè)備集群28,可以是低性能的電子集成驅(qū)動(dòng)器(Integrated DriveElectronics,簡(jiǎn)稱為IDE)磁盤或串行高級(jí)技術(shù)附件(Serial Advanced TechnologyAttachment,簡(jiǎn)稱為SATA)磁盤、高性能的固態(tài)硬盤(Solid State Disk,簡(jiǎn)稱為SSD)、串行連接SCSI (Serial Attached SCSI，簡(jiǎn)稱為SAS，其中，SCSI是小型計(jì)算機(jī)系統(tǒng)接ロ(SmallComputer System Interface)的簡(jiǎn)稱)、SATA 等存儲(chǔ)設(shè)備。圖3是根據(jù)本發(fā)明優(yōu)選實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)方法的流程圖，如圖3所示，包括如下步驟步驟S302，文件訪問(wèn)客戶端(File Access Client，簡(jiǎn)稱為FAC)向文件定位寄存器(FileLocation Register,簡(jiǎn)稱為FLR)發(fā)起對(duì)文件filel的 讀請(qǐng)求。步驟S304，F(xiàn)LR檢查是否已經(jīng)打開(kāi)分級(jí)存儲(chǔ)開(kāi)關(guān)。如果是，執(zhí)行步驟S308，否則執(zhí)行步驟S306。步驟S306，結(jié)束分級(jí)存儲(chǔ)的分片遷移流程。步驟S308，每隔ー個(gè)定時(shí)器時(shí)間由文件訪問(wèn)服務(wù)器上報(bào)每個(gè)磁盤的I0PS，將超過(guò)分級(jí)存儲(chǔ)閾值的磁盤的分級(jí)存儲(chǔ)狀態(tài)設(shè)置為打開(kāi)。步驟S310，根據(jù)讀請(qǐng)求次數(shù)、頻次、計(jì)算文件的熱點(diǎn)程度。步驟S312，是否為熱點(diǎn)文件。如果是，執(zhí)行步驟S316，否則執(zhí)行步驟S314。步驟S314，不對(duì)該分片進(jìn)行遷移，檢查下一讀請(qǐng)求的分片。步驟S316，定時(shí)器檢查每個(gè)磁盤的IOPS是否恢復(fù)到告警值以下。如果是，則執(zhí)行步驟S318，否則執(zhí)行步驟S320。步驟S318，停止對(duì)該磁盤上熱點(diǎn)文件的分片進(jìn)行遷移。步驟S320，取出該分片進(jìn)行遷移。需要說(shuō)明的是，與普通的用于磁盤空間均衡的分片遷移流程相比，因訪問(wèn)熱點(diǎn)高而發(fā)起的分級(jí)存儲(chǔ)需要更高的優(yōu)先級(jí)以保證用戶訪問(wèn)文件的流暢性。在另外ー個(gè)優(yōu)選實(shí)施例中，步驟如下步驟1，在網(wǎng)管界面上觀察磁盤的IOPS負(fù)載，記錄下初始值；步驟2，在網(wǎng)管界面上打開(kāi)分級(jí)存儲(chǔ)開(kāi)關(guān)，立即生效參數(shù)；步驟3，在網(wǎng)管界面上配置磁盤IOPS閾值，立即生效參數(shù)；步驟4，在日志中查看熱點(diǎn)文件遷移是否已開(kāi)始，遷移何時(shí)結(jié)束；步驟5，遷移結(jié)束后，到網(wǎng)管界面上觀察磁盤的IOPS負(fù)載，對(duì)之前超過(guò)臨界值的負(fù)載與遷移后的負(fù)載進(jìn)行對(duì)比，若遷移后的IOPS負(fù)載降低到臨界值以下，說(shuō)明該閾值的設(shè)置較為合理，若仍在臨界值以上，重復(fù)步驟3，將IOPS閾值調(diào)低。需要說(shuō)明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。本發(fā)明實(shí)施例還提供了ー種分布式文件系統(tǒng)的存儲(chǔ)裝置，應(yīng)用于元數(shù)據(jù)服務(wù)器，該分布式文件系統(tǒng)的存儲(chǔ)裝置可以用于實(shí)現(xiàn)上述分布式文件系統(tǒng)的存儲(chǔ)方法。圖4是根據(jù)本發(fā)明實(shí)施例的分布式文件系統(tǒng)的存儲(chǔ)裝置的結(jié)構(gòu)框圖，如圖4所示，該裝置包括第一確定模塊42和遷移模塊44。下面對(duì)其結(jié)構(gòu)進(jìn)行詳細(xì)描述。第一確定模塊42,用于確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)；遷移模塊44,連接至第一確定模塊42，用于根據(jù)第一確定模塊42確定的訪問(wèn)次數(shù)將文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中。相關(guān)技術(shù)中，沒(méi)有解決文件讀出時(shí)熱點(diǎn)文件的高頻次訪問(wèn)帶來(lái)的磁盤負(fù)載的問(wèn)題。本發(fā)明實(shí)施例中，對(duì)分布式文件系統(tǒng)中的文件按文件訪問(wèn)熱度進(jìn)行分級(jí)存儲(chǔ)，即，將預(yù)定時(shí)間內(nèi)訪問(wèn)頻次較高的文件遷移到性能高的存儲(chǔ)設(shè)備中，通過(guò)差異化存儲(chǔ)做到文件分片存儲(chǔ)位置與文件分片訪問(wèn)熱度的關(guān)聯(lián)，從而使存儲(chǔ)設(shè)備間的IOPS壓カ達(dá)到均衡并實(shí)現(xiàn)整體性能的提升。如圖5所示，遷移模塊44包括第一確定單元442，用于確定訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值；第二確定單元444，連接至第一確定單元442，用于在所有存儲(chǔ)設(shè)備中確定比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備，并且該存儲(chǔ)設(shè)備存在空閑塊；遷移單元446，連接至第二確定單元444，用于將文件遷移到第二確定單元444確定的存儲(chǔ)設(shè)備中。優(yōu)選地，遷移模塊44還包括設(shè)置單元，連接至第一確定單元442，用于將文件的訪問(wèn)熱度屬性設(shè)置為熱門。 如圖6所示，上述裝置還包括第二確定模塊46，用于分別確定各個(gè)存儲(chǔ)設(shè)備的IOPS極限值與當(dāng)前IOPS值；計(jì)算模塊47，連接至第二確定模塊46，用于分別計(jì)算各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值；比較模塊48，連接至計(jì)算模塊47，用于分別比較比值與預(yù)先設(shè)定的臨界值；第三確定模塊49，連接至比較模塊48，用于在比值大于臨界值的情況下，確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。優(yōu)選地，上述裝置還包括接收模塊，連接至第三確定模塊49，用于接收對(duì)文件的讀請(qǐng)求，將文件的訪問(wèn)次數(shù)加I。優(yōu)選地，在上述裝置還包括檢查模塊，用于按照預(yù)定周期檢查各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值是否不大于臨界值；第一處理模塊，連接至檢查模塊，用于在不大于臨界值的情況下，停止對(duì)當(dāng)前存儲(chǔ)設(shè)備中的文件進(jìn)行遷移；第二處理模塊，連接至檢查模塊，用于在大于臨界值的情況下，繼續(xù)對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。需要說(shuō)明的是，裝置實(shí)施例中描述的分布式文件系統(tǒng)的存儲(chǔ)裝置對(duì)應(yīng)于上述的方法實(shí)施例，其具體的實(shí)現(xiàn)過(guò)程在方法實(shí)施例中已經(jīng)進(jìn)行過(guò)詳細(xì)說(shuō)明，在此不再贅述。需要說(shuō)明的是，上述方案僅適用于有元數(shù)據(jù)服務(wù)器的分布式文件系統(tǒng)中，不適用于一般的存儲(chǔ)系統(tǒng)。綜上所述，根據(jù)本發(fā)明的上述實(shí)施例，提供了ー種分布式文件系統(tǒng)的存儲(chǔ)方法及裝置。本發(fā)明對(duì)分布式文件系統(tǒng)中的文件按文件訪問(wèn)熱度進(jìn)行分級(jí)存儲(chǔ)，即，將預(yù)定時(shí)間內(nèi)訪問(wèn)頻次較高的文件遷移到性能高的存儲(chǔ)設(shè)備中，通過(guò)差異化存儲(chǔ)做到文件分片存儲(chǔ)位置與文件分片訪問(wèn)熱度的關(guān)聯(lián)，從而使存儲(chǔ)設(shè)備間的IOPS壓カ達(dá)到均衡并實(shí)現(xiàn)整體性能的提升。實(shí)現(xiàn)了對(duì)不同性能存儲(chǔ)設(shè)備的兼容和性能的最大化利用，通過(guò)將熱點(diǎn)度高的文件遷移到更高性能的存儲(chǔ)設(shè)備上，極大緩解了現(xiàn)有存儲(chǔ)方式在混合存儲(chǔ)設(shè)備環(huán)境下的短板問(wèn)題，做到了不同存儲(chǔ)設(shè)備間的負(fù)載均衡，使異構(gòu)存儲(chǔ)模式下的存儲(chǔ)設(shè)備的整體性能得到提升。顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來(lái)實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.ー種分布式文件系統(tǒng)的存儲(chǔ)方法，其特征在于包括 確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)； 根據(jù)所述訪問(wèn)次數(shù)將所述文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，根據(jù)所述訪問(wèn)次數(shù)將所述文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中包括 確定所述訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值； 在所有存儲(chǔ)設(shè)備中確定所述比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備，并且所述存儲(chǔ)設(shè)備存在空閑塊； 將所述文件遷移到所述存儲(chǔ)設(shè)備中。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在確定所述訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值之后，所述方法還包括 將所述文件的訪問(wèn)熱度屬性設(shè)置為熱門。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，在確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)之前，所述方法還包括 分別確定分布式文件系統(tǒng)內(nèi)的各個(gè)存儲(chǔ)設(shè)備的毎秒進(jìn)行讀寫操作的次數(shù)IOPS極限值與當(dāng)前IOPS值； 分別計(jì)算所述各個(gè)存儲(chǔ)設(shè)備的所述當(dāng)前IOPS值與所述IOPS極限值的比值； 分別比較所述比值與預(yù)先設(shè)定的臨界值； 如果所述比值大于所述臨界值，確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移之后，所述方法還包括 接收到對(duì)文件的讀請(qǐng)求，將所述文件的訪問(wèn)次數(shù)加I。
6.根據(jù)權(quán)利要求I所述的方法，其特征在于，在確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)之前，所述方法還包括 文件訪問(wèn)服務(wù)器計(jì)算其對(duì)應(yīng)的存儲(chǔ)設(shè)備的IOPS值； 所述文件訪問(wèn)服務(wù)器按照預(yù)定周期向元數(shù)據(jù)服務(wù)器上報(bào)所述IOPS值。
7.根據(jù)權(quán)利要求I至6中任一項(xiàng)所述的方法，其特征在于，在根據(jù)所述訪問(wèn)次數(shù)將所述文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中之后，所述方法還包括 按照預(yù)定周期檢查各個(gè)存儲(chǔ)設(shè)備的當(dāng)前IOPS值與IOPS極限值的比值是否不大于臨界值； 如果不大于所述臨界值，停止對(duì)當(dāng)前存儲(chǔ)設(shè)備中的所述文件進(jìn)行遷移； 如果大于所述臨界值，繼續(xù)對(duì)所述當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。
8.ー種分布式文件系統(tǒng)的存儲(chǔ)裝置，應(yīng)用于元數(shù)據(jù)服務(wù)器，其特征在于包括 第一確定模塊，用于確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)； 遷移模塊，用于根據(jù)所述訪問(wèn)次數(shù)將所述文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述遷移模塊包括第一確定單元，用于確定所述訪問(wèn)次數(shù)超過(guò)預(yù)設(shè)閾值； 第二確定單元，用于在所有存儲(chǔ)設(shè)備中確定所述比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備，并且所述存儲(chǔ)設(shè)備存在空閑塊； 遷移單元，用于將所述文件遷移到所述存儲(chǔ)設(shè)備中。
10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括 第二確定模塊，用于分別確定各個(gè)存儲(chǔ)設(shè)備的毎秒進(jìn)行讀寫操作的次數(shù)IOPS極限值與當(dāng)前IOPS值； 計(jì)算模塊，用于分別計(jì)算所述各個(gè)存儲(chǔ)設(shè)備的所述當(dāng)前IOPS值與所述IOPS極限值的比值； 比較模塊，用于分別比較所述比值與預(yù)先設(shè)定的臨界值； 第三確定模塊，用于在所述比值大于所述臨界值的情況下，確定需要對(duì)當(dāng)前存儲(chǔ)設(shè)備中的訪問(wèn)次數(shù)高于預(yù)設(shè)閾值的文件進(jìn)行遷移。
全文摘要
本發(fā)明公開(kāi)了一種分布式文件系統(tǒng)的存儲(chǔ)方法及裝置，該方法包括確定預(yù)設(shè)時(shí)間內(nèi)對(duì)同一文件的訪問(wèn)次數(shù)；根據(jù)訪問(wèn)次數(shù)將文件遷移到比當(dāng)前存儲(chǔ)設(shè)備性能高的存儲(chǔ)設(shè)備中。通過(guò)本發(fā)明，對(duì)分布式文件系統(tǒng)中的文件按文件訪問(wèn)熱度進(jìn)行分級(jí)存儲(chǔ)，即，將預(yù)定時(shí)間內(nèi)訪問(wèn)頻次較高的文件遷移到性能高的存儲(chǔ)設(shè)備中，通過(guò)差異化存儲(chǔ)做到文件分片存儲(chǔ)位置與文件分片訪問(wèn)熱度的關(guān)聯(lián)，從而使存儲(chǔ)設(shè)備間的IOPS壓力達(dá)到均衡并實(shí)現(xiàn)整體性能的提升。
文檔編號(hào)G06F17/30GK102841931SQ201210275170
公開(kāi)日2012年12月26日 申請(qǐng)日期2012年8月3日 優(yōu)先權(quán)日2012年8月3日
發(fā)明者歐陽(yáng)偉 申請(qǐng)人:中興通訊股份有限公司