數(shù)據(jù)存儲(chǔ)控制器及其數(shù)據(jù)處理方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種數(shù)據(jù)存儲(chǔ)控制器及其數(shù)據(jù)處理方法。其中，數(shù)據(jù)存儲(chǔ)控制器包括：數(shù)據(jù)收發(fā)接口，用于接收第一數(shù)據(jù)，第一數(shù)據(jù)為用于待處理的數(shù)據(jù)；處理模塊，與數(shù)據(jù)收發(fā)接口相連接，處理模塊為通過(guò)現(xiàn)場(chǎng)可編程門(mén)陣列形成的處理模塊，用于對(duì)第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理，得到第二數(shù)據(jù)；以及數(shù)據(jù)存儲(chǔ)接口，與處理模塊相連接，用于將第二數(shù)據(jù)輸出到存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)用于存儲(chǔ)第二數(shù)據(jù)。通過(guò)本發(fā)明，解決了現(xiàn)有技術(shù)中對(duì)海量數(shù)據(jù)存儲(chǔ)的效率低的問(wèn)題，達(dá)到了提高海量數(shù)據(jù)存儲(chǔ)的效率的目的。
【專(zhuān)利說(shuō)明】數(shù)據(jù)存儲(chǔ)控制器及其數(shù)據(jù)處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及服務(wù)器領(lǐng)域，具體而言，涉及一種數(shù)據(jù)存儲(chǔ)控制器及其數(shù)據(jù)處理方法。

【背景技術(shù)】
[0002]近年來(lái)由于DNA測(cè)序、云計(jì)算、電子商務(wù)等應(yīng)用產(chǎn)生了海量數(shù)據(jù)的處理需求(傳輸、分析運(yùn)算、存儲(chǔ)、加解密等)，如一家基因測(cè)序公司每天DNA數(shù)據(jù)增加約4TB，總數(shù)據(jù)量是幾百個(gè)PB，進(jìn)行分析所需要的服務(wù)器的數(shù)據(jù)讀寫(xiě)流量大于20Gbps，這些需求對(duì)于目前普通的服務(wù)器及存儲(chǔ)設(shè)備都是無(wú)法有效滿(mǎn)足的。
[0003]類(lèi)似DNA數(shù)據(jù)等數(shù)據(jù)具有非常高的重復(fù)性(大約99.5%都是相同)，在存儲(chǔ)DNA序列數(shù)據(jù)的時(shí)候，理論上應(yīng)該能對(duì)其進(jìn)行高壓縮比的重復(fù)數(shù)據(jù)刪除(Deduplicate)處理。目前，市面上服務(wù)器單機(jī)的網(wǎng)絡(luò)接口、CPU、內(nèi)存的配置有限(比如100-1000Mbps，4-8核，16GB)，如需要對(duì)數(shù)據(jù)進(jìn)行壓縮或重復(fù)數(shù)據(jù)刪除處理，讀寫(xiě)時(shí)間及CPU的負(fù)荷將大幅度增力口，導(dǎo)致數(shù)據(jù)分析所需要的時(shí)間大幅增加。如圖1所示，海量的DNA數(shù)據(jù)先從網(wǎng)口通過(guò)服務(wù)器PCI網(wǎng)卡驅(qū)動(dòng)，傳到服務(wù)器內(nèi)存，然后由服務(wù)器主機(jī)CPU執(zhí)行相關(guān)的應(yīng)用算法將其改變(重復(fù)數(shù)據(jù)刪除及復(fù)原)，再存放到服務(wù)器內(nèi)存，最后由PCI存儲(chǔ)控制器的驅(qū)動(dòng)轉(zhuǎn)換成SCSI底層數(shù)據(jù)，存到磁盤(pán)陣列。對(duì)海量數(shù)據(jù)進(jìn)行壓縮或去重復(fù)數(shù)據(jù)刪除處理時(shí)，讀寫(xiě)時(shí)間及CPU的負(fù)荷將大幅度增加，導(dǎo)致數(shù)據(jù)分析所需要的時(shí)間大幅增加、效率低，系統(tǒng)反應(yīng)慢。
[0004]目前，服務(wù)器主機(jī)板的構(gòu)架是基于個(gè)人計(jì)算機(jī)，通過(guò)PCI總線(xiàn)與網(wǎng)絡(luò)接口和存儲(chǔ)設(shè)備接口進(jìn)行數(shù)據(jù)傳輸，并不適合用于處理高速高通的網(wǎng)絡(luò)存儲(chǔ)設(shè)備。例如，使用目前市場(chǎng)上的服務(wù)器(Intel X86，AMD及IBM Power主機(jī)構(gòu)架)對(duì)DNA數(shù)據(jù)進(jìn)行去重的處理，海量的DNA數(shù)據(jù)通常要多次通過(guò)主機(jī)板的PCI總線(xiàn)、CPU和內(nèi)存，由于受到主機(jī)板的PCI總線(xiàn)、CPU和內(nèi)存的限制，DNA數(shù)據(jù)的存儲(chǔ)設(shè)備效率都非常低，導(dǎo)致DNA測(cè)序存儲(chǔ)設(shè)備投資占DNA測(cè)序系統(tǒng)的很大部分，而且由于DNA數(shù)據(jù)量的增加，這個(gè)投資比例將越來(lái)越大。
[0005]綜上可以看出，由于主機(jī)板的PCI總線(xiàn)、CPU和內(nèi)存的限制，現(xiàn)有的服務(wù)器架構(gòu)存在對(duì)海量數(shù)據(jù)存儲(chǔ)的效率低的問(wèn)題。
[0006]針對(duì)現(xiàn)有技術(shù)中對(duì)海量數(shù)據(jù)存儲(chǔ)的效率低的問(wèn)題，目前尚未提出有效的解決方案。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的主要目的在于提供一種數(shù)據(jù)存儲(chǔ)控制器及其數(shù)據(jù)處理方法，以解決對(duì)海量數(shù)據(jù)存儲(chǔ)的效率低的問(wèn)題。
[0008]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)存儲(chǔ)控制器。根據(jù)本發(fā)明的數(shù)據(jù)存儲(chǔ)控制器包括:數(shù)據(jù)收發(fā)接口，用于接收第一數(shù)據(jù)，第一數(shù)據(jù)為用于待處理的數(shù)據(jù)；處理模塊，與數(shù)據(jù)收發(fā)接口相連接，處理模塊為通過(guò)現(xiàn)場(chǎng)可編程門(mén)陣列形成的處理模塊，用于對(duì)第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理，得到第二數(shù)據(jù)；以及數(shù)據(jù)存儲(chǔ)接口，與處理模塊相連接，用于將第二數(shù)據(jù)輸出到存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)用于存儲(chǔ)第二數(shù)據(jù)。
[0009]進(jìn)一步地，數(shù)據(jù)收發(fā)接口為光電接口。
[0010]進(jìn)一步地，數(shù)據(jù)存儲(chǔ)接口包括串行連接小型計(jì)算機(jī)系統(tǒng)接口。
[0011]進(jìn)一步地，現(xiàn)場(chǎng)可編程門(mén)陣列用于整合處理所述第一數(shù)據(jù)的底層算法。
[0012]進(jìn)一步地，處理模塊包括存儲(chǔ)控制子模塊，與數(shù)據(jù)存儲(chǔ)接口相連接，用于將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)接口還用于輸出底層數(shù)據(jù)。
[0013]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種用于上述數(shù)據(jù)存儲(chǔ)控制器的數(shù)據(jù)處理方法。根據(jù)本發(fā)明的數(shù)據(jù)處理方法包括:接收第一數(shù)據(jù)，第一數(shù)據(jù)為用于待處理的數(shù)據(jù)；通過(guò)現(xiàn)場(chǎng)可編程門(mén)陣列形成的處理模塊對(duì)第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理，得到第二數(shù)據(jù)；以及輸出第二數(shù)據(jù)。
[0014]進(jìn)一步地，預(yù)設(shè)處理包括去重處理和/或加密處理。
[0015]進(jìn)一步地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:存儲(chǔ)介質(zhì)存儲(chǔ)第二數(shù)據(jù)。
[0016]進(jìn)一步地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)；以及輸出底層數(shù)據(jù)，存儲(chǔ)介質(zhì)存儲(chǔ)輸出的底層數(shù)據(jù)。
[0017]通過(guò)本發(fā)明，采用FPGA形成的處理模塊，對(duì)第一數(shù)據(jù)進(jìn)行處理，使得對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)的過(guò)程中，不再受制與服務(wù)器的內(nèi)存和CPU的運(yùn)算能力的限制，直接通過(guò)處理模塊對(duì)海量數(shù)據(jù)進(jìn)行處理，解決了現(xiàn)有技術(shù)中對(duì)海量數(shù)據(jù)存儲(chǔ)的效率低的問(wèn)題，達(dá)到了提高海量數(shù)據(jù)存儲(chǔ)的效率的目的。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0018]構(gòu)成本申請(qǐng)的一部分的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:
[0019]圖1是根據(jù)現(xiàn)有技術(shù)中服務(wù)器數(shù)據(jù)處理的流程圖；
[0020]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)存儲(chǔ)控制器的結(jié)構(gòu)框圖；
[0021]圖3是根據(jù)本發(fā)明實(shí)施例優(yōu)選的數(shù)據(jù)存儲(chǔ)控制器的結(jié)構(gòu)框架圖；
[0022]圖4是根據(jù)本發(fā)明實(shí)施例另一可選的數(shù)據(jù)存儲(chǔ)控制器的結(jié)構(gòu)框架圖；以及
[0023]圖5是根據(jù)本發(fā)明實(shí)施例用于數(shù)據(jù)存儲(chǔ)控制器的數(shù)據(jù)處理方法的流程圖。

【具體實(shí)施方式】
[0024]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。
[0025]為了使本【技術(shù)領(lǐng)域】的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
[0026]需要說(shuō)明的是，本發(fā)明的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類(lèi)似的對(duì)象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實(shí)施例。此外，術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒(méi)有清楚地列出的或?qū)τ谶@些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0027]本發(fā)明實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)控制器，該數(shù)據(jù)存儲(chǔ)控制器可以用于對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和存儲(chǔ)。
[0028]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)存儲(chǔ)控制器的結(jié)構(gòu)框圖。如圖2所示，該數(shù)據(jù)存儲(chǔ)控制器包括:數(shù)據(jù)收發(fā)接口 10、處理模塊20和數(shù)據(jù)存儲(chǔ)接口 30。
[0029]數(shù)據(jù)收發(fā)接口 10用于接收第一數(shù)據(jù)，該第一數(shù)據(jù)為待處理的數(shù)據(jù)。
[0030]第一數(shù)據(jù)可以是任何數(shù)據(jù)，這里的第一數(shù)據(jù)特指海量數(shù)據(jù)，例如DNA數(shù)據(jù)等，預(yù)設(shè)處理可以是任意的對(duì)數(shù)據(jù)進(jìn)行的處理，例如對(duì)數(shù)據(jù)進(jìn)行去重處理、壓縮處理、加密處理等坐寸ο
[0031]處理模塊20與數(shù)據(jù)收發(fā)接口 10相連接，該處理模塊20為通過(guò)現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)形成的處理模塊，用于對(duì)第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理，得到第二數(shù)據(jù)。
[0032]FPGA (Field — Programmable Gate Array),即現(xiàn)場(chǎng)可編程門(mén)陣列，它是在 PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進(jìn)一步發(fā)展的產(chǎn)物。它是作為專(zhuān)用集成電路(ASIC)領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門(mén)電路數(shù)有限的缺點(diǎn)。通過(guò)對(duì)FPGA進(jìn)行編程實(shí)現(xiàn)對(duì)數(shù)據(jù)處理的功能，形成處理模塊20?？梢愿鶕?jù)不同的數(shù)據(jù)處理，編程實(shí)現(xiàn)不同的處理模塊20，這樣可以滿(mǎn)足對(duì)數(shù)據(jù)處理的不同需求。
[0033]第二數(shù)據(jù)為對(duì)第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理后的數(shù)據(jù)，其中，預(yù)設(shè)處理可以是去重處理，可以是加密處理，也可以是根據(jù)需要預(yù)設(shè)設(shè)置在FPGA中其他的處理方式，例如，對(duì)于當(dāng)?shù)谝粩?shù)據(jù)為DNA數(shù)據(jù)時(shí)，則第二數(shù)據(jù)可以是對(duì)DNA數(shù)據(jù)進(jìn)行去重處理后的數(shù)據(jù)。
[0034]本發(fā)明實(shí)施例中，通過(guò)采用FPGA形成的處理模塊對(duì)第一數(shù)據(jù)進(jìn)行處理，無(wú)需將數(shù)據(jù)緩存到服務(wù)器的內(nèi)存中，也無(wú)需通過(guò)服務(wù)器的CPU來(lái)對(duì)第一數(shù)據(jù)進(jìn)行存儲(chǔ)，從而避免由于服務(wù)器的內(nèi)存和CPU對(duì)數(shù)據(jù)處理的限制。
[0035]數(shù)據(jù)存儲(chǔ)接口 30與處理模塊20相連接，用于將第二數(shù)據(jù)輸出至存儲(chǔ)介質(zhì)40。
[0036]在處理模塊20對(duì)第一數(shù)據(jù)進(jìn)行處理得到第二數(shù)據(jù)之后，通過(guò)數(shù)據(jù)存儲(chǔ)接口 30將第二數(shù)據(jù)存儲(chǔ)到存儲(chǔ)介質(zhì)40中。
[0037]根據(jù)本發(fā)明實(shí)施例，通過(guò)采用FPGA形成的處理模塊，對(duì)第一數(shù)據(jù)進(jìn)行處理，使得對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)的過(guò)程中，不再受制于服務(wù)器的內(nèi)存和CPU的運(yùn)算能力的限制，直接通過(guò)處理模塊對(duì)海量數(shù)據(jù)進(jìn)行處理，現(xiàn)有技術(shù)中對(duì)海量數(shù)據(jù)存儲(chǔ)的效率低的問(wèn)題，達(dá)到了提高海量數(shù)據(jù)存儲(chǔ)的效率的目的。
[0038]本發(fā)明實(shí)施例，可以通過(guò)FPGA來(lái)整合大數(shù)據(jù)存儲(chǔ)通常需要的一些底層算法，比如在扇區(qū)上壓縮，加密，去重復(fù)等等算法。這些算法通常需要在CPU上面逐個(gè)進(jìn)行，不但耗費(fèi)CPU,而且會(huì)飽和通信頻道。采用FPGA來(lái)整合這些算法能夠提高數(shù)據(jù)存儲(chǔ)的效率。
[0039]通常，壓縮或加密處理將產(chǎn)生中間數(shù)據(jù)，比如將1G文件壓縮成5G，那么需要15G的存儲(chǔ)空間。在使用的時(shí)候還需要把5G的文件先復(fù)原到10G，還是需要15G。本發(fā)明實(shí)施例通過(guò)采用FPGA來(lái)處理數(shù)據(jù)，實(shí)現(xiàn)inline實(shí)時(shí)透明壓縮和加密，只需要5G的存儲(chǔ)。加密及壓縮可以同時(shí)在FPGA模塊上進(jìn)行，不需要存儲(chǔ)中間數(shù)據(jù)。
[0040]優(yōu)選地，數(shù)據(jù)收發(fā)接口為光電接口。
[0041]數(shù)據(jù)收發(fā)接口可以是光纖網(wǎng)絡(luò)接口，例如，SFP或者ethernet光纖網(wǎng)絡(luò)接口，SFP(Small Form-factor Pluggables)可以簡(jiǎn)單的理解為GBIC的升級(jí)版本。其中，GBIC(Gigabit Interface Converter的縮寫(xiě))是將千兆位電信號(hào)轉(zhuǎn)換為光信號(hào)的接口器件。GBIC設(shè)計(jì)上可以為熱插拔使用。GBIC是一種符合國(guó)際標(biāo)準(zhǔn)的可互換產(chǎn)品。SFP模塊體積比GBIC模塊減少一半，可以在相同面板上配置多出一倍以上的端口數(shù)量。
[0042]由于SFP光纖網(wǎng)絡(luò)接口的單元流量達(dá)到4xlOGbps，因此可以大大提高數(shù)據(jù)流量，進(jìn)而提高數(shù)據(jù)存儲(chǔ)的效率。對(duì)于海量數(shù)據(jù)而言，具有明顯地提高數(shù)據(jù)存儲(chǔ)的效率。
[0043]優(yōu)選地，數(shù)據(jù)存儲(chǔ)接口包括串行連接小型計(jì)算機(jī)系統(tǒng)接口即SAS接口。
[0044]SAS是新一代的SCSI技術(shù)，和現(xiàn)在流行的Serial ATA(SATA)硬盤(pán)相同，都是采用串行技術(shù)以獲得更高的傳輸速度，并通過(guò)縮短連結(jié)線(xiàn)改善內(nèi)部空間等。SAS是并行SCSI接口之后開(kāi)發(fā)出的全新接口。此接口的設(shè)計(jì)是為了改善存儲(chǔ)系統(tǒng)的效能、可用性和擴(kuò)充性，提供與串行ATA(Serial ATA，縮寫(xiě)為SATA)硬盤(pán)的兼容性。
[0045]SAS的接口技術(shù)可以向下兼容SATA。SAS系統(tǒng)的背板(Backpanel)既可以連接具有雙端口、高性能的SAS驅(qū)動(dòng)器，也可以連接高容量、低成本的SATA驅(qū)動(dòng)器。
[0046]由于SAS存儲(chǔ)接口的單元流量達(dá)到4x6Gbps(SSD磁盤(pán))，因此，可以大大提高數(shù)據(jù)存儲(chǔ)的速度，提高數(shù)據(jù)存儲(chǔ)的效率。
[0047]優(yōu)選地，存儲(chǔ)介質(zhì)包括磁盤(pán)陣列。
[0048]優(yōu)選地,現(xiàn)場(chǎng)可編程門(mén)陣列采用Kintex晶片。使用Xilinx目前最高性能的Kintex晶片(超過(guò)400k門(mén)，大于600Gbps)。
[0049]使用高性能Xilinx的光纖網(wǎng)絡(luò)接口 IPCore，具有極高可靠性?；贔PGA的并行及Pipeline構(gòu)架，排除現(xiàn)有服務(wù)器構(gòu)架對(duì)數(shù)據(jù)流的瓶頸，大幅提高數(shù)據(jù)流量。
[0050]優(yōu)選地，處理模塊包括存儲(chǔ)控制子模塊，與存儲(chǔ)器相連接，用于將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)，并輸出給存儲(chǔ)器。存儲(chǔ)控制子模塊類(lèi)似于現(xiàn)有技術(shù)中的存儲(chǔ)控制器。本發(fā)明實(shí)施例中，將存儲(chǔ)控制器集成在采用FPGA形成的處理模塊中。
[0051]下面結(jié)合圖3和圖4對(duì)本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。
[0052]如圖3所述，當(dāng)?shù)谝粩?shù)據(jù)為DNA數(shù)據(jù)時(shí)，SEP接收該數(shù)據(jù)，SFP光纖接口邏輯核進(jìn)行預(yù)處理后，再經(jīng)過(guò)DNA數(shù)據(jù)去重及復(fù)原邏輯核也及是處理模塊，進(jìn)行去重或者復(fù)原處理。去重處理或者復(fù)原處理后的數(shù)據(jù)經(jīng)過(guò)iSCSI邏輯核和SAS控制邏輯核處理后輸出至磁盤(pán)(Disk)陣列等存儲(chǔ)介質(zhì)進(jìn)行存儲(chǔ)。其中，服務(wù)器主機(jī)CPU僅對(duì)數(shù)據(jù)處理過(guò)程進(jìn)行控制，數(shù)據(jù)無(wú)需經(jīng)過(guò)CPU進(jìn)行運(yùn)算處理。
[0053]圖4與圖3類(lèi)似，主要區(qū)別在于將圖3中DNA數(shù)據(jù)去重及復(fù)原處理變成加密處理，其中，加密處理可以是采用AES算法的加密處理。具體地處理過(guò)程與圖3所示的DNA數(shù)據(jù)處理類(lèi)似，這里不做贅述。
[0054]ISCSI技術(shù)是一種由IBM公司研究開(kāi)發(fā)的，是一個(gè)供硬件設(shè)備使用的可以在IP協(xié)議的上層運(yùn)行的SCSI指令集，這種指令集合可以實(shí)現(xiàn)在IP網(wǎng)絡(luò)上運(yùn)行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行路由選擇。iSCSI技術(shù)是一種新儲(chǔ)存技術(shù)，該技術(shù)是將現(xiàn)有SCSI接口與以太網(wǎng)絡(luò)(Ethernet)技術(shù)結(jié)合，使服務(wù)器可與使用IP網(wǎng)絡(luò)的儲(chǔ)存裝置互相交換資料。
[0055]PCIE即PC1-Express的縮寫(xiě)，是一種總線(xiàn)和接口標(biāo)準(zhǔn)，PCIe屬于高速串行點(diǎn)對(duì)點(diǎn)雙通道高帶寬傳輸。
[0056]本發(fā)明實(shí)施例是一塊圍繞Xilinx的FPGA晶片(Xilinx最高速的K-7)打造的高速高通網(wǎng)絡(luò)存儲(chǔ)控制器，通過(guò)把網(wǎng)絡(luò)加解包、4條1Gbps SFP高速網(wǎng)絡(luò)及高速存儲(chǔ)(SAS)接口等的FPGA邏輯核集成到一起形成處理模塊,并通過(guò)FPGA的并行處理及Pipeline構(gòu)架，使得存儲(chǔ)設(shè)備的數(shù)據(jù)流被大幅度的簡(jiǎn)化，從而達(dá)到流量的大幅提高和幾乎沒(méi)有延遲的處理與高速高通存儲(chǔ)。
[0057]本發(fā)明實(shí)施例提供了一種用于數(shù)據(jù)存儲(chǔ)控制器的數(shù)據(jù)處理方法。該數(shù)據(jù)處理方法可以用于本發(fā)明實(shí)施例的數(shù)據(jù)存儲(chǔ)控制器，發(fā)明實(shí)施例的數(shù)據(jù)存儲(chǔ)控制器也可以用于執(zhí)行本發(fā)明實(shí)施例的數(shù)據(jù)處理方法。
[0058]圖5是根據(jù)本發(fā)明實(shí)施例的用于數(shù)據(jù)存儲(chǔ)控制器的數(shù)據(jù)處理方法的流程圖。如圖5所示，該數(shù)據(jù)處理方法包括步驟如下:
[0059]步驟S502，接收第一數(shù)據(jù)，第一數(shù)據(jù)為待處理的數(shù)據(jù)。
[0060]步驟S504，通過(guò)現(xiàn)場(chǎng)可編程門(mén)陣列形成的處理模塊對(duì)第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理，得到第二數(shù)據(jù)。
[0061]步驟S506，輸出第二數(shù)據(jù)。
[0062]第一數(shù)據(jù)可以是任何數(shù)據(jù)，這里特指海量數(shù)據(jù)，例如DNA數(shù)據(jù)等，預(yù)設(shè)處理可以是任意的對(duì)數(shù)據(jù)進(jìn)行的處理，例如對(duì)數(shù)據(jù)進(jìn)行去重處理、壓縮處理、加密處理等等。
[0063]FPGA (Field — Programmable Gate Array),即現(xiàn)場(chǎng)可編程門(mén)陣列，它是在 PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進(jìn)一步發(fā)展的產(chǎn)物。它是作為專(zhuān)用集成電路(ASIC)領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門(mén)電路數(shù)有限的缺點(diǎn)。通過(guò)對(duì)FPGA進(jìn)行編程實(shí)現(xiàn)對(duì)數(shù)據(jù)處理的功能，形成處理模塊20?？梢愿鶕?jù)不同的數(shù)據(jù)處理，編程實(shí)現(xiàn)不同的處理模塊20，這樣可以滿(mǎn)足對(duì)數(shù)據(jù)處理的不同需求。
[0064]第二數(shù)據(jù)為對(duì)第一數(shù)據(jù)進(jìn)行處理后的數(shù)據(jù)，例如，對(duì)于當(dāng)?shù)谝粩?shù)據(jù)為DNA數(shù)據(jù)時(shí)，則第二數(shù)據(jù)可以是對(duì)DNA數(shù)據(jù)進(jìn)行去重處理后的數(shù)據(jù)。
[0065]本發(fā)明實(shí)施例中，通過(guò)采用FPGA形成的處理模塊對(duì)第一數(shù)據(jù)進(jìn)行處理，無(wú)需將數(shù)據(jù)緩存到服務(wù)器的內(nèi)存中，也無(wú)需通過(guò)服務(wù)器的CPU來(lái)對(duì)第一數(shù)據(jù)進(jìn)行存儲(chǔ)，從而避免由于服務(wù)器的內(nèi)存和CPU對(duì)數(shù)據(jù)處理的限制。
[0066]根據(jù)本發(fā)明實(shí)施例，通過(guò)采用FPGA形成的處理模塊，對(duì)第一數(shù)據(jù)進(jìn)行處理，使得對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)的過(guò)程中，不再受制與服務(wù)器的內(nèi)存和CPU的運(yùn)算能力的限制，直接通過(guò)處理模塊對(duì)海量數(shù)據(jù)進(jìn)行處理，現(xiàn)有技術(shù)中對(duì)海量數(shù)據(jù)存儲(chǔ)的效率低的問(wèn)題，達(dá)到了提高海量數(shù)據(jù)存儲(chǔ)的效率的目的。
[0067]優(yōu)選地，預(yù)設(shè)處理包括去重處理和/或加密處理。當(dāng)然還可以是根據(jù)需要設(shè)置的其他處理方式。
[0068]優(yōu)選地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:存儲(chǔ)介質(zhì)存儲(chǔ)第二數(shù)據(jù)。
[0069]優(yōu)選地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)；以及輸出底層數(shù)據(jù)，存儲(chǔ)介質(zhì)存儲(chǔ)輸出的底層數(shù)據(jù)。
[0070]綜上，本發(fā)明實(shí)施例能夠達(dá)到以下效果:
[0071]通過(guò)把網(wǎng)絡(luò)接口控制器和高速存儲(chǔ)控制器的功能集成到一個(gè)基于FPGA的并行控制器，使得其成本是市面上相同參數(shù)的網(wǎng)卡+存儲(chǔ)控制器價(jià)格的1/5。
[0072]存儲(chǔ)數(shù)據(jù)不通過(guò)服務(wù)器PCI總線(xiàn)及CPU和內(nèi)存，可以將中檔存儲(chǔ)設(shè)備升級(jí)到高速高通的高檔存儲(chǔ)設(shè)備。
[0073]使用高速FPGA晶片，在一塊板子上同時(shí)實(shí)現(xiàn)4xlOGbps的網(wǎng)絡(luò)，16Gbps的SAS存儲(chǔ)，及50倍的DNA序列數(shù)據(jù)壓縮。
[0074]由于不需要單獨(dú)的高速網(wǎng)絡(luò)接口卡和專(zhuān)用的高速存儲(chǔ)控制器，降低了成本。
[0075]基于FPGA的云加速器具有高度可擴(kuò)展性，通過(guò)重新編程，可實(shí)現(xiàn)不同類(lèi)型的海量數(shù)據(jù)處理應(yīng)用，比如在FPGA的并行Pipeline數(shù)據(jù)流中直接進(jìn)行SCSI底層的去重復(fù)算法實(shí)施，可以達(dá)到其他存儲(chǔ)設(shè)備不具備的高倍率壓縮。
[0076]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種數(shù)據(jù)存儲(chǔ)控制器，其特征在于，包括: 數(shù)據(jù)收發(fā)接口，用于接收第一數(shù)據(jù)，所述第一數(shù)據(jù)為待處理的數(shù)據(jù)； 處理模塊，與所述數(shù)據(jù)收發(fā)接口相連接，所述處理模塊為通過(guò)現(xiàn)場(chǎng)可編程門(mén)陣列形成的處理模塊，用于對(duì)所述第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理，得到第二數(shù)據(jù)；以及 數(shù)據(jù)存儲(chǔ)接口，與所述處理模塊相連接，用于將所述第二數(shù)據(jù)輸出到存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)用于存儲(chǔ)所述第二數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)控制器，其特征在于，所述數(shù)據(jù)收發(fā)接口為光電接□。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)控制器，其特征在于，所述數(shù)據(jù)存儲(chǔ)接口包括串行連接小型計(jì)算機(jī)系統(tǒng)接口。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)控制器，其特征在于，所述現(xiàn)場(chǎng)可編程門(mén)陣列用于整合處理所述第一數(shù)據(jù)的底層算法。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)控制器，其特征在于，所述處理模塊包括存儲(chǔ)控制子模塊，與所述數(shù)據(jù)存儲(chǔ)接口相連接，用于將所述第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)，所述數(shù)據(jù)存儲(chǔ)接口還用于輸出所述底層數(shù)據(jù)。
6.一種用于權(quán)利要求1至5任一項(xiàng)所述的數(shù)據(jù)存儲(chǔ)控制器的數(shù)據(jù)處理方法，其特征在于，包括: 接收第一數(shù)據(jù)，所述第一數(shù)據(jù)為用于待處理的數(shù)據(jù)； 通過(guò)現(xiàn)場(chǎng)可編程門(mén)陣列形成的處理模塊對(duì)所述第一數(shù)據(jù)進(jìn)行預(yù)設(shè)處理，得到第二數(shù)據(jù)；以及 輸出所述第二數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，所述預(yù)設(shè)處理包括去重處理和/或加密處理。
8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，在輸出所述第二數(shù)據(jù)之后，所述數(shù)據(jù)處理方法還包括: 存儲(chǔ)介質(zhì)存儲(chǔ)所述第二數(shù)據(jù)。
9.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，在輸出所述第二數(shù)據(jù)之后，所述數(shù)據(jù)處理方法還包括: 將所述第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)；以及 輸出所述底層數(shù)據(jù)，存儲(chǔ)介質(zhì)存儲(chǔ)輸出的底層數(shù)據(jù)。
【文檔編號(hào)】G06F13/38GK104267911SQ201410480315
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2014年9月18日 優(yōu)先權(quán)日:2014年9月18日
【發(fā)明者】文武 申請(qǐng)人:湖南喜瑪拉云技術(shù)有限公司