間歇性能源海量數(shù)據(jù)處理系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明涉及一種間歇性能源海量數(shù)據(jù)處理系統(tǒng)，它包括主、從云中樞服務(wù)器、第1至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線(xiàn)、負(fù)載總線(xiàn)和數(shù)據(jù)接口總線(xiàn)。所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口C分別通過(guò)終端數(shù)據(jù)總線(xiàn)與終端數(shù)據(jù)計(jì)算機(jī)相連接。主、從云中樞服務(wù)器的主從切換接口相連接。主、從云中樞服務(wù)器的第1至第11接口通過(guò)負(fù)載總線(xiàn)分別與第1至第11負(fù)載服務(wù)器相連接。所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口B通過(guò)數(shù)據(jù)接口總線(xiàn)分別與用戶(hù)終端計(jì)算機(jī)相連接。所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲(chǔ)單元、智能單元和電源模塊。本發(fā)明的優(yōu)點(diǎn)是處理速度快和安全可靠。
【專(zhuān)利說(shuō)明】間歇性能源海量數(shù)據(jù)處理系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種間歇性能源海量數(shù)據(jù)處理系統(tǒng)，適用于風(fēng)電、太陽(yáng)能等間歇性能源海量數(shù)據(jù)的存儲(chǔ)和處理，另外可以收集和存儲(chǔ)如實(shí)時(shí)天氣預(yù)報(bào)數(shù)據(jù)、歷史氣象數(shù)據(jù)等一起處理，為各種高級(jí)應(yīng)用提供數(shù)據(jù)支持，能夠顯著提高間歇性能源電廠(chǎng)的安全性和經(jīng)濟(jì)性。

【背景技術(shù)】
[0002]近年來(lái)，風(fēng)電、太陽(yáng)能等間歇性能源發(fā)展迅速，對(duì)間歇性能源所產(chǎn)生的海量數(shù)據(jù)的存儲(chǔ)和處理被提到議事日程，經(jīng)檢索尚未發(fā)現(xiàn)相關(guān)的文獻(xiàn)報(bào)導(dǎo)。


【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種處理速度快和安全可靠的間歇性能源海量數(shù)據(jù)處理系統(tǒng)。
[0004]本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案:
本發(fā)明包括主云中樞服務(wù)器，從云中樞服務(wù)器、第I至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線(xiàn)、負(fù)載總線(xiàn)和數(shù)據(jù)接口總線(xiàn)；
所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C分別通過(guò)終端數(shù)據(jù)總線(xiàn)與終端數(shù)據(jù)計(jì)算機(jī)相連接，所述終端數(shù)據(jù)計(jì)算機(jī)中存有風(fēng)電、太陽(yáng)能、天氣預(yù)報(bào)的原始數(shù)據(jù)；主、從云中樞服務(wù)器的主從切換接口 D相連接，所述主從切換接口 D依次傳送握手信號(hào)和同步信號(hào)；主、從云中樞服務(wù)器的第I至第11接口通過(guò)負(fù)載總線(xiàn)分別與第I至第11負(fù)載服務(wù)器相連接，所述第I至第11接口為標(biāo)準(zhǔn)的RJ-45接口 ；
所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口B通過(guò)數(shù)據(jù)接口總線(xiàn)分別與用戶(hù)終端計(jì)算機(jī)相連接；
所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲(chǔ)單元、智能單元和電源模塊；
所述CPU分別與第一存儲(chǔ)單元、智能單元雙向連接，所述第一存儲(chǔ)單元與智能單元雙向連接，所述電源模塊分別為所述CPU、第一存儲(chǔ)單元和智能單元提供直流電源；
所述智能單元由主控單元、第二存儲(chǔ)單元、第一內(nèi)部總線(xiàn)和第二內(nèi)部總線(xiàn)組成；所述主控單元為嵌入式32位處理器，所述主控單元與第二存儲(chǔ)單元相連接，所述主控單元的相應(yīng)接口通過(guò)第一內(nèi)部總線(xiàn)分別與所述主云中樞服務(wù)器的第I至第11接口相連接，所述主控單元的相應(yīng)接口通過(guò)第二內(nèi)部總線(xiàn)分別與主云中樞服務(wù)器的數(shù)據(jù)輸出接口 B、數(shù)據(jù)采集接口C、主從切換接口 D相連接；所述主控單元分別與所述第一存儲(chǔ)單元和所述CPU相連接。
[0005]本發(fā)明所述CPU的型號(hào)為Intel Xeon E5-2650 ;所述第一存儲(chǔ)單元由內(nèi)存和輔助存儲(chǔ)器組成，所述內(nèi)存的型號(hào)為ECC DDR3，所述輔助存儲(chǔ)器為SATA硬盤(pán)或移動(dòng)存儲(chǔ)器；所述電源模塊的型號(hào)為94Y6668。
[0006]本發(fā)明所述嵌入式32位處理器的型號(hào)為ARM9，所述第二存儲(chǔ)單元的型號(hào)為DDR2+SDHC。
[0007]本發(fā)明的有益效果如下:
1、本發(fā)明能夠更高效快速的處理海量的數(shù)據(jù)，提供分辨率更高的數(shù)據(jù)，另外能夠使各種高級(jí)應(yīng)用(如風(fēng)電功率預(yù)測(cè)系統(tǒng))的計(jì)算結(jié)果具有更高的精度和準(zhǔn)確度，為電廠(chǎng)操作員和決策部門(mén)做出更優(yōu)的決策提供參考。
[0008]2、本發(fā)明能夠?qū)?shí)時(shí)采集的間歇性能源運(yùn)行中產(chǎn)生的海量數(shù)據(jù)存儲(chǔ)于HDFS，完成PB (1PB=1024TB=1024*1024GB=1024*1024*1024MB)級(jí)別數(shù)據(jù)的存儲(chǔ)，而且數(shù)據(jù)存儲(chǔ)可靠性高，顯著提高了數(shù)據(jù)存儲(chǔ)的安全性。
[0009]3、本發(fā)明利用廉價(jià)的商用計(jì)算機(jī)集群搭建，大大節(jié)約了間歇性能源電廠(chǎng)的經(jīng)濟(jì)成本。
[0010]4、本發(fā)明有統(tǒng)一的數(shù)據(jù)訪(fǎng)問(wèn)接口，能夠方便的供其他高級(jí)應(yīng)用調(diào)用，提高其他高級(jí)應(yīng)用開(kāi)發(fā)的效率。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011]圖1為本發(fā)明所述系統(tǒng)的原理框圖。
[0012]圖2為主云中樞服務(wù)器的原理框圖。
[0013]圖3為主云中樞服務(wù)器中的智能單元的原理框圖。
[0014]圖4為智能單元中的主控單元的原理框圖。
[0015]圖5為本發(fā)明所述方法的海量數(shù)據(jù)的存儲(chǔ)和處理流程圖。

【具體實(shí)施方式】
[0016]由圖1-4所示的實(shí)施例可知，它包括主云中樞服務(wù)器，從云中樞服務(wù)器、第I至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線(xiàn)、負(fù)載總線(xiàn)和數(shù)據(jù)接口總線(xiàn)；
所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C分別通過(guò)終端數(shù)據(jù)總線(xiàn)與終端數(shù)據(jù)計(jì)算機(jī)相連接，所述終端數(shù)據(jù)計(jì)算機(jī)中存有風(fēng)電、太陽(yáng)能、天氣預(yù)報(bào)的原始數(shù)據(jù)；主、從云中樞服務(wù)器的主從切換接口 D相連接，所述主從切換接口 D依次傳送握手信號(hào)和同步信號(hào)；主、從云中樞服務(wù)器的第I至第11接口通過(guò)負(fù)載總線(xiàn)分別與第I至第11負(fù)載服務(wù)器相連接，所述第I至第11接口為標(biāo)準(zhǔn)的RJ-45接口 ；
所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口 B通過(guò)數(shù)據(jù)接口總線(xiàn)分別與用戶(hù)終端計(jì)算機(jī)相連接；
所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲(chǔ)單元、智能單元和電源模塊；
所述CPU分別與第一存儲(chǔ)單元、智能單元雙向連接，所述第一存儲(chǔ)單元與智能單元雙向連接，所述電源模塊分別為所述CPU、第一存儲(chǔ)單元和智能單元提供直流電源；
所述智能單元由主控單元、第二存儲(chǔ)單元、第一內(nèi)部總線(xiàn)和第二內(nèi)部總線(xiàn)組成；所述主控單元為嵌入式32位處理器，所述主控單元與第二存儲(chǔ)單元相連接，所述主控單元的相應(yīng)接口通過(guò)第一內(nèi)部總線(xiàn)分別與所述主云中樞服務(wù)器的第I至第11接口相連接，所述主控單元的相應(yīng)接口通過(guò)第二內(nèi)部總線(xiàn)分別與主云中樞服務(wù)器的數(shù)據(jù)輸出接口 B、數(shù)據(jù)采集接口C、主從切換接口 D相連接；所述主控單元分別與所述第一存儲(chǔ)單元和所述CPU相連接。
[0017]所述CPU的型號(hào)為Intel Xeon E5-2650 ;所述第一存儲(chǔ)單元由內(nèi)存和輔助存儲(chǔ)器組成，所述內(nèi)存的型號(hào)為ECC DDR3，所述輔助存儲(chǔ)器為SATA硬盤(pán)或移動(dòng)存儲(chǔ)器；所述電源模塊的型號(hào)為94Y6668。
[0018]所述嵌入式32位處理器的型號(hào)為ARM9，所述第二存儲(chǔ)單元的型號(hào)為DDR2+SDHC。
[0019]圖2所示的云中樞服務(wù)器具有重要的計(jì)算機(jī)屬性和特征，具有CPU、硬盤(pán)、內(nèi)存、夕卜設(shè)及接口，并具有操作系統(tǒng)(本實(shí)施例使用的是Linux系統(tǒng))、控制網(wǎng)絡(luò)和協(xié)議。整個(gè)機(jī)箱采用全鋼型機(jī)箱，符合工業(yè)標(biāo)準(zhǔn)，抗沖擊、抗振動(dòng)、抗電磁干擾，具有長(zhǎng)時(shí)間工作能力；為便于安裝，機(jī)箱采用標(biāo)準(zhǔn)4U機(jī)箱。下面對(duì)主、從云中樞服務(wù)器的主要外部接口(參考圖1-4)進(jìn)行說(shuō)明:
(I)供電接口 A，使用標(biāo)準(zhǔn)的220V，50HZ交流電供電。
[0020](2)數(shù)據(jù)輸出接口 B，該接口與數(shù)據(jù)接口總線(xiàn)連接，為外部高級(jí)應(yīng)用訪(fǎng)問(wèn)間歇性能源海量數(shù)據(jù)處理后的結(jié)果提供統(tǒng)一的訪(fǎng)問(wèn)接口。另外在軟件上有統(tǒng)一的APKApplicat1nProgramming Interface,應(yīng)用程序編程接口),可以使高級(jí)應(yīng)用屏蔽底層數(shù)據(jù)處理細(xì)節(jié),有效降低并行編程難度，提高編程效率。
[0021](3)數(shù)據(jù)采集接口 C，與終端數(shù)據(jù)總線(xiàn)連接，終端數(shù)據(jù)計(jì)算機(jī)上保存有風(fēng)電、太陽(yáng)能、天氣預(yù)報(bào)等原始數(shù)據(jù)，數(shù)據(jù)的采集支持OPC、Modbus等多種協(xié)議，也可通過(guò)文件流操作，進(jìn)行數(shù)據(jù)的傳輸，因此適用性廣。
[0022](4)主從切換接口 D，一般情況下為了保證系統(tǒng)的可靠性，云中樞服務(wù)器設(shè)置為主、從兩臺(tái)，通過(guò)主從切換接口 D保持實(shí)時(shí)通訊。在正常情況下，主云中樞服務(wù)器對(duì)數(shù)據(jù)的存儲(chǔ)和處理進(jìn)行統(tǒng)一的調(diào)度；當(dāng)主云中樞服務(wù)器發(fā)生故障時(shí)會(huì)自動(dòng)切換至從云中樞服務(wù)器。
[0023](5)第I至第11接口:為標(biāo)準(zhǔn)的RJ-45接口，通過(guò)負(fù)載總線(xiàn)分別與第I至第11負(fù)載服務(wù)器通訊。主、從云中樞服務(wù)器僅僅作為整個(gè)系統(tǒng)的中樞，對(duì)數(shù)據(jù)的存儲(chǔ)和處理進(jìn)行統(tǒng)一的調(diào)度，而具體的數(shù)據(jù)存儲(chǔ)和處理由第I至第11負(fù)載服務(wù)器完成。各個(gè)負(fù)載服務(wù)器可以采用廉價(jià)的商用計(jì)算機(jī)集群，有效的節(jié)約了經(jīng)濟(jì)成本。對(duì)于數(shù)據(jù)存儲(chǔ)而言，主、從云中樞服務(wù)器相當(dāng)于Hadoop中NameNode,而各個(gè)負(fù)載服務(wù)器相當(dāng)于Hadoop中的DataNode。主、從云中樞服務(wù)器和各負(fù)載服務(wù)器共同完成間歇性能源海量數(shù)據(jù)的存儲(chǔ)與分布式計(jì)算。
[0024](6)擴(kuò)展接口 EX (見(jiàn)圖1-4):由于主、從云中樞服務(wù)器的第I至第11接口只能夠連接11臺(tái)負(fù)載服務(wù)器，但是隨著數(shù)據(jù)量的增大，11臺(tái)負(fù)載服務(wù)器不足以完成海量數(shù)據(jù)的存儲(chǔ)和處理時(shí)，可以通過(guò)擴(kuò)展接口 EX，增加擴(kuò)展卡，進(jìn)而部署更多的負(fù)載服務(wù)器。
[0025]間歇性能源終端數(shù)據(jù)通過(guò)終端數(shù)據(jù)總線(xiàn)與主、從云中樞服務(wù)器進(jìn)行通信，其中終端數(shù)據(jù)文件位于各個(gè)終端數(shù)據(jù)計(jì)算機(jī)上，主、從云中樞服務(wù)器通過(guò)數(shù)據(jù)采集所支持的0PC、Modbus等多種協(xié)議，通過(guò)主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C進(jìn)行通訊，利用已有的API，完成數(shù)據(jù)的采集；主、從云中樞服務(wù)器與各負(fù)載服務(wù)器共同完成間歇性能源海量數(shù)據(jù)的存儲(chǔ)與處理，其中主、從云中樞服務(wù)器支持主從切換，當(dāng)主云中樞服務(wù)器出現(xiàn)故障時(shí)，能夠在短時(shí)間內(nèi)切換到從云中樞服務(wù)器，保證了系統(tǒng)的可靠性，主從切換通過(guò)主、從云中樞服務(wù)器的主從切換接口 D保持實(shí)時(shí)通訊；各負(fù)載服務(wù)器通過(guò)負(fù)載總線(xiàn)與主、從云中樞服務(wù)器進(jìn)行通訊，通過(guò)主、從云中樞服務(wù)器的第I至第11端口，采用TCP/IP協(xié)議，負(fù)載服務(wù)器的數(shù)量可以隨著間歇性能源數(shù)據(jù)量的增加適當(dāng)?shù)脑黾?，?dāng)負(fù)載服務(wù)器數(shù)量超過(guò)11個(gè)后，可以通過(guò)主、從云中樞服務(wù)器的擴(kuò)展接口 EX增加擴(kuò)展卡，進(jìn)而增加負(fù)載服務(wù)器，以應(yīng)對(duì)更大規(guī)模的數(shù)據(jù)處理；處理后的數(shù)據(jù)通過(guò)數(shù)據(jù)輸出接口 B與數(shù)據(jù)接口總線(xiàn)連接，為各種高級(jí)應(yīng)用提供易于使用的數(shù)據(jù)訪(fǎng)問(wèn)接口。
[0026]在圖2-4中，主、從云中樞服務(wù)器內(nèi)部各個(gè)組件通過(guò)內(nèi)部總線(xiàn)連接，這樣便于內(nèi)部各個(gè)部件和設(shè)備的擴(kuò)充，統(tǒng)一的總線(xiàn)標(biāo)準(zhǔn)可以很容易使不同設(shè)備間實(shí)現(xiàn)互聯(lián)互通。主、從云中樞服務(wù)器作為整個(gè)系統(tǒng)的中樞，完成對(duì)數(shù)據(jù)存儲(chǔ)和處理的統(tǒng)一調(diào)度。
[0027](I) CPU
CPU由運(yùn)算器和控制器兩部分組成，主要完成處理指令、執(zhí)行操作、控制時(shí)間、處理數(shù)據(jù)功能，其中處理指令是指控制程序中指令的執(zhí)行順序。程序中的各指令之間是有嚴(yán)格順序的，必須嚴(yán)格按程序規(guī)定的順序執(zhí)行，才能保證主、從云中樞服務(wù)器工作的正確性；執(zhí)行操作表示一條指令的功能往往是由主、從云中樞服務(wù)器中的各個(gè)部件執(zhí)行一系列的操作來(lái)實(shí)現(xiàn)的，CPU要根據(jù)指令的功能，產(chǎn)生相應(yīng)的操作控制信號(hào)，發(fā)給相應(yīng)的部件，從而控制這些部件按指令的要求進(jìn)行動(dòng)作；控制時(shí)間就是對(duì)各種操作實(shí)施時(shí)間上的定時(shí)，在一條指令的執(zhí)行過(guò)程中，在什么時(shí)間做什么操作均應(yīng)受到嚴(yán)格的控制，只有這樣，主、從云中樞服務(wù)器才能有條不紊地工作；處理數(shù)據(jù)即對(duì)數(shù)據(jù)進(jìn)行算術(shù)運(yùn)算和邏輯運(yùn)算，或進(jìn)行其他的信息處理，其功能主要是解釋主、從云中樞服務(wù)器指令以及處理主、從云中樞服務(wù)器中的數(shù)據(jù)，并執(zhí)行指令，一些通用的服務(wù)器CPU均可以采用，本實(shí)施例采用的是Intel Xeon E5-2650。
[0028](2)第一存儲(chǔ)單元
第一存儲(chǔ)單元主要由內(nèi)存和輔助存儲(chǔ)器組成，內(nèi)存是主、從云中樞服務(wù)器中與CPU進(jìn)行溝通的橋梁，主、從云中樞服務(wù)器中所有程序的運(yùn)行都是在內(nèi)存中進(jìn)行的。一些通用的服務(wù)器內(nèi)存均可以采用，本實(shí)施例采用的是ECC DDR3內(nèi)存。ECC是一種新的內(nèi)存糾錯(cuò)技術(shù)，在普通的內(nèi)存上，以前常常使用一種技術(shù)，即Parity,同位檢查碼(Parity check codes)被廣泛地使用在偵錯(cuò)碼上，它們?cè)黾右粋€(gè)檢查位給每個(gè)字節(jié)，并且能夠偵測(cè)到一個(gè)字節(jié)中所有奇(偶)同位的錯(cuò)誤，但Parity有一個(gè)缺點(diǎn)，當(dāng)計(jì)算機(jī)查到某個(gè)位有錯(cuò)誤時(shí)，并不能確定錯(cuò)誤在哪一個(gè)位，因此也就無(wú)法修正錯(cuò)誤?；谏鲜銮闆r，產(chǎn)生了一種新的內(nèi)存糾錯(cuò)技術(shù)，那就是ECC，因此本實(shí)施例采用ECC DDR3內(nèi)存，使主、從云中樞服務(wù)器具有很好的糾錯(cuò)能力。
[0029]輔助存儲(chǔ)器用來(lái)存放數(shù)據(jù)文件，可以采用常用的SATA硬盤(pán)或移動(dòng)存儲(chǔ)設(shè)備即可。
[0030](3)電源模塊
電源模塊為主、從云中樞服務(wù)器中CPU、第一存儲(chǔ)單元、智能單元等部件的正常運(yùn)行供電，電源模塊保證了工作電源滿(mǎn)足系統(tǒng)的各項(xiàng)要求，具體如下:
①電源:單相220VAC+10%?220VAC-15%
②頻率:50HZ
③波形失真率:小于3%
(4)智能單元(見(jiàn)圖3、4)
智能單元是云中樞服務(wù)器一個(gè)很重要的組成部分，云中樞服務(wù)器與終端數(shù)據(jù)總線(xiàn)、數(shù)據(jù)接口總線(xiàn)、負(fù)載總線(xiàn)的連接以及主、從云中樞服務(wù)器的切換，均需要通過(guò)智能單元來(lái)完成。
[0031]在圖3、4中，智能單元內(nèi)部主要由主控單元和第二存儲(chǔ)單元組成，下面對(duì)主控單元和第二存儲(chǔ)單元進(jìn)行詳細(xì)的介紹。
[0032]①主控單元
主、從云中樞服務(wù)器與終端數(shù)據(jù)總線(xiàn)、數(shù)據(jù)接口總線(xiàn)、負(fù)載總線(xiàn)的連接，均是通過(guò)智能單元中的主控單元來(lái)完成。另外主控單元也用來(lái)與主、從云中樞服務(wù)器的CPU和第一存儲(chǔ)單元進(jìn)行通信，完成主、從云中樞服務(wù)器的調(diào)度，并且可以對(duì)主、從云中樞服務(wù)器的第一存儲(chǔ)單元中數(shù)據(jù)進(jìn)行操作。主控單元采用嵌入式無(wú)風(fēng)扇設(shè)計(jì)，超低功耗運(yùn)行。
[0033]②第二存儲(chǔ)單元
第二存儲(chǔ)單元主要由ROM、RAM、Flash等組成。用來(lái)輔助主控單元，完成各個(gè)操作指令的執(zhí)行，并保存主、從云中樞服務(wù)器與終端數(shù)據(jù)總線(xiàn)、數(shù)據(jù)接口總線(xiàn)、負(fù)載總線(xiàn)通信過(guò)程中的實(shí)時(shí)運(yùn)行信息以及主控單元狀態(tài)信息，并實(shí)時(shí)保存主、從云中樞運(yùn)行狀態(tài)，為主、從云中樞服務(wù)器切換提供依據(jù)。
[0034]本發(fā)明的軟件是基于MapReduce模型完成的,MapReduce模型是Google開(kāi)發(fā)的一種面向海量數(shù)據(jù)分析和處理的分布式計(jì)算模型，能夠利用大規(guī)模廉價(jià)服務(wù)器集群實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的并行處理，具有良好的擴(kuò)展性和可靠性。其運(yùn)行環(huán)境由客戶(hù)端、主節(jié)點(diǎn)(即主、從云中樞服務(wù)器)和工作節(jié)點(diǎn)(即各負(fù)載服務(wù)器)組成?？蛻?hù)端將用戶(hù)的并行處理作業(yè)提交給主節(jié)點(diǎn)，主節(jié)點(diǎn)自動(dòng)將作業(yè)分解為Map任務(wù)和Reduce任務(wù)，并將任務(wù)調(diào)度到工作節(jié)點(diǎn)；工作節(jié)點(diǎn)負(fù)責(zé)任務(wù)的執(zhí)行，開(kāi)發(fā)人員向MapReduce模型提交的程序中僅僅需要定義Map函數(shù)和Reduce函數(shù)，Map操作對(duì)輸入數(shù)據(jù)進(jìn)行處理，產(chǎn)生一組中間的鍵值對(duì)集，Reduce操作對(duì)具有相同鍵的鍵值對(duì)進(jìn)行數(shù)據(jù)合并。
[0035]整個(gè)數(shù)據(jù)存儲(chǔ)和處理是基于MapReduce模型強(qiáng)大的開(kāi)源系統(tǒng)Hadoop來(lái)實(shí)現(xiàn)的。Hadoop是一個(gè)開(kāi)源的可運(yùn)行于大型分布式集群上的并行編程框架，能夠更容易的開(kāi)發(fā)并行處理海量數(shù)據(jù)的分布式計(jì)算平臺(tái)，具有可靠性、低成本、高效、可擴(kuò)展性等優(yōu)點(diǎn)，已經(jīng)應(yīng)用在各大互聯(lián)網(wǎng)公司的海量數(shù)據(jù)處理上，對(duì)于間歇性能源海量數(shù)據(jù)的處理，有很好的參考和借鑒價(jià)值。Hadoop這個(gè)名字不是一個(gè)縮寫(xiě)，而是一個(gè)虛構(gòu)的名字。該項(xiàng)目的創(chuàng)建者DougCutting解釋Hadoop的得名:“這個(gè)名字是我孩子給一個(gè)棕黃色的大象玩具命名的。我的命名標(biāo)準(zhǔn)就是簡(jiǎn)短，容易發(fā)音和拼寫(xiě)，沒(méi)有太多的意義，并且不會(huì)被用于別處。小孩子恰恰是這方面的高手?！?br> 由圖5可知，間歇性能源海量數(shù)據(jù)處理流程主要分為海量數(shù)據(jù)存儲(chǔ)和海量數(shù)據(jù)處理兩部分，其中數(shù)據(jù)存儲(chǔ)主要負(fù)責(zé)存儲(chǔ)間歇性能源海量數(shù)據(jù)并拆分成若干數(shù)據(jù)分片；數(shù)據(jù)處理主要通過(guò)Map操作和Reduce操作，對(duì)間歇性能源海量數(shù)據(jù)進(jìn)行處理。
[0036](I)數(shù)據(jù)存儲(chǔ):將海量的數(shù)據(jù)存儲(chǔ)于HDFS，HDFS是(Hadoop Distributed FileSystem) Hadoop分布式文件系統(tǒng)的縮寫(xiě)，被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)，與現(xiàn)有分布式文件系統(tǒng)相比，HDFS有很多優(yōu)點(diǎn)，例如HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的服務(wù)器上，能夠提供高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS中數(shù)據(jù)文件的目錄存儲(chǔ)于一個(gè)服務(wù)器，在HDFS中被稱(chēng)為NameNode，對(duì)應(yīng)于圖1的主、從云中樞服務(wù)器，而具體的文件數(shù)據(jù)，拆分成若干塊，被稱(chēng)為數(shù)據(jù)分片，冗余的存儲(chǔ)在不同服務(wù)器，HDFS中被稱(chēng)為DataNode，對(duì)應(yīng)于圖1中的11個(gè)負(fù)載服務(wù)器，因此雖然具體的數(shù)據(jù)存儲(chǔ)在不同負(fù)載服務(wù)器上，但是在邏輯上，對(duì)于數(shù)據(jù)的訪(fǎng)問(wèn)有統(tǒng)一的文件操作API(Applicat1n Programming Interface,應(yīng)用程序編程接口)，通過(guò) Hadoop 提供的一系列API (Applicat1n Programming Interface,應(yīng)用程序編程接口)，API 是系統(tǒng)提供的一系列函數(shù)，以庫(kù)的形式存在，供用戶(hù)調(diào)用。
[0037](2)數(shù)據(jù)處理=MapReduce模型對(duì)數(shù)據(jù)的處理是并行處理的，對(duì)數(shù)據(jù)的處理拆分為若干個(gè)Map操作和Reduce操作，并被分配到不同的負(fù)載服務(wù)器上進(jìn)行計(jì)算，因此能夠高效快速的處理海量的數(shù)據(jù)，數(shù)據(jù)輸出可以供人機(jī)界面及其他高級(jí)應(yīng)用利用。對(duì)于數(shù)據(jù)如何進(jìn)行拆分以及如何進(jìn)行計(jì)算，過(guò)程比較復(fù)雜，為便于理解，通過(guò)下面的具體例子進(jìn)行詳細(xì)的說(shuō)明:
以MapReduce模型在某區(qū)域性風(fēng)電場(chǎng)集中風(fēng)電輸出功率預(yù)測(cè)系統(tǒng)中的應(yīng)用為例，通過(guò)詳細(xì)說(shuō)明一個(gè)作業(yè)的實(shí)現(xiàn)過(guò)程來(lái)介紹MapReduce模型。每一次計(jì)算請(qǐng)求稱(chēng)為作業(yè),這里一個(gè)作業(yè)，指的是一次風(fēng)電場(chǎng)超短期輸出功率預(yù)測(cè)的執(zhí)行過(guò)程。風(fēng)電場(chǎng)超短期輸出功率預(yù)測(cè)的基本原理是根據(jù)風(fēng)電場(chǎng)各風(fēng)機(jī)歷史功率、風(fēng)速、風(fēng)向等參數(shù)，先預(yù)測(cè)風(fēng)速值，然后根據(jù)風(fēng)速與輸出功率的專(zhuān)家系統(tǒng)數(shù)據(jù)庫(kù)得出輸出功率的預(yù)測(cè)值，為完成一次功率預(yù)測(cè)計(jì)算請(qǐng)求，首先由客戶(hù)端(即用戶(hù)程序)將作業(yè)提交給主、從云中樞服務(wù)器，然后主、從云中樞服務(wù)器自動(dòng)將其拆分成若干Map任務(wù)和Reduce任務(wù)，并分配到不同的負(fù)載服務(wù)器上執(zhí)行。Map任務(wù)將每臺(tái)風(fēng)機(jī)一段時(shí)間內(nèi)的歷史數(shù)據(jù)作為自己的輸入，經(jīng)過(guò)數(shù)據(jù)的篩選、計(jì)算等過(guò)程生成每臺(tái)風(fēng)機(jī)功率預(yù)測(cè)數(shù)據(jù)對(duì):〈key，value〉，其表示的意義為〈風(fēng)場(chǎng)ID，風(fēng)機(jī)ID，時(shí)間，預(yù)測(cè)功率> ;等所有Map任務(wù)完成后,系統(tǒng)會(huì)生成若干個(gè)Reduce任務(wù),將相同風(fēng)場(chǎng)ID的〈key, value〉數(shù)據(jù)進(jìn)行總結(jié)，形成〈風(fēng)場(chǎng)ID，時(shí)間，預(yù)測(cè)功率 > 格式的數(shù)據(jù),進(jìn)而將Map操作和Reduce操作生成的中間文件匯總到最后的輸出文件中去，完成一次作業(yè)的執(zhí)行。
【權(quán)利要求】
1.一種間歇性能源海量數(shù)據(jù)處理系統(tǒng)，其特征在于包括主云中樞服務(wù)器、從云中樞服務(wù)器、第I至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線(xiàn)、負(fù)載總線(xiàn)和數(shù)據(jù)接口總線(xiàn)； 所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C分別通過(guò)終端數(shù)據(jù)總線(xiàn)與終端數(shù)據(jù)計(jì)算機(jī)相連接，所述終端數(shù)據(jù)計(jì)算機(jī)中存有風(fēng)電、太陽(yáng)能、天氣預(yù)報(bào)的原始數(shù)據(jù)；主、從云中樞服務(wù)器的主從切換接口 D相連接，所述主從切換接口 D依次傳送握手信號(hào)和同步信號(hào)；主、從云中樞服務(wù)器的第I至第11接口通過(guò)負(fù)載總線(xiàn)分別與第I至第11負(fù)載服務(wù)器相連接，所述第I至第11接口為標(biāo)準(zhǔn)的RJ-45接口 ； 所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口B通過(guò)數(shù)據(jù)接口總線(xiàn)分別與用戶(hù)終端計(jì)算機(jī)相連接； 所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲(chǔ)單元、智能單元和電源模塊； 所述CPU分別與第一存儲(chǔ)單元、智能單元雙向連接，所述第一存儲(chǔ)單元與智能單元雙向連接，所述電源模塊分別為所述CPU、第一存儲(chǔ)單元和智能單元提供直流電源； 所述智能單元由主控單元、第二存儲(chǔ)單元、第一內(nèi)部總線(xiàn)和第二內(nèi)部總線(xiàn)組成；所述主控單元為嵌入式32位處理器，所述主控單元與第二存儲(chǔ)單元相連接，所述主控單元的相應(yīng)接口通過(guò)第一內(nèi)部總線(xiàn)分別與所述主云中樞服務(wù)器的第I至第11接口相連接，所述主控單元的相應(yīng)接口通過(guò)第二內(nèi)部總線(xiàn)分別與主云中樞服務(wù)器的數(shù)據(jù)輸出接口 B、數(shù)據(jù)采集接口C、主從切換接口 D相連接；所述主控單元分別與所述第一存儲(chǔ)單元和所述CPU相連接。
2.根據(jù)權(quán)利要求1所述間歇性能源海量數(shù)據(jù)處理系統(tǒng)，其特征在于所述CPU的型號(hào)為Intel Xeon E5-2650 ;所述第一存儲(chǔ)單元由內(nèi)存和輔助存儲(chǔ)器組成，所述內(nèi)存的型號(hào)為ECCDDR3，所述輔助存儲(chǔ)器為SATA硬盤(pán)或移動(dòng)存儲(chǔ)器；所述電源模塊的型號(hào)為94Y6668。
3.根據(jù)權(quán)利要求1所述的間歇性能源海量數(shù)據(jù)處理系統(tǒng)，其特征在于所述嵌入式32位處理器的型號(hào)為ARM9，所述第二存儲(chǔ)單元的型號(hào)為DDR2+SDHC。
【文檔編號(hào)】H04L29/08GK104301402SQ201410511928
【公開(kāi)日】2015年1月21日 申請(qǐng)日期:2014年9月29日 優(yōu)先權(quán)日:2014年9月29日
【發(fā)明者】梅華威, 米增強(qiáng), 吳廣磊 申請(qǐng)人:華北電力大學(xué)（保定）