電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及特定數(shù)據(jù)平臺(tái)的數(shù)據(jù)系統(tǒng)，更具體地說，涉及電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)。
【背景技術(shù)】
[0002]目前，鋼鐵行業(yè)，尤其是鋼鐵的交易產(chǎn)業(yè)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代，海量的交易數(shù)據(jù)，動(dòng)態(tài)變化的交易行情使得數(shù)據(jù)的處理變得尤為地重要。大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)，其數(shù)據(jù)產(chǎn)生速度快，處理要求快，數(shù)據(jù)生成數(shù)量大，不適合傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)，且數(shù)據(jù)來源類型豐富，例如網(wǎng)站日志，地理位置定位信息等。
[0003]然而，現(xiàn)有的數(shù)據(jù)處理模式并沒有針對(duì)特定數(shù)據(jù)平臺(tái)中使用的大數(shù)據(jù)進(jìn)行針對(duì)性的優(yōu)化，尤其是針對(duì)特定數(shù)據(jù)平臺(tái)中的幾個(gè)核心概念及其數(shù)據(jù)，例如鋼鐵的種類、品質(zhì)、數(shù)量等關(guān)鍵信息的針對(duì)性結(jié)構(gòu)優(yōu)化尚未有突破性的進(jìn)展，因此目前的用于特定數(shù)據(jù)平臺(tái)的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理還未跟上特定數(shù)據(jù)平臺(tái)越來越快的發(fā)展步伐。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)中存在的專用電子平臺(tái)的數(shù)據(jù)結(jié)構(gòu)優(yōu)化不到位的問題，本發(fā)明的目的是提供電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0006]一種電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，包括多個(gè)數(shù)據(jù)分塊、多個(gè)數(shù)據(jù)節(jié)點(diǎn)、元數(shù)據(jù)點(diǎn)、作業(yè)調(diào)度模塊。數(shù)據(jù)節(jié)點(diǎn)的數(shù)量與數(shù)據(jù)分塊的數(shù)量相一致，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)中存儲(chǔ)一個(gè)以上的數(shù)據(jù)分塊，且每一個(gè)數(shù)據(jù)分塊被存儲(chǔ)在一個(gè)以上的數(shù)據(jù)節(jié)點(diǎn)中，元數(shù)據(jù)點(diǎn)中存儲(chǔ)所有數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)中均包括任務(wù)調(diào)度器，作業(yè)調(diào)度模塊連接至所有的任務(wù)調(diào)度器。
[0007]根據(jù)本發(fā)明的一實(shí)施例，數(shù)據(jù)分塊和數(shù)據(jù)節(jié)點(diǎn)的數(shù)量均為3個(gè)，分別是第一分塊、第二分塊、第三分塊和第一節(jié)點(diǎn)、第二節(jié)點(diǎn)和第三節(jié)點(diǎn)。
[0008]根據(jù)本發(fā)明的一實(shí)施例，第一分塊中存儲(chǔ)鋼鐵種類信息，第二分塊中存儲(chǔ)鋼鐵品質(zhì)信息，第三分塊中存儲(chǔ)鋼鐵數(shù)量信息。
[0009]根據(jù)本發(fā)明的一實(shí)施例，第一節(jié)點(diǎn)中存儲(chǔ)第一分塊和第二分塊，第二節(jié)點(diǎn)中存儲(chǔ)第一分塊和第三分塊，第三節(jié)點(diǎn)中存儲(chǔ)第二分塊和第三分塊。
[0010]根據(jù)本發(fā)明的一實(shí)施例，第一節(jié)點(diǎn)中包括第一任務(wù)調(diào)度器，第二節(jié)點(diǎn)中包括第二任務(wù)調(diào)度器，第三節(jié)點(diǎn)中包括第三任務(wù)調(diào)度器。
[0011]根據(jù)本發(fā)明的一實(shí)施例，作業(yè)調(diào)度模塊包括第一調(diào)度單元和第二調(diào)度單元，第一調(diào)度單元和第二調(diào)度單元分別交叉調(diào)用第一任務(wù)調(diào)度器、第二任務(wù)調(diào)度器、第三任務(wù)調(diào)度器。
[0012]在上述技術(shù)方案中，本發(fā)明的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)對(duì)特定數(shù)據(jù)平臺(tái)中的核心數(shù)據(jù)進(jìn)行了分布式的存儲(chǔ)和調(diào)用，因此具有速度快、安全性高、交叉引用合理等優(yōu)勢(shì)。
【附圖說明】
[0013]圖1是本發(fā)明電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)的結(jié)構(gòu)示意圖；
[0014]圖2是本發(fā)明電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)的作業(yè)調(diào)度模塊的結(jié)構(gòu)示意圖；
[0015]圖3是作業(yè)調(diào)度模塊的調(diào)度示意圖。
【具體實(shí)施方式】
[0016]下面結(jié)合附圖和實(shí)施例進(jìn)一步說明本發(fā)明的技術(shù)方案。
[0017]如圖1所示，本發(fā)明公開一種電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，其主要模塊為多個(gè)數(shù)據(jù)分塊、多個(gè)數(shù)據(jù)節(jié)點(diǎn)、元數(shù)據(jù)點(diǎn)、作業(yè)調(diào)度模塊，其主要有以下的4個(gè)特點(diǎn):
[0018]大文件和大數(shù)據(jù)塊:數(shù)據(jù)文件的大小普遍在GB級(jí)別，而且其每個(gè)數(shù)據(jù)塊默認(rèn)大小為64MB，這樣做的好處是減少了元數(shù)據(jù)的大小，能使元數(shù)據(jù)節(jié)點(diǎn)能夠非常方便地將元數(shù)據(jù)放置在內(nèi)存中以提升訪問效率。
[0019]操作以添加為主:因?yàn)槲募苌俦粍h減或者覆蓋，通常只是進(jìn)行添加或者讀取操作，這樣能充分考慮到硬盤線性吞吐量大和隨機(jī)讀寫慢的特點(diǎn)。
[0020]支持容錯(cuò):數(shù)據(jù)塊會(huì)被復(fù)制在多個(gè)數(shù)據(jù)節(jié)點(diǎn)上，當(dāng)某些數(shù)據(jù)節(jié)點(diǎn)失效，并不會(huì)影響整個(gè)業(yè)務(wù)的運(yùn)行。
[0021]高吞吐量:可以支持上千的數(shù)據(jù)節(jié)點(diǎn)，所以總的數(shù)據(jù)吞吐量是非常驚人的。
[0022]參照?qǐng)D1，數(shù)據(jù)節(jié)點(diǎn)的數(shù)量與數(shù)據(jù)分塊的數(shù)量相一致，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)中存儲(chǔ)一個(gè)以上的數(shù)據(jù)分塊，且每一個(gè)數(shù)據(jù)分塊被存儲(chǔ)在一個(gè)以上的數(shù)據(jù)節(jié)點(diǎn)中，元數(shù)據(jù)點(diǎn)中存儲(chǔ)所有數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)中均包括任務(wù)調(diào)度器，作業(yè)調(diào)度模塊連接至所有的任務(wù)調(diào)度器。
[0023]從廣義上講，高性能計(jì)算的方法是將作業(yè)分配給一個(gè)機(jī)器集群，這些機(jī)器訪問共享文件系統(tǒng)，由一個(gè)存儲(chǔ)區(qū)域網(wǎng)絡(luò)進(jìn)行管理。這非常適用于以計(jì)算密集型為主的作業(yè)，但當(dāng)節(jié)點(diǎn)需要訪問的大數(shù)據(jù)量(數(shù)百GB的數(shù)據(jù)，)時(shí)，這會(huì)成為一個(gè)問題，因?yàn)榫W(wǎng)絡(luò)帶寬成為“瓶頸”，所以計(jì)算節(jié)點(diǎn)閑置下來了。
[0024]因此，作為本發(fā)明的一種實(shí)施方式，合理地進(jìn)行數(shù)據(jù)分塊和數(shù)據(jù)節(jié)點(diǎn)的設(shè)置顯得尤為重要。在本發(fā)明中，數(shù)據(jù)分塊和數(shù)據(jù)節(jié)點(diǎn)的數(shù)量均為3個(gè)，分別是第一分塊、第二分塊、第三分塊和第一節(jié)點(diǎn)、第二節(jié)點(diǎn)和第三節(jié)點(diǎn)。其中，第一分塊中存儲(chǔ)鋼鐵種類信息，第二分塊中存儲(chǔ)鋼鐵品質(zhì)信息，第三分塊中存儲(chǔ)鋼鐵數(shù)量信息，且第一節(jié)點(diǎn)中存儲(chǔ)第一分塊和第二分塊，第二節(jié)點(diǎn)中存儲(chǔ)第一分塊和第三分塊，第三節(jié)點(diǎn)中存儲(chǔ)第二分塊和第三分塊。
[0025]如圖2和圖3所示，第一節(jié)點(diǎn)中包括第一任務(wù)調(diào)度器，第二節(jié)點(diǎn)中包括第二任務(wù)調(diào)度器，第三節(jié)點(diǎn)中包括第三任務(wù)調(diào)度器，而作業(yè)調(diào)度模塊包括第一調(diào)度單元和第二調(diào)度單元，第一調(diào)度單元和第二調(diào)度單元分別交叉調(diào)用第一任務(wù)調(diào)度器、第二任務(wù)調(diào)度器、第三任務(wù)調(diào)度器。這種結(jié)構(gòu)的好處是使得特定數(shù)據(jù)平臺(tái)中的三個(gè)主要影響因素，即鋼鐵種類信息、鋼鐵品質(zhì)信息和鋼鐵數(shù)量信息能夠進(jìn)行分布式存儲(chǔ)，并且在調(diào)用時(shí)也能夠從對(duì)應(yīng)的節(jié)點(diǎn)中進(jìn)行選擇，實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)都能夠最大效率地進(jìn)行分配和調(diào)用。
[0026]以圖3為例，在實(shí)際使用中，當(dāng)?shù)谝还?jié)點(diǎn)、第二節(jié)點(diǎn)和第三節(jié)點(diǎn)中的數(shù)據(jù)需要被調(diào)用時(shí)，例如第一節(jié)點(diǎn)中的第一分塊、第二節(jié)點(diǎn)中的第二分塊和第三節(jié)點(diǎn)中的第三分塊需要被調(diào)用時(shí)，第一調(diào)度單元和第二調(diào)度單元能夠分別以最合理的方式起到最快的調(diào)度作用。
[0027]由此可見，本發(fā)明的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)能夠進(jìn)行合理的數(shù)據(jù)分塊，能降低數(shù)據(jù)庫(kù)負(fù)載，提高應(yīng)用系統(tǒng)性能，提供了統(tǒng)一的并行處理框架，并且有很好的水平擴(kuò)展能力，當(dāng)計(jì)算能力不足的情況下，可以簡(jiǎn)單的添加機(jī)器就可以應(yīng)對(duì)，并將消耗資源的計(jì)算從數(shù)據(jù)倉(cāng)庫(kù)剝離，提高了數(shù)據(jù)倉(cāng)庫(kù)的處理能力。
[0028]本技術(shù)領(lǐng)域中的普通技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，以上的實(shí)施例僅是用來說明本發(fā)明，而并非用作為對(duì)本發(fā)明的限定，只要在本發(fā)明的實(shí)質(zhì)精神范圍內(nèi)，對(duì)以上所述實(shí)施例的變化、變型都將落在本發(fā)明的權(quán)利要求書范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，其特征在于，包括: 多個(gè)數(shù)據(jù)分塊、多個(gè)數(shù)據(jù)節(jié)點(diǎn)、元數(shù)據(jù)點(diǎn)、作業(yè)調(diào)度模塊； 所述數(shù)據(jù)節(jié)點(diǎn)的數(shù)量與所述數(shù)據(jù)分塊的數(shù)量相一致，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)中存儲(chǔ)一個(gè)以上的數(shù)據(jù)分塊，且每一個(gè)數(shù)據(jù)分塊被存儲(chǔ)在一個(gè)以上的數(shù)據(jù)節(jié)點(diǎn)中； 所述元數(shù)據(jù)點(diǎn)中存儲(chǔ)所有數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)； 每一個(gè)所述數(shù)據(jù)節(jié)點(diǎn)中均包括任務(wù)調(diào)度器，所述作業(yè)調(diào)度模塊連接至所有的任務(wù)調(diào)度器。2.如權(quán)利要求1所述的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，其特征在于，所述數(shù)據(jù)分塊和數(shù)據(jù)節(jié)點(diǎn)的數(shù)量均為3個(gè)，分別是第一分塊、第二分塊、第三分塊和第一節(jié)點(diǎn)、第二節(jié)點(diǎn)和第三節(jié)點(diǎn)。3.如權(quán)利要求2所述的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，其特征在于，所述第一分塊中存儲(chǔ)鋼鐵種類信息，所述第二分塊中存儲(chǔ)鋼鐵品質(zhì)信息，所述第三分塊中存儲(chǔ)鋼鐵數(shù)量信息。4.如權(quán)利要求3所述的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，其特征在于，所述第一節(jié)點(diǎn)中存儲(chǔ)第一分塊和第二分塊，所述第二節(jié)點(diǎn)中存儲(chǔ)第一分塊和第三分塊，所述第三節(jié)點(diǎn)中存儲(chǔ)第二分塊和第三分塊。5.如權(quán)利要求4所述的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，其特征在于，所述第一節(jié)點(diǎn)中包括第一任務(wù)調(diào)度器，所述第二節(jié)點(diǎn)中包括第二任務(wù)調(diào)度器，所述第三節(jié)點(diǎn)中包括第三任務(wù)調(diào)度器。6.如權(quán)利要求5所述的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，其特征在于，所述作業(yè)調(diào)度模塊包括第一調(diào)度單元和第二調(diào)度單元，所述第一調(diào)度單元和第二調(diào)度單元分別交叉調(diào)用所述第一任務(wù)調(diào)度器、第二任務(wù)調(diào)度器、第三任務(wù)調(diào)度器。
【專利摘要】本發(fā)明公開了一種電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)，包括多個(gè)數(shù)據(jù)分塊、多個(gè)數(shù)據(jù)節(jié)點(diǎn)、元數(shù)據(jù)點(diǎn)、作業(yè)調(diào)度模塊。數(shù)據(jù)節(jié)點(diǎn)的數(shù)量與數(shù)據(jù)分塊的數(shù)量相一致，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)中存儲(chǔ)一個(gè)以上的數(shù)據(jù)分塊，且每一個(gè)數(shù)據(jù)分塊被存儲(chǔ)在一個(gè)以上的數(shù)據(jù)節(jié)點(diǎn)中，元數(shù)據(jù)點(diǎn)中存儲(chǔ)所有數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)中均包括任務(wù)調(diào)度器，作業(yè)調(diào)度模塊連接至所有的任務(wù)調(diào)度器。本發(fā)明的電子平臺(tái)的后臺(tái)數(shù)據(jù)系統(tǒng)對(duì)特定數(shù)據(jù)平臺(tái)中的核心數(shù)據(jù)進(jìn)行了分布式的存儲(chǔ)和調(diào)用，因此具有速度快、安全性高、交叉引用合理等優(yōu)勢(shì)。
【IPC分類】G06F17/30
【公開號(hào)】CN105630816
【申請(qǐng)?zhí)枴緾N201410608600
【發(fā)明人】張春前, 徐飛, 傅曉陽(yáng), 楊華, 黃杰, 張婷婷
【申請(qǐng)人】東方鋼鐵電子商務(wù)有限公司
【公開日】2016年6月1日
【申請(qǐng)日】2014年11月3日