網(wǎng)絡(luò)接口數(shù)據(jù)分類的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種網(wǎng)絡(luò)接口數(shù)據(jù)的分類方法及系統(tǒng)，尤其涉及一種通過FPGA將接口數(shù)據(jù)進(jìn)行提前分類處理，并發(fā)送至相應(yīng)服務(wù)器的方法及系統(tǒng)。
【背景技術(shù)】
[0002]對于大型數(shù)據(jù)處理系統(tǒng)，尤其是針對電子商務(wù)數(shù)據(jù)處理系統(tǒng)而言，不同的子系統(tǒng)之間需要在同一時間并行傳輸大量的數(shù)據(jù)，而一般的網(wǎng)絡(luò)數(shù)據(jù)接口數(shù)據(jù)的傳輸方法，將面臨兩種情況，當(dāng)數(shù)據(jù)流入速度大于處理速度時，許多數(shù)據(jù)將丟失，當(dāng)數(shù)據(jù)流入速度小于處理速度時，CPU將處于閑置狀態(tài)，造成資源浪費(fèi)。
[0003]為解決上述問題，目前主要采用一下兩種解決方法:
[0004](I)引入緩存空間技術(shù)，此種方法在很大程度上解決了實際應(yīng)用問題，但處理突發(fā)事件時，仍存在緩存區(qū)溢出情況。
[0005](2)通過在網(wǎng)絡(luò)接口處設(shè)置保護(hù)設(shè)備，當(dāng)CPU占用率低時，直接傳輸，當(dāng)CPU占用率高時，直接進(jìn)入自動分類處理，該分類處理為根據(jù)數(shù)據(jù)的不同類型，按照不同的方式進(jìn)行處理。
[0006](3)現(xiàn)有技術(shù)有人根據(jù)網(wǎng)絡(luò)數(shù)據(jù)的協(xié)議類型識別號來判斷數(shù)據(jù)的類型，例如站控層通訊數(shù)據(jù)、數(shù)字化采樣數(shù)據(jù)等，從而根據(jù)這些類型判斷結(jié)果，決定將這些數(shù)據(jù)按照那種方式進(jìn)行處理，這些處理包括:將緩存內(nèi)的數(shù)據(jù)直接傳送至CPU、將緩存數(shù)據(jù)轉(zhuǎn)存至一存儲區(qū)并在該存儲區(qū)滿時傳送給CPU、將緩存清空以接收下一網(wǎng)絡(luò)數(shù)據(jù)。將網(wǎng)絡(luò)數(shù)據(jù)分類后，根據(jù)不同的情況控制數(shù)據(jù)的存儲與傳送時機(jī)，從而實現(xiàn)對突發(fā)事件處理時，傳輸數(shù)據(jù)的保護(hù)，但該技術(shù)無法解決現(xiàn)有電子商務(wù)數(shù)據(jù)處理系統(tǒng)中需要通過較低和較簡單的設(shè)備，來控制數(shù)據(jù)傳送給不同的服務(wù)器、降低成本等技術(shù)問題。
[0007]鑒于目前的技術(shù)存在的上述缺陷，本發(fā)明旨在提供一種在大型系統(tǒng)中，處理網(wǎng)絡(luò)接口數(shù)據(jù)傳輸?shù)姆椒跋到y(tǒng)，其能夠?qū)崿F(xiàn)充分合理利用系統(tǒng)資源，在突發(fā)事件情況下，避免緩存溢出、保證數(shù)據(jù)安全、精確傳輸，使得目前的系統(tǒng)處理效率大大提升，從而提高了用戶體驗。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的是提供一種在大型系統(tǒng)中，處理網(wǎng)絡(luò)接口數(shù)據(jù)傳輸?shù)姆椒跋到y(tǒng)，所述方法和系統(tǒng)能夠?qū)崿F(xiàn)充分合理利用系統(tǒng)資源，在突發(fā)事件情況下，避免緩存溢出、保證數(shù)據(jù)安全、精確傳輸，使得目前的系統(tǒng)處理效率大大提升，提高了用戶體驗。
[0009]本發(fā)明實施例提供了一種網(wǎng)絡(luò)接口數(shù)據(jù)的分類方法，主要采用保護(hù)設(shè)備FPGA技術(shù)，首先對網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行預(yù)處理，由FPGA判斷所述網(wǎng)絡(luò)傳輸數(shù)據(jù)的類型，接著判斷服務(wù)器的工作狀態(tài)，最后根據(jù)上述步驟確定將所述網(wǎng)絡(luò)傳輸數(shù)據(jù)傳輸給相應(yīng)的服務(wù)器，主要包括如下步驟:
[0010](I)對網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行編碼和分類；
[0011](2)保護(hù)設(shè)備FPGA對預(yù)處理后的網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行解碼、存儲和判斷，服務(wù)器處理符合判斷條件的數(shù)據(jù)流，否則垃圾回收服務(wù)器處理不符合判斷條件的其他數(shù)據(jù)流；
[0012](3)FPGA判斷服務(wù)器的狀態(tài)，主要是指CPU的使用率，如果CPU的使用率低，F(xiàn)PGA直接將緩存區(qū)內(nèi)的網(wǎng)絡(luò)數(shù)據(jù)傳輸給服務(wù)器，否則FPGA自動進(jìn)入網(wǎng)絡(luò)數(shù)據(jù)分類傳輸?shù)倪^程；
[0013](4)根據(jù)步驟⑴?(3)確定將網(wǎng)絡(luò)傳輸數(shù)據(jù)傳輸給對應(yīng)的服務(wù)器；
[0014](5)循環(huán)步驟⑴?(4)。
[0015]優(yōu)選的，對網(wǎng)絡(luò)傳輸數(shù)據(jù)預(yù)處理主要是步驟(I)，對網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行編碼和分類，所述數(shù)據(jù)編碼使用8位二進(jìn)制數(shù)表示，頭字段用前四位的數(shù)字表示，對應(yīng)第一級索引信息，尾字段用后四位的數(shù)字表示，對應(yīng)第二級索引信息，第一級索引信息可以有24種可能的表示方法，第二級索引信息也可以有24種可能的表示方法，所述使用8位二進(jìn)制數(shù)可以表示2s中索引下的信息。
[0016]例如；字段00010001和00010010表示的是同種一級索引下的兩個不同二級索引信息；字段00100001和00010001表示的是不同一級索引下的兩個不同二級索引信息，在實際操作中如果要進(jìn)行“查詢貨物”，可令其為第一級索引信息，所述第一級索引信息的字段為0001，“查詢貨物”下有兩個二級索引信息分別為:“會員查詢貨物”和“非會員查詢貨物”，就可令其尾字段用0001和0010或者其他的四位二進(jìn)制數(shù)表示，基于此方法對網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行了編碼，不同的數(shù)據(jù)分配到不同的字段，從而達(dá)到了分類的目的。
[0017]優(yōu)選的，由FPGA判斷所述網(wǎng)絡(luò)傳輸數(shù)據(jù)的類型主要是步驟(2)，保護(hù)設(shè)備FPGA對預(yù)處理后的網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行解碼、存儲和判斷，服務(wù)器處理符合判斷條件的數(shù)據(jù)流，否則垃圾回收服務(wù)器處理不符合判斷條件的其他數(shù)據(jù)流；
[0018]對所述FPGA的識別字段進(jìn)行預(yù)設(shè)，預(yù)設(shè)值為8位二進(jìn)制數(shù)，即從00000000?11111111，開啟FPGA的所有的識別字段對應(yīng)的硬件服務(wù)器，當(dāng)所述網(wǎng)絡(luò)傳輸數(shù)據(jù)從數(shù)據(jù)輸入端進(jìn)入，所述FPGA判斷所述網(wǎng)絡(luò)傳輸數(shù)據(jù)對應(yīng)的字段和自己預(yù)設(shè)的所述識別字段是否匹配，若字段可以匹配，則FPGA對應(yīng)的服務(wù)器邏輯通道打開，其他的FPGA所述服務(wù)器邏輯處于關(guān)閉狀態(tài)。
[0019]優(yōu)選的，開啟FPGA的所有的識別字段對應(yīng)的硬件服務(wù)器，當(dāng)所述網(wǎng)絡(luò)傳輸數(shù)據(jù)從數(shù)據(jù)輸入端進(jìn)入，所述FPGA判斷所述網(wǎng)絡(luò)傳輸數(shù)據(jù)對應(yīng)的字段和自己預(yù)設(shè)的所述識別字段是否匹配，若所述FPGA中的識別字段和所述網(wǎng)絡(luò)傳輸數(shù)據(jù)對應(yīng)的字段沒有匹配成功，則FPGA對應(yīng)的所有服務(wù)器邏輯通道關(guān)閉，并把該字段和對應(yīng)的網(wǎng)絡(luò)傳輸數(shù)據(jù)導(dǎo)入到垃圾回收服務(wù)器中。
[0020]優(yōu)選的，垃圾回收服務(wù)器和其他服務(wù)器并行工作，當(dāng)FPGA當(dāng)前沒有預(yù)設(shè)識別字段和所述網(wǎng)絡(luò)傳輸數(shù)據(jù)的字段匹配時，所述網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)入到垃圾回收服務(wù)器邏輯通道，進(jìn)而導(dǎo)入垃圾回收服務(wù)器，所述垃圾回收服務(wù)器端人工判斷所述網(wǎng)絡(luò)傳輸數(shù)據(jù)是否為有效數(shù)據(jù)，若為有效數(shù)據(jù)則更新FPGA的所述預(yù)設(shè)識別字段；否則停留在垃圾回收服務(wù)器中并預(yù)設(shè)時間定時清空。
[0021]優(yōu)選的，判斷服務(wù)器的工作狀態(tài)主要是步驟(3)，當(dāng)所述CPU的使用率高于75%，F(xiàn)PGA自動進(jìn)入網(wǎng)絡(luò)傳輸數(shù)據(jù)編碼和分類的過程，所述CPU的使用率不高于75%，F(xiàn)PGA直接將緩存區(qū)內(nèi)的所述網(wǎng)絡(luò)傳輸數(shù)據(jù)傳輸給服務(wù)器。
[0022]優(yōu)選的，確定將所述網(wǎng)絡(luò)傳輸數(shù)據(jù)傳輸給相應(yīng)的服務(wù)器主要是步驟⑷和(5)，
[0023]為了減輕服務(wù)器的整體負(fù)擔(dān)，采用多個服務(wù)器共同運(yùn)行的方式對所述預(yù)處理后網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行處理，不同的數(shù)據(jù)分類對應(yīng)不同的服務(wù)器，例如:一些不符合判斷條件的數(shù)據(jù)流最后進(jìn)入的是垃圾回收服務(wù)器，而其他服務(wù)器邏輯通道不對其打開。
[0024]最后循環(huán)整個過程，確保數(shù)據(jù)的最大利用率和避免資源浪費(fèi)。
[0025]此外，本發(fā)明還提供了一種網(wǎng)絡(luò)接口數(shù)據(jù)分類系統(tǒng)，其特征在于，所述系統(tǒng)包含網(wǎng)絡(luò)傳輸數(shù)據(jù)接口群、FGPA模塊和服務(wù)器群；
[0026]所述網(wǎng)絡(luò)傳輸數(shù)據(jù)接口群包含多個數(shù)據(jù)接口，所述數(shù)據(jù)接口包含一種或多種類型的數(shù)據(jù)接口類型；
[0027]所述服務(wù)器群包含多個服務(wù)器，該多個服務(wù)器至少包含一個垃圾回收服務(wù)器；月艮務(wù)器處理符合判斷條件的數(shù)據(jù)流，否則垃圾回收服務(wù)器處理不符合判斷條件的其他數(shù)據(jù)流；
[0028]所述FPGA模塊包含解碼模塊、存儲模塊、判斷模塊，以及多個與所述多個服務(wù)器一一對應(yīng)的用于傳輸網(wǎng)絡(luò)接口數(shù)據(jù)的邏輯通道。
[0029]優(yōu)選的，所述網(wǎng)絡(luò)傳輸數(shù)據(jù)接口群進(jìn)一步包含編碼模塊，用于對網(wǎng)絡(luò)接口數(shù)據(jù)進(jìn)行編碼和分類。所述數(shù)據(jù)編碼使用8位二進(jìn)制數(shù)表示，頭字段用前四位的數(shù)字表示，對應(yīng)第一級索引信息，尾字段用后四位的數(shù)字表示，對應(yīng)第二級索引信息，第一級索引信息可以有24種可能的表示方法，第二級索引信息也可以有2 4種可能的表示方法，所述使用8位二進(jìn)制數(shù)可以表示2s中索引下的信息。
[0030]例如；字段00010001和00010010表示的是同種一級索引下的兩個不同二級索引信息；字段00100001和00010001表示的是不同一級索引下的兩個不同二級索引信息，在實際操作中如果要進(jìn)行“查詢貨物”，可令其為第一級索引信息，所述第一級索引信息的字段為0001，“查詢貨物”下有兩個二級索引信息分別為:“會員查詢貨物”和“非會員查詢貨物”，就可令其尾字段用0001和0010或者其他的四位二進(jìn)制數(shù)表示，基于此