一種大數(shù)據(jù)智能抽取的管理方法
【專(zhuān)利摘要】本發(fā)明提供一種大數(shù)據(jù)智能抽取的管理方法，其具體步驟為：完成抽取應(yīng)用的管理的步驟，完成信息同步的步驟，完成抽取規(guī)則管理的步驟，規(guī)則參數(shù)管理的步驟，抽取任務(wù)調(diào)度的步驟。該一種大數(shù)據(jù)智能抽取的管理方法和現(xiàn)有技術(shù)相比，在改變數(shù)據(jù)抽取工具時(shí)，不必重新開(kāi)發(fā)功能，只需要對(duì)相關(guān)信息進(jìn)行配置即可使用。對(duì)于運(yùn)維人員也不需要精通抽取工具就可以實(shí)現(xiàn)對(duì)數(shù)據(jù)集中的管理。
【專(zhuān)利說(shuō)明】一種大數(shù)據(jù)智能抽取的管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用【技術(shù)領(lǐng)域】，具體的說(shuō)是一種大數(shù)據(jù)智能抽取的管理方法?！颈尘凹夹g(shù)】
[0002]隨著大數(shù)據(jù)重要性的凸顯，在我國(guó)基礎(chǔ)數(shù)據(jù)都已經(jīng)完善的基礎(chǔ)上，將分散在不同地區(qū)和部門(mén)的數(shù)據(jù)進(jìn)行集中的需求日益增多。在集中過(guò)程中有直接應(yīng)用數(shù)據(jù)庫(kù)技術(shù)進(jìn)行數(shù)據(jù)集中的，也有通過(guò)第三方數(shù)據(jù)集中工具進(jìn)行集中的。應(yīng)用數(shù)據(jù)庫(kù)直接同步數(shù)據(jù)有很多局限性和較高硬件要求，無(wú)法在在廣域網(wǎng)和復(fù)雜的網(wǎng)絡(luò)環(huán)境中進(jìn)行數(shù)據(jù)抽取。最為廣泛的是通過(guò)數(shù)據(jù)集中工具進(jìn)行數(shù)據(jù)集中。在應(yīng)用數(shù)據(jù)集中工具進(jìn)行數(shù)據(jù)集中時(shí)，往往需要基于不同的數(shù)據(jù)集中工具進(jìn)行平臺(tái)開(kāi)發(fā)或者要求人員對(duì)集中工具非常熟悉。這些都將花費(fèi)大量人力物力，為了減輕數(shù)據(jù)集中的工作量，我們開(kāi)發(fā)了基于各種數(shù)據(jù)集中工具的抽取管理應(yīng)用。本管理應(yīng)用實(shí)現(xiàn)對(duì)同一集中工具的多個(gè)應(yīng)用同時(shí)進(jìn)行數(shù)據(jù)抽取，也能夠?qū)崿F(xiàn)不同抽取工具多個(gè)應(yīng)用同時(shí)進(jìn)行數(shù)據(jù)抽取。通過(guò)統(tǒng)一的集中管理界面進(jìn)行數(shù)據(jù)集中的管理、調(diào)度和監(jiān)控，屏蔽不同集中工具的差異，從而實(shí)現(xiàn)大數(shù)據(jù)的抽取。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的技術(shù)任務(wù)是解決現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)、大數(shù)據(jù)智能抽取的管理方法。
[0004]本發(fā)明的技術(shù)方案是按以下方式實(shí)現(xiàn)的，該一種大數(shù)據(jù)智能抽取的管理方法，其具體步驟為:
I)完成抽取應(yīng)用的管理的步驟，該步驟是指抽取數(shù)據(jù)源的選擇選用至少一個(gè)抽取工具的至少一個(gè)應(yīng)用:這時(shí)由于充分考慮不同的網(wǎng)絡(luò)環(huán)境下，對(duì)不同數(shù)據(jù)源的抽取，所以在對(duì)抽取工具管理的時(shí)候，不僅能夠?qū)崿F(xiàn)一個(gè)抽取應(yīng)用的管理，也對(duì)多個(gè)抽取應(yīng)用進(jìn)行管理，還可以對(duì)不同抽取工具的多個(gè)應(yīng)用進(jìn)行管理。
[0005]2)完成信息同步的步驟，該步驟是指:
一、數(shù)據(jù)抽取規(guī)則同步；
二、監(jiān)控和日志信息同步；
3)完成抽取規(guī)則管理的步驟，該步驟是指對(duì)抽取規(guī)則進(jìn)行格式定義，實(shí)現(xiàn)對(duì)抽取規(guī)則的樹(shù)形、多角度分類(lèi)，并對(duì)抽取規(guī)則進(jìn)行分組管理；
4)規(guī)則參數(shù)管理的步驟，該步驟是指對(duì)參數(shù)進(jìn)行分類(lèi)管理；
5)抽取任務(wù)調(diào)度的步驟，該步驟是指通過(guò)合理設(shè)置調(diào)度閥值，在調(diào)度時(shí)，在相同的時(shí)間內(nèi)，使得運(yùn)行的任務(wù)數(shù)既不超過(guò)源庫(kù)的傳輸負(fù)荷，也不會(huì)超過(guò)抽取工具服務(wù)器的抽取負(fù)荷，完成抽取任務(wù)。
[0006]所述信息同步的詳細(xì)步驟為:在該管理應(yīng)用實(shí)現(xiàn)時(shí)，建立一整套表結(jié)構(gòu)，實(shí)現(xiàn)抽取工具各規(guī)則表信息到平臺(tái)表信息的映射，從而屏蔽各種數(shù)據(jù)集中工具信息的差異，使得能夠統(tǒng)一同步信息、管理規(guī)則、監(jiān)控任務(wù)執(zhí)行情況，以及調(diào)度任務(wù)使其執(zhí)行在不同的抽取工具上進(jìn)行數(shù)據(jù)抽取。
[0007]所述抽取規(guī)則管理步驟中的分組管理是指:按照業(yè)務(wù)系統(tǒng)、業(yè)務(wù)類(lèi)別、數(shù)據(jù)來(lái)源信息對(duì)規(guī)則進(jìn)行分組抽取和管理，對(duì)于邏輯上關(guān)聯(lián)的抽取規(guī)則，定義邏輯關(guān)系，實(shí)現(xiàn)任務(wù)串
并聯(lián)管理。
[0008]所述規(guī)則參數(shù)管理的詳細(xì)步驟為:這里的參數(shù)是指不同的抽取規(guī)則對(duì)應(yīng)的不同參數(shù)，該參數(shù)從范圍上分別分為全局參數(shù)、局部參數(shù)、規(guī)則參數(shù)；從參數(shù)的取值方式上，將參數(shù)分為固定值、系統(tǒng)值和動(dòng)態(tài)值，在抽取任務(wù)出錯(cuò)時(shí)，快速完成對(duì)參數(shù)值的修改。
[0009]所述抽取任務(wù)的調(diào)度的詳細(xì)步驟為:在管理應(yīng)用建設(shè)時(shí)，根據(jù)數(shù)據(jù)庫(kù)服務(wù)器、抽取工具服務(wù)器、網(wǎng)絡(luò)傳輸速率的硬件配置情況，設(shè)置合理的閥值；在任務(wù)啟動(dòng)時(shí)，根據(jù)硬件環(huán)境合理的啟動(dòng)并行的任務(wù)數(shù)；對(duì)執(zhí)行出錯(cuò)的任務(wù)，根據(jù)不同的錯(cuò)誤類(lèi)型，進(jìn)行不同的應(yīng)對(duì)處理。
[0010]本發(fā)明與現(xiàn)有技術(shù)相比所產(chǎn)生的有益效果是:
本發(fā)明的一種大數(shù)據(jù)智能抽取的管理方法實(shí)現(xiàn)對(duì)各種數(shù)據(jù)抽取工具的管理功能，實(shí)現(xiàn)同時(shí)對(duì)多個(gè)抽取應(yīng)用的管理，從而實(shí)現(xiàn)大數(shù)據(jù)的抽取，對(duì)開(kāi)發(fā)人員來(lái)說(shuō)，當(dāng)新增數(shù)據(jù)抽取工具時(shí)，不必重新開(kāi)發(fā)程序，只需要對(duì)相應(yīng)信息進(jìn)行配置即可，對(duì)運(yùn)維和管理人員來(lái)講，不必精通每一種數(shù)據(jù)抽取工具，就能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)抽取的管理和監(jiān)控，有效的節(jié)約人力，提高工作效率，節(jié)省開(kāi)發(fā)維護(hù)成本60%，實(shí)用性強(qiáng)，易于推廣。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011]附圖1是本發(fā)明的抽取應(yīng)用管理示意圖。
[0012]附圖2是本發(fā)明的信息同步列表示意圖。
[0013]附圖3是本發(fā)明的信息同步設(shè)置示意圖。
[0014]附圖4是本發(fā)明的抽取規(guī)則管理分組示意圖。
[0015]附圖5是本發(fā)明的任務(wù)調(diào)度列表示意圖。
[0016]附圖6是本發(fā)明的任務(wù)調(diào)度設(shè)置示意圖。
【具體實(shí)施方式】
[0017]下面結(jié)合附圖對(duì)本發(fā)明的一種大數(shù)據(jù)智能抽取的管理方法作詳細(xì)說(shuō)明。
[0018]本發(fā)明結(jié)合專(zhuān)業(yè)數(shù)據(jù)集中工具，實(shí)現(xiàn)大數(shù)據(jù)量抽取功能。本管理應(yīng)用能夠管理同一數(shù)據(jù)集中工具的多個(gè)應(yīng)用同時(shí)進(jìn)行數(shù)據(jù)抽取，也能管理不同數(shù)據(jù)集中工具的多個(gè)應(yīng)用同時(shí)進(jìn)行抽取，通過(guò)統(tǒng)一的集中管理界面進(jìn)行數(shù)據(jù)集中的管理、調(diào)度和監(jiān)控，屏蔽不同集中工具的差異，從而實(shí)現(xiàn)大數(shù)據(jù)的抽取。現(xiàn)提供一種大數(shù)據(jù)智能抽取的管理方法，其具體步驟為:
O如附圖1所示，完成抽取應(yīng)用的管理的步驟，該步驟是指抽取數(shù)據(jù)源的選擇選用至少一個(gè)抽取工具的至少一個(gè)應(yīng)用:為支持抽取不同系統(tǒng)的數(shù)據(jù)，適應(yīng)于不同的抽取環(huán)境，實(shí)現(xiàn)大數(shù)據(jù)量的抽取，本管理方法實(shí)現(xiàn)支持多種數(shù)據(jù)抽取工具的數(shù)據(jù)抽取。不僅能夠同時(shí)管理同一抽取工具多個(gè)應(yīng)用進(jìn)行數(shù)據(jù)抽取，而且也可以同時(shí)支持不同抽取工具多個(gè)應(yīng)用同時(shí)進(jìn)行數(shù)據(jù)抽取。
[0019]2)如附圖2、圖3所示，完成信息同步的步驟，該步驟是指:數(shù)據(jù)抽取規(guī)則同步和監(jiān)控和日志信息同步:由于上述信息在不同的抽取工具中，表結(jié)構(gòu)和字段信息是不一致的，為了能能夠在前臺(tái)統(tǒng)一展現(xiàn)和管理。本平臺(tái)定義了一整套表結(jié)構(gòu)，通過(guò)定義數(shù)據(jù)抽取工具與平臺(tái)的表結(jié)構(gòu)的映射關(guān)系，實(shí)現(xiàn)前臺(tái)對(duì)抽取規(guī)則和日志信息的統(tǒng)一管控。
[0020]其具體步驟為:由于步驟I)中提到該管理方法是基于各種數(shù)據(jù)集中工具建設(shè)的，所以在該管理應(yīng)用實(shí)現(xiàn)時(shí)，建立一整套表結(jié)構(gòu)，實(shí)現(xiàn)抽取工具各規(guī)則表信息到平臺(tái)表信息的映射，從而屏蔽各種數(shù)據(jù)集中工具信息的差異，使得能夠統(tǒng)一同步信息、管理規(guī)則、監(jiān)控任務(wù)執(zhí)行情況，以及調(diào)度任務(wù)使其執(zhí)行在不同的抽取工具上進(jìn)行數(shù)據(jù)抽取。
[0021]3)如附圖4所示，完成抽取規(guī)則管理的步驟，該步驟是指受制于數(shù)據(jù)抽取工具的限制，抽取規(guī)則無(wú)法實(shí)現(xiàn)樹(shù)形分類(lèi)、多角度分類(lèi)，以及無(wú)法實(shí)現(xiàn)靈活分組管理。本管理應(yīng)用通過(guò)對(duì)抽取規(guī)則的格式定義，實(shí)現(xiàn)對(duì)抽取規(guī)則的樹(shù)形、多角度分類(lèi)。同時(shí)，為了實(shí)現(xiàn)對(duì)抽取規(guī)則的靈活管理，本管理應(yīng)用增加了抽取規(guī)則的分組管理。按照業(yè)務(wù)系統(tǒng)、業(yè)務(wù)類(lèi)別、數(shù)據(jù)來(lái)源等信息對(duì)規(guī)則進(jìn)行分組抽取和管理，對(duì)于邏輯上關(guān)聯(lián)的抽取規(guī)則，可以定義邏輯關(guān)系，實(shí)現(xiàn)任務(wù)串并聯(lián)管理。
[0022]4)規(guī)則參數(shù)管理的步驟，該步驟是指對(duì)參數(shù)進(jìn)行分類(lèi)管理:數(shù)據(jù)集中時(shí)，抽取規(guī)則的參數(shù)往往比較多，不同的抽取規(guī)則往往對(duì)應(yīng)不同的參數(shù)。為了更便捷管參數(shù)，依據(jù)數(shù)據(jù)集中的經(jīng)驗(yàn)，對(duì)參數(shù)進(jìn)行了分類(lèi)管理。從范圍上將參數(shù)分別分為全局參數(shù)、局部參數(shù)、規(guī)則參數(shù)；從參數(shù)的取值方式上，將參數(shù)分為固定值、系統(tǒng)值、動(dòng)態(tài)值和引用值。根據(jù)不同的情況，可以靈活對(duì)參數(shù)進(jìn)行初始化和更改。提高了運(yùn)維效率，減輕了工作量。
[0023]5)如附圖5、圖6所示，抽取任務(wù)調(diào)度的步驟，該步驟是指:為了適用對(duì)大數(shù)據(jù)的抽取，本管理應(yīng)用支持多種數(shù)據(jù)抽取工具的靈活調(diào)用。為了實(shí)現(xiàn)對(duì)抽取規(guī)則的調(diào)用，根據(jù)目前主流的5種數(shù)據(jù)抽取工具規(guī)則調(diào)用情況，抽象出一整套表結(jié)構(gòu)，實(shí)現(xiàn)對(duì)抽取規(guī)則的靈活調(diào)用。在進(jìn)行大數(shù)據(jù)抽取時(shí)，環(huán)境及服務(wù)器的壓力，往往是管理的重點(diǎn)，本管理應(yīng)用通過(guò)系統(tǒng)配置集中庫(kù)、數(shù)據(jù)源庫(kù)、抽取工具服務(wù)器等信息，實(shí)現(xiàn)動(dòng)態(tài)智能調(diào)度。根據(jù)源數(shù)據(jù)庫(kù)服務(wù)器和數(shù)據(jù)抽取工具服務(wù)器的情況，設(shè)置調(diào)度閥值。調(diào)度時(shí)，在相同的時(shí)間內(nèi)，使得運(yùn)行的任務(wù)數(shù)既不超過(guò)源庫(kù)的傳輸負(fù)荷，也不會(huì)超過(guò)抽取工具服務(wù)器的抽取負(fù)荷。另外在第一次調(diào)度失敗后，在完成抽取任務(wù)后，根據(jù)不同的錯(cuò)誤類(lèi)型，系統(tǒng)會(huì)自動(dòng)重新調(diào)度任務(wù)，比如對(duì)無(wú)法連接的源庫(kù)，會(huì)啟動(dòng)連接測(cè)試功能。對(duì)于抽取中斷的任務(wù)，會(huì)重新自動(dòng)抽取等等。
[0024]具體實(shí)施例:
本管理應(yīng)用基于J2EE技術(shù)設(shè)計(jì)實(shí)現(xiàn)，采用ORACLE 91及以上數(shù)據(jù)庫(kù)和BEA WEBL0GICSERVER 8.1中間件軟件開(kāi)發(fā)而成，實(shí)施工作步驟如下:
第一步、準(zhǔn)備數(shù)據(jù)庫(kù)環(huán)境。
[0025]在數(shù)據(jù)庫(kù)中創(chuàng)建I個(gè)表空間和用戶(hù)，如下表_
用戶(hù)/密碼_表空間 表空間大小
根據(jù)實(shí)際情況設(shè)定 cqglpt—dat 200M_
第二步、部署系統(tǒng)應(yīng)用。
[0026]1、在建立的用戶(hù)下導(dǎo)入已整理好的數(shù)據(jù)。
[0027]2、獲得系統(tǒng)程序:CQGLPT。
[0028]3、按默認(rèn)選項(xiàng)創(chuàng)建域:cqglpt_domain。
[0029]4、啟動(dòng) startWebLogic.cmd,進(jìn)入 weblogic 控制臺(tái):
創(chuàng)建連接池cqglptpool (用戶(hù)名/密碼)和數(shù)據(jù)源。[0030]創(chuàng)建數(shù)據(jù)源，注意JNDIName應(yīng)為cqglpt—ds，使用cqglptpool接池。
[0031]5、選擇 WebApplicationModules，選擇 cqglpt 應(yīng)用進(jìn)行部署。
[0032]6、啟動(dòng)服務(wù)并訪(fǎng)問(wèn)。
[0033]除說(shuō)明書(shū)所述的技術(shù)特征外，均為本專(zhuān)業(yè)技術(shù)人員的公知技術(shù)。
【權(quán)利要求】
1.一種大數(shù)據(jù)智能抽取的管理方法，其特征在于，其具體步驟為: 1)完成抽取應(yīng)用的管理的步驟，該步驟是指抽取數(shù)據(jù)源的選擇選用至少一個(gè)抽取工具的至少一個(gè)應(yīng)用； 2)完成信息同步的步驟，該步驟是指: 一、數(shù)據(jù)抽取規(guī)則同步； 二、監(jiān)控和日志信息同步； 3)完成抽取規(guī)則管理的步驟，該步驟是指對(duì)抽取規(guī)則進(jìn)行格式定義，實(shí)現(xiàn)對(duì)抽取規(guī)則的樹(shù)形、多角度分類(lèi)，并對(duì)抽取規(guī)則進(jìn)行分組管理； 4)規(guī)則參數(shù)管理的步驟，該步驟是指對(duì)參數(shù)進(jìn)行分類(lèi)管理； 5)抽取任務(wù)調(diào)度的步驟，該步驟是指通過(guò)合理設(shè)置調(diào)度閥值，在調(diào)度時(shí)，在相同的時(shí)間內(nèi)，使得運(yùn)行的任務(wù)數(shù)既不超過(guò)源庫(kù)的傳輸負(fù)荷，也不會(huì)超過(guò)抽取工具服務(wù)器的抽取負(fù)荷，完成抽取任務(wù)。
2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)智能抽取的管理方法，其特征在于，所述信息同步的詳細(xì)步驟為:在該管理應(yīng)用實(shí)現(xiàn)時(shí)，建立一整套表結(jié)構(gòu)，實(shí)現(xiàn)抽取工具各規(guī)則表信息到平臺(tái)表信息的映射，從而屏蔽各種數(shù)據(jù)集中工具信息的差異，使得能夠統(tǒng)一同步信息、管理規(guī)則、監(jiān)控任務(wù)執(zhí)行情況，以及調(diào)度任務(wù)使其執(zhí)行在不同的抽取工具上進(jìn)行數(shù)據(jù)抽取。
3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)智能抽取的管理方法，其特征在于，所述抽取規(guī)則管理步驟中的分組管理是指:按照業(yè)務(wù)系統(tǒng)、業(yè)務(wù)類(lèi)別、數(shù)據(jù)來(lái)源信息對(duì)規(guī)則進(jìn)行分組抽取和管理，對(duì)于邏輯上關(guān)聯(lián)的抽取規(guī)則，定義邏輯關(guān)系，實(shí)現(xiàn)任務(wù)串并聯(lián)管理。
4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)智能抽取的管理方法，其特征在于，所述規(guī)則參數(shù)管理的詳細(xì)步驟為:這里的參數(shù)是指不同的抽取規(guī)則對(duì)應(yīng)的不同參數(shù)，該參數(shù)從范圍上分別分為全局參數(shù)、局部參數(shù)、規(guī)則參數(shù)；從參數(shù)的取值方式上，將參數(shù)分為固定值、系統(tǒng)值和動(dòng)態(tài)值，在抽取任務(wù)出錯(cuò)時(shí)，快速完成對(duì)參數(shù)值的修改。
5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)智能抽取的管理方法，其特征在于，所述抽取任務(wù)的調(diào)度的詳細(xì)步驟為:在管理應(yīng)用建設(shè)時(shí)，根據(jù)數(shù)據(jù)庫(kù)服務(wù)器、抽取工具服務(wù)器、網(wǎng)絡(luò)傳輸速率的硬件配置情況，設(shè)置合理的閥值；在任務(wù)啟動(dòng)時(shí)，根據(jù)硬件環(huán)境合理的啟動(dòng)并行的任務(wù)數(shù)；對(duì)執(zhí)行出錯(cuò)的任務(wù)，根據(jù)不同的錯(cuò)誤類(lèi)型，進(jìn)行不同的應(yīng)對(duì)處理。
【文檔編號(hào)】G06F17/30GK103473360SQ201310445356
【公開(kāi)日】2013年12月25日 申請(qǐng)日期:2013年9月26日 優(yōu)先權(quán)日:2013年9月26日
【發(fā)明者】鄒建軍, 呂亞偉, 趙兵旗 申請(qǐng)人:浪潮齊魯軟件產(chǎn)業(yè)有限公司