可視化多數(shù)據(jù)庫etl集成方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)庫集成開發(fā)與數(shù)據(jù)庫運行優(yōu)化領(lǐng)域，是一套通過圖形化界面配置 實現(xiàn)多種數(shù)據(jù)庫集成，數(shù)據(jù)抽取與注入的集成方法和系統(tǒng)。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)庫應(yīng)用越來越廣泛，由于部門業(yè)務(wù)和功能歸屬不 同，各應(yīng)用系統(tǒng)開發(fā)時采用了不同的數(shù)據(jù)庫環(huán)境，給實際應(yīng)用帶來很大困難，多數(shù)據(jù)庫的集 成應(yīng)用技術(shù)一直是一項難題，多數(shù)據(jù)應(yīng)用技術(shù)包括了對軟件系統(tǒng)集成應(yīng)用、數(shù)據(jù)庫的可視 化問題、數(shù)據(jù)的分析算法等。目前，關(guān)于數(shù)據(jù)庫集成方法雖然存在，但是一方面是這類方法 的集成化程度不高，經(jīng)過集成之后進(jìn)行數(shù)據(jù)庫查詢效率低；另外是這類方法的靈活性差，配 置起來比較繁瑣，如果遇到設(shè)計的數(shù)據(jù)表與字段比較復(fù)雜和繁多的情況時，不僅需要大量 的時間配置，而且也容易出錯。
[0003] 目前來說，存在的主要困難是多數(shù)據(jù)庫的集成、數(shù)據(jù)遷移過程優(yōu)化問題、不同數(shù)據(jù) 庫集成的效率問題。由于架構(gòu)不同，多數(shù)據(jù)庫集成需要多種技術(shù)支持；數(shù)據(jù)遷移過程受數(shù)據(jù) 量級影響，大量的數(shù)據(jù)遷移會造成數(shù)據(jù)庫運行效率降低，影響數(shù)據(jù)庫的使用；客戶端的多樣 性會影響集成效率，客戶端與客戶端之間、客戶端與數(shù)據(jù)庫端存在多通道傳輸，會造成傳輸 效率低下。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一套可視化多數(shù)據(jù)ETL集成方法。本發(fā)明為實現(xiàn)上述目的所 采用的技術(shù)方案是：
[0005] 可視化多數(shù)據(jù)庫ETL集成方法，包括以下步驟：
[0006] 連接源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫；通過源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的ETL匹配，得到源數(shù) 據(jù)庫的源表的SQL語句；
[0007] 對SQL語句進(jìn)行優(yōu)化并執(zhí)行、得到多個源數(shù)據(jù)庫的ETL數(shù)據(jù)并注入到目標(biāo)數(shù)據(jù)庫 的目標(biāo)表。
[0008] 所述通過源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的ETL匹配，得到源數(shù)據(jù)庫的源表的SQL語句包 括以下步驟：
[0009] 配置源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫及表名、字段，并判斷源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù) 庫類型；
[0010] 根據(jù)源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型確定不同的ETL規(guī)則類，再根據(jù)源數(shù)據(jù) 庫的源表通過ETL規(guī)則類得到源表的SQL語句；
[0011] 所述對SQL語句進(jìn)行優(yōu)化并執(zhí)行、得到多個源數(shù)據(jù)庫的ETL數(shù)據(jù)并注入到目標(biāo)數(shù) 據(jù)庫的目標(biāo)表包括以下步驟：
[0012] 處理SQL語句并根據(jù)ETL規(guī)則庫匹配的結(jié)果對SQL語句進(jìn)行優(yōu)化；
[0013] 調(diào)用平臺層提供的API，執(zhí)行優(yōu)化后的SQL語句得到ETL數(shù)據(jù)并存入數(shù)據(jù)緩沖區(qū)， 根據(jù)ETL規(guī)則庫將ETL數(shù)據(jù)注入目標(biāo)庫的目標(biāo)表。
[0014] 所述處理SQL語句并根據(jù)ETL規(guī)則庫匹配的結(jié)果對SQL語句進(jìn)行優(yōu)化包括以下步 驟：
[0015] 將SQL語句建立一個樹結(jié)構(gòu)；對樹結(jié)構(gòu)的每一節(jié)點進(jìn)行語義檢查，并進(jìn)行結(jié)構(gòu)轉(zhuǎn) 換，將分析樹轉(zhuǎn)換為表示最初的查詢計劃的代數(shù)操作符樹；將代數(shù)操作符樹轉(zhuǎn)換為執(zhí)行速 度最快的SQL序列。
[0016] 可視化多數(shù)據(jù)庫ETL集成系統(tǒng)，包括：
[0017] 數(shù)據(jù)庫管理系統(tǒng)層：連接源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫；通過源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的 ETL匹配，得到源數(shù)據(jù)庫的源表的SQL語句；
[0018] 語義層：對SQL語句進(jìn)行優(yōu)化并執(zhí)行、得到多個源數(shù)據(jù)庫的ETL數(shù)據(jù)并注入到目標(biāo) 數(shù)據(jù)庫的目標(biāo)表。
[0019] 所述數(shù)據(jù)庫管理系統(tǒng)層包括：
[0020] 圖形化配置界面：配置源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫及表名、字段，并判斷源數(shù)據(jù)庫和目 標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型；
[0021] ETL規(guī)則庫：根據(jù)源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型確定不同的ETL規(guī)則類，再 根據(jù)源數(shù)據(jù)庫的源表通過ETL規(guī)則類得到SQL語句；
[0022] 所述語義層包括：
[0023] 查詢編譯器：處理SQL語句并根據(jù)ETL規(guī)則庫匹配的結(jié)果對SQL語句進(jìn)行優(yōu)化；
[0024] 執(zhí)行引擎：調(diào)用平臺層提供的API，執(zhí)行優(yōu)化后的SQL語句得到ETL數(shù)據(jù)并存入數(shù) 據(jù)緩沖區(qū)，根據(jù)ETL規(guī)則庫將ETL數(shù)據(jù)注入目標(biāo)庫的目標(biāo)表。
[0025] 所述查詢編譯器包括：
[0026] 查詢分析器：將SQL語句建立一個樹結(jié)構(gòu)；
[0027] 查詢預(yù)處理器：對樹結(jié)構(gòu)的每一節(jié)點進(jìn)行語義檢查，并對樹結(jié)構(gòu)的每一節(jié)點進(jìn)行 語義檢查，并進(jìn)行結(jié)構(gòu)轉(zhuǎn)換，將分析樹轉(zhuǎn)換為表示最初的查詢計劃的代數(shù)操作符樹；
[0028] 查詢優(yōu)化器：將代數(shù)操作符樹轉(zhuǎn)換為執(zhí)行速度最快的SOL序列。
[0029] 本發(fā)明具有以下有益效果及優(yōu)點：
[0030] 1.本發(fā)明降低多數(shù)據(jù)庫集成的復(fù)雜程度，提高數(shù)據(jù)庫集成的效率，降低數(shù)據(jù)庫集 成的風(fēng)險。
[0031] 2.本發(fā)明通過分層邏輯設(shè)計，解決各數(shù)據(jù)庫的數(shù)據(jù)源在硬件平臺，操作系統(tǒng)和通 信協(xié)議的差異問題，在一個更高的抽象層次上進(jìn)行應(yīng)用邏輯的設(shè)計，減少了系統(tǒng)實現(xiàn)的復(fù) 雜性，并且使系統(tǒng)具有良好的開發(fā)性和擴(kuò)展性。
[0032] 3.本發(fā)明通過查詢編譯器、查詢優(yōu)化器與執(zhí)行引擎，完成快速的數(shù)據(jù)查詢與轉(zhuǎn)存。
[0033] 4.本發(fā)明通過圖形化配置界面與ETL規(guī)則庫，實現(xiàn)進(jìn)行語法分析和校驗，以避免 人為錯誤，保證數(shù)據(jù)抽取的正確執(zhí)行。
[0034] 5.本發(fā)明通過平臺層，實現(xiàn)了系統(tǒng)對數(shù)據(jù)源的支持，保證了系統(tǒng)在不同平臺上靈 活集成。
【附圖說明】
[0035] 圖1為本發(fā)明的可視化多數(shù)據(jù)庫ETL集成方法框架圖；
[0036] 圖2為ETL過程流程圖。
【具體實施方式】
[0037] 下面結(jié)合附圖及實施例對本發(fā)明做進(jìn)一步的詳細(xì)說明。
[0038] ETL (Extract, Transform, Load)包含數(shù)據(jù)的抽取，轉(zhuǎn)換與加載。本方法利用圖形化 的人機(jī)交互界面配置多個數(shù)據(jù)源，然后從這些源數(shù)據(jù)庫中，依據(jù)一定的ETL邏輯方法獲得 數(shù)據(jù)，經(jīng)過轉(zhuǎn)換后，加載到目標(biāo)數(shù)據(jù)進(jìn)行處理，在整個過程中為了提高數(shù)據(jù)庫的運行效率， ETL邏輯方法會根據(jù)不同類型數(shù)據(jù)庫SQL語言的特點進(jìn)行優(yōu)化分解。
[0039] 本發(fā)明通過圖形化人機(jī)交互界面，完成多數(shù)據(jù)源的配置，通過配置ETL規(guī)則，從源 數(shù)據(jù)庫中獲取數(shù)據(jù)，經(jīng)過轉(zhuǎn)換后，加載到目標(biāo)數(shù)據(jù)庫進(jìn)行處理，完成數(shù)據(jù)集成。具體步驟如 下：
[0040] 1)定義數(shù)據(jù)源，通過圖形化配置界面進(jìn)行數(shù)據(jù)庫，表名，字段的配置。
[0041] 2)分析數(shù)據(jù)源特性，提出統(tǒng)一的配置接口，定義針對Oracle、DB2、SQLSERVER、 SYBASE的適配器。
[0042] 3)定義查詢編譯器，由文本形式的查詢出發(fā)，建立一個樹結(jié)構(gòu)，對查詢進(jìn)行語義檢 查，形成最初的操作序列。
[0043] 4)定義查詢優(yōu)化器，利用統(tǒng)計數(shù)據(jù)來確定最快的操作序列。
[0044] 5)定義執(zhí)行引擎，負(fù)責(zé)執(zhí)行選中的操作序列中的每一步，對數(shù)據(jù)進(jìn)行操作，并放到 緩沖區(qū)中，和調(diào)度器進(jìn)行交互，以避免訪問被加了鎖的數(shù)據(jù)。
[0045] 6)定義ETL規(guī)則，讀取緩沖區(qū)的數(shù)據(jù)，并進(jìn)行轉(zhuǎn)存，通過圖形界面查看數(shù)據(jù)。
[0046] 所述的語義層，定義查詢編譯器、查詢優(yōu)化器和執(zhí)行引擎，由文本出發(fā)，通過優(yōu)化 形成高效的操作序列，由執(zhí)行引擎負(fù)責(zé)與數(shù)據(jù)庫交互。
[0047] 可視化多數(shù)據(jù)庫ETL集成方法的設(shè)計主要體現(xiàn)在三個層次：平臺層、語義層和數(shù) 據(jù)庫管理系統(tǒng)層，如圖1。通過分層邏輯設(shè)計，解決各數(shù)據(jù)庫的數(shù)據(jù)源在硬件平臺，操作系統(tǒng) 和通信協(xié)議的差異問題，在一個更高的抽象層次上進(jìn)行應(yīng)用邏輯的設(shè)計，減少了系統(tǒng)實現(xiàn) 的復(fù)雜性，并且使系統(tǒng)具有良好的開發(fā)性和擴(kuò)展性。
[0048] 1)平臺層：
[0049] 包括各種需要通過多數(shù)據(jù)庫系統(tǒng)層對外接口訪問集成信息的應(yīng)用。平臺層包含硬 件信息、操作系統(tǒng)和通信協(xié)議的配置接口，對于其他應(yīng)用層而言，訪問數(shù)據(jù)庫調(diào)用平臺層提 供的接口，就好像在訪問一個數(shù)據(jù)庫一樣，達(dá)到同時訪問多個數(shù)據(jù)庫中數(shù)據(jù)的作用。
[0050] 2)語義層：
[0051] 包含兩個部分：查詢編譯器與執(zhí)行引擎。
[0052] a)查詢編譯器：
[0053] 查詢編譯器將查詢翻譯成一種內(nèi)部形式，稱作查詢計劃。查詢計劃是要在數(shù)據(jù)上 執(zhí)行的一系列操作。通常，查詢計劃中的操作是"關(guān)系代數(shù)"的實現(xiàn)。
[0054] 查詢編譯器包括：
[0055] ①查詢分析器，它由文本形式的查詢出發(fā)，建立一個樹結(jié)構(gòu)。
[0056] ②查詢預(yù)處理器，它對查詢進(jìn)行語義檢查（例如，檢查查詢中所提到的關(guān)系是
[0057] 否都確實存在），并進(jìn)行某些樹結(jié)構(gòu)轉(zhuǎn)換，將分析樹轉(zhuǎn)換為表示最初的查詢計劃的 代數(shù)操作符樹。
[0058] ③查詢優(yōu)化器，它將最初的查詢計劃轉(zhuǎn)換為對于實際數(shù)據(jù)的最有效的操作序列。 查詢編譯器利用元數(shù)據(jù)和關(guān)于數(shù)據(jù)的統(tǒng)計數(shù)據(jù)來確定哪一個操作序列可能是最快的。
[0059] b)執(zhí)行引擎：
[0060] 執(zhí)行引擎負(fù)責(zé)執(zhí)行選中的查詢計劃中的每一步。為了對數(shù)據(jù)進(jìn)行操作，執(zhí)行引擎 必須把數(shù)據(jù)庫數(shù)據(jù)并放到緩沖區(qū)中，和調(diào)度器進(jìn)行交互，以避免訪問被加了鎖的數(shù)據(jù)。在整 個過程中，任何的事件將會通過日志管理器記錄相應(yīng)的日志信息。
[0061] 3)數(shù)據(jù)庫管理系統(tǒng)層：
[0062] 包含圖形化配置界面與ETL規(guī)