本發(fā)明涉及大數據領域,具體而言,涉及一種導出數據的方法、裝置及系統(tǒng)。
背景技術:
現(xiàn)代社會是一個信息化的社會,人們在信息化的社會中獲取到的數據量通常都比較大,例如,在銷售行業(yè)中,每天服務器需要處理數以萬計的訂單量,以及與訂單相關的其他數據。通常這些數據一般存儲在數據庫中,當工作人員需要查詢數據庫內的數據時,一般是通過服務器來獲取數據庫中的數據。而由于從數據庫中直接提取出的數據的數據格式與服務器能夠處理的數據的數據格式是不相同的,因此,在將數據庫中的數據導出到服務器中時需要進行數據轉換,但現(xiàn)有的導出數據的方法使得數據的導出效率比較低。
針對上述現(xiàn)有技術中由于不同系統(tǒng)的數據格式不統(tǒng)一導致數據的導出效率低的問題,目前尚未提出有效的解決方案。
技術實現(xiàn)要素:
本發(fā)明實施例提供了一種導出數據的方法、裝置及系統(tǒng),以至少解決現(xiàn)有技術中由于不同系統(tǒng)的數據格式不統(tǒng)一導致數據的導出效率低的技術問題。
根據本發(fā)明實施例的一個方面,提供了一種導出數據的方法,包括:從查詢系統(tǒng)中查找與預設配置文件對應的第一數據;基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器。
根據本發(fā)明實施例的另一方面,還提供了一種導出數據的裝置,包括:查詢模塊,用于從查詢系統(tǒng)中查找與預設配置文件對應的第一數據;發(fā)送模塊,用于基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器。
根據本發(fā)明實施例的另一方面,還提供了一種導出數據的系統(tǒng),包括:查詢系統(tǒng),用于存儲第一數據;服務器,用于存儲與第一數據對應的第二數據;處理器,與查詢系統(tǒng)和服務器連接,用于從查詢系統(tǒng)中查找與預設配置文件對應的第一數據,基于預設配置文件對第一數據進行格式轉化,并將轉換后得到的第二數據發(fā)送至服務器。
根據本發(fā)明實施例的另一方面,還提供了一種存儲介質,該存儲介質包括存儲的程序,其中,程序運行時執(zhí)行導出數據的方法。
根據本發(fā)明實施例的另一方面,還提供了一種處理器,該處理器用于運行程序,其中,程序運行時執(zhí)行導出數據的方法。
在本發(fā)明實施例中,采用基于配置文件為數據格式進行轉換的方式,通過從查詢系統(tǒng)中查找與預設配置文件對應的第一數據,基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器,達到了具有不同數據格式的系統(tǒng)之間進行數據傳輸的目的,從而實現(xiàn)了提高數據轉換效率技術效果,進而解決了現(xiàn)有技術中由于不同系統(tǒng)的數據格式不統(tǒng)一導致數據的導出效率低的技術問題。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進一步理解,構成本申請的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構成對本發(fā)明的不當限定。在附圖中:
圖1是根據本發(fā)明實施例的一種導出數據的方法流程圖;
圖2是根據本發(fā)明實施例的一種可選的導出數據的方法流程圖;
圖3是根據本發(fā)明實施例的一種可選的導出數據的方法流程圖;
圖4是根據本發(fā)明實施例的一種可選的查詢結果的示意圖;
圖5是根據本發(fā)明實施例的一種可選的導出數據的方法流程圖;
圖6是根據本發(fā)明實施例的一種可選的導出數據的方法流程圖;
圖7是根據本發(fā)明實施例的一種可選的處理器運行的示意圖;
圖8是根據本發(fā)明實施例的一種可選的服務器的界面示意圖;
圖9是根據本發(fā)明實施例的一種導出數據的裝置結構示意圖;以及
圖10是根據本發(fā)明實施例的一種導出數據的系統(tǒng)結構示意圖。
具體實施方式
為了使本技術領域的人員更好地理解本發(fā)明方案,下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分的實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都應當屬于本發(fā)明保護的范圍。
需要說明的是,本發(fā)明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應該理解這樣使用的數據在適當情況下可以互換,以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產品或設備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或單元。
首先,在對本申請實施例進行描述的過程中出現(xiàn)的部分名詞或術語適用于如下解釋:
(1)impala,是為一種查詢系統(tǒng),該查詢系統(tǒng)可提供sql語義,能夠查詢存儲在分布式文件系統(tǒng)中的pb級的大數據。
(2)elasticsearch,是一個搜索服務器,該搜索服務器提供了一個分布式多用戶功能的全文搜索引擎。該服務器可用java開發(fā)。
實施例1
根據本發(fā)明實施例,提供了一種導出數據的方法實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
圖1是根據本發(fā)明實施例的導出數據的方法流程圖,如圖1所示,該方法包括如下步驟:
步驟s102,從查詢系統(tǒng)中查找與預設配置文件對應的第一數據。
需要說明的是,上述查詢系統(tǒng)為impala,上述預設配置文件中包含配置參數,配置參數包括以下至少之一:第一連接參數、第二連接參數、格式轉換參數和查詢語句,上述第一數據為從查詢系統(tǒng)impala查詢到的數據,其中,通過第一連接參數可建立導出處理器與查詢系統(tǒng)impala之間的連接,而通過第二連接參數可建立處理器與服務器之間的連接。
具體的,處理器可對預設配置文件中的配置參數進行設置,還可從預設配置文件中提取配置參數。當處理器根據預設配置文件中的配置參數建立與查詢系統(tǒng)impala和服務器的連接之后,服務器根據預設配置文件中的查詢語句查詢到符合查詢條件的數據,該數據即為上述第一數據。
此處還需要說明的是,上述查詢語句可以使用結構化查詢語句,此時安裝在查詢系統(tǒng)impala上的數據庫可以為但不限于oracle、sybase、sqlserver、db2以及access等可以使用sql語言的數據庫。此外,可以使用python編程語言使上述處理器對查詢系統(tǒng)和服務器進行連接以及數據的導入和導出。
步驟s104,基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器。
需要說明的是,上述服務器可以為但不限于elasticsearch搜索服務器,由于查詢系統(tǒng)impala的數據格式與服務器elasticsearch的數據格式不統(tǒng)一,因此需要對數據進行格式轉換。
具體的,處理器獲取預設配置文件中的格式轉換語句,并使用格式轉換語句將第一數據的數據格式轉換成第二數據的數據格式,在完成數據格式轉換之后,將第二數據發(fā)送至服務器。其中,第二數據與第一數據一一對應,在進行數據格式轉換的過程中,還對部分數據進行了處理,例如,更改數值型數據的顯示精度、對數值型數據進行運算處理等。
還需要說明的是,預設配置文件中的格式轉換語句包含字段名、目標字段類型以及目標字段格式,其中,字段名為對數據庫中的該字段對應的所有數據進行格式轉換,目標字段類型即為該字段在服務器中的類型(例如,時間戳),目標字段格式即為查詢系統(tǒng)中的數據轉換后的數據格式(例如,時間格式)。
此外,還需要說明的是,由于通過預設配置文件對參數進行配置比較簡單,配置方法靈活,并且由于是通過查詢預設配置文件中的配置參數來建立處理器與查詢系統(tǒng)以及處理器與服務器之間的連接,并對從查詢系統(tǒng)中的數據進行格式轉換,因此,提高數據的轉換效率。
基于上述步驟s102至步驟s104所公開的方案,可以獲知通過從查詢系統(tǒng)中查找與預設配置文件對應的第一數據,基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器。
容易注意到的是,由于通過預設配置文件對配置參數進行設置的方法比較簡單,并且從預設配置文件中讀取數據的速度比較快,因此,通過對預設配置文件中的配置參數進行配置,并通過讀取預設配置文件中的參數來對查詢系統(tǒng)和服務器進行處理,達到了具有不同數據格式的系統(tǒng)之間進行數據傳輸的目的,從而實現(xiàn)了提高數據轉換效率技術效果,進而解決了現(xiàn)有技術中由于不同系統(tǒng)的數據格式不統(tǒng)一導致數據的導出效率低的技術問題。
在一種可選的實施例中,圖2示出了一種可選的導出數據的方法流程圖,如圖2所示,從查詢系統(tǒng)中查找與預設配置文件對應的第一數據之前,導出數據的方法還包括如下步驟:
步驟s202,從預設配置文件中提取第一連接參數,其中,第一連接參數包括如下至少之一:查詢系統(tǒng)的地址、查詢系統(tǒng)的端口、認證方式、數據庫名、用戶名以及連接超時時限;
步驟s204,根據第一連接參數連接查詢系統(tǒng),其中,在連接查詢系統(tǒng)的連接時間小于連接超時時限的情況下,確定成功連接查詢系統(tǒng);
步驟s206,在成功連接查詢系統(tǒng)的情況下,根據數據庫名連接數據庫。
需要說明的是,第一連接參數可以以如下形式存儲在預設配置文件中:
impala:
其中,host為查詢系統(tǒng)的地址,port為查詢系統(tǒng)的端口,auth為認證方式,database為數據庫名,user為用戶名,timeout為連接超時時限。
具體的,處理器通過查詢系統(tǒng)impala的地址查找到對應的查詢系統(tǒng),然后通過查詢系統(tǒng)的端口連理處理器與查詢系統(tǒng)impala之間的連接,在連接之后通過認證方式進行認證,并進行計時。當計時的時間大于連接超時時限時,則確認連接失敗,處理器再次進行連接,直到連接的次數大于預設閾值,此時,處理器向工作人員發(fā)送故障消息;如果計時時間小于連接超時時限,則確認處理器與查詢系統(tǒng)impala連接成功,此時,處理器根據第一連接參數中的數據庫名和用戶名連接數據庫,在此之后,處理器可根據預設配置文件中的查詢語句查詢數據庫中的數據,得到第一數據。
其中,圖3示出了一種可選的導出數據的方法流程圖,如圖3所示,獲取查詢系統(tǒng)中的第一數據具體包括如下步驟:
步驟s302,獲取配置參數中的查詢語句;
步驟s304,根據查詢語句從數據庫中獲取第一數據。
需要說明的是,查詢語句可以為sql語句,其中,查詢語句可以以如下形式存儲在預設配置文件中:
上述查詢語句的含義是,從trans_water這個數據庫的表中查詢以下字段所對應的數據:_id、id、trans_time、amount、pay_way。其中,每次最多查詢5條。
通過上述查詢語句對trans_water數據庫的表進行查詢得到的查詢結果如圖4所示。
在另一種可選的實施例中,圖5示出了一種可選的導出數據的方法流程圖,如圖5所示,從查詢系統(tǒng)中查找與預設配置文件對應的第一數據之前,導出數據的方法還包括如下步驟:
步驟s502,從預設配置文件中提取第二連接參數,其中,第二連接參數包括如下至少之一:服務器的地址、索引名、類型名以及批量同步的數量;
步驟s504,根據第二連接參數連接服務器。
需要說明的是,第二連接參數可以以如下形式存儲在預設配置文件中:
elasticsearch:
其中,host為服務器的地址,index為索引名,doc_type為類型名,bulk_unit為批量同步的數量。
具體的,處理器通過服務器elasticsearch的地址查找到對應的服務器elasticsearch,建立服務器elasticsearch與處理器之間的連接,在連接之后,獲取服務器elasticsearch的索引名以及類型名,其中,該處理器elasticsearch可根據索引名和類型名將通過查詢系統(tǒng)查詢到的數據導出至服務器elasticsearch中。
此處,需要說明的是,處理器與服務器的連接,以及處理器與查詢系統(tǒng)的連接可同時進行。
其中,在處理器與服務器以及處理器與查詢系統(tǒng)完成連接之后,如圖6所示的一種可選的導出數據的方法流程圖,基于配置參數對第一數據進行格式轉換,并將轉換后得到的第二數據導出至服務器中具體包括如下步驟:
步驟s602,獲取第二連接參數中的批量同步的數量;
步驟s604,判斷第一數據的條數是否大于批量同步的數量;
步驟s606,在第一數據的條數大于批量同步的數量的情況下,基于格式轉換參數將第一數據轉換為第二數據;
步驟s608,發(fā)送第二數據至服務器。
需要說明的是,格式轉換參數可以以如下形式存儲在預設配置文件中:
其中,trans_time為數據格式的轉換時間,type為字段類型,format為字段格式。
具體的,處理器獲取從查詢系統(tǒng)中查詢到的數據,并判斷查詢到的數據的條數是否達到第二連接參數中的批量同步的數量,如果查詢到的數據的條數已經達到批量轉換數據格式的上限,則開始對查詢到的數據進行格式轉換,并將經過格式轉換后的數據同步更新至服務器中。在從查詢系統(tǒng)中查詢到的數據全部進行格式轉換后,處理器結束對服務器的同步更新。
其中,圖7為一種可選的處理器運行的示意圖,如圖7所示。在圖7中,es為elasticsearch服務器。
在另一種可選的實施例中,處理器對查詢到的數據直接進行格式轉換,而不對查詢到的數據的數據量進行判斷。在對查詢到的數據進行格式轉換得到第二數據之后,再判斷進行格式轉換后的第二數據的數據量是否達到批量同步的數量,如果第二數據的數據量達到批量同步的數據,再將第二數據發(fā)送至服務器。最后,在服務器接收到第二數據之后,服務器的顯示界面上第二數據,其中,圖8示出了一種可選的服務器的界面示意圖。
實施例2
根據本發(fā)明實施例,還提供了一種導出數據的裝置實施例。
圖9是根據本發(fā)明實施例的導出數據的裝置結構示意圖,如圖9所示,該裝置包括:查詢模塊901以及發(fā)送模塊903。
查詢模塊901,用于從查詢系統(tǒng)中查找與預設配置文件對應的第一數據。
需要說明的是,上述查詢系統(tǒng)為impala,上述預設配置文件中包含配置參數,配置參數包括以下至少之一:第一連接參數、第二連接參數、格式轉換參數和查詢語句,上述第一數據為從查詢系統(tǒng)impala查詢到的數據,其中,通過第一連接參數可建立導出處理器與查詢系統(tǒng)impala之間的連接,而通過第二連接參數可建立處理器與服務器之間的連接。
具體的,處理器可對預設配置文件中的配置參數進行設置,還可從預設配置文件中提取配置參數。當處理器根據預設配置文件中的配置參數建立與查詢系統(tǒng)impala和服務器的連接之后,服務器根據預設配置文件中的查詢語句查詢到符合查詢條件的數據,該數據即為上述第一數據。
此處還需要說明的是,上述查詢語句可以使用結構化查詢語句,此時安裝在查詢系統(tǒng)impala上的數據庫可以為但不限于oracle、sybase、sqlserver、db2以及access等可以使用sql語言的數據庫。此外,可以使用python編程語言使上述處理器對查詢系統(tǒng)和服務器進行連接以及數據的導入和導出。
發(fā)送模塊903,用于基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器。
需要說明的是,上述服務器可以為但不限于elasticsearch搜索服務器,由于查詢系統(tǒng)impala的數據格式與服務器elasticsearch的數據格式不統(tǒng)一,因此需要對數據進行格式轉換。
具體的,處理器獲取預設配置文件中的格式轉換語句,并使用格式轉換語句將第一數據的數據格式轉換成第二數據的數據格式,在完成數據格式轉換之后,將第二數據發(fā)送至服務器。其中,第二數據與第一數據一一對應,在進行數據格式轉換的過程中,還對部分數據進行了處理,例如,更改數值型數據的顯示精度、對數值型數據進行運算處理等。
還需要說明的是,預設配置文件中的格式轉換語句包含字段名、目標字段類型以及目標字段格式,其中,字段名為對數據庫中的該字段對應的所有數據進行格式轉換,目標字段類型即為該字段在服務器中的類型(例如,時間戳),目標字段格式即為查詢系統(tǒng)中的數據轉換后的數據格式(例如,時間格式)。
此外,還需要說明的是,由于通過預設配置文件對參數進行配置比較簡單,配置方法靈活,并且由于是通過查詢預設配置文件中的配置參數來建立處理器與查詢系統(tǒng)以及處理器與服務器之間的連接,并對從查詢系統(tǒng)中的數據進行格式轉換,因此,提高數據的轉換效率。
由上可知,通過從查詢系統(tǒng)中查找與預設配置文件對應的第一數據,基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器。
容易注意到的是,由于通過預設配置文件對配置參數進行設置的方法比較簡單,并且從預設配置文件中讀取數據的速度比較快,因此,通過對預設配置文件中的配置參數進行配置,并通過讀取預設配置文件中的參數來對查詢系統(tǒng)和服務器進行處理,達到了具有不同數據格式的系統(tǒng)之間進行數據傳輸的目的,從而實現(xiàn)了提高數據轉換效率技術效果,進而解決了現(xiàn)有技術中由于不同系統(tǒng)的數據格式不統(tǒng)一導致數據的導出效率低的技術問題。
需要說明的是,上述查詢模塊901以及發(fā)送模塊903對應于實施例1中的步驟s102至步驟s104,兩個模塊與對應的步驟所實現(xiàn)的示例和應用場景相同,但不限于上述實施例1所公開的內容。
可選的,導出數據的裝置包括:第一提取模塊、第一連接模塊以及第二連接模塊。其中,第一提取模塊,用于從預設配置文件中提取第一連接參數,其中,第一連接參數包括如下至少之一:查詢系統(tǒng)的地址、查詢系統(tǒng)的端口、認證方式、數據庫名、用戶名以及連接超時時限;第一連接模塊,用于根據第一連接參數連接查詢系統(tǒng),其中,在連接查詢系統(tǒng)的連接時間小于連接超時時限的情況下,確定成功連接查詢系統(tǒng);第二連接模塊,用于在成功連接查詢系統(tǒng)的情況下,根據數據庫名連接數據庫。
需要說明的是,上述第一提取模塊、第一連接模塊以及第二連接模塊對應于實施例1中的步驟s202至步驟s206,三個模塊與對應的步驟所實現(xiàn)的示例和應用場景相同,但不限于上述實施例1所公開的內容。
可選的,查詢模塊包括:第一獲取模塊以及第二獲取模塊。其中,第一獲取模塊,用于獲取配置參數中的查詢語句;第二獲取模塊,用于根據查詢語句從數據庫中獲取第一數據。
需要說明的是,上述第一獲取模塊以及第二獲取模塊對應于實施例1中的步驟s302至步驟s304,兩個模塊與對應的步驟所實現(xiàn)的示例和應用場景相同,但不限于上述實施例1所公開的內容。
可選的,導出數據的裝置還包括:第二提取模塊以及第三連接模塊。其中,第二提取模塊,用于從預設配置文件中提取第二連接參數,其中,第二連接參數包括如下至少之一:服務器的地址、索引名、類型名以及批量同步的數量;第三連接模塊,用于根據第二連接參數連接服務器。
需要說明的是,上述第二提取模塊以及第三連接模塊對應于實施例1中的步驟s502至步驟s504,兩個模塊與對應的步驟所實現(xiàn)的示例和應用場景相同,但不限于上述實施例1所公開的內容。
可選的,發(fā)送模塊包括:第三獲取模塊、判斷模塊、轉換模塊以及發(fā)送子模塊。其中,第三獲取模塊,用于獲取第二連接參數中的批量同步的數量;判斷模塊,用于判斷第一數據的條數是否大于批量同步的數量;轉換模塊,用于在第一數據的條數大于批量同步的數量的情況下,基于格式轉換參數將第一數據轉換為第二數據;發(fā)送子模塊,用于發(fā)送第二數據至服務器。
需要說明的是,上述第三獲取模塊、判斷模塊、轉換模塊以及發(fā)送子模塊對應于實施例1中的步驟s602至步驟s608,四個模塊與對應的步驟所實現(xiàn)的示例和應用場景相同,但不限于上述實施例1所公開的內容。
實施例3
根據本發(fā)明實施例,提供了一種導出數據的系統(tǒng)實施例。
圖10是根據本發(fā)明實施例的導出數據的系統(tǒng)結構示意圖,如圖10所示,該系統(tǒng)包括:查詢系統(tǒng)1001、服務器1003以及處理器1005。
其中,查詢系統(tǒng)1001,用于存儲第一數據;服務器1003,用于存儲與第一數據對應的第二數據;處理器1005,與查詢系統(tǒng)和服務器連接,用于從查詢系統(tǒng)中查找與預設配置文件對應的第一數據,基于預設配置文件對第一數據進行格式轉化,并將轉換后得到的第二數據發(fā)送至服務器。
需要說明的是,上述查詢系統(tǒng)為impala,上述預設配置文件中包含配置參數,配置參數包括以下至少之一:第一連接參數、第二連接參數、格式轉換參數和查詢語句,上述第一數據為從查詢系統(tǒng)impala查詢到的數據,其中,通過第一連接參數可建立導出處理器與查詢系統(tǒng)impala之間的連接,而通過第二連接參數可建立處理器與服務器之間的連接。此外,上述服務器可以為但不限于elasticsearch搜索服務器,由于查詢系統(tǒng)impala的數據格式與服務器elasticsearch的數據格式不統(tǒng)一,因此需要對數據進行格式轉換。
具體的,處理器可對預設配置文件中的配置參數進行設置,還可從預設配置文件中提取配置參數。當處理器根據預設配置文件中的配置參數建立與查詢系統(tǒng)impala和服務器的連接之后,服務器根據預設配置文件中的查詢語句查詢到符合查詢條件的數據,該數據即為上述第一數據。處理器獲取預設配置文件中的格式轉換語句,并使用格式轉換語句將第一數據的數據格式轉換成第二數據的數據格式,在完成數據格式轉換之后,將第二數據發(fā)送至服務器。其中,第二數據與第一數據一一對應,在進行數據格式轉換的過程中,還對部分數據進行了處理,例如,更改數值型數據的顯示精度、對數值型數據進行運算處理等。
需要說明的是,上述查詢語句可以使用結構化查詢語句,此時安裝在查詢系統(tǒng)impala上的數據庫可以為但不限于oracle、sybase、sqlserver、db2以及access等可以使用sql語言的數據庫。此外,可以使用python編程語言使上述處理器對查詢系統(tǒng)和服務器進行連接以及數據的導入和導出。
還需要說明的是,預設配置文件中的格式轉換語句包含字段名、目標字段類型以及目標字段格式,其中,字段名為對數據庫中的該字段對應的所有數據進行格式轉換,目標字段類型即為該字段在服務器中的類型(例如,時間戳),目標字段格式即為查詢系統(tǒng)中的數據轉換后的數據格式(例如,時間格式)。
此外,還需要說明的是,由于通過預設配置文件對參數進行配置比較簡單,配置方法靈活,并且由于是通過查詢預設配置文件中的配置參數來建立處理器與查詢系統(tǒng)以及處理器與服務器之間的連接,并對從查詢系統(tǒng)中的數據進行格式轉換,因此,提高數據的轉換效率。
由上可知,通過從存儲第一數據的查詢系統(tǒng)中查找與預設配置文件對應的第一數據,基于預設配置文件對第一數據進行格式轉換,并將轉換后得到的第二數據發(fā)送至服務器,其中,服務器用于存儲與第一數據對應的第二數據。
容易注意到的是,由于通過預設配置文件對配置參數進行設置的方法比較簡單,并且從預設配置文件中讀取數據的速度比較快,因此,通過對預設配置文件中的配置參數進行配置,并通過讀取預設配置文件中的參數來對查詢系統(tǒng)和服務器進行處理,達到了具有不同數據格式的系統(tǒng)之間進行數據傳輸的目的,從而實現(xiàn)了提高數據轉換效率技術效果,進而解決了現(xiàn)有技術中由于不同系統(tǒng)的數據格式不統(tǒng)一導致數據的導出效率低的技術問題。
可選的,處理器還用于從預設配置文件中提取第一連接參數,其中,第一連接參數包括如下至少之一:查詢系統(tǒng)的地址、查詢系統(tǒng)的端口、認證方式、數據庫名、用戶名以及連接超時時限;根據第一連接參數連接查詢系統(tǒng),其中,在連接查詢系統(tǒng)的連接時間小于連接超時時限的情況下,確定成功連接查詢系統(tǒng);在成功連接查詢系統(tǒng)的情況下,根據數據庫名連接數據庫。
可選的,處理器還用于獲取配置參數中的查詢語句;根據查詢語句從數據庫中獲取第一數據。
可選的,處理器還用于從預設配置文件中提取第二連接參數,其中,第二連接參數包括如下至少之一:服務器的地址、索引名、類型名以及批量同步的數量;根據第二連接參數連接服務器。
可選的,處理器還用于獲取第二連接參數中的批量同步的數量;判斷第一數據的條數是否大于批量同步的數量;在第一數據的條數大于批量同步的數量的情況下,基于格式轉換參數將第一數據轉換為第二數據;發(fā)送第二數據至服務器。
此外,根據本發(fā)明實施例的另一方面,還提供了一種存儲介質,該存儲介質包括存儲的程序,其中,程序運行時執(zhí)行導出數據的方法。
根據本發(fā)明實施例的另一方面,還提供了一種處理器,該處理器用于運行程序,其中,程序運行時執(zhí)行導出數據的方法。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
在本發(fā)明的上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中,應該理解到,所揭露的技術內容,可通過其它的方式實現(xiàn)。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現(xiàn)出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可為個人計算機、服務器或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:u盤、只讀存儲器(rom,read-onlymemory)、隨機存取存儲器(ram,randomaccessmemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
以上所述僅是本發(fā)明的優(yōu)選實施方式,應當指出,對于本技術領域的普通技術人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本發(fā)明的保護范圍。