管理數(shù)據(jù)攝取的制作方法
【專利說(shuō)明】管理數(shù)據(jù)攝取
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]不適用
[0003]背景
[0004]1.背景和相關(guān)技術(shù)
[0005]計(jì)算機(jī)系統(tǒng)及相關(guān)技術(shù)影響社會(huì)的許多方面。的確，計(jì)算機(jī)系統(tǒng)處理信息的能力已轉(zhuǎn)變了人們生活和工作的方式?，F(xiàn)在，計(jì)算機(jī)系統(tǒng)通常執(zhí)行在計(jì)算機(jī)系統(tǒng)出現(xiàn)以前人工執(zhí)行的許多任務(wù)(例如，文字處理、日程安排、帳目管理等)。最近，計(jì)算機(jī)系統(tǒng)彼此耦合并耦合到其他電子設(shè)備以形成計(jì)算機(jī)系統(tǒng)及其他電子設(shè)備可在其上傳輸電子數(shù)據(jù)的有線和無(wú)線計(jì)算機(jī)網(wǎng)絡(luò)。因此，許多計(jì)算任務(wù)的執(zhí)行被分布在多個(gè)不同的計(jì)算機(jī)系統(tǒng)和/或多個(gè)不同的計(jì)算環(huán)境中。
[0006]向計(jì)算機(jī)系統(tǒng)提供的數(shù)據(jù)可來(lái)自任何數(shù)目的不同源，諸如例如用戶輸入、文件、數(shù)據(jù)庫(kù)、應(yīng)用、傳感器等。在一些環(huán)境中，計(jì)算機(jī)系統(tǒng)從各種不同的域和/或垂直信息(vert i ca I)接收(潛在地大量的)數(shù)據(jù)。數(shù)據(jù)還可被以各種不同的格式來(lái)接收。
[0007]向計(jì)算機(jī)系統(tǒng)提供的數(shù)據(jù)通常以提取、變換和加載(ETL)技術(shù)來(lái)訪問(wèn)。ETL指的是從數(shù)據(jù)源提取數(shù)據(jù)、將該數(shù)據(jù)變換成符合操作需求、并將該數(shù)據(jù)加載到最終目標(biāo)的過(guò)程。ETL系統(tǒng)可用于集成來(lái)自多個(gè)不同的源的數(shù)據(jù)，諸如例如來(lái)自不同的供應(yīng)商的數(shù)據(jù)、被主存在不同的計(jì)算機(jī)系統(tǒng)上的數(shù)據(jù)等等。
[0008]ETL本質(zhì)上是提取并隨后存儲(chǔ)的過(guò)程。在實(shí)現(xiàn)ETL解決方案之前，用戶先定義要將什么數(shù)據(jù)(例如，數(shù)據(jù)子集)從數(shù)據(jù)源中提取出以及將如何存儲(chǔ)所提取的數(shù)據(jù)的模式。在ETL過(guò)程期間，定義的數(shù)據(jù)(例如，數(shù)據(jù)子集)被提取、被變換成該模式(即，模式被用于進(jìn)行寫)的形式并被加載到數(shù)據(jù)存儲(chǔ)中。為了訪問(wèn)來(lái)自數(shù)據(jù)源的不同數(shù)據(jù)，用戶必須重新定義將提取什么數(shù)據(jù)。為了改變數(shù)據(jù)如何被存儲(chǔ)，用戶必須定義新的模式。
[0009]ETL是有利地，因?yàn)樗试S用戶以期望格式訪問(wèn)數(shù)據(jù)的期望部分。然而，由于數(shù)據(jù)需要演變，因此ETL可能是麻煩的。所提取的數(shù)據(jù)和/或數(shù)據(jù)存儲(chǔ)的每一次改變都導(dǎo)致ELT過(guò)程必須被重啟。
[0010]簡(jiǎn)要概述
[0011]本發(fā)明涉及用于管理數(shù)據(jù)攝取的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。本發(fā)明的各方面包括攝取采用一個(gè)(例如，行)數(shù)據(jù)格式的數(shù)據(jù)，并將所攝取的數(shù)據(jù)格式化成公共格式以供存儲(chǔ)。數(shù)據(jù)被攝取并格式化，而無(wú)需預(yù)先知道提取邏輯或存儲(chǔ)模式。
[0012]提供該概述以便以簡(jiǎn)化形式介紹概念的選集，所述概念在以下詳細(xì)描述中被進(jìn)一步描述。本概述并非旨在標(biāo)識(shí)出要求保護(hù)的主題的關(guān)鍵特征或必要特征，亦非旨在用作輔助確定要求保護(hù)的主題的范圍。
[0013]本發(fā)明的附加特征和優(yōu)點(diǎn)將在以下描述中敘述，并且其一部分根據(jù)本描述將是顯而易見(jiàn)的，或者可通過(guò)對(duì)本發(fā)明的實(shí)踐來(lái)獲知。本發(fā)明的特征和優(yōu)點(diǎn)可通過(guò)在所附權(quán)利要求書中特別指出的工具和組合來(lái)實(shí)現(xiàn)和獲得。本發(fā)明的這些以及其它特征、優(yōu)點(diǎn)和特征將根據(jù)以下描述和所附權(quán)利要求而變得更顯而易見(jiàn)，或者可通過(guò)如此后闡述的對(duì)本發(fā)明的實(shí)踐而獲知。
[0014]附圖簡(jiǎn)述
[0015]為了描述可獲得本發(fā)明的上述和其它優(yōu)點(diǎn)和特征的方式，將通過(guò)參考附圖中示出的本發(fā)明的具體實(shí)現(xiàn)來(lái)對(duì)以上簡(jiǎn)要描述的本發(fā)明進(jìn)行更具體描述?？梢岳斫?，這些附圖僅描述本發(fā)明的一些實(shí)現(xiàn)，從而不被認(rèn)為是對(duì)其范圍的限制，本發(fā)明將通過(guò)使用附圖用附加特征和細(xì)節(jié)來(lái)描述和說(shuō)明，在附圖中:
[0016]圖1示出促成管理數(shù)據(jù)攝取的示例計(jì)算機(jī)體系結(jié)構(gòu)。
[0017]圖2示出用于管理數(shù)據(jù)攝取的示例方法的流程圖。
[0018]詳細(xì)描述
[0019]本發(fā)明涉及用于管理數(shù)據(jù)攝取的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。本發(fā)明的各方面包括攝取采用一個(gè)(例如，行)數(shù)據(jù)格式的數(shù)據(jù)，并將所攝取的數(shù)據(jù)格式化成公共格式以供存儲(chǔ)。數(shù)據(jù)被攝取并格式化，而無(wú)需預(yù)先知道提取邏輯和存儲(chǔ)模式。
[0020]本發(fā)明的各實(shí)現(xiàn)可包括或利用專用或通用計(jì)算機(jī)，該專用或通用計(jì)算機(jī)包括諸如舉例而言一個(gè)或多個(gè)處理器和系統(tǒng)存儲(chǔ)器的計(jì)算機(jī)硬件，如以下更詳細(xì)討論的。本發(fā)明范圍內(nèi)的各實(shí)現(xiàn)還包括用于承載或存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令和/或數(shù)據(jù)結(jié)構(gòu)的物理和其它計(jì)算機(jī)可讀介質(zhì)。這樣的計(jì)算機(jī)可讀介質(zhì)可以是可由通用或?qū)Ｓ糜?jì)算機(jī)系統(tǒng)訪問(wèn)的任何可用介質(zhì)。存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)是計(jì)算機(jī)存儲(chǔ)介質(zhì)(設(shè)備)。承載計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)是傳輸介質(zhì)。'由此，作為示例而非限制，本發(fā)明的各實(shí)現(xiàn)可包括至少兩種顯著不同種類的計(jì)算機(jī)可讀介質(zhì):計(jì)算機(jī)存儲(chǔ)介質(zhì)(設(shè)備)和傳輸介質(zhì)。
[0021]計(jì)算機(jī)存儲(chǔ)介質(zhì)(設(shè)備)包括RAM、R0M、EEPR0M、CD_R0M、固態(tài)驅(qū)動(dòng)器(“SSD”)(如基于RAM)、閃存、相變存儲(chǔ)器(“PCM”)、其他類型的存儲(chǔ)器、其他光盤存儲(chǔ)、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或可用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)形式的所需程序代碼裝置且可由通用或?qū)Ｓ糜?jì)算機(jī)訪問(wèn)的任何其他介質(zhì)。
[0022]“網(wǎng)絡(luò)”被定義為使得電子數(shù)據(jù)能夠在計(jì)算機(jī)系統(tǒng)和/或模塊和/或其它電子設(shè)備之間傳輸?shù)囊粋€(gè)或多個(gè)數(shù)據(jù)鏈路。當(dāng)信息通過(guò)網(wǎng)絡(luò)或另一個(gè)通信連接(硬連線、無(wú)線、或者硬連線或無(wú)線的組合)傳輸或提供給計(jì)算機(jī)時(shí)，該計(jì)算機(jī)將該連接適當(dāng)?shù)匾暈閭鬏斀橘|(zhì)。傳輸介質(zhì)可以包括可以用來(lái)攜帶所需要的以計(jì)算機(jī)可執(zhí)行的指令或數(shù)據(jù)結(jié)構(gòu)的形式存在的程序代碼裝置并可以被通用或?qū)Ｓ糜?jì)算機(jī)訪問(wèn)的網(wǎng)絡(luò)和/或數(shù)據(jù)鏈路。上述的組合應(yīng)當(dāng)也被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
[0023]此外，在到達(dá)各種計(jì)算機(jī)系統(tǒng)組件之后，計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)形式的程序代碼裝置可從傳輸介質(zhì)自動(dòng)傳輸?shù)接?jì)算機(jī)存儲(chǔ)介質(zhì)(設(shè)備)(或反之亦然)。例如，通過(guò)網(wǎng)絡(luò)或數(shù)據(jù)鏈接接收到的計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)可被緩存在網(wǎng)絡(luò)接口模塊(例如，“NIC”)內(nèi)的RAM中，然后最終被傳輸?shù)接?jì)算機(jī)系統(tǒng)RAM和/或計(jì)算機(jī)系統(tǒng)處的較不易失性的計(jì)算機(jī)存儲(chǔ)介質(zhì)(設(shè)備)。因而，應(yīng)當(dāng)理解，計(jì)算機(jī)存儲(chǔ)介質(zhì)(設(shè)備)可被包括在還利用(甚至主要利用)傳輸介質(zhì)的計(jì)算機(jī)系統(tǒng)組件中。
[0024]計(jì)算機(jī)可執(zhí)行指令例如包括，當(dāng)在處理器處執(zhí)行時(shí)使通用計(jì)算機(jī)、專用計(jì)算機(jī)、或?qū)Ｓ锰幚碓O(shè)備執(zhí)行某一功能或某組功能的指令和數(shù)據(jù)。計(jì)算機(jī)可執(zhí)行指令可以是例如二進(jìn)制代碼、諸如匯編語(yǔ)言之類的中間格式指令、或甚至源代碼。盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專用的語(yǔ)言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述特征或動(dòng)作。相反，上述特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式而公開(kāi)的。
[0025]本領(lǐng)域的技術(shù)人員將理解，本發(fā)明可以在具有許多類型的計(jì)算機(jī)系統(tǒng)配置的網(wǎng)絡(luò)計(jì)算環(huán)境中實(shí)踐，這些計(jì)算機(jī)系統(tǒng)配置包括個(gè)人計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、消息處理器、手持式設(shè)備、多處理器系統(tǒng)、基于微處理器的或可編程消費(fèi)電子設(shè)備、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、移動(dòng)電話、PDA、平板、尋呼機(jī)、路由器、交換機(jī)等等。本發(fā)明也可在其中通過(guò)網(wǎng)絡(luò)鏈接(或者通過(guò)硬連線數(shù)據(jù)鏈路、無(wú)線數(shù)據(jù)鏈路，或者通過(guò)硬連線和無(wú)線數(shù)據(jù)鏈路的組合)的本地和遠(yuǎn)程計(jì)算機(jī)系統(tǒng)兩者都執(zhí)行任務(wù)的分布式系統(tǒng)環(huán)境中實(shí)施。在分布式系統(tǒng)環(huán)境中，程序模塊可以位于本地和遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備二者中。
[0026]本發(fā)明還可以在云計(jì)算環(huán)境中實(shí)現(xiàn)。在該描述和下面的權(quán)利要求書中，“云計(jì)算”被定義為用于允許對(duì)可配置計(jì)算資源的共享池的按需網(wǎng)絡(luò)訪問(wèn)的模型。例如，云計(jì)算可被用于市場(chǎng)，以便提供對(duì)可配置計(jì)算資源的共享池的普遍存在且方便的按需訪問(wèn)。可配置計(jì)算資源的共享池可經(jīng)由虛擬化而被快速地供應(yīng)，并可利用低管理努力或服務(wù)提供商干預(yù)來(lái)發(fā)布，并隨后因此被縮放。
[0027]云計(jì)算模型可由各種特性組成，諸如按需自服務(wù)、廣泛網(wǎng)絡(luò)訪問(wèn)、資源池、快速靈活性、測(cè)定的服務(wù)等。云計(jì)算模型還可形成各種服務(wù)模型，諸如例如軟件即服務(wù)(SaaS)、平臺(tái)即服務(wù)(PaaS)以及基礎(chǔ)結(jié)構(gòu)即服務(wù)(IaaS)。云計(jì)算模型還可以使用不同的部署模型來(lái)部署，諸如私有云、社區(qū)云、公共云和混合云等。在本說(shuō)明書和權(quán)利要求中，“云計(jì)算環(huán)境”是在其中部署了云計(jì)算的環(huán)境。
[0028]圖1示出了促成管理數(shù)據(jù)攝取的示例計(jì)算機(jī)體系結(jié)構(gòu)100。參考圖1，計(jì)算機(jī)體系結(jié)構(gòu)100包括信道101、格式化器102、EAV存儲(chǔ)103、豐富服務(wù)104、數(shù)據(jù)源106、107和108、數(shù)據(jù)消費(fèi)者141和應(yīng)用142。信道101、格式化器102、EAV存儲(chǔ)103、豐富服務(wù)104、數(shù)據(jù)源106、107和108、數(shù)據(jù)消費(fèi)者141和應(yīng)用142中的每一者可通過(guò)諸如例如局域網(wǎng)(“LAN” )、廣域網(wǎng)(“WAN” )和甚至因特網(wǎng)之類的網(wǎng)絡(luò)(或作為網(wǎng)絡(luò)的一部分)彼此連接。因此，信道101、格式化器102、EAV存儲(chǔ)103、豐富服務(wù)104、數(shù)據(jù)源106、107和108、數(shù)據(jù)消費(fèi)者141和應(yīng)用142中的每一者以及任何其它連接的計(jì)算機(jī)系統(tǒng)及其組件都可以創(chuàng)建消息相關(guān)數(shù)據(jù)并通過(guò)網(wǎng)絡(luò)交換與