個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng) 絡(luò)設(shè)備等）執(zhí)行本申請(qǐng)各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。該計(jì)算機(jī)軟件產(chǎn)品 可以存儲(chǔ)在內(nèi)存中，內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器 (RAM)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器（ROM)或閃存（flash RAM)。內(nèi)存是計(jì)算 機(jī)可讀介質(zhì)的示例。計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以 由任何方法或技術(shù)來(lái)實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊 或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存（PRAM)、靜態(tài)隨機(jī)存取存 儲(chǔ)器（SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器（DRAM)、其他類型的隨機(jī)存取存儲(chǔ)器（RAM)、只讀存儲(chǔ)器 (ROM)、電可擦除可編程只讀存儲(chǔ)器（EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀 存儲(chǔ)器（CD-ROM)、數(shù)字多功能光盤（DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁磁盤存儲(chǔ)或 其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問(wèn)的信息。按照 本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括短暫電腦可讀媒體（transitory media),如調(diào)制的 數(shù)據(jù)信號(hào)和載波。
[0155] 本說(shuō)明書中，對(duì)于系統(tǒng)實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述的比 較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施例的部分說(shuō)明即可。
[0156] 本申請(qǐng)可用于眾多通用或?qū)Ｓ玫挠?jì)算機(jī)系統(tǒng)環(huán)境或配置中。例如：個(gè)人計(jì)算機(jī)、月艮 務(wù)器計(jì)算機(jī)、手持設(shè)備或便攜式設(shè)備、平板型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、置 頂盒、可編程的消費(fèi)電子設(shè)備、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、包括以上任何系統(tǒng)或設(shè)備 的分布式計(jì)算環(huán)境等等。
[0157] 本申請(qǐng)可以在由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的一般上下文中描述，例如程序 模塊。一般地，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對(duì)象、組 件、數(shù)據(jù)結(jié)構(gòu)等等。也可以在分布式計(jì)算環(huán)境中實(shí)踐本申請(qǐng)，在這些分布式計(jì)算環(huán)境中，由 通過(guò)通信網(wǎng)絡(luò)而被連接的遠(yuǎn)程處理設(shè)備來(lái)執(zhí)行任務(wù)。在分布式計(jì)算環(huán)境中，程序模塊可以 位于包括存儲(chǔ)設(shè)備在內(nèi)的本地和遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)介質(zhì)中。
[0158] 雖然通過(guò)實(shí)施例描繪了本申請(qǐng)，本領(lǐng)域普通技術(shù)人員知道，本申請(qǐng)有許多變形和 變化而不脫離本申請(qǐng)的精神，希望所附的權(quán)利要求包括這些變形和變化而不脫離本申請(qǐng)的 精神。
【主權(quán)項(xiàng)】
1. 一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在于，包括： 為MapReduce源代碼加入劫持代碼，生成帶有劫持代碼的數(shù)據(jù)處理程序； 運(yùn)行所述帶有劫持代碼的數(shù)據(jù)處理程序?qū)斎霐?shù)據(jù)進(jìn)行數(shù)據(jù)處理，所述帶有劫持代碼 的數(shù)據(jù)處理程序劫持得到輸入數(shù)據(jù)、輸出數(shù)據(jù)，所述數(shù)據(jù)處理程序記錄數(shù)據(jù)處理過(guò)程中代 碼是否被執(zhí)行的覆蓋信息；設(shè)定覆蓋信息和對(duì)應(yīng)的輸入數(shù)據(jù)、輸出數(shù)據(jù)為三元組數(shù)據(jù)； 去除覆蓋信息相同的三元組數(shù)據(jù)，形成監(jiān)控三元組集合； 在驗(yàn)證處理數(shù)據(jù)正確性時(shí)，將所述監(jiān)控三元組集合中的輸入數(shù)據(jù)返回至帶有劫持代 碼的數(shù)據(jù)處理程序重新進(jìn)行數(shù)據(jù)處理，所述帶有劫持代碼的數(shù)據(jù)處理程序劫持得到輸出數(shù) 據(jù)，形成輸出數(shù)據(jù)集合； 通過(guò)監(jiān)控三元組集合中的輸出數(shù)據(jù)驗(yàn)證所述輸出數(shù)據(jù)集合中的數(shù)據(jù)是否正確。2. 如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在 于，所述劫持代碼包括：輸入劫持代碼和輸出劫持代碼。3. 如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在 于，所述去除覆蓋信息相同的三元組數(shù)據(jù)，形成監(jiān)控三元組集合，具體包括：設(shè)置三元組集 合，所述三元組集合的初始狀態(tài)為空集；將新生成的三元組數(shù)據(jù)的覆蓋信息與三元組集合 中的三元組數(shù)據(jù)的覆蓋信息進(jìn)行比對(duì)，將覆蓋信息不完全相同的三元組數(shù)據(jù)存放至所述三 元組集合中，將輸入數(shù)據(jù)處理完畢后所述的三元組數(shù)據(jù)集合作為監(jiān)控三元組集合。4. 如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在 于，通過(guò)監(jiān)控三元組集合中的輸出數(shù)據(jù)驗(yàn)證所述輸出數(shù)據(jù)集合中的數(shù)據(jù)是否正確，具體包 括： 將輸出數(shù)據(jù)集合中的每一條輸出數(shù)據(jù)與監(jiān)控三元組集合中對(duì)應(yīng)的輸出數(shù)據(jù)進(jìn)行比對(duì)， 且： 對(duì)于同一輸入數(shù)據(jù)的兩個(gè)集合中對(duì)應(yīng)的輸出數(shù)據(jù)相同的，驗(yàn)證輸出數(shù)據(jù)集合中該條記 錄的處理數(shù)據(jù)為正確； 對(duì)于同一輸入數(shù)據(jù)的兩個(gè)集合中對(duì)應(yīng)的輸出數(shù)據(jù)不相同的，驗(yàn)證輸出數(shù)據(jù)集合中該條 記錄的處理數(shù)據(jù)為錯(cuò)誤。5. 如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在 于，所述設(shè)定覆蓋信息和對(duì)應(yīng)的輸入數(shù)據(jù)、輸出數(shù)據(jù)為三元組數(shù)據(jù)，包括：將標(biāo)識(shí)相同的輸 入數(shù)據(jù)與輸出數(shù)據(jù)及對(duì)應(yīng)的覆蓋信息為三元組數(shù)據(jù)。6. 如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在 于，所述覆蓋信息，包括：語(yǔ)句執(zhí)行覆蓋信息和跳轉(zhuǎn)執(zhí)行覆蓋信息。7. -種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的裝置，其特征在于，包括：處理程序準(zhǔn) 備單元、三元組生成單元、監(jiān)控三元組集合單元、輸出數(shù)據(jù)集合單元、驗(yàn)證單元；其中， 所述處理程序準(zhǔn)備單元，用于為MapReduce源代碼加入劫持代碼，并生成帶有劫持代 碼的數(shù)據(jù)處理程序； 所述三元組生成單元，用于運(yùn)行所述處理程序準(zhǔn)備單元中的數(shù)據(jù)處理程序?qū)斎霐?shù)據(jù) 進(jìn)行數(shù)據(jù)處理，并記錄輸入數(shù)據(jù)、輸出數(shù)據(jù)和覆蓋信息，將覆蓋信息和對(duì)應(yīng)的輸入數(shù)據(jù)、輸 出數(shù)據(jù)設(shè)定為三元組數(shù)據(jù)； 所述監(jiān)控三元組集合單元,用于讀取所述三元組生成單元生成的三元組數(shù)據(jù)，去除覆 蓋信息相同的三元組數(shù)據(jù)，形成監(jiān)控三元組集合； 所述輸出數(shù)據(jù)集合單元，用于在驗(yàn)證處理數(shù)據(jù)正確性時(shí)，將所述監(jiān)控三元組集合中的 輸入數(shù)據(jù)返回至三元組生成單元進(jìn)行數(shù)據(jù)處理，并將此時(shí)的輸出數(shù)據(jù)存放至輸出數(shù)據(jù)集合 中； 所述驗(yàn)證單元，用于根據(jù)監(jiān)控三元組集合中的輸出數(shù)據(jù)，驗(yàn)證輸出數(shù)據(jù)集合中的輸出 數(shù)據(jù)是否正確。8. 如權(quán)利要求7所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的裝置，其特征在 于，所述處理程序準(zhǔn)備單元，包括：代碼修改單元、程序生成單元；其中， 所述代碼修改單元，用于為MapReduce源代碼加入記錄輸入數(shù)據(jù)、輸出數(shù)據(jù)及數(shù)據(jù)標(biāo) 識(shí)的劫持代碼； 所述程序生成單元，用于將代碼修改單元輸出的加入了劫持代碼的MapReduce代碼進(jìn) 行編譯，生成帶有劫持代碼的數(shù)據(jù)處理程序。9. 如權(quán)利要求7所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的裝置，其特征在 于，所述三元組生成單元，包括：數(shù)據(jù)輸入單元、程序處理單元、三元組組成單元；其中， 所述數(shù)據(jù)輸入單元，用于讀入需要進(jìn)行數(shù)據(jù)處理的輸入數(shù)據(jù)； 所述程序處理單元，用于對(duì)數(shù)據(jù)輸入單元中讀入的數(shù)據(jù)利用帶有劫持代碼的數(shù)據(jù)梳理 程序進(jìn)行處理，得到輸出數(shù)據(jù)，并記錄輸入數(shù)據(jù)、輸出數(shù)據(jù)和覆蓋信息； 所述三元組組成單元，用于將對(duì)應(yīng)的輸入數(shù)據(jù)、輸出數(shù)據(jù)和覆蓋信息設(shè)定為三元組數(shù) 據(jù)。10. 如權(quán)利要求7所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的裝置，其特征 在于，所述監(jiān)控三元組集合單元，包括：數(shù)據(jù)讀取單元、信息對(duì)比單元、三元組存放單元；其 中， 所述數(shù)據(jù)讀取單元，用于讀入三元組生成單元生成的新的三元組數(shù)據(jù)； 所述信息對(duì)比單元，用于將數(shù)據(jù)讀取單元中三元組數(shù)據(jù)的覆蓋信息與三元組存放單元 中每一個(gè)三元組數(shù)據(jù)的覆蓋信息進(jìn)行對(duì)比； 所述三元組存放單元，用于將信息對(duì)比單元中對(duì)比結(jié)果是讀入的三元組數(shù)據(jù)中覆蓋信 息與已有的三元組集合中每一個(gè)三元組數(shù)據(jù)的覆蓋信息都不完全相同的三元組數(shù)據(jù)存放 至三元組集合中，形成監(jiān)控三元組集合。11. 如權(quán)利要求7所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的裝置，其特征在 于，所述輸出數(shù)據(jù)集合單元，包括：輸入數(shù)據(jù)返回單元、集合形成單元；其中， 所述輸入數(shù)據(jù)返回單元，用于將監(jiān)控三元組集合中的每一組輸入數(shù)據(jù)返回至三元組生 成單元重新進(jìn)行數(shù)據(jù)處理，得到新的輸出數(shù)據(jù)； 所述集合形成單元，用于將新的輸出數(shù)據(jù)組成輸出數(shù)據(jù)集合。
【專利摘要】本發(fā)明提供了一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，包括：為MapReduce源代碼加入劫持代碼，生成帶有劫持代碼的數(shù)據(jù)處理程序；運(yùn)行帶有劫持代碼的數(shù)據(jù)處理程序?qū)斎霐?shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到輸出數(shù)據(jù)，組成三元組數(shù)據(jù)；去除覆蓋信息相同的三元組數(shù)據(jù)，形成監(jiān)控三元組集合；需要驗(yàn)證處理數(shù)據(jù)正確性時(shí)，將監(jiān)控三元組集合中的輸入數(shù)據(jù)返回至帶有劫持代碼的數(shù)據(jù)處理程序重新進(jìn)行數(shù)據(jù)處理，得到輸出數(shù)據(jù)，形成輸出數(shù)據(jù)集合；驗(yàn)證輸出數(shù)據(jù)集合中每一條數(shù)據(jù)是否正確。本發(fā)明提供的驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法可以減少驗(yàn)證處理數(shù)據(jù)正確性的人工成本和實(shí)現(xiàn)時(shí)間。本發(fā)明還提出了一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的裝置實(shí)施例，可實(shí)現(xiàn)本發(fā)明的方法實(shí)施例。
【IPC分類】G06F17/30
【公開號(hào)】CN104915352
【申請(qǐng)?zhí)枴緾N201410090641
【發(fā)明人】王立
【申請(qǐng)人】阿里巴巴集團(tuán)控股有限公司
【公開日】2015年9月16日
【申請(qǐng)日】2014年3月12日