技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明公開了一種針對分布式特性對大數(shù)據(jù)進(jìn)行預(yù)處理的系統(tǒng)，包括：預(yù)處理適配器，為原始數(shù)據(jù)預(yù)處理提供了入口，分為自動(dòng)化預(yù)處理適配器和半自動(dòng)化預(yù)處理適配器；數(shù)據(jù)處理模塊，將預(yù)處理適配器發(fā)送來的數(shù)據(jù)按照指定規(guī)則和統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)格式進(jìn)行數(shù)據(jù)塊的劃分，劃分后的數(shù)據(jù)塊分布到不同的存儲(chǔ)節(jié)點(diǎn)上，相互具有關(guān)聯(lián)的數(shù)據(jù)劃分在同一數(shù)據(jù)塊中，且數(shù)據(jù)塊之間不具備關(guān)聯(lián)性；分布式存儲(chǔ)模塊，設(shè)置多個(gè)存儲(chǔ)節(jié)點(diǎn)，用于存儲(chǔ)數(shù)據(jù)處理模塊發(fā)送的數(shù)據(jù)塊。本發(fā)明還提供了一種針對分布式特性對大數(shù)據(jù)進(jìn)行預(yù)處理的方法。本發(fā)明能大幅提升了大數(shù)據(jù)分布式計(jì)算和挖掘分析的準(zhǔn)確度和效率。

技術(shù)研發(fā)人員：顧青;梁佐泉;謝超;梁艷敏;王寧寧;馮四風(fēng);趙艷紅;田文晉;王亞紅;黃奚芳
受保護(hù)的技術(shù)使用者：普華誠信信息技術(shù)有限公司
技術(shù)研發(fā)日：2016.01.08
技術(shù)公布日：2017.07.18