技術總結
本發(fā)明公開一種數(shù)據(jù)處理方法及裝置,該方法包括:將源數(shù)據(jù)分成多個數(shù)據(jù)塊;判斷多個數(shù)據(jù)塊中是否包括兩個或兩個以上依次相鄰的重復數(shù)據(jù)塊,重復數(shù)據(jù)塊是指與實例庫中所存儲的實例相同的數(shù)據(jù)塊;如果是,并且實例庫中與依次相鄰的重復數(shù)據(jù)塊對應的各實例存儲的位置也是依次相鄰的,則利用一個索引數(shù)據(jù)替換依次相鄰的重復數(shù)據(jù)塊以生成目標數(shù)據(jù)。通過以上公開內(nèi)容,本發(fā)明的技術方案可在不增加數(shù)據(jù)塊大小的前提下使得一個索引數(shù)據(jù)可以替代盡可能多的重復數(shù)據(jù)塊,因此可同時滿足高的重復數(shù)據(jù)刪除率和高的數(shù)據(jù)縮減率的要求。
技術研發(fā)人員:覃強
受保護的技術使用者:華為技術有限公司
文檔號碼:201380000107
技術研發(fā)日:2013.01.09
技術公布日:2016.11.30