欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

數(shù)據(jù)處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)與流程

文檔序號(hào):40526024發(fā)布日期:2024-12-31 13:35閱讀:14來源:國知局
本技術(shù)涉及云計(jì)算,特別涉及數(shù)據(jù)處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
背景技術(shù)
::1、隨著云計(jì)算技術(shù)的發(fā)展,云計(jì)算的計(jì)算能力逐步提升,計(jì)算過程中所需的數(shù)據(jù)的數(shù)量越來越多,需要存儲(chǔ)的數(shù)據(jù)的數(shù)量也隨之增加。因而在數(shù)據(jù)存儲(chǔ)的過程中可以對(duì)數(shù)據(jù)進(jìn)行壓縮處理,存儲(chǔ)壓縮后的數(shù)據(jù),減少數(shù)據(jù)的存儲(chǔ)成本。在對(duì)存儲(chǔ)的數(shù)據(jù)有計(jì)算需求時(shí),需要先將壓縮后的數(shù)據(jù)進(jìn)行解壓縮處理,得到壓縮前的數(shù)據(jù),并通過對(duì)壓縮前的數(shù)據(jù)進(jìn)行計(jì)算,滿足計(jì)算需求。技術(shù)實(shí)現(xiàn)思路1、本技術(shù)提供了一種數(shù)據(jù)處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),能夠提供明確的解壓邊界,實(shí)現(xiàn)精準(zhǔn)解壓,技術(shù)方案如下:2、第一方面,提供了一種數(shù)據(jù)處理方法,方法包括:獲取數(shù)據(jù)處理指令,數(shù)據(jù)處理指令指示從第一壓縮數(shù)據(jù)中解壓出目標(biāo)數(shù)據(jù),第一壓縮數(shù)據(jù)通過壓縮目標(biāo)數(shù)據(jù)所屬的數(shù)據(jù)組得到,數(shù)據(jù)處理指令包括目標(biāo)數(shù)據(jù)在數(shù)據(jù)組中的第一起始位置和目標(biāo)數(shù)據(jù)的長度;基于第一起始位置和參考距離,確定第二壓縮數(shù)據(jù)在第一壓縮數(shù)據(jù)中的第二起始位置,第二壓縮數(shù)據(jù)用于解壓得到目標(biāo)數(shù)據(jù),參考距離指示目標(biāo)數(shù)據(jù)中的任一數(shù)據(jù)段與任一數(shù)據(jù)段引用的數(shù)據(jù)段之間的距離的最大值;按照第二起始位置和第二壓縮數(shù)據(jù)的終止位置解壓第二壓縮數(shù)據(jù),得到目標(biāo)數(shù)據(jù),第二壓縮數(shù)據(jù)的終止位置基于第一起始位置和目標(biāo)數(shù)據(jù)的長度確定。3、由于參考距離指示目標(biāo)數(shù)據(jù)中的任一數(shù)據(jù)段與任一數(shù)據(jù)段引用的數(shù)據(jù)段之間的距離的最大值,因而目標(biāo)數(shù)據(jù)中的各個(gè)數(shù)據(jù)段所引用的數(shù)據(jù)段可能位于目標(biāo)數(shù)據(jù)內(nèi),或者位于與第一起始位置之間的距離小于等于參考距離的部分?jǐn)?shù)據(jù)內(nèi),則根據(jù)第一起始位置和參考距離能夠確定出用于解壓得到目標(biāo)數(shù)據(jù)的第二壓縮數(shù)據(jù)的第二起始位置,且保證從第二起始位置開始解壓第二壓縮數(shù)據(jù),能夠得到目標(biāo)數(shù)據(jù)。此外,根據(jù)第一起始位置和目標(biāo)數(shù)據(jù)的長度,能夠準(zhǔn)確確定出第二壓縮數(shù)據(jù)的終止位置,在第二壓縮數(shù)據(jù)的終止位置停止解壓。以確定出的第二起始位置和第二壓縮數(shù)據(jù)的終止位置作為解壓邊界進(jìn)行解壓,不僅能夠保證解壓得到的數(shù)據(jù)中包括目標(biāo)數(shù)據(jù),還能夠減少對(duì)非必需解壓的壓縮數(shù)據(jù)的解壓,提高解壓效率和準(zhǔn)確度,減少資源浪費(fèi)。4、在一種可能的實(shí)現(xiàn)方式中,第一壓縮數(shù)據(jù)包括多個(gè)壓縮段,數(shù)據(jù)組包括多個(gè)數(shù)據(jù)段,各個(gè)壓縮段由對(duì)應(yīng)的數(shù)據(jù)段壓縮得到;基于第一起始位置和參考距離,確定第二壓縮數(shù)據(jù)在第一壓縮數(shù)據(jù)中的第二起始位置,包括:獲取數(shù)據(jù)組中的各個(gè)數(shù)據(jù)段的起始位置;根據(jù)各個(gè)數(shù)據(jù)段的起始位置,在多個(gè)數(shù)據(jù)段中確定第一位置所屬的第一數(shù)據(jù)段,第一位置基于第一起始位置與參考距離之間的差值確定;根據(jù)第一數(shù)據(jù)段的起始位置,確定第一數(shù)據(jù)段對(duì)應(yīng)的第一壓縮段的起始位置;將第一壓縮段的起始位置確定為第二起始位置。5、由于第一起始位置與參考距離之間的差值,能夠指示在第一起始位置之前且與第一起始位置之間的距離為參考距離的第一位置,且由于目標(biāo)數(shù)據(jù)中的任一數(shù)據(jù)段與任一數(shù)據(jù)段引用的數(shù)據(jù)段之間的距離小于等于參考距離,也即目標(biāo)數(shù)據(jù)段中的任一數(shù)據(jù)段所引用的數(shù)據(jù)段位于第一位置或第一位置之后,因而從第一位置所屬的第一數(shù)據(jù)段對(duì)應(yīng)的第一壓縮段的起始位置開始解壓,能夠保證解壓得到目標(biāo)數(shù)據(jù)。6、在一種可能的實(shí)現(xiàn)方式中,獲取數(shù)據(jù)組中的各個(gè)數(shù)據(jù)段的起始位置,包括:獲取各個(gè)數(shù)據(jù)段的長度;根據(jù)各個(gè)數(shù)據(jù)段的長度和各個(gè)壓縮段在第一壓縮數(shù)據(jù)中的順序,確定各個(gè)數(shù)據(jù)段在數(shù)據(jù)組中的起始位置,任一數(shù)據(jù)段在數(shù)據(jù)組中的順序與任一數(shù)據(jù)段壓縮得到的壓縮段在第一壓縮數(shù)據(jù)中的順序相同。7、由于任一數(shù)據(jù)段在數(shù)據(jù)組中的順序與任一數(shù)據(jù)段壓縮得到的壓縮段在第一壓縮數(shù)據(jù)中的順序相同,因而根據(jù)各個(gè)壓縮段在第一壓縮數(shù)據(jù)中的順序可以確定出各個(gè)數(shù)據(jù)段在數(shù)據(jù)組中的順序,進(jìn)而根據(jù)各個(gè)數(shù)據(jù)段的長度和各個(gè)數(shù)據(jù)段在數(shù)據(jù)組中的順序,能夠準(zhǔn)確的確定出各個(gè)數(shù)據(jù)段在數(shù)據(jù)組中的初始位置。8、在一種可能的實(shí)現(xiàn)方式中,根據(jù)第一數(shù)據(jù)段的起始位置,確定第一數(shù)據(jù)段對(duì)應(yīng)的第一壓縮段的起始位置,包括:獲取映射信息,映射信息用于指示多個(gè)數(shù)據(jù)段的起始位置與多個(gè)壓縮段的起始位置之間的映射關(guān)系;根據(jù)映射信息和第一數(shù)據(jù)段的起始位置,確定第一壓縮段的起始位置。由于映射信息能夠指示多個(gè)數(shù)據(jù)段的起始位置與多個(gè)壓縮段的起始位置之間的映射關(guān)系,第一數(shù)據(jù)段屬于多個(gè)數(shù)據(jù)段,因而能夠根據(jù)映射信息準(zhǔn)確確定出第一數(shù)據(jù)段對(duì)應(yīng)的第一壓縮段的起始位置。9、在一種可能的實(shí)現(xiàn)方式中,映射信息包括多個(gè)數(shù)據(jù)段中至少一個(gè)參考數(shù)據(jù)段的起始位置和由至少一個(gè)參考數(shù)據(jù)段壓縮得到的至少一個(gè)參考?jí)嚎s段的起始位置;根據(jù)映射信息和第一數(shù)據(jù)段的起始位置,確定第一壓縮段的起始位置,包括:根據(jù)第一數(shù)據(jù)段的起始位置與至少一個(gè)參考數(shù)據(jù)段的起始位置,在至少一個(gè)參考數(shù)據(jù)段中確定出第一參考數(shù)據(jù)段,第一參考數(shù)據(jù)段為在第一數(shù)據(jù)段之前且與第一數(shù)據(jù)段距離最近的參考數(shù)據(jù)段;將由第一參考數(shù)據(jù)段壓縮得到的第一參考?jí)嚎s段的起始位置確定為第一壓縮段的起始位置。映射信息中存儲(chǔ)至少一個(gè)參考數(shù)據(jù)段的起始位置和至少一個(gè)參考?jí)嚎s段的起始位置,能夠減少映射信息所需的內(nèi)存空間,減少資源浪費(fèi)。10、在一種可能的實(shí)現(xiàn)方式中,按照第二起始位置和第二壓縮數(shù)據(jù)的終止位置解壓第二壓縮數(shù)據(jù),得到目標(biāo)數(shù)據(jù)之前,還包括:根據(jù)各個(gè)數(shù)據(jù)段的起始位置,在多個(gè)數(shù)據(jù)段中確定第二位置所屬的第二數(shù)據(jù)段,第二位置為第一起始位置與目標(biāo)數(shù)據(jù)的長度之間的和;在各個(gè)數(shù)據(jù)段的起始位置中確定與第二數(shù)據(jù)段相鄰的第三數(shù)據(jù)段的起始位置,第三數(shù)據(jù)段在第二數(shù)據(jù)段之后;根據(jù)第三數(shù)據(jù)段的起始位置,確定第三數(shù)據(jù)段對(duì)應(yīng)的第二壓縮段的起始位置;將第二壓縮段的起始位置確定為第二壓縮數(shù)據(jù)的終止位置。11、由于第一起始位置與目標(biāo)數(shù)據(jù)的長度之間的和能夠指示目標(biāo)數(shù)據(jù)在數(shù)據(jù)組中的終止位置,也即第二位置能夠指示目標(biāo)數(shù)據(jù)在數(shù)據(jù)組中的終止位置,第二位置所屬的第二數(shù)據(jù)段為目標(biāo)數(shù)據(jù)的終止位置所屬的數(shù)據(jù)段,因而與第二數(shù)據(jù)段相鄰且在第二數(shù)據(jù)段之后的第三數(shù)據(jù)段的起始位置位于目標(biāo)數(shù)據(jù)的終止位置之后,且從第三數(shù)據(jù)段對(duì)應(yīng)的第二壓縮段的起始位置停止解壓,能夠保證完整解壓出目標(biāo)數(shù)據(jù)。12、在一種可能的實(shí)現(xiàn)方式中,按照第二起始位置和第二壓縮數(shù)據(jù)的終止位置解壓第二壓縮數(shù)據(jù),得到目標(biāo)數(shù)據(jù),包括:按照第二起始位置和第二壓縮數(shù)據(jù)的終止位置解壓第二壓縮數(shù)據(jù),得到中間數(shù)據(jù);根據(jù)第一起始位置和目標(biāo)數(shù)據(jù)的長度,確定目標(biāo)數(shù)據(jù)的終止位置;根據(jù)第一起始位置和目標(biāo)數(shù)據(jù)的終止位置,在中間數(shù)據(jù)中截取目標(biāo)數(shù)據(jù)。按照目標(biāo)數(shù)據(jù)的第一起始位置和目標(biāo)數(shù)據(jù)的終止位置在中間數(shù)據(jù)中截取目標(biāo)數(shù)據(jù),能夠保證截取得到的數(shù)據(jù)與目標(biāo)數(shù)據(jù)完全符合,使得解壓得到的目標(biāo)數(shù)據(jù)的準(zhǔn)確性更高。13、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在堆組織表(heap-organized?table,hot)中,數(shù)據(jù)組包括hot的存儲(chǔ)塊內(nèi)的多個(gè)數(shù)據(jù),目標(biāo)數(shù)據(jù)包括多個(gè)數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)。目標(biāo)數(shù)據(jù)為多個(gè)數(shù)據(jù)中的至少一個(gè)數(shù)據(jù),也即目標(biāo)數(shù)據(jù)為數(shù)據(jù)組中的部分?jǐn)?shù)據(jù),因而根據(jù)本技術(shù)提供的數(shù)據(jù)處理方法,能夠從多個(gè)數(shù)據(jù)壓縮得到的壓縮數(shù)據(jù)中進(jìn)行部分解壓得到至少一個(gè)數(shù)據(jù),保證解壓的精準(zhǔn)度。14、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在日志結(jié)構(gòu)合并樹(log?structure?mergetree,lsm-tree)的基線數(shù)據(jù)庫中,數(shù)據(jù)組包括基線數(shù)據(jù)庫中的多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù),目標(biāo)數(shù)據(jù)包括多個(gè)存儲(chǔ)塊中的至少一個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)。目標(biāo)數(shù)據(jù)為多個(gè)存儲(chǔ)塊中的至少一個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù),也即目標(biāo)數(shù)據(jù)為數(shù)據(jù)組中的部分?jǐn)?shù)據(jù),因而根據(jù)本技術(shù)提供的數(shù)據(jù)處理方法,能夠從多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)壓縮得到的壓縮數(shù)據(jù)中進(jìn)行部分解壓得到至少一個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù),保證解壓的精準(zhǔn)度。15、第二方面,提供了一種數(shù)據(jù)處理方法,方法包括:獲取數(shù)據(jù)組,數(shù)據(jù)組包括多個(gè)字節(jié);將多個(gè)字節(jié)劃分為多個(gè)數(shù)據(jù)段,多個(gè)數(shù)據(jù)段包括匹配數(shù)據(jù)段或非匹配數(shù)據(jù)段中的至少一種,非匹配數(shù)據(jù)段中的字節(jié)與非匹配數(shù)據(jù)段之前的各個(gè)數(shù)據(jù)段中的字節(jié)不同,匹配數(shù)據(jù)段中的字節(jié)與匹配數(shù)據(jù)段之前的一個(gè)被匹配數(shù)據(jù)段中的字節(jié)相同,匹配數(shù)據(jù)段與被匹配數(shù)據(jù)段之間的距離小于或等于參考距離;根據(jù)多個(gè)數(shù)據(jù)段引用的數(shù)據(jù)段,壓縮多個(gè)數(shù)據(jù)段,得到包括多個(gè)壓縮段的第一壓縮數(shù)據(jù),各個(gè)壓縮段由對(duì)應(yīng)的數(shù)據(jù)段壓縮得到,任一匹配數(shù)據(jù)段引用的數(shù)據(jù)段為與任一匹配數(shù)據(jù)段中的字節(jié)相同的被匹配數(shù)據(jù)段,任一非匹配數(shù)據(jù)段引用的數(shù)據(jù)段為任一非匹配數(shù)據(jù)段。16、在本技術(shù)中,通過控制數(shù)據(jù)組中的匹配數(shù)據(jù)段與被匹配數(shù)據(jù)段之間的距離小于等于參考距離,使得在解壓時(shí),根據(jù)與各個(gè)數(shù)據(jù)段之間的距離不超過參考距離的數(shù)據(jù)段對(duì)應(yīng)的壓縮段,能夠?qū)崿F(xiàn)需要解壓的各個(gè)壓縮段的解壓,進(jìn)而使得在解壓之前根據(jù)參考距離確定出需要解壓的壓縮數(shù)據(jù)的明確的邊界,實(shí)現(xiàn)精準(zhǔn)解壓。17、在一種可能的實(shí)現(xiàn)方式中,將多個(gè)字節(jié)劃分為多個(gè)數(shù)據(jù)段,包括:將多個(gè)字節(jié)劃分為多個(gè)備選數(shù)據(jù)段,多個(gè)備選數(shù)據(jù)段包括備選匹配數(shù)據(jù)段或非匹配數(shù)據(jù)段中的至少一種,備選匹配數(shù)據(jù)段中的字節(jié)與備選匹配數(shù)據(jù)段之前的至少一個(gè)備選被匹配數(shù)據(jù)段中的字節(jié)相同;獲取備選匹配數(shù)據(jù)段的位置數(shù)組,位置數(shù)組包括備選匹配數(shù)據(jù)段的位置以及與備選匹配數(shù)據(jù)段對(duì)應(yīng)的至少一個(gè)備選被匹配數(shù)據(jù)段的位置;在至少一個(gè)備選距離中存在小于或等于參考距離的備選距離的情況下,將備選匹配數(shù)據(jù)段確定為匹配數(shù)據(jù)段,至少一個(gè)備選距離基于備選匹配數(shù)據(jù)段的位置和至少一個(gè)備選被匹配數(shù)據(jù)段的位置確定;在至少一個(gè)備選距離均大于參考距離的情況下,將備選匹配數(shù)據(jù)段確定為非匹配數(shù)據(jù)段。18、在備選匹配數(shù)據(jù)段對(duì)應(yīng)的至少一個(gè)備選距離均大于參考距離的情況下,如果通過引用該備選匹配數(shù)據(jù)段對(duì)應(yīng)的備選被匹配數(shù)據(jù)段對(duì)該備選匹配數(shù)據(jù)段進(jìn)行壓縮,無法根據(jù)與該備選匹配數(shù)據(jù)段之間的距離不超過參考距離的數(shù)據(jù)段對(duì)應(yīng)的壓縮段,實(shí)現(xiàn)對(duì)該備選匹配數(shù)據(jù)段的解壓。因而在備選匹配數(shù)據(jù)段對(duì)應(yīng)的至少一個(gè)備選距離中存在小于或等于參考距離的備選距離的情況下,將備選匹配數(shù)據(jù)段確定為匹配數(shù)據(jù)段,進(jìn)而通過引用于匹配數(shù)據(jù)段之間的距離小于或等于參考距離的被匹配數(shù)據(jù)段對(duì)匹配數(shù)據(jù)段進(jìn)行壓縮,能夠保證對(duì)與匹配數(shù)據(jù)段之間的距離不超過參考距離的數(shù)據(jù)段對(duì)應(yīng)的壓縮段進(jìn)行解壓,得到匹配數(shù)據(jù)段,從而保證解壓的精準(zhǔn)度。19、在一種可能的實(shí)現(xiàn)方式中,根據(jù)多個(gè)數(shù)據(jù)段引用的數(shù)據(jù)段,壓縮多個(gè)數(shù)據(jù)段之后,還包括:生成映射信息,映射信息用于指示多個(gè)數(shù)據(jù)段的起始位置與多個(gè)壓縮段的起始位置之間的映射關(guān)系。由于映射信息能夠指示多個(gè)數(shù)據(jù)段的起始位置與多個(gè)壓縮段的起始位置之間的映射關(guān)系,使得在解壓的過程中能夠根據(jù)映射信息高效確定出任一數(shù)據(jù)段的起始位置對(duì)應(yīng)的壓縮段的起始位置,或者高效確定出任一壓縮段的起始位置對(duì)應(yīng)的數(shù)據(jù)段的起始位置。20、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在hot中,數(shù)據(jù)組包括hot的存儲(chǔ)塊內(nèi)的多個(gè)數(shù)據(jù)。通過本技術(shù)提供的數(shù)據(jù)處理方法,對(duì)存儲(chǔ)塊內(nèi)的多個(gè)數(shù)據(jù)進(jìn)行壓縮,能夠控制存儲(chǔ)塊內(nèi)的多個(gè)數(shù)據(jù)中的匹配數(shù)據(jù)段與被匹配數(shù)據(jù)段之間的距離小于等于參考距離,使得在對(duì)由多個(gè)數(shù)據(jù)壓縮得到的壓縮數(shù)據(jù)進(jìn)行解壓時(shí),能夠基于參考距離確定出明確的解壓的邊界,以保證解壓的精準(zhǔn)度。21、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在lsm-tree的基線數(shù)據(jù)庫中,數(shù)據(jù)組包括基線數(shù)據(jù)庫中的多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)。通過本技術(shù)提供的數(shù)據(jù)處理方法,對(duì)多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)進(jìn)行壓縮,能夠控制多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)中的匹配數(shù)據(jù)段與被匹配數(shù)據(jù)段之間的距離小于等于參考距離,使得在對(duì)由多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)壓縮得到的壓縮數(shù)據(jù)進(jìn)行解壓時(shí),能夠基于參考距離確定出明確的解壓的邊界,從而保證解壓的精準(zhǔn)度。22、第三方面,提供了一種數(shù)據(jù)處理裝置,裝置包括:獲取模塊,用于獲取數(shù)據(jù)處理指令,數(shù)據(jù)處理指令指示從第一壓縮數(shù)據(jù)中解壓出目標(biāo)數(shù)據(jù),第一壓縮數(shù)據(jù)通過壓縮目標(biāo)數(shù)據(jù)所屬的數(shù)據(jù)組得到,數(shù)據(jù)處理指令包括目標(biāo)數(shù)據(jù)在數(shù)據(jù)組中的第一起始位置和目標(biāo)數(shù)據(jù)的長度;確定模塊,用于基于第一起始位置和參考距離,確定第二壓縮數(shù)據(jù)在第一壓縮數(shù)據(jù)中的第二起始位置,第二壓縮數(shù)據(jù)用于解壓得到目標(biāo)數(shù)據(jù),參考距離指示目標(biāo)數(shù)據(jù)中的任一數(shù)據(jù)段與任一數(shù)據(jù)段引用的數(shù)據(jù)段之間的距離的最大值;解壓模塊,用于按照第二起始位置和第二壓縮數(shù)據(jù)的終止位置解壓第二壓縮數(shù)據(jù),得到目標(biāo)數(shù)據(jù),第二壓縮數(shù)據(jù)的終止位置基于第一起始位置和目標(biāo)數(shù)據(jù)的長度確定。23、在一種可能的實(shí)現(xiàn)方式中,第一壓縮數(shù)據(jù)包括多個(gè)壓縮段,數(shù)據(jù)組包括多個(gè)數(shù)據(jù)段,各個(gè)壓縮段由對(duì)應(yīng)的數(shù)據(jù)段壓縮得到;確定模塊,用于獲取數(shù)據(jù)組中的各個(gè)數(shù)據(jù)段的起始位置;根據(jù)各個(gè)數(shù)據(jù)段的起始位置,在多個(gè)數(shù)據(jù)段中確定第一位置所屬的第一數(shù)據(jù)段,第一位置基于第一起始位置與參考距離之間的差值確定;根據(jù)第一數(shù)據(jù)段的起始位置,確定第一數(shù)據(jù)段對(duì)應(yīng)的第一壓縮段的起始位置;將第一壓縮段的起始位置確定為第二起始位置。24、在一種可能的實(shí)現(xiàn)方式中,確定模塊,用于獲取各個(gè)數(shù)據(jù)段的長度;根據(jù)各個(gè)數(shù)據(jù)段的長度和各個(gè)壓縮段在第一壓縮數(shù)據(jù)中的順序,確定各個(gè)數(shù)據(jù)段在數(shù)據(jù)組中的起始位置,任一數(shù)據(jù)段在數(shù)據(jù)組中的順序與任一數(shù)據(jù)段壓縮得到的壓縮段在第一壓縮數(shù)據(jù)中的順序相同。25、在一種可能的實(shí)現(xiàn)方式中,確定模塊,用于獲取映射信息,映射信息用于指示多個(gè)數(shù)據(jù)段的起始位置與多個(gè)壓縮段的起始位置之間的映射關(guān)系;根據(jù)映射信息和第一數(shù)據(jù)段的起始位置,確定第一壓縮段的起始位置。26、在一種可能的實(shí)現(xiàn)方式中,映射信息包括多個(gè)數(shù)據(jù)段中至少一個(gè)參考數(shù)據(jù)段的起始位置和由至少一個(gè)參考數(shù)據(jù)段壓縮得到的至少一個(gè)參考?jí)嚎s段的起始位置;確定模塊,用于根據(jù)第一數(shù)據(jù)段的起始位置與至少一個(gè)參考數(shù)據(jù)段的起始位置,在至少一個(gè)參考數(shù)據(jù)段中確定出第一參考數(shù)據(jù)段,第一參考數(shù)據(jù)段為在第一數(shù)據(jù)段之前且與第一數(shù)據(jù)段距離最近的參考數(shù)據(jù)段;將由第一參考數(shù)據(jù)段壓縮得到的第一參考?jí)嚎s段的起始位置確定為第一壓縮段的起始位置。27、在一種可能的實(shí)現(xiàn)方式中,確定模塊,還用于根據(jù)各個(gè)數(shù)據(jù)段的起始位置,在多個(gè)數(shù)據(jù)段中確定第二位置所屬的第二數(shù)據(jù)段,第二位置為第一起始位置與目標(biāo)數(shù)據(jù)的長度之間的和;在各個(gè)數(shù)據(jù)段的起始位置中確定與第二數(shù)據(jù)段相鄰的第三數(shù)據(jù)段的起始位置,第三數(shù)據(jù)段在第二數(shù)據(jù)段之后;根據(jù)第三數(shù)據(jù)段的起始位置,確定第三數(shù)據(jù)段對(duì)應(yīng)的第二壓縮段的起始位置;將第二壓縮段的起始位置確定為第二壓縮數(shù)據(jù)的終止位置。28、在一種可能的實(shí)現(xiàn)方式中,解壓模塊,用于按照第二起始位置和第二壓縮數(shù)據(jù)的終止位置解壓第二壓縮數(shù)據(jù),得到中間數(shù)據(jù);根據(jù)第一起始位置和目標(biāo)數(shù)據(jù)的長度,確定目標(biāo)數(shù)據(jù)的終止位置;根據(jù)第一起始位置和目標(biāo)數(shù)據(jù)的終止位置,在中間數(shù)據(jù)中截取目標(biāo)數(shù)據(jù)。29、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在hot中,數(shù)據(jù)組包括hot的存儲(chǔ)塊內(nèi)的多個(gè)數(shù)據(jù),目標(biāo)數(shù)據(jù)包括多個(gè)數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)。30、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在lsm-tree的基線數(shù)據(jù)庫中,數(shù)據(jù)組包括基線數(shù)據(jù)庫中的多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù),目標(biāo)數(shù)據(jù)包括多個(gè)存儲(chǔ)塊中的至少一個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)。31、第四方面,提供了一種數(shù)據(jù)處理裝置,裝置包括:獲取模塊,用于獲取數(shù)據(jù)組,數(shù)據(jù)組包括多個(gè)字節(jié);劃分模塊,用于將多個(gè)字節(jié)劃分為多個(gè)數(shù)據(jù)段,多個(gè)數(shù)據(jù)段包括匹配數(shù)據(jù)段或非匹配數(shù)據(jù)段中的至少一種,非匹配數(shù)據(jù)段中的字節(jié)與非匹配數(shù)據(jù)段之前的各個(gè)數(shù)據(jù)段中的字節(jié)不同,匹配數(shù)據(jù)段中的字節(jié)與匹配數(shù)據(jù)段之前的一個(gè)被匹配數(shù)據(jù)段中的字節(jié)相同,匹配數(shù)據(jù)段與被匹配數(shù)據(jù)段之間的距離小于或等于參考距離;壓縮模塊,用于根據(jù)多個(gè)數(shù)據(jù)段引用的數(shù)據(jù)段,壓縮多個(gè)數(shù)據(jù)段,得到包括多個(gè)壓縮段的第一壓縮數(shù)據(jù),各個(gè)壓縮段由對(duì)應(yīng)的數(shù)據(jù)段壓縮得到,任一匹配數(shù)據(jù)段引用的數(shù)據(jù)段為與任一匹配數(shù)據(jù)段中的字節(jié)相同的被匹配數(shù)據(jù)段,任一非匹配數(shù)據(jù)段引用的數(shù)據(jù)段為任一非匹配數(shù)據(jù)段。32、在一種可能的實(shí)現(xiàn)方式中,劃分模塊,用于將多個(gè)字節(jié)劃分為多個(gè)備選數(shù)據(jù)段,多個(gè)備選數(shù)據(jù)段包括備選匹配數(shù)據(jù)段或非匹配數(shù)據(jù)段中的至少一種,備選匹配數(shù)據(jù)段中的字節(jié)與備選匹配數(shù)據(jù)段之前的至少一個(gè)備選被匹配數(shù)據(jù)段中的字節(jié)相同;獲取備選匹配數(shù)據(jù)段的位置數(shù)組,位置數(shù)組包括備選匹配數(shù)據(jù)段的位置以及與備選匹配數(shù)據(jù)段對(duì)應(yīng)的至少一個(gè)備選被匹配數(shù)據(jù)段的位置;在至少一個(gè)備選距離中存在小于或等于參考距離的備選距離的情況下,將備選匹配數(shù)據(jù)段確定為匹配數(shù)據(jù)段,至少一個(gè)備選距離基于備選匹配數(shù)據(jù)段的位置和至少一個(gè)備選被匹配數(shù)據(jù)段的位置確定;在至少一個(gè)備選距離均大于參考距離的情況下,將備選匹配數(shù)據(jù)段確定為非匹配數(shù)據(jù)段。33、在一種可能的實(shí)現(xiàn)方式中,裝置還包括生成模塊;生成模塊,用于生成映射信息,映射信息用于指示多個(gè)數(shù)據(jù)段的起始位置與多個(gè)壓縮段的起始位置之間的映射關(guān)系。34、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在hot中,數(shù)據(jù)組包括hot的存儲(chǔ)塊內(nèi)的多個(gè)數(shù)據(jù)。35、在一種可能的實(shí)現(xiàn)方式中,數(shù)據(jù)組存儲(chǔ)在lsm-tree的基線數(shù)據(jù)庫中,數(shù)據(jù)組包括基線數(shù)據(jù)庫中的多個(gè)存儲(chǔ)塊內(nèi)的數(shù)據(jù)。36、第五方面,本技術(shù)提供了一種計(jì)算設(shè)備集群,該計(jì)算設(shè)備集群包括至少一個(gè)計(jì)算設(shè)備,每個(gè)計(jì)算設(shè)備包括處理器和存儲(chǔ)器;該至少一個(gè)計(jì)算設(shè)備的處理器用于執(zhí)行該至少一個(gè)計(jì)算設(shè)備的存儲(chǔ)器中存儲(chǔ)的指令,以使得該計(jì)算設(shè)備集群執(zhí)行如前述第一方面、第二方面以及第一方面或第二方面的任意一種可能的實(shí)現(xiàn)方式所提供的數(shù)據(jù)處理方法。37、第六方面,本技術(shù)實(shí)施例提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品,當(dāng)該指令被計(jì)算設(shè)備集群運(yùn)行時(shí),使得該計(jì)算設(shè)備集群執(zhí)行如前述第一方面、第二方面以及第一方面或第二方面的任意一種可能的實(shí)現(xiàn)方式所提供的數(shù)據(jù)處理方法。該計(jì)算機(jī)程序產(chǎn)品可以為一個(gè)軟件安裝包,在需要實(shí)現(xiàn)前述計(jì)算設(shè)備集群的功能的情況下,可以下載該計(jì)算機(jī)程序產(chǎn)品并在計(jì)算設(shè)備集群上執(zhí)行該計(jì)算機(jī)程序產(chǎn)品。38、第七方面,本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),包括計(jì)算機(jī)程序指令,當(dāng)該計(jì)算機(jī)程序指令由計(jì)算設(shè)備集群執(zhí)行時(shí),該計(jì)算設(shè)備集群執(zhí)行如前述第一方面、第二方面以及第一方面或第二方面的任意一種可能的實(shí)現(xiàn)方式所提供的數(shù)據(jù)處理方法。該存儲(chǔ)介質(zhì)包括但不限于易失性存儲(chǔ)器,例如隨機(jī)訪問存儲(chǔ)器,非易失性存儲(chǔ)器,例如快閃存儲(chǔ)器、硬盤(hard?disk?drive,hdd)、固態(tài)硬盤(solid?state?drive,ssd)。39、應(yīng)當(dāng)理解的是,本技術(shù)的第三方面至第七方面的技術(shù)方案及對(duì)應(yīng)的可能的實(shí)現(xiàn)方式所取得的有益效果可以參見上述對(duì)第一方面、第二方面以及第一方面或第二方面的任意一種可能的實(shí)現(xiàn)方式所提供的數(shù)據(jù)處理方法的技術(shù)效果,此處不再贅述。當(dāng)前第1頁12當(dāng)前第1頁12
當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
达拉特旗| 班玛县| 阆中市| 东海县| 大邑县| 汝南县| 海丰县| 松桃| 南京市| 红桥区| 临泉县| 北川| 峡江县| 眉山市| 腾冲县| 佛冈县| 定南县| 佳木斯市| 长沙县| 汉沽区| 同江市| 千阳县| 闽清县| 克东县| 南澳县| 承德市| 体育| 九龙城区| 玉山县| 鄄城县| 鹰潭市| 康马县| 孟津县| 肇庆市| 祁阳县| 伊宁县| 金塔县| 太白县| 山东省| 民丰县| 惠安县|