實(shí)現(xiàn)Hadoop兼容性的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信領(lǐng)域，特別涉及一種實(shí)現(xiàn)化doop兼容性的方法和裝置。
【背景技術(shù)】
[0002] 化doop是由Apache組織主導(dǎo)的用于大數(shù)據(jù)分析處理的開源框架，主要包括h壯S 存儲(chǔ)和Mapre化ce計(jì)算兩大內(nèi)容。隨著技術(shù)的不斷發(fā)展和更新，在化doopl. 0系統(tǒng)的基 礎(chǔ)上，已發(fā)布了新的化doop2.0系統(tǒng)，其中最重要的一個(gè)功能就是YARN(YetAnother ResourceNegotiator,下一代資源管理系統(tǒng)）。
[0003] 化doop2. 0系統(tǒng)的存儲(chǔ)訪問方式與化doopl. 0系統(tǒng)有很大區(qū)別?；痙oopl. 0系統(tǒng) 米用的是化doop自帶的RPC(RemoteProcedureCallProtocol,遠(yuǎn)程過程調(diào)用協(xié)議）通 信，而化doop2.0系統(tǒng)則采用PB(ProtocolBuffer,協(xié)議緩沖）協(xié)議來通信。
[0004] 當(dāng)使用化doop2. 0系統(tǒng)訪問化doopl. 0系統(tǒng)的數(shù)據(jù)時(shí)，必須將數(shù)據(jù)從化doopl. 0 系統(tǒng)拷貝到化doop2.0系統(tǒng)上，該一過程將消耗很長的時(shí)間，效率較低。因此，目前的 化doop2. 0系統(tǒng)與化doopl. 0系統(tǒng)還不兼容，無法實(shí)現(xiàn)在化doop2. 0系統(tǒng)上訪問化doopl. 0 系統(tǒng)中的數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0005] 有鑒于此，本發(fā)明實(shí)施例提供了一種實(shí)現(xiàn)化doop兼容性的方法和裝置，W實(shí)現(xiàn) 化doop系統(tǒng)不同版本之間的兼容性。所述技術(shù)方案如下：
[0006] 一方面，提供了一種實(shí)現(xiàn)化doop兼容性的方法，包括：
[0007] 在采用第二協(xié)議的第二化doop系統(tǒng)上接收到訪問文件的請(qǐng)求；
[0008] 根據(jù)所述請(qǐng)求，確定文件所在主節(jié)點(diǎn)的版本信息；
[0009] 根據(jù)所述版本信息確定所述主節(jié)點(diǎn)屬于采用第一協(xié)議的第一化doop系統(tǒng)；
[0010] 運(yùn)行兼容訪問接口調(diào)用所述第二化doop系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第二方法，且 將所述第二方法中的對(duì)象轉(zhuǎn)換為所述第一化doop系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第一方法中的 對(duì)象；
[0011] 將所述第二方法所屬的包的名稱，由所述第二化doop系統(tǒng)能識(shí)別的包名轉(zhuǎn)換為 所述第一化doop系統(tǒng)能識(shí)別的包名；
[0012] 將轉(zhuǎn)換后的包發(fā)送給所述主節(jié)點(diǎn)。
[0013] 另一方面，提供了一種實(shí)現(xiàn)化doop兼容性的裝置，包括：
[0014] 接收模塊，用于在采用第二協(xié)議的第二化doop系統(tǒng)上接收到訪問文件的請(qǐng)求；
[0015] 確定模塊，用于根據(jù)所述請(qǐng)求，確定文件所在主節(jié)點(diǎn)的版本信息，根據(jù)所述版本信 息確定所述主節(jié)點(diǎn)屬于采用遠(yuǎn)程過程調(diào)用RPC協(xié)議的第一化doop系統(tǒng)；
[0016] 第一處理模塊，用于運(yùn)行兼容訪問接口調(diào)用所述第二化doop系統(tǒng)中與所述請(qǐng)求 對(duì)應(yīng)的第二方法，且將所述第二方法中的對(duì)象轉(zhuǎn)換為所述第一化doop系統(tǒng)中與所述請(qǐng)求 對(duì)應(yīng)的第一方法中的對(duì)象；
[0017] 第二處理模塊，用于將所述第二方法所屬的包的名稱，由所述第二化doop系統(tǒng)能 識(shí)別的包名轉(zhuǎn)換為所述第一化doop系統(tǒng)能識(shí)別的包名；
[0018] 發(fā)送模塊，用于將轉(zhuǎn)換后的包發(fā)送給所述主節(jié)點(diǎn)。
[0019] 本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是；通過在采用第二協(xié)議的第二 Hadoop系統(tǒng)上接收到訪問文件的請(qǐng)求；根據(jù)所述請(qǐng)求，確定文件所在主節(jié)點(diǎn)的版本信息， 根據(jù)所述版本信息確定所述主節(jié)點(diǎn)屬于采用第一協(xié)議的第一化doop系統(tǒng)，運(yùn)行兼容訪問 接口調(diào)用所述第二化doop系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第二方法，且將所述第二方法中的對(duì) 象轉(zhuǎn)換為所述第一化doop系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第一方法中的對(duì)象，將所述第二方法 所屬的包的名稱，由所述第二化doop系統(tǒng)能識(shí)別的包名轉(zhuǎn)換為所述第一化doop系統(tǒng)能 識(shí)別的包名，將轉(zhuǎn)換后的包發(fā)送給所述主節(jié)點(diǎn)，實(shí)現(xiàn)了基于不同協(xié)議的第一和第二化doop 系統(tǒng)之間的兼容性，能夠?qū)崿F(xiàn)在第二化doop系統(tǒng)上訪問第一化doop系統(tǒng)的數(shù)據(jù)，提高了 化doop系統(tǒng)訪問的易用性，豐富了化doop系統(tǒng)的功能。
【附圖說明】
[0020] 為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使 用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可W根據(jù)該些附圖獲得其他 的附圖。
[0021] 圖1是本發(fā)明實(shí)施例1提供的實(shí)現(xiàn)化doop兼容性的方法流程圖；
[0022] 圖2是本發(fā)明實(shí)施例2提供的實(shí)現(xiàn)化doop兼容性的方法流程圖；
[0023] 圖3是本發(fā)明實(shí)施例3提供的實(shí)現(xiàn)化doop兼容性的方法流程圖；
[0024] 圖4是本發(fā)明實(shí)施例3提供的實(shí)現(xiàn)化doop兼容性的流程示意圖；
[002引圖5是本發(fā)明實(shí)施例4提供的實(shí)現(xiàn)化doop兼容性的裝置一種結(jié)構(gòu)圖；
[0026] 圖6是本發(fā)明實(shí)施例4提供的實(shí)現(xiàn)化doop兼容性的裝置另一種結(jié)構(gòu)圖；
[0027] 圖7是本發(fā)明實(shí)施例5提供的服務(wù)器結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0028] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0029] 實(shí)施例1
[0030] 參見圖1，本實(shí)施例提供了一種實(shí)現(xiàn)化doop兼容性的方法，包括：
[0031] 101 ;在采用第二協(xié)議的第二化doop系統(tǒng)上接收到訪問文件的請(qǐng)求；
[0032] 102 ;根據(jù)該請(qǐng)求確定該文件所在主節(jié)點(diǎn)的版本信息；
[0033] 103 ;根據(jù)該版本信息確定該主節(jié)點(diǎn)屬于采用第一協(xié)議的第一化doop系統(tǒng)；
[0034] 104 ;運(yùn)行兼容訪問接口調(diào)用所述第二化doop系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第二方 法，且將所述第二方法中的對(duì)象轉(zhuǎn)換為所述第一化doop系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第一方 法中的對(duì)象；
[00巧]105 ;將所述第二方法所屬的包的名稱，由第二化doop系統(tǒng)能識(shí)別的包名轉(zhuǎn)換為 第一化doop系統(tǒng)能識(shí)別的包名；
[003引 106 ;將轉(zhuǎn)換后的包發(fā)送給該主節(jié)點(diǎn)。
[0037] 本實(shí)施例中，第一協(xié)議為RPC協(xié)議，第二協(xié)議為PB協(xié)議。第一化doop系統(tǒng)就是指 化doopl. 0系統(tǒng)，采用RPC協(xié)議進(jìn)行通信；第二化doop系統(tǒng)就是指化doop2. 0系統(tǒng)，采用PB 協(xié)議進(jìn)行通信。
[0038] 本實(shí)施例中，如果根據(jù)該版本信息確定該主節(jié)點(diǎn)屬于第二化doop系統(tǒng)，則按照第 二化doop系統(tǒng)的文件訪問方式執(zhí)行相應(yīng)的流程，此處不做過多說明。
[0039] 本實(shí)施例中，根據(jù)該請(qǐng)求確定該文件所在主節(jié)點(diǎn)的版本信息，可W包括：
[0040] 讀取第二化doop系統(tǒng)的配置文件，確定h壯S類型的文件由該兼容訪問接口處理； 在該配置文件中查找節(jié)點(diǎn)列表，獲得該文件所在主節(jié)點(diǎn)的版本信息。
[0041] 優(yōu)選地，上述在該配置文件中查找節(jié)點(diǎn)列表，獲得該文件所在主節(jié)點(diǎn)的版本信息， 可W包括：
[0042] 在該配置文件中查找節(jié)點(diǎn)列表；如果該節(jié)點(diǎn)列表中可W包括該主節(jié)點(diǎn)，則獲知該 主節(jié)點(diǎn)屬于第一Hadoop系統(tǒng)；如果該節(jié)點(diǎn)列表中不可W包括該主節(jié)點(diǎn)，則獲知該主節(jié)點(diǎn)屬 于第二化doop系統(tǒng)。
[0043] 本實(shí)施例中，在采用第二協(xié)議的第二化doop系統(tǒng)上接收到訪問文件的請(qǐng)求之前， 還可W包括：
[0044] 對(duì)第二化doop系統(tǒng)的包進(jìn)行重命名，W使重命名后的包名與第一化doop系統(tǒng)中 的包名不重復(fù)。
[0045] 本實(shí)施例中，上述將所述第二方法所屬的包的名稱，由第二化doop系統(tǒng)能識(shí)別的 包名轉(zhuǎn)換為第一化doop系統(tǒng)能識(shí)別的包名，可W包括：
[0046] 調(diào)用輸出對(duì)象方法，將所述第二方法所屬的包的名稱，由所述第二化doop系統(tǒng)能 識(shí)別的包名，恢復(fù)為重命名之前的所述第一化doop系統(tǒng)能識(shí)別的包名。
[0047] 本實(shí)施例中，上述方法還可W包括：
[0048] 當(dāng)接收到該主節(jié)點(diǎn)發(fā)送的包時(shí)，調(diào)用輸入對(duì)象方法，按照與所述重命名相同的 方式，將所述接收到的包的名稱，由所述第一化doop系統(tǒng)能識(shí)別的包名轉(zhuǎn)換為所述第二 化doop系統(tǒng)能識(shí)別的包名；運(yùn)行該兼容訪問接口處理該轉(zhuǎn)換后的包。
[0049] 本實(shí)施例提供的上述方法，通過在采用第二協(xié)議的第二化doop系統(tǒng)上接收到訪 問文件的請(qǐng)求；根據(jù)所述請(qǐng)求，確定文件所在主節(jié)點(diǎn)的版本信息，根據(jù)所述版本信息確定所 述主節(jié)點(diǎn)屬于采用第一協(xié)議的第一化doop系統(tǒng)，運(yùn)行兼容訪問接口調(diào)用所述第二化doop 系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第二方法，且將所述第二方法中的對(duì)象轉(zhuǎn)換為所述第一化doop 系統(tǒng)中與所述請(qǐng)求對(duì)應(yīng)的第一方法中的對(duì)象，將所述第二方法所屬的包的名稱，由所述第 二