本發(fā)明涉及計(jì)算機(jī)軟件應(yīng)用
技術(shù)領(lǐng)域：
：，具體涉及一種通過JDBC連接Hiveserver的快捷方法，實(shí)現(xiàn)對(duì)進(jìn)入大數(shù)據(jù)集群二次開發(fā)方便調(diào)試的處理。
背景技術(shù)：
：：Hive作為Hadoop社區(qū)的頂級(jí)項(xiàng)目，在實(shí)際項(xiàng)目環(huán)境中有很廣泛的應(yīng)用，hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。Hive是建立在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL），這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。Hive定義了簡單的類SQL查詢語言，稱為HQL，它允許熟悉SQL的用戶查詢數(shù)據(jù)。同時(shí)，這個(gè)語言也允許熟悉MapReduce開發(fā)者的開發(fā)自定義的mapper和reducer來處理內(nèi)建的mapper和reducer無法完成的復(fù)雜的分析工作。HiveServer或者HiveServer2都是基于Thrift的，但HiveSever有時(shí)被稱為Thriftserver，而HiveServer2卻不會(huì)。既然已經(jīng)存在HiveServer為什么還需要HiveServer2呢？這是因?yàn)镠iveServer不能處理多于一個(gè)客戶端的并發(fā)請(qǐng)求，這是由于HiveServer使用的Thrift接口所導(dǎo)致的限制，不能通過修改HiveServer的代碼修正。因此在Hive-0.11.0版本中重寫了HiveServer代碼得到了HiveServer2，進(jìn)而解決了該問題。HiveServer2支持多客戶端的并發(fā)和認(rèn)證，為開放API客戶端如JDBC、ODBC提供了更好的支持,即HiveServer2提供了更強(qiáng)大的功能。傳統(tǒng)數(shù)據(jù)倉庫統(tǒng)計(jì)的靈活性，并且傳統(tǒng)的數(shù)據(jù)倉庫建設(shè)理論非常的成熟，建起來也是相對(duì)的簡單容易，但存在數(shù)據(jù)量過大時(shí)導(dǎo)致數(shù)據(jù)提取緩慢的問題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明要解決的技術(shù)問題是：本發(fā)明針對(duì)以上問題，提供一種通過JDBC連接Hiveserver的快捷方法。本發(fā)明所采用的技術(shù)方案為：一種通過JDBC連接Hiveserver的快捷方法，所述方法通過在程序操作Hive之前，在Hive安裝的服務(wù)器上打開HiveServer服務(wù)，服務(wù)開啟之后，通過Hive提供的jdbc驅(qū)動(dòng)，使用Java代碼來連接Hiveserver并進(jìn)行一些類關(guān)系型數(shù)據(jù)庫或同關(guān)系型數(shù)據(jù)庫的sql語句查詢操作。JDBC（JavaDataBaseConnectivity,java數(shù)據(jù)庫連接）是一種用于執(zhí)行SQL語句的JavaAPI，可以為多種關(guān)系數(shù)據(jù)庫提供統(tǒng)一訪問，它由一組用Java語言編寫的類和接口組成。所述Hiveserver為Hive0.11.0版本提供的HiveServer2。HiveServer本身存在很多問題（比如：安全性、并發(fā)性等）；HiveServer2很好的解決HiveServer存在的安全性、并發(fā)性等問題，支持多客戶端的并發(fā)和認(rèn)證，為開放API客戶端如JDBC、ODBC提供了更好的支持,即HiveServer2提供了更強(qiáng)大的功能。所述HiveServer2服務(wù)的啟動(dòng)程序在${HIVE_HOME}/bin/hiveserver2里面，通過下面的方式來啟動(dòng)HiveServer2服務(wù)：$HIVE_HOME/bin/hiveserver2或$HIVE_HOME/bin/hive--servicehiveserver2。所述方法通過Hive提供的用戶接口：CLI、Client或WebUI通信，其中：CLI(command-lineinterface，命令行界面)是指可在用戶提示符下鍵入可執(zhí)行指令的界面；Client是Hive的客戶端，在啟動(dòng)Client模式的時(shí)候，需要指出HiveServer所在節(jié)點(diǎn)，并且在該節(jié)點(diǎn)啟動(dòng)HiveServer；WUI是通過瀏覽器訪問Hive。本發(fā)明的有益效果為：本發(fā)明突破了傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)量過大導(dǎo)致的數(shù)據(jù)提取緩慢的問題，在數(shù)據(jù)量上不再有限制，方便開發(fā)者對(duì)自己的業(yè)務(wù)進(jìn)行開發(fā)實(shí)踐，在實(shí)際項(xiàng)目環(huán)境中有很廣泛的應(yīng)用。具體實(shí)施方式下面結(jié)合具體實(shí)施方式對(duì)本發(fā)明進(jìn)一步說明：實(shí)施例1：一種通過JDBC連接Hiveserver的快捷方法，所述方法通過在程序操作Hive之前，在Hive安裝的服務(wù)器上打開HiveServer服務(wù)，服務(wù)開啟之后，通過Hive提供的jdbc驅(qū)動(dòng)，使用Java代碼來連接Hiveserver并進(jìn)行一些類關(guān)系型數(shù)據(jù)庫或同關(guān)系型數(shù)據(jù)庫的sql語句查詢操作。通過Java代碼來連接hiveserver方法如下：importjava.sql.SQLException;importjava.sql.Connection;importjava.sql.ResultSet;importjava.sql.Statement;importjava.sql.DriverManager;publicclassHiveJdbcTest{privatestaticStringdriverName="org.apache.hadoop.hive.jdbc.HiveDriver";publicstaticvoidmain(String[]args)throwsSQLException{try{Class.forName(driverName);}catch(ClassNotFoundExceptione){e.printStackTrace();System.exit(1);}Connectioncon=DriverManager.getConnection("jdbc:hive://localhost:10002/default","wyp","");Statementstmt=con.createStatement();StringtableName="wyphao";stmt.execute("droptableifexists"+tableName);stmt.execute("createtable"+tableName+"(keyint,valuestring)");System.out.println("Createtablesuccess!");Stringsql="showtables'"+tableName+"'";System.out.println("Running:"+sql);ResultSetres=stmt.executeQuery(sql);if(res.next()){System.out.println(res.getString(1));}sql="select*from"+tableName;res=stmt.executeQuery(sql);while(res.next()){System.out.println(String.valueOf(res.getInt(1))+"\t"+res.getString(2));}實(shí)施例2在實(shí)施例1的基礎(chǔ)上，本實(shí)施例所述Hiveserver為Hive0.11.0版本提供的HiveServer2。HiveServer本身存在很多問題（比如：安全性、并發(fā)性等）；HiveServer2很好的解決HiveServer存在的安全性、并發(fā)性等問題，支持多客戶端的并發(fā)和認(rèn)證，為開放API客戶端如JDBC、ODBC提供了更好的支持,即HiveServer2提供了更強(qiáng)大的功能。實(shí)施例3在實(shí)施例2的基礎(chǔ)上，本實(shí)施例所述HiveServer2服務(wù)的啟動(dòng)程序在${HIVE_HOME}/bin/hiveserver2里面，通過下面的方式來啟動(dòng)HiveServer2服務(wù)：$HIVE_HOME/bin/hiveserver2或$HIVE_HOME/bin/hive--servicehiveserver2。實(shí)施例4在實(shí)施例1、2或3的基礎(chǔ)上，本實(shí)施例所述方法通過Hive提供的用戶接口：CLI、Client或WebUI通信，其中：CLI(command-lineinterface，命令行界面)是指可在用戶提示符下鍵入可執(zhí)行指令的界面；Client是Hive的客戶端，在啟動(dòng)Client模式的時(shí)候，需要指出HiveServer所在節(jié)點(diǎn)，并且在該節(jié)點(diǎn)啟動(dòng)HiveServer；WUI是通過瀏覽器訪問Hive。實(shí)施方式僅用于說明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)
技術(shù)領(lǐng)域：
：的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。當(dāng)前第1頁1 2 3 當(dāng)前第1頁1 2 3