温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

Fayson的github：https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

本篇文章主要介绍如何在CDH集群中配置及部署Hive2.3.3版本的服务，在配置及部署Hive2服务的同时不停用CDH集群默认的Hive服务。

• 内容概述

1.环境准备

2.配置及部署Hive2.3.3服务

3.Hive2.3.3服务启动及功能验证

• 测试环境

1.CM和CDH版本为5.14.3

2.Hive的版本为2.3.3

3.操作系统版本为RedHat7.4

4.JDK版本为1.8.0_131

5.集群未启用Kerberos

2.环境准备

1.Hive2官网下载地址如下

http://mirrors.hust.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gz

（可左右滑动）

2.将apache-hive-2.3.3-bin.tar.gz包下载至服务器

[root@ip-172-31-16-68 ~]# wget http://mirrors.hust.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gz

（可左右滑动）

3.选择使用MySQL作为Hive2的元数据库，在MySQL中创Hive2的数据库及访问用户

CREATE DATABASE hive2metastore DEFAULT CHARACTER SET UTF8;
CREATE USER 'hive2'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON hive2metastore.* TO 'hive2'@'%';
FLUSH PRIVILEGES;

（可左右滑动）

3.配置及部署Hive2

1.将下载下来的apache-hive-2.3.3-bin.tar.gz包解压至当前目录

[root@ip-172-31-5-171 ~]# tar -zxvf apache-hive-2.3.3-bin.tar.gz
[root@ip-172-31-5-171 ~]# mv apache-hive-2.3.3-bin hive2.3.3
[root@ip-172-31-5-171 ~]# ll hive2.3.3

（可左右滑动）

2.安装MySQL的JDBC驱动

[root@ip-172-31-5-171 hive-2.3.3]# cp /usr/share/java/mysql-connector-java-5.1.34.jar ./lib/
[root@ip-172-31-5-171 hive-2.3.3]# pwd
/root/hive-2.3.3
[root@ip-172-31-5-171 hive-2.3.3]# ll ./lib/mysql-*

（可左右滑动）

3.将hive-2.3.3目录移至/opt/cloudera目录下

[root@ip-172-31-5-171 ~]# mv hive-2.3.3 /opt/cloudera/
[root@ip-172-31-5-171 ~]# ll /opt/cloudera/hive-2.3.3/

（可左右滑动）

4.进入/opt/cloudera/hive-2.3.3/conf目录，创建Hive2的配置文件

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

（可左右滑动）

5.添加Hadoop的配置文件，这里使用软连接的方式

[root@ip-172-31-5-171 hive-2.3.3]# cd conf/
[root@ip-172-31-5-171 conf]# ln -s /etc/hadoop/conf.cloudera.yarn/ yarn-conf
[root@ip-172-31-5-171 conf]# ll yarn-conf/

（可左右滑动）

6.修改hive-env.sh配置文件，在文件末尾添加如下内容

[root@ip-172-31-5-171 conf]# pwd
/opt/cloudera/hive-2.3.3/conf
[root@ip-172-31-5-171 conf]# vim hive-env.sh 
export JAVA_HOME=/usr/java/jdk1.8.0_131
export HIVE2_HOME=/opt/cloudera/hive2.3.3
export HIVE2_CONF_DIR=/opt/cloudera/hive2.3.3/conf

（可左右滑动）

7.修改hive-site.xml配置文件，修改如下配置

<property>
 <name>hive.metastore.uris</name>
 <value>thrift://ip-172-31-5-171.ap-southeast-1.compute.internal:9083</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
<property>
<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://ip-172-31-8-230.ap-southeast-1.compute.internal:3306/hive2metastore?useUnicode=true&characterEncoding=UTF-8</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>hive2</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>password</value>
</property>
<property>
 <name>hive.exec.scratchdir</name>
 <value>/tmp/hive2</value>
</property>
<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/user/hive2/warehouse</value>
</property>
<property>
 <name>hive.repl.rootdir</name>
 <value>/user/hive2/repl/</value>
</property>
<property>
 <name>hive.repl.cmrootdir</name>
 <value>/user/hive2/cmroot/</value>
</property>

（可左右滑动）

8.创建Hive2的/tmp目录，并修改hive-site.xml中的配置

[root@ip-172-31-5-171 ~]# mkdir -p /opt/cloudera/hive-2.3.3/tmp/
[root@ip-172-31-5-171 ~]# chmod 777 /opt/cloudera/hive-2.3.3/tmp/
[root@ip-172-31-5-171 ~]# 

（可左右滑动）

将hive-site.xml文件中的{system:jva.io.tmpdir}和{system:user.name}

把{system:java.io.tmpdir} 改成 /opt/cloudera/hive-2.3.3/tmp/
把 {system:user.name} 改成 {user.name}

（可左右滑动）

9.在HDFS上创建hive2的warehouse目录，与配置hive-site.xml配置文件中hive.metastore.warehouse.dir一致

[root@ip-172-31-8-230 bin]# sudo -u hdfs hadoop fs -mkdir -p /user/hive2/warehouse
[root@ip-172-31-8-230 bin]# sudo -u hdfs hadoop fs -chown -R hive:hive /user/hive2
[root@ip-172-31-8-230 bin]# sudo -u hdfs hadoop fs -ls /user/hive2

（可左右滑动）

10.初始化Hive2元数据库

[root@ip-172-31-5-171 bin]# ./schematool -dbType mysql -initSchema hive2 password

（可左右滑动）

以上配置就完成了Hive2服务的配置，这里只是在单个节点上配置的，如果需要将Hive的HiveMetastore和HiveServer2服务安装不同的节点上，就需要将/opt/cloudera/hive-2.3.3目录拷贝至集群的其它节点相同的目录下。

4.HiveMetastore和HiveServer2服务启动

1.启动HiveMetastore服务，命令如下：

[root@ip-172-31-5-171 bin]# pwd
/opt/cloudera/hive-2.3.3/bin
[root@ip-172-31-5-171 bin]# nohup ./hive --service metastore >hive-metastore.log 2>&1 &

（可左右滑动）

检查HiveMetastore服务的9083端口是否监听

[root@ip-172-31-5-171 bin]# netstat -apn |grep 9083
[root@ip-172-31-5-171 bin]# ps -ef |grep 32205

（可左右滑动）

查看HIveMetastore服务的日志

如上截图显示服务的端口、进程及日志均无异常信息则表示HiveMetastore服务启动正常。

2.启动HiveServer2服务

[root@ip-172-31-5-171 bin]# pwd
/opt/cloudera/hive-2.3.3/bin
[root@ip-172-31-5-171 bin]# nohup ./hive --service hiveserver2 >hive-server2.log 2>&1 &

（可左右滑动）

检查HiveServer2端口及进程

查看HiveServer2服务的log日志

如上截图显示服务的端口、进程及日志均无异常信息则表示HiveServer2服务启动正常。

5.Hive2验证

1.HiveCLI命令行验证

[root@ip-172-31-5-171 bin]# sudo -u hive ./hive

（可左右滑动）

执行count和insert操作均成功

2.使用beeline连接测试

[root@ip-172-31-5-171 bin]# ./beeline 
beeline> !connect jdbc:hive2://localhost:10000 hive hive
0: jdbc:hive2://localhost:10000>

（可左右滑动）

创建表

向表中插入数据

执行count操作

3.以上操作均正常执行，查看Yarn的8088界面可以看到作业均执行成功

到此就完成了Hive2服务的配置及部署，在后面的文章Fayson会介绍Hive2服务与Spark的集成，以及在Hue界面集成等。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操