网站首页 > 技术文章 正文
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢
1
文档编写目的
Fayson在前面的文章也介绍了几款SQL客户端工具用来访问CDH集群的Hive和Impala,本篇文章Fayson再介绍一款Oracle的SQL客户端工具SQL Developer,使用该工具访问Kerberos环境下的Hive。
由于Fayson的集群环境集成了AD和Kerberos,在文章中两中访问方式都会介绍及验证。
- 测试环境
1.RedHat7.2
2.CM和CDH版本为5.15.0
3.Window Server 2012R2
4.SQL Developer版本18.3.0.277
2
安装Kerberos客户端
由于集群启用了Kerberos,所以在我们的客户端必须要安装Kerberos客户端工具。
1.在Kerberos官网下载,地址如下
https://web.mit.edu/kerberos/dist/index.html
安装过程这里就不在详细说明了。
2.将CDH集群的/etc/krb5.conf文件,在Window客户端如下目录创建krb5.ini文件,内容如下:
“C:\ProgramData\MIT\Kerberos5\krb5.ini”
[libdefaults] dns_lookup_realm = false ticket_lifetime = 24h renew_lifetime = 7d forwardable = true rdns = true default_realm = FAYSON.COM #default_ccache_name = KEYRING:persistent:%{uid} [realms] FAYSON.COM = { kdc = adserver.fayson.com admin_server = adserver.fayson.com } [domain_realm] .fayson.com = FAYSON.COM fayson.com = FAYSON.COM
3.配置环境变量,krb5.ini文件以及Kerberos Credential Cache File的路径
变量名:KRB5_CONFIG,变量值:C:\ProgramData\MIT\Kerberos5\krb5.ini
变量名:KRB5CCNAME,变量值:C:\temp\krb5cache
注意:KRB5CCNAME的路径默认是不存在的,因此需要在C盘下创建temp文件夹,krb5cache文件则不需要创建。
配置完环境变量后,重启计算机使其生效。
4.完成以上配置后,在Window客户端测试是否能够正常kinit
Kinit成功后
3
准备SQL Developer工具
在Oracle官网下载最新版本的SQL Developer工具,地址如下:
https://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html
Fayson选择的Windows 64-bits版本,该版本包含了JDK8。
4
Hive JDBC驱动包
Fayson使用的Hive JDBC驱动包为Cloudera提供的包,该驱动包只有一个Jar包比较简洁,不用考虑Hive JDBC驱动依赖问题。在Cloudera官网有下载,地址如下;
https://www.cloudera.com/downloads/connectors/hive/jdbc/2-6-2.html
5
SQLDeveloper加载第三方驱动
1.将下载好的SQLDeveloper客户解压,运行sqldeveloper
2.点击“工具”->“首选项”
3.打开配置项,在配置项中找到“数据库”->”第三方JDBC驱动程序”
4.通过“添加条目”将准备好的JDBC驱动包加载
以上就完成Hive JDBC驱动的添加。
6
LDAP方式访问Hive
Fayson在CDH集群中为HiveServer2服务集成了LDAP,该章节使用LDAP的方式访问Hive, Cloudera的JDBC驱动支持LDAP方式访问Hive。
1.创建一个新的数据库连接
2.进入JDBC访问信息填写界面
点击“添加”对JDBC连接添加额外的参数“AuthMech=3”
基于LDAP的方式访问Hive,则需要输入LDAP的用户名和密码,HiveServer2服务的相关信息访问地址及端口号,选择驱动程序为“CLOUDERA HIVE JDBC 4.1”。
注意:由于Cloudera提供的JDBC驱动在使用LDAP方式访问Hive时需要添加额外的连接参数、通过“添加”操作完成,添加参数后界面上会显示该参数并为参数赋值。
3.完成配置后,点击“测试”按钮进行JDBC连接测试
4.点击“保存”完成JDBC连接的创建
7
Kerberos方式访问Hive
在前面已经在客户安装配置好了Kerberos客户端,并且在SQLDeveloper中添加了Hive JDBC的驱动包,接下来直接添加一个使用Kerberos方式访问Hive的连接。
1.使用Kerberos客户端kinit一个账号
2.在SQLDeveloper客户端添加一个新的连接
3.添加Kerberos相关参数,需要在连接中增加参数
AuthMech=1 KrbHostFQDN=cdh2.fayson.com KrbRealm=FAYSON.COM KrbServiceName=hive
4.完成上述配置后,点击“测试”
5.保存连接,进行测试
8
总结
1.注意在使用Cloudera提供的Hive驱动包访问Kerberos和LDAP环境下的Hive时需要在连接中增加额外的参数“AuthMech”等。
2.特别强调在Window机器上配置Kerberos客户端时,需要配置KRB5_CONF和KRB5CCNAME两个环境变量,否则在使用访问时会报“Unable to obtain Principal Name for authentication”
提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
猜你喜欢
- 2024-10-12 大数据分析工具——hive入门 hive数据分析的一般流程是什么
- 2024-10-12 019Hive基本使用03 019Hive基本使用03 #liaoit
- 2024-10-12 手把手教你搭建Hive环境 搭建hive集群
- 2024-10-12 大数据之-HIVE入门(十四) php hive大数据处理
- 2024-10-12 Hive 迁移参考方案及测试(下) hive表迁移
- 2024-10-12 0263-Hive2.2.0如何与CDH集群中的Spark1.6集成
- 2024-10-12 如何在HUE上通过oozie调用Hive SQL工作流
- 2024-10-12 百度二面:你做过哪些Hive调优啊? hive调优与参数设置
- 2024-10-12 HiveSQL:如何从给定的日期中减去指定数量的天数?
- 2024-10-12 0671-6.2.0-如何将CDH5.12的Hive元数据迁移到CDH6.2
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)