网站首页 > 技术文章 正文
兜兜转转的各种测试,纠结几天,怎么开启hive metastore的审计日志,官网没有说明,网上没有人使用hive 3.0+版本开启metastore审计日志。hive 3.0+使用的日志是log4j2,hive 1.0版本是使用log4j,所以网上hive开启审计日志都是log4j
修改hive-log4j2.properties文件
1、增加写入日志的文件名
property.hive.log.fileAudit = audit.log
2、list all appenders增加DRFB(DRFB为下面定义的名称)
3、在loggers里面增加HiveMetaStore
4、增加日志写入方式(完全照抄之前存在的DRFA),只是名称和路径不一样
# daily rolling file appender
appender.DRFB.type = RollingFile
appender.DRFB.name = DRFB
appender.DRFB.fileName = ${sys:hive.log.dir}/${sys:hive.log.fileAudit}
# Use %pid in the filePattern to append process-id@host-name to the filename if you want separate log files for different CLI session
appender.DRFB.filePattern = ${sys:hive.log.dir}/${sys:hive.log.fileAudit}.%d{yyyy-MM-dd}_%i.gz
appender.DRFB.layout.type = PatternLayout
appender.DRFB.layout.pattern = %d{ISO8601} %-5p [%t]: %c{2} (%F:%M(%L)) - %m%n
appender.DRFB.policies.type = Policies
appender.DRFB.policies.time.type = TimeBasedTriggeringPolicy
appender.DRFB.policies.time.interval = 1
appender.DRFB.policies.time.modulate = true
appender.DRFB.strategy.type = DefaultRolloverStrategy
appender.DRFB.strategy.max = 30
appender.DRFB.policies.fsize.type = SizeBasedTriggeringPolicy
appender.DRFB.policies.fsize.size = 256MB
5、添加audit log的名称
#add hive metastore audit log
logger.HiveMetaStore.name = org.apache.hadoop.hive.metastore.HiveMetaStore.audit
logger.HiveMetaStore.level = INFO
logger.HiveMetaStore.appenderRef.all.ref = DRFB
其他补充说明:hive怎么找到hive-log4j2.properties配置文件的呢?通过hive.log4j.file属性配置,如果没有指定,那么就会自动加载hive-log4j2.properties配置
那么beeline-log4j2.properties又是怎么找到的呢?它是通过bin/ext/beeline.sh配置的(-Dlog4j.configurationFile=beeline-log4j2.properties)
猜你喜欢
- 2024-10-12 大数据分析工具——hive入门 hive数据分析的一般流程是什么
- 2024-10-12 019Hive基本使用03 019Hive基本使用03 #liaoit
- 2024-10-12 手把手教你搭建Hive环境 搭建hive集群
- 2024-10-12 0474-如何使用SQL Developer访问Hive
- 2024-10-12 大数据之-HIVE入门(十四) php hive大数据处理
- 2024-10-12 Hive 迁移参考方案及测试(下) hive表迁移
- 2024-10-12 0263-Hive2.2.0如何与CDH集群中的Spark1.6集成
- 2024-10-12 如何在HUE上通过oozie调用Hive SQL工作流
- 2024-10-12 百度二面:你做过哪些Hive调优啊? hive调优与参数设置
- 2024-10-12 HiveSQL:如何从给定的日期中减去指定数量的天数?
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)