spark sql读取不同版本hive元数据

spark 3+版本内置的hive是2.3.7，可以读取不同版本hive元数据，而且不需要重新编译spark的安装包。

以下官网说明：

http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html

从spark1.4.0以后，spark就可以读取版本hive元数据，是用如下配置，

在spark-default.xml设置：

spark.sql.hive.metastore.version 3.1.0

spark.sql.hive.metastore.jars path

spark.sql.hive.metastore.jars.path file:///data/etl/hive310/*

注意：spark.sql.hive.metastore.jars.path是hive目录下全部jar包

参数说明：

spark.sql.hive.metastore.version： 指定hive元数据版本，默认是2.3.7；

spark.sql.hive.metastore.jars：spark读取hive元数据所使用的jar包，有以下几个选项：

1.builtin： 内置hive 2.3.7，可以在spark/jars目录下查看，spark.sql.hive.metastore.version要指定为2.3.7或者不指定；

2.path: 指定路径模式，支持本地或者远程的目录，这个路径是指hive/jars