SparkSQL远程访问CDH集群Hive数据表
Posted 格格巫 MMQ!!
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了SparkSQL远程访问CDH集群Hive数据表相关的知识，希望对你有一定的参考价值。
创建Maven项目添加如下依赖：
org.apache.spark spark-sql_2.11 2.4.0 org.apache.spark spark-hive_2.11 2.4.0使用SparkSQL访问远程CDH集群Hive数据表主要用以下几种方式：
第一种：通过Hive表直接访问
第一步需要配置本地Hadoop环境变量。
创建Maven项目添加如下依赖：
org.apache.spark spark-sql_2.11 2.4.0 org.apache.spark spark-hive_2.11 2.4.0使用SparkSQL访问远程CDH集群Hive数据表主要用以下几种方式：
第一种：通过Hive表直接访问
第一步需要配置本地Hadoop环境变量。
然后就可以通过如下代码直接访问Hive数据表了(此时需要将集群的配置文件拷贝到resources文件下面：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)：
SparkConf conf = new SparkConf();
conf.set(“hive.metastore.uris”,“thrift://xxxxxxxx:9083”);
SparkSession session = SparkSession.builder()
.appName(“”)
.master(“local[3]”)
.config(conf)
.enableHiveSupport()
.getOrCreate();
session.sql(“”).show();
第二种：通过读取文件的方式访问(此时需要将集群的配置文件拷贝到resources文件下面：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.x
以上是关于SparkSQL远程访问CDH集群Hive数据表的主要内容，如果未能解决你的问题，请参考以下文章