[大数据]SparkSQL远程访问CDH集群Hive数据表

创建Maven项目添加如下依赖：

使用SparkSQL访问远程CDH集群Hive数据表主要用以下几种方式：

第一种：通过Hive表直接访问
第一步需要配置本地Hadoop环境变量。

创建Maven项目添加如下依赖：

使用SparkSQL访问远程CDH集群Hive数据表主要用以下几种方式：

第一种：通过Hive表直接访问
第一步需要配置本地Hadoop环境变量。

然后就可以通过如下代码直接访问Hive数据表了(此时需要将集群的配置文件拷贝到resources文件下面：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)：

SparkConf conf = new SparkConf();
conf.set(“hive.metastore.uris”,“thrift://xxxxxxxx:9083”);
SparkSession session = SparkSession.builder()
.appName(“”)
.master(“local[3]”)
.config(conf)
.enableHiveSupport()
.getOrCreate();
session.sql(“”).show();

第二种：通过读取文件的方式访问(此时需要将集群的配置文件拷贝到resources文件下面：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.x

了解本专栏 订阅专栏 解锁全文