Spark连接Hive的两种方式

一、使用hive-site.xml

第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xml

<configuration><property><name>datanucleus.schema.autoCreateAllname><value>truevalue>property><property>
<name>javax.jdo.option.ConnectionURLname>
<value>jdbc:mysql://192.168.38.160:3306/hive_db?createDatabaseIfNotExist=truevalue>
property><property>
<name>javax.jdo.option.ConnectionDriverNamename>
<value>com.mysql.jdbc.Drivervalue>
property><property>
<name>javax.jdo.option.ConnectionUserNamename>
<value>rootvalue>
property><property>
<name>javax.jdo.option.ConnectionPasswordname>
<value>000value>
property>
configuration>

第二步：向hive-site.xml中添加以下配置

<property><name>hive.metastore.urisname><value>thrift://192.168.38.160:9083value>
property>

第三步：将集群中的core-site.xml和hdfs-site.xml也都复制并放在idea项目的resources下，名称也要保持一致。

效果图：

第四步：编写Spark代码，验证是否连接成功

注意：pom文件配置，要与集群环境一致

如果连接不上，请打jar包然后上传到Spark上运行，maven插件的pom.xml和spark运行命令，请查看另一篇文章。

maven插件和spark上传运行命令

二、在config中配置thrift连接（简单快捷）

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import java.util.Propertiesobject copy_task1 {def main(args: Array[String]): Unit = {val sparkConf=new SparkConf().setMaster("local[*]").setAppName("")val spark=SparkSession.builder().config("hive.metastore.uris","thrift://192.168.38.160:9083").config(sparkConf).enableHiveSupport().getOrCreate()spark.sql("select * from data").show()}
}

简单添加配置项，将thrift配置加入到config中。

此方法只允许在联网情况下使用，因为会需要下载连接包，无网络或者其他情况下请使用第一种方式。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！