搭建Spark单机版环境

文章目录
零、本讲学习目标
一、搭建Spark单机版环境
（一）私有云上创建ied实例
（二）连接ied虚拟机
（三）修改ied实例主机名
（四）设置IP地址与主机名映射
（五）下载、安装和配置JDK
1、下载JDK压缩包
2、上传到ied虚拟机
3、将压缩包解压到指定目录
4、配置Java环境变量
（六）下载、安装与配置Spark
1、下载Spark安装包
2、将Spark安装包上传到ied虚拟机
3、将Spark安装包解压到指定目录
4、配置Spark环境变量
二、使用Spark单机版环境
（一）使用SparkPi来计算Pi的值
（二）使用Scala版本Spark-Shell
（三）使用Python版本Spark-Shell
（四）初步了解RDD
例1、创建一个RDD
例2、调用转化操作filter()
例3、调用行动操作first()
零、本讲学习目标
学会搭建Spark单机版环境
学会Spark应用程序的运行
学会启动Spark Shell
初步了解RDD的概念
一、搭建Spark单机版环境
（一）私有云上创建master实例（之前都创好了）
创建端口 - master_port

创建实例 - master

（二）连接master虚拟机
演示win7虚拟机通过FinalShell连接master虚拟机

（三）修改ied实例主机名
执行命令：hostnamectl set-hostname master

重启虚拟机

再次连接master虚拟机

（四）设置IP地址与主机名映射
执行命令：yum -y install vim，安装vim编辑器

执行命令：vim /etc/hosts

存盘退出，这样ping master就相当于ping 192.168.1.110

（五）下载、安装和配置JDK
1、下载JDK压缩包
下载链接：https://pan.baidu.com/s/1RcqHInNZjcV-TnxAMEtjzA 提取码：jivr
下载到win7虚拟机

2、上传到ied虚拟机
将JDK压缩包上传到master虚拟机/opt目录

3、将压缩包解压到指定目录
执行命

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！