Windows单机下Spark环境搭建
JDK下载
jdk推荐使用jdk1.8（下载网址如下）
Java Downloads | Oracle
接下来设置相应的环境变量，设置方法为：在桌面右击【计算机】－－【属性】－－【高级系统设置】，然后在系统属性里选择【高级】－－【环境变量】，然后在系统变量中找到“Path”变量，并选择“编辑”按钮后出来一个对话框，可以在里面添加上一步中所安装的JDK目录下的bin文件夹路径名，我这里的bin文件夹路径名是：F:\Program Files\Java\jdk1.8.0_101\bin，在系统环境变量中添加变量名JAVA_HOME，将其路径设置为F:\Program Files\Java\jdk1.8.0_101
其中系统变量Path中的变量为下载的jdk的bin文件夹所在目录
而直接添加的系统变量JAVA_HOME为jdk下载的压缩包解压后的文件夹F:\Program Files\Java\jdk1.8.0_101
设置好后，便可以在任意目录下打开的cmd命令行窗口下运行
java -version
javac -version
若出现上方显示，则安装成功。
Hadoop下载
下载网址：Index of /dist/hadoop/common (apache.org)
Index of /apache/hadoop/common (tsinghua.edu.cn)（清华镜像）
具体可看这位博主的博客：(133条消息) hadoop的官网下载和各版本下载方法_hadoop下载_leileihhxx的博客-CSDN博客
直接下载你想要选择的版本，我下载的为Hadoop3.2.3压缩包（下载文件名为hadoop-3.2.3.tar.gz），解压到本地(注：这里下载的文件有时候会缺少少数几个文件，要是缺少了可以上github上找对应的文件下载,一般都是少hadoop.dll和winutils.exe这两个，可以看博客(133条消息) hadoop各版本hadoop.dll和winutils.exe缺少这两个文件_普通网友的博客-CSDN博客，winutil.exe的两个文件可以用其他版本的（我hadoop2的版本没试过，只用了hadoop3的），hadoop.dll建议下对应版本的，或者读者可以自己试试有没有其他版本的hadoop.dll能够通用。附上winutil的下载网址：https://github.com/steveloughran/winutils)
下载解压后，记得配置环境变量（类似于jdk下载）
设置HADOOP_HOME为Hadoop的解压目录，我是F:\Program Files\hadoop，然后再设置该目录下的bin目录到系统变量的PATH下，我是F:\Program Files\hadoop\bin（缺少的winutil文件直接复制粘贴到将这个文件放入到Hadoop的bin目录下，自己的hadoop可以对着网上的完整的hadoop文件对照着看缺少哪些）
而hadoop的配置文件可以看博客：(133条消息) Hadoop各配置文件详解_hadoop配置文件详解_俊杰梓的博客-CSDN博客
把里面的配置文件直接粘贴复制到自己的文件中去就可以。
而后测试是否安装成功：
在bin目录下打开命令行输入命令（格式化节点，要是有资源在运行不建议用嗷，上班了这样用会被老板追着打）：
hdfs namenode -format
之后进入sbin目录输入：
start-all
具体可看博客（一般会有四个命令窗口弹出，要确认四个命令窗口中均无报错，且jps都能看到在运行，就如下方博客中显示图一样）
(133条消息) Hadoop启动命令_hadoop启动datanode命令_普通网友的博客-CSDN博客
(133条消息) 大数据：Windows环境下搭建安装Hadoop详解_windows版本的hadoop_zhangphil的博客-CSDN博客
Spark下载
Spark的安装非常简单，直接去Download Apache Spark。有两个步骤：
选择好对应Hadoop版本的Spark版本，如下图中所示；
然后点击下图中箭头所指的spark-1.6.2-bin-hadoop2.6.tgz，等待下载结束即可。
（上面的版本得和hadoop版本对应）
解压之后可以配置系统环境变量Path中添加spark的bin目录的路径，然后打开cmd运行命令行
spark-shell，即可启动；
IDE选择
这个大家可以选择IDEA也可以选择Pycharm，全凭个人喜好，
IDEA可参考学长的博客：(133条消息) Windows下的Spark环境配置（含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目）_window配置spark环境变量_湖工最后的怨种的博客-CSDN博客
Pycharm的大家可以自行网上搜索（我没做过）
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！