Hadoop环境配置及安装

前期工作: 大数据—Hadoop安装教程（一）

文章目录

• Hadoop环境配置及安装
• 解压
• 配置文件目录
• 添加JAVA_HOME目录
• 修改core-site.xml
• 修改hdfs-site.xml
• 修改mapred-site.xml
• 修改yarn-site.xml
• 修改profile文件
• 刷新配置文件
• 格式化命令
• 重启hadoop命令
• 查看当前进程
• 可视化界面

解压

前期工作已经将Hadoop解压到/opt/soft/目录下
并且改名为hadoop313—这里hadoop安装的版本为3.1.3

配置文件目录

切换到该目录

[root@hadoop hadoop313]# cd ./etc/hadoop

添加JAVA_HOME目录

[root@hadoop hadoop]# vim ./hadoop-env.sh

export JAVA_HOME=/opt/soft/jdk180

修改core-site.xml

fs.defaultFS</name>hdfs://gree143:9000</value></property>hadoop.tmp.dir</name>/opt/soft/hadoop313/data</value>namenode上本地的hadoop临时文件夹</description></property>hadoop.http.staticuser.user</name>root</value></property>io.file.buffer.size</name>131072</value>读写队列缓存：128K</description></property>hadoop.proxyuser.root.hosts</name>*</value></property>hadoop.proxyuser.root.groups</name>*</value></property>
</configuration>

修改hdfs-site.xml

dfs.replication</name>1</value>hadoop中每一个block文件的备份数量</description></property>dfs.namenode.name.dir</name>/opt/soft/hadoop313/data/dfs/name</value>namenode上存储hdfsq名字空间元数据的目录</description></property>dfs.datanode.data.dir</name>/opt/soft/hadoop313/data/dfs/data</value>datanode上数据块的物理存储位置目录</description></property>dfs.permissions.enabled</name>false</value>关闭权限验证</description></property>
</configuration>

修改mapred-site.xml

mapreduce.framework.name</name>yarn</value>job执行框架： local, classic or yarn</description>true</final></property>mapreduce.application.classpath</name>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value></property>mapreduce.jobhistory.address</name>hadoop:10020</value></property>mapreduce.jobhistory.webapp.address</name>hadoop:19888</value></property>mapreduce.map.memory.mb</name>1024</value></property>mapreduce.reduce.memory.mb</name>1024</value></property>
</configuration>

修改yarn-site.xml

<!-- Site specific YARN configuration properties -->yarn.resourcemanager.connect.retry-interval.ms</name>20000</value></property>yarn.resourcemanager.scheduler.class</name>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value></property> yarn.nodemanager.vmem-check-enabled</name> false</value> </property>yarn.nodemanager.localizer.address</name>hadoop:8040</value></property>yarn.nodemanager.address</name>hadoop:8050</value></property>yarn.nodemanager.webapp.address</name>hadoop:8042</value></property>yarn.nodemanager.aux-services</name>mapreduce_shuffle</value></property>yarn.nodemanager.local-dirs</name>/opt/soft/hadoop313/yarndata/yarn</value></property>yarn.nodemanager.log-dirs</name>/opt/soft/hadoop313/yarndata/log</value></property></configuration>

修改profile文件

[root@hadoop etc]# vim /etc/profile

# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

刷新配置文件

[root@hadoop hadoop]# source /etc/profile

格式化命令

[root@hadoop hadoop]# hdfs namenode -format

重启hadoop命令

[root@hadoop hadoop]# start-all.sh

查看当前进程

[root@hadoop hadoop]# jps

可视化界面

输入ip地址：9870

192.168.95.150:9870

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！