大数据平台HDP-2.6.4安装与配置
大数据平台HDP-2.6.4 安装 与配置
标签（空格分隔）： 大数据平台构建
- 一： 关于HDP的介绍
- 二： 系统环境介绍
- 三： 系统环境初始化
- 四： 安装HDP-2.6.4平台
- 五： 启用NameNode HA 与 YARN HA
一：关于HDP的介绍
1.1：hdp 是什么
HDP全称叫做Hortonworks Data Platform。Hortonworks数据平台是一款基于Apache Hadoop的是开源数据平台，提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据，并使其处理起来能变成简单、更有成本效益。HDP还提供了一个开放，稳定和高度可扩展的平台，使得更容易地集成Apache Hadoop的数据流业务与现有的数据架构。该平台包括各种的Apache Hadoop项目以及Hadoop分布式文件系统（HDFS）、MapReduce、Pig、Hive、HBase、Zookeeper和其他各种组件，使Hadoop的平台更易于管理，更加具有开放性以及可扩展性。官网地址为：http://zh.hortonworks.com/1.2 hdp 的封装的大数据平台组件
二： 系统环境介绍
2.1：系统主机名
系统： RHEL7.5 X64
---
172.17.100.11 ZY-001.flyfish
172.17.100.12 ZY-002.flyfish
172.17.100.13 ZY-003.flyfish
---2.2: 安装整体步骤
1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；
2.外部数据库安装
3.安装Ambari管理器；
4.安装HDP集群；
5.集群完整性检查，包括 HDFS 文件系统、MapReduce、Hive 等是否可以正常运行。三：系统环境初始化
3.1：无密钥登录配置
做root用户无密钥认证ssh-keygen ---一直敲回车到最后cat id_rsa.pub >> authorized_keys 将所有的公钥导入authorized_keys 分发到 所有的 机器的.ssh/ 下面然后测试3.2: 关闭 firewalld，iptables 与 selinux
yum install -y firewall* iptable* (1) 关闭firewalldsystemctl stop firewalld.servicesystemctl disable firewalld.servicefirewall-cmd --state(2) 关闭iptables iptables -Fsystemctl stop iptables.service service iptables savesystemctl disable iptables.service (3) 禁用 selinux sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config setenforce 0getenforce 0sestatus重启机器reboot
3.3 所有机器更改RHEL7.5x64的文件句柄数
vim /etc/security/limits.conf
---
* soft nofile 65535
* hard nofile 1029345
* soft nproc unlimited
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
---
3.4 生产环境配置chrony 时间同步服务器
所有机器 yum install chrony*
1. ZY-001.flyfish:vim /etc/chrony.conf 增加
----
注释掉相关默认的server
server ntp1.aliyun.com iburstallow 172.17.100.0.0/16service chronyd start
chkconfig chronyd on 2. ZY-002.flyfish---ZY-003.flyfish 同步zy-001.flyfishvim /etc/chrony.conf
----
注释掉默认的server
server 172.17.100.21 iburst
----service chronyd stop
service chronyd start
chkconfig chronyd on
3.5: hdp 所需软件下载
ambari-2.6.1.5-centos7.tar.gz 下载地址：
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gzHDP-2.6.4.0-centos7-rpm.tar.gz
下载地址：
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.4.0-centos7-rpm.tar.gzHDP-UTILS-1.1.0.22-centos7.tar.gz下载地址：http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz关于 ambari-2.6.1的docshttps://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/hdp_26_repositories.html3.6 安装jdk1.8.162
tar -zxvf jdk-8u162-linux-x64.tar.gz mkdir /trainingmv jdk1.8.0_162 /training
cd /training
ln -s jdk1.8.0_162 jdk
vim /etc/profile
---
export JAVA_HOME=/training/jdk
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
---
source /etc/profile java -version
四： 安装 hdp2.6.4
4.1 : 配置ambari所需安装源
安装httpd yum install -y httpdservice httpd startchkconfig httpd oncd /var/www/html/mkdir ambari 1. ambari 的 yum源cd /root/hdp
tar -zxvf ambari-2.6.1.5-centos7.tar.gz
mv /root/hdp/ambari /var/www/html/ambari
cd /var/www/html/ambari/ambari/centos7/2.6.1.5-3
cp -p ambari.repo /etc/yum.repos.d/cd /etc/yum.repos.dvim ambari.repo----
#VERSION_NUMBER=2.6.1.5-3
[ambari-2.6.1.5]
name=ambari Version - ambari-2.6.1.5
baseurl=http://172.17.100.21/ambari/ambari/centos7/2.6.1.5-3
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/ambari/centos7/2.6.1.5-3/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
----
4.2 配置hdp和hdp-utils 的源
cd /root/hdptar -zxvf HDP-2.6.4.0-centos7-rpm.tar.gzmv HDP /var/www/html/ambaricd /var/www/html/ambari/HDP/centos7/2.6.4.0-91/cp -p hdp.repo /etc/yum.repos.d/cd /root/hdpmkdir HDP-UTILStar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C HDP-UTILSmv HDP-UTILS /var/www/html/ambari/ cd /etc/yum.repos.d/vim hdp.repo---
#VERSION_NUMBER=2.6.4.0-91
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://172.17.100.21/ambari/HDP/centos7/2.6.4.0-91/
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://172.17.100.21/ambari/HDP-UTILS/
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
---tar -zxvf HDP-GPL-2.6.4.0-centos7-rpm.tar.gzmv HDP-GPL /var/www/html/ambaricd /var/www/html/ambari/HDP-GPL/mv hdp-gpl.repo /etc/yum.repos.d/cd /etc/yum.repos.d/vim hdp-gpl.repo---
#VERSION_NUMBER=2.6.4.0-91
[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://172.17.100.21/ambari/HDP-GPL/centos7/2.6.4.0-91/
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/HDP-GPL/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
---cd /etc/yum.repos.d/
scp ambari.repo hdp.repo hdp-gpl.repo zy-002.flyfish:/etc/yum.repos.d/
scp ambari.repo hdp.repo hdp-gpl.repo zy-003.flyfish:/etc/yum.repos.d/yum clean allyum makecache
4.3 安装mariadb-server 数据库
yum install -y mariadb-server systemctl start mariadbsystemctl enable mariadbmysql_secure_installation
mysql -uroot -pflyfish225.comambari 数据库：create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;hive 数据库：create database hive character set utf8 ;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;oozie 数据库：create database oozie character set utf8 ;
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;
4.3 安装jdbc
拷贝jdbc 到 java的目录tar -zxvf mysql-connector-java-5.1.44.tar.gzcd mysql-connector-java-5.1.44cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/cd /usr/share/java/mv mysql-connector-java-5.1.44-bin.jar mysql-connector-java.jar chmod 777 mysql-connector-java.jar
4.4 安装ambari
yum install -y ambari-server 
vim /etc/ambari-server/conf/ambari.properties----
增加：server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar---ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
ambari-server setup 
mysql -uroot -pflyfish225.com
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
4.5 启动ambari
ambari-server start
4.6 打开ambari的web
http://172.17.100.21:8080用户名：admin
密码： admin
这里需要注意，主机注册成功后会对主机进行前置检查，如果有警告，需要进行检查并按要求进行相应的修改。4.7 安装相关组件
报错：
请求 libtirpc-lib
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/libtirpc-0.2.4-0.10.el7.x86_64.rpmwget http://mirror.centos.org/centos/7/os/x86_64/Packages/libtirpc-devel-0.2.4-0.10.el7.x86_64.rpmrpm -ivh libtirpc-* 
Retry 
可以按照前面的步骤，增加其它组件，hive/oozie/pig/sqoop/hbase/spark/zeppelin
4.8 执行一个wordcount
su - hdfs hdfs dfs -mkdir /input vim wc.input
----
zhangyy hadoop
hadoop spark
yarn spark
----hdfs dfs -put wc.input /input hadoop jar /usr/hdp/2.6.4.0-91/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /input/ /outputhdfs dfs -get /output
五：启用NameNode HA 与 YARN HA
5.1 开启HDFS 的 HA 策略
先停掉hbase 
sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'
sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'
ZY-001.flyfish:sudo su hdfs -l -c 'hdfs zkfc -formatZK'ZY-002.flyfishsudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'
5.2 启用 YARN 的HA
转载于:https://blog.51cto.com/flyfish225/2120008
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！