Linux安装 kafka 详细步骤
Linux安装 kafka 详细步骤
- 一、安装JDK环境
- 1.1、下载jdk
- 1.2、上传jdk到linux
- 1.3、解压jdk
- 1.4、配置环境变量
- 1.5、测试jdk安装是否成功
- 二、安装Zookeper
- 2.1、下载安装包
- 2.2、创建安装目录
- 2.3、修改配置
- 2.4、创建节点的myid：
- 2.5、启动ZooKeeper
- 三、安装Kafka
- 3.1、下载kafka
- 3.2、创建工作目录&启动
- 3.3、开启远程链接
- 3.4、创建和查看topic
一、安装JDK环境
1.1、下载jdk
jdk下载链接: http://www.jdkdownload.com/
1.2、上传jdk到linux
把下载好的jdk源码上传到/usr/local/java目录下
1.3、解压jdk
使用命令解压jdk的压缩包
tar -zxvf jdk-8u181-linux-x64.tar.gz
解压完成
1.4、配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_181 #jdk安装目录export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/binexport PATH=$PATH:${JAVA_PATH}
把上面几行配置到文件中
使用命令刷新文件
source /etc/profile
1.5、测试jdk安装是否成功
使用命令
java -version
出现版本即安装成功
二、安装Zookeper
2.1、下载安装包
zookeper下载链接: https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.9/
2.2、创建安装目录
#创建安装目录
mkdir -p /opt/zookeeper #移动到目录
cd /opt/zookeepe
使用xftp上传zookeeper安装包
#解压缩
tar -zxvf zookeeper-3.4.14.tar.gz
2.3、修改配置
#移到配置目录
cd /opt/zookeeper/zookeeper-3.4.14/conf/#复制配置文件
cp zoo_sample.cfg zoo.cfg#修改及添加以下配置
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/zoodata
dataLogDir=/opt/zookeeper/zoodatalog
clientPort=2181
server.0=127.0.0.1:2888:3888#多节点 集群
#server.1=127.0.0.1:4888:5888
#server.2=127.0.0.1:5888:6888#配置说明
tickTime：客户端会话超时时间，默认2000毫秒。
initLimit：配置客户端初始化可接受多少个心跳监测，默认10，即10*tickTime(默认2000)，表示20s没有连接上集群的配置则连接失败。
syncLimit：配置Leader和follwer之间，允许多少个请求应答长度，默认5，即5*tickTime(默认2000)，表示默认10sLeader和Follwer之间如果消息5次没有发送成功就不尝试了。
dataDir：配置存储快照文件的目录。
dataLogDir：配置事务日志存储的目录。
clientPort：服务默认端口，默认2181。
server.X=A:B:C 其中X是一个数字，表示这是第几号server，A是该server所在的IP地址，B配置该server和集群中的leader交换消息所使用的端口，C配置选举leader时所使用的端口。
2.4、创建节点的myid：
#创建dataDir目录
mkdir -p /opt/zookeeper/zoodata#移动到目录
cd /opt/zookeeper/zoodata#把节点号写入myid文件(各个节点分别配置)
echo 0 > myid#配置端口防火墙(各个节点分别配置)
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --reload
2.5、启动ZooKeeper
#移到执行目录
cd /opt/zookeeper/zookeeper-3.4.14/bin/#启动服务
./zkServer.sh start
#重启
./zkServer.sh restart#关闭
./zkServer.sh stop#查看状态
./zkServer.sh staus#启动的时候，查看后台信息
./zkServer.sh start-foreground &
客户端链接
./zkCli.sh
基本操作
#创建节点
create /test test1#获取节点数据
get /test#更新节点
set /test test2#删除节点
delete /test#递归删除数据，将子目录的数据也删除掉
rmr /test #查看节点
ls / #查看输入过的命令
history
三、安装Kafka
3.1、下载kafka
kafka下载链接: https://kafka.apache.org/downloads
3.2、创建工作目录&启动
#创建目录
mkdir /opt/kafkacd /opt/kafka
上传kafka的压缩包
tar -zxvf kafka_2.11-1.0.0.tgz
改个名称
mv kafka_2.11-1.0.0 kafka_2.11
cd kafka_2.11#创个日志文件夹
mkdir logs#修改配置文件
cd /opt/kafka/kafka_2.11/configvim server.properties# broker.id属性在kafka集群中必须要是唯一
broker.id=0
# kafka部署的机器ip和提供服务的端口号,切勿设0.0.0.0可能报错
listeners=PLAINTEXT://192.xxx.xx.xx:9092
# kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs
# kafka 连接 zookeeper 的地址
zookeeper.connect=192.xxx.xx.xx:2181# 启动服务 , 运行的日志打印在 logs 目录里的server.log 里
# 后台启动，不会打印日志到控制台
1：bin/kafka‐server‐start.sh ‐daemon config/server.properties
2：bin/kafka-server-start.sh config/server.properties &# 启动成功后,可以进入zookeeper 查看kafka节点
bin/zk.Cli.sh
ls /# 停止kafka
bin/kafka‐server‐stop.sh
3.3、开启远程链接
vim config/server.properties# 把下述配置注释
listeners=PLAINTEXT://:127.0.0.1:9092# 配置下述内容
advertised.listeners=PLAINTEXT://127.0.0.1:9092
3.4、创建和查看topic
//创建
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
//查看
./bin/kafka-topics.sh --list --zookeeper localhost:2181
用Kafka的console-producer在topic test1 生产消息
新开一个xsehll窗口
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
用Kafka的console-consumer 消费topic test1的消息
新开一个shell窗口
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1 --from-beginning
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！