二 进击消息中间件系列:Kafka 单机与集群部署实践

点击下方名片,设为星标!
回复“1024”获取2TB学习资源!
前面介绍了 Kafka 的基础概念与架构相关的知识点,今天我将详细的为大家介绍 Kafka 单机与集群部署相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!!
系统 官方网站下载安装包
因为Kafka的运行依赖于,因此,还需要下并安装,当然Kafka也内置了服务,因此,也可以不额外安装,直接使用内置的服务 。
这里为简单起见,直接使用Kafka内置的服务 。
启动
在操作系统中找到解压的.12-2.4.0
进入CMD命令行窗口
输入.\bin\\--start.bat .\\. 然后回车
出现下图表示启动成功
接着进入CMD命令行窗口
输入 .\bin\\kafka--start.bat .\\.然后回车
出现下图表示Kafka启动成功
更多关于消息中间件 Kafka 系列的学习文章,请参阅:消息中间件 Kafka,本系列持续更新中 。
Linux 系统
下载地址:
解压安装包
下载后的安装包存放在/opt//中,再将安装包解压到/opt//中 。(根据个人习惯选择目录存放) 。
[root@hadoop102 software]# tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
解压完进入kafka目录,结构如下:
查看bin目录结构,存放了所有脚本,每个模块都有一个脚本,例如:、、对应的脚本 kafka--.sh、kafka--.sh、kafka-.sh
修改配置文件
查看目录结构:
修改.配置文件:
[hadoop102 config]# vim server.properties
主要修改以下圈出部分的内容:
主要配置项说明
broker.id=0#broker的id号,集群模式下id号要配置成唯一的listeners=PLAINTEXT://192.168.81.210:9092#kafka监听地址num.network.threads=3#处理网络请求的线程数量,线程会将接收到的消息放到内存中然后再写入磁盘num.io.threads=8#消息从内存写入磁盘时使用的线程数量,主要是用来处理磁盘IO的线程数量socket.send.buffer.bytes=102400#发送套接字的缓冲区大小socket.receive.buffer.bytes=102400#接收套接字的缓冲区大小socket.request.max.bytes=104857600#请求套接字的缓冲区大小log.dirs=/data/kafka/data/kafka-logs#消息数据存储路径num.partitions=1#topic在当前broker上的分区个数num.recovery.threads.per.data.dir=1#用来设置恢复和清理data下数据的线程数量,segment文件默认会被保留7天offsets.topic.replication.factor=1#transaction.state.log.replication.factor=1transaction.state.log.min.isr=1log.retention.hours=168#segment数据文件保留的期限,单位小时,也就是7天log.segment.bytes=1073741824#日志文件中每个segment的大小,默认为1Glog.retention.check.interval.ms=300000#定期检查segment文件的大小是否超出闲置,单位是毫秒zookeeper.connect=#zookeeper地址zookeeper.connection.timeout.ms=6000#zookeeper链接超时时间group.initial.rebalance.delay.ms=0#延迟初始消费者重新平衡的时间
更多关于消息中间件 Kafka 系列的学习文章,请参阅:消息中间件 Kafka,本系列持续更新中 。
编写集群分发脚本 ① scp( copy)安全拷贝
1.scp 定义:scp 可以实现服务器与服务器之间的数据拷贝 。(fromto )
2.基本语法:
scp-r$pdir/$fname$user@$host:$pdir/$fname命令 递归要拷贝的文件路径/名称目的地用户@主机:目的地路径/名称
3.案例实操
前提:在 、、 都已经创建好的/opt/、 /opt/ 两个目录 。
#在 hadoop102 上,将 hadoop102 中/opt/module/kafka_2.12-3.0.0 目录拷贝到hadoop103上 。[root@hadoop102 ~]# scp -r /opt/module/kafka_2.12-3.0.0/root@hadoop103:/opt/module/