大数据技术之 Kafka (第 2 章 Kafka快速入门)

x33g5p2x  于2021-12-19 转载在 其他  
字(2.1k)|赞(0)|评价(0)|浏览(409)

                                   第 2 章 Kafka 快速入门 

下载安装kafka集群

1.需要jdk

2.需要zookeeper,这个东西在最新版的Kafka中内置。

3.下载Kafka安装包 (下载官网地址:http://kafka.apache.org/downloads.html

一,下载Kafka安装包

二,Kafka安装包上传linux

这里我选择了最新版本下载,然后上传到centos7下,这里我使用xftp5这个工具上传到usr/local/software目录下(这里我上台机器都上传了,为了后面搭建集群使用)

上传已经ok,那我们使用xshell工具链接到字节的虚拟机centos7

首先进入到/usr/local/software这个目录

我们已经看见kafka的这个tar包

三,接下来我们需要解压这个tar包

1)使用这个命令解压这里我的解压目录是 /usr/local/hadoop/kafka/       tar -zxvf kafka_2.12-2.4.1.tgz -C /usr/local/hadoop/kafka/

2)修改解压后的文件名称 

  这里我没有修改目录名字              可以修改   mv kafka_2.12-2.4.1/ kafka   我不改的原因是这样看起来直观知道用的那个版本的

3)在/usr/local/hadoop/kafka/kafka_2.12-2.4.1/  目录下创建 logs 文件夹 

4)修改配置文件 

#broker 的全局唯一编号,不能重复 broker.id=0 
#删除 topic 功能使能 delete.topic.enable=true 
#处理网络请求的线程数量 num.network.threads=3 
#用来处理磁盘 IO 的现成数量 num.io.threads=8 
#发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 
#接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 
#请求套接字的缓冲区大小 socket.request.max.bytes=104857600 
#kafka 运行日志存放的路径 log.dirs=/usr/local/hadoop/kafka/kafka_2.12-2.4.1/logs 
#topic 在当前 broker 上的分区个数 num.partitions=1 
#用来恢复和清理 data 下数据的线程数量 num.recovery.threads.per.data.dir=1 
#segment 文件保留的最长时间,超时将被删除 log.retention.hours=168 
#配置连接 Zookeeper 集群地址 zookeeper.connect=backup01:2181,backup02:2181,backup03:2181

注意新版本是kafka是内置zookeeper  我们可以看见这个zookeeper.properties这个配置文件

注意:这里根据你的需要选择是内置zookeeper还是自己安装的zookeeper,我使用的是自己安装的zookeeper。

四,环境变量的配置    vim /etc/profile

[root@backup01 java]# source /etc/profile

五,将配置好的zookeeper分发到集群的所有机器

经过上面的四个步骤kafka已经配置完毕,然后将其依次拷贝的集群的其他机器中。快捷一点可以使用 scp 命令来做这件事:

scp 本地zookeeper安装目录 登陆远程机器的用户名@远程机器地址 : 远程机器存放kafka的地址

eg:scp -r kafka skyler@slave1:/usr/local/hadoop/

六,不知道大家有没有关注到前面说过的  server.properties

#broker 的全局唯一编号,不能重复 broker.id=0

所以我们需要修改集群下的这个全局唯一编号  broker.id(注意这个id只能是Interger类型)

将集群backup02  backup03机器侠的kafkabroker.id分别改为1和2

cd /usr/local/hadoop/kafka/kafka_2.12-2.4.1/config
vim server.properties

到这里基本搭建完成

启动zk zk的集群安装和启动参考这篇博客

启动kafka集群  

依次在 backup01、backup02、backup03 节点上启动 kafka 
cd /usr/local/hadoop/kafka/kafka_2.12-2.4.1/
[root@backup01 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties
[root@backup02 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties
[root@backup03 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties

启动报内存不足解决办法

相关文章