02-Kafka相关环境准备和安装

需要的软件和环境版本说明

• kafka-xx-yy
  • xx 是scala版本，yy是kafka版本（scala是基于jdk开发，需要安装jdk环境）
  • 下载地址：http://kafka.apache.org/downloads
• zookeeper
  • Apache 软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册
  • 下载地址：https://zookeeper.apache.org/releases.html
• jdk1.8

步骤

上传安装包（zk、jdk、kafka）

• 将安装包放置在 /usr/local/software 目录下，如果没有 software 目录则 mkdir 一个

安装jdk

• 解压：tar -zxvf jdk-8u181-linux-x64.tar.gz
• 重命名：mv jdk1.8.0_181/ jdk1.8
• 配置环境变量：vim /etc/profile

JAVA_HOME=/usr/local/software/jdk1.8
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

• 使环境变量立刻生效：source /etc/profile
• 查看安装情况：java -version

安装zookeeper (默认2181端口)

• 解压：tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
• 重命名：mv apache-zookeeper-3.7.0-bin zookeeper
• 修改配置文件：

cd zookeeper/
cd conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

#一般不会把dataDir目录放在/tmp目录下，这里我们暂时不修改
#dataDir=/tmp/zookeeper

• 启动zk：bin/zkServer.sh start
  
• 查看日志：tail -f logs/zookeeper-root-server-iZbp17ukbamh0goeab4mgcZ.out
• 通过端口号查看是否启动：lsof -i:2181 如果没有安装lsof执行如下命令安装：yum install -y lsof

安装Kafka (默认 9092端口)

• 解压：tar -zxvf kafka_2.13-2.8.0.tgz
• 重命名：mv kafka_2.13-2.8.0 kafka
• 修改配置：vim config/server.properties

#标识broker编号，集群中有多个broker，则每个broker的编号需要设置不同
broker.id=0

#修改下面两个配置 ( listeners 配置的ip和 advertised.listeners 相同时启动kafka会报错)
listeners(内网Ip)
advertised.listeners(公网ip)

listeners=PLAINTEXT://172.25.71.200:9092
advertised.listeners=PLAINTEXT://121.40.146.120:9092

#修改zk地址,默认地址
zookeeper.connection=localhost:2181

• bin目录启动

#启动
./kafka-server-start.sh  ../config/server.properties &

#停止
./kafka-server-stop.sh

• 创建topic

./kafka-topics.sh --create --zookeeper 121.40.146.120:2181 --replication-factor 1 --partitions 1 --topic xdclass-topic

• 查看topic

./kafka-topics.sh --list --zookeeper 121.40.146.120:2181

• kafka如果直接启动信息会打印在控制台,如果关闭窗口，kafka随之关闭
• 守护进程方式启动

./kafka-server-start.sh -daemon ../config/server.properties &