【linux系统下kafka单机安装配置】Linux系统下Kafka单机安装配置详解

更新时间:2020-03-27    来源:php安装    手机版     字体:

【www.bbyears.com--php安装】

说明:

 

操作系统:CentOS 6.x 64位

 

Kafka版本:kafka_2.11-0.8.2.1

 

实现目的:

 

单机安装配置kafka

 

具体操作:

 

一、关闭SELINUX、开启防火墙9092端口

 

1、关闭SELINUX

 

vi /etc/selinux/config

 

#SELINUX=enforcing #注释掉

 

#SELINUXTYPE=targeted #注释掉

 

SELINUX=disabled #增加

 

:wq! #保存退出

 

setenforce 0 #使配置立即生效

 

2、配置防火墙,开启9092端口

 

vi /etc/sysconfig/iptables #编辑防火墙配置文件

 

# Firewall configuration written by system-config-firewall

 

# Manual customization of this file is not recommended.

 

*filter

 

:INPUT ACCEPT [0:0]

 

:FORWARD ACCEPT [0:0]

 

:OUTPUT ACCEPT [0:0]

 

-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

 

-A INPUT -p icmp -j ACCEPT

 

-A INPUT -i lo -j ACCEPT

 

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

 

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT

 

-A INPUT -j REJECT --reject-with icmp-host-prohibited

 

-A FORWARD -j REJECT --reject-with icmp-host-prohibited

 

COMMIT

 

:wq! #保存退出

 

service iptables restart #最后重启防火墙使配置生效

 

二、安装JDK

 

kafka运行需要JDK支持

 

1、下载JDK

 

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm

 

注意:直接复制到下载工具进行下载,版本请使用JDK7,JDK8有可能不兼容kafka_2.11-0.8.2.1

 

下载完成之后,上传到/usr/local/src目录下

 

2、安装JDK

 

cd /usr/local/src

 

chmod +x jdk-7u79-linux-x64.rpm # 添加执行权限

 

rpm -ivh jdk-7u79-linux-x64.rpm #安装

 

安装完成之后,可以cd /usr/java/ 到安装目录查看

 

3、添加JDK到系统环境变量

 

vi /etc/profile #编辑,在最后添加以下代码

 

JAVA_HOME=/usr/java/jdk1.7.0_79

 

PATH=$PATH:$JAVA_HOME/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin

 

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

 

export JAVA_HOME

 

export PATH

 

export CLASSPATH

 

:wq! #保存退出

 

source /etc/profile #使配置文件立即生效

 

java -version #查看JDK版本信息

 

到此,JDK安装完成。

 

三、安装kafka

 

1、下载kafka

 

cd /usr/local/src

 

wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

 

注意,kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本,解压就能使用。

 

tar -xzvf kafka_2.11-0.8.2.1.tgz #解压

 

mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录

 

2、配置kafka

 

mkdir /usr/local/kafka/log/kafka #创建kafka日志目录

 

cd /usr/local/kafka/config #进入配置目录

 

vi server.properties #编辑修改相应的参数

 

broker.id=0

 

port=9092 #端口号

 

host.name=192.168.0.11 #服务器IP地址,修改为自己的服务器IP

 

log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录

 

zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181

 

:wq! #保存退出

 

3、配置zookeeper

 

mkdir /usr/local/kafka/zookeeper #创建zookeeper目录

 

mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录

 

cd /usr/local/kafka/config #进入配置目录

 

vi zookeeper.properties #编辑修改相应的参数

 

dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

 

dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

 

clientPort=2181

 

maxClientCnxns=100

 

tickTime=2000

 

initLimit=10

 

syncLimit=5

 

:wq! #保存退出

 

四、创建启动、关闭kafka脚本

 

cd /usr/local/kafka

 

#创建启动脚本

 

 

vi kafkastart.sh #编辑,添加以下代码

 

#!/bin/sh

 

#启动zookeeper

 

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

 

sleep 3 #等3秒后执行

 

#启动kafka

 

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

 

:wq! #保存退出

 

#创建关闭脚本

 

 

vi kafkastop.sh #编辑,添加以下代码

 

#!/bin/sh

 

#关闭zookeeper

 

/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

 

sleep 3 #等3秒后执行

 

#关闭kafka

 

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

 

:wq! #保存退出

 

#添加脚本执行权限

 

chmod +x kafkastart.sh

 

chmod +x kafkastop.sh

 

五、设置脚本开机自动执行

 

vi /etc/rc.d/rc.local #编辑,在最后添加一行

 

sh /usr/local/kafka/kafkastart.sh & #设置开机自动在后台运行脚本

 

:wq! #保存退出

 

sh /usr/local/kafka/kafkastart.sh #启动kafka

 

sh /usr/local/kafka/kafkastop.sh #关闭kafka

 

至此,Linux下Kafka单机安装配置完成。

 

扩展阅读:

 

Kafka创建topic

 

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 test

 

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --from-beginning

本文来源:http://www.bbyears.com/jiaocheng/89994.html

热门标签

更多>>

本类排行