大主宰,玄幻小说改编的电视剧

新聞中心

這里有您想知道的互聯(lián)網營銷解決方案

apache-kafka集群部署-創(chuàng)新互聯(lián)

前提:zk

鄄城網站建設公司創(chuàng)新互聯(lián),鄄城網站設計制作，有大型網站制作公司豐富經驗。已為鄄城上千家提供企業(yè)網站建設服務。企業(yè)網站搭建\成都外貿網站制作要多少錢，請找那個售后服務好的鄄城做網站的公司定做！

什么是kafka

百度百科
Kafka是一個分布式的、分區(qū)的、多復本的日志提交服務。它通過一種獨一無二的設計提供了一個消息系統(tǒng)的功能。
目標是為處理實時數(shù)據提供一個統(tǒng)一、高通量、低等待的平臺。
kafka是一個分布式流媒體平臺。

安裝配置

主機列表

hostname	ip
master	192.168.3.58
slave1	192.168.3.54
slave2	192.168.3.31

下載kafka
cd /data
wget http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
解壓
tar axf kafka_2.11-1.0.0.tgz
創(chuàng)建日志存放目錄
mkdir -p /data/kafka_2.11-1.0.0/logs

設置環(huán)境變量（每個節(jié)點都改）

vim /etc/profile

#kafka
export KAFKA_HOME=/data/kafka_2.11-1.0.0
export PATH=$PATH:${KAFKA_HOME}/bin

source /etc/profile

修改配置文件

cd kafka_2.11-1.0.0/config/
修改zookeeper.properties(用zookeeper的配置文件zoo.conf直接覆蓋)
grep -v "^#" zookeeper.properties

dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=10
syncLimit=5
server.1=master:2887:3887 
server.2=slave1:2887:3887
server.3=slave2:2887:3887

vim server.properties

#ID號，集群中唯一，一般使用本機ip最后一位
broker.id=58
#"允許刪除topic，默認為false"
delete.topic.enable=true
#"服務器監(jiān)控地址，如果沒有設置會通過java.net.InetAddress.getCanonicalHostName()獲取,端口默認為9092"
listeners=PLAINTEXT://master:9092
#“網絡連接進程數(shù),適量上調”
num.network.threads=3
#"io連接數(shù),適量上調 "
num.io.threads=8
#"socket發(fā)送緩存大小 "
socket.send.buffer.bytes=102400
#"socket接受緩存大小"
socket.receive.buffer.bytes=102400
#"socket應答緩存大小 "
socket.request.max.bytes=104857600
#"日志文件存放路徑"
log.dirs=/data/kafka_2.11-1.0.0/logs
#"復制數(shù)量，允許更大的并行消費，不能大于節(jié)點數(shù)據"
num.partitions=2
#“每個目錄線程數(shù)”
num.recovery.threads.per.data.dir=1
#"topic元數(shù)據復制數(shù)，建議大于1"
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
#"清理日志方法"
log.cleanup.policy = delete
#"日志保留時長"
log.retention.hours=30
#"日志大值"
log.segment.bytes=1073741824
#“檢查日志時間”
log.retention.check.interval.ms=300000
#"zookeeper連接"
zookeeper.connect=master:2181,slave1:2181,slave2:2181
#"zookeeper連接超時"
zookeeper.connection.timeout.ms=6000
#"同步延遲"
group.initial.rebalance.delay.ms=0

將文件scp到其他兩個機器上
scp -r /data/kafka_2.11-1.0.0 slave1:/data
scp -r /data/kafka_2.11-1.0.0 slave2:/data

slave1和slave2修改 server.properties
修改其中的
broker.id
listeners
如slave1

broker.id=54
listeners=PLAINTEXT://slave1:9092

啟動kafka（每個節(jié)點）（會占用窗口）
kafka-server-start.sh /data/kafka_2.11-1.0.0/config/server.properties
后臺啟動kafka（生產環(huán)境使用）
nohup kafka-server-start.sh /data/kafka_2.11-1.0.0/config/server.properties 2&> /data/kafka_2.11-1.0.0/logs/kafka.log &

關閉kafka
kafka-server-stop.sh

創(chuàng)建topic

kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --partitions 3 --replication-factor 3 --topic test
查看topic
kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

測試
創(chuàng)建producer
kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic producerest
另外一個機器上創(chuàng)建consumer
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic producerest --from-beginning

producer產生消費，consumer接收消費
apache-kafka集群部署

使用ctrl+c退出

參考

配置詳解（官方文檔）：http://kafka.apache.org/documentation/#configuration

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網頁名稱：apache-kafka集群部署-創(chuàng)新互聯(lián)
標題URL：http://fisionsoft.com.cn/article/dsesos.html