日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁(yè) > 科技  > 軟件

從零開(kāi)始搭建 Kafka集群

來(lái)源: 責(zé)編: 時(shí)間:2024-05-16 09:03:56 211觀看
導(dǎo)讀一、搭建設(shè)計(jì)圖片1.1. 機(jī)器分配kafka1(192.168.150.111)kafka2(192.168.150.112)kafka3(192.168.150.113)1.2.linux安裝以及Jdk安裝二、修改Linux主機(jī)名稱hostnamectl set-hostname kafka1hostnamectl set-hostname k

一、搭建設(shè)計(jì)

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

1.1. 機(jī)器分配

  • kafka1(192.168.150.111)
  • kafka2(192.168.150.112)
  • kafka3(192.168.150.113)

1.2.linux安裝以及Jdk安裝

二、修改Linux主機(jī)名稱

hostnamectl set-hostname kafka1
hostnamectl set-hostname kafka2
hostnamectl set-hostname kafka3

三、配置主機(jī)名映射

在Windows系統(tǒng)中修改hosts文件,填入如下內(nèi)容:08i28資訊網(wǎng)——每日最新資訊28at.com

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

image08i28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

在3臺(tái)Linux的/etc/hosts文件中,填入如下內(nèi)容(3臺(tái)都要添加)。08i28資訊網(wǎng)——每日最新資訊28at.com

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

四、配置SSH免密登錄

后續(xù)安裝的集群化軟件,多數(shù)需要遠(yuǎn)程登錄以及遠(yuǎn)程執(zhí)行命令,我們可以簡(jiǎn)單起見(jiàn),配置三臺(tái)Linux服務(wù)器之間的免密碼互相SSH登陸。08i28資訊網(wǎng)——每日最新資訊28at.com

在每一臺(tái)機(jī)器都執(zhí)行:08i28資訊網(wǎng)——每日最新資訊28at.com

ssh-keygen -t rsa -b 4096

一路回車(chē)到底即可 2. 在每一臺(tái)機(jī)器都執(zhí)行:08i28資訊網(wǎng)——每日最新資訊28at.com

ssh-copy-id kafka1ssh-copy-id kafka2ssh-copy-id kafka3

執(zhí)行完畢后,kafka1、kafka2、kafka3之間將完成root用戶之間的免密互通。08i28資訊網(wǎng)——每日最新資訊28at.com

  • 測(cè)試免密登錄 完成以上步驟后,你應(yīng)該能夠使用SSH免密登錄到目標(biāo)服務(wù)器了。只需執(zhí)行以下命令:ssh 用戶名@remote_host。
ssh rootmkafka1ssh root@kafka2ssh root@kafka3

五、修改時(shí)區(qū)并配置自動(dòng)時(shí)間同步

#1. 安裝ntp軟件yum install -y ntp#2. 更新時(shí)區(qū)rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#3. 同步時(shí)間ntpdate -u ntp.aliyun.com#4. 開(kāi)啟ntp服務(wù)并設(shè)置開(kāi)機(jī)自啟systemctl start ntpdsystemctl enable ntpd

六、VMware虛擬機(jī)集群上部署Zookeeper集群

當(dāng)前使用發(fā)行版:3.8.4版。08i28資訊網(wǎng)——每日最新資訊28at.com

可以在https://downloads.apache.org/zookeeper/選擇對(duì)應(yīng)版本下載:08i28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

注意:以下操作,kafka1節(jié)點(diǎn)執(zhí)行,以root身份登陸。08i28資訊網(wǎng)——每日最新資訊28at.com

1.上傳zookeeper安裝包到kafka1節(jié)點(diǎn)中。08i28資訊網(wǎng)——每日最新資訊28at.com

2.創(chuàng)建/export/server/。08i28資訊網(wǎng)——每日最新資訊28at.com

mkdir -p /export/server/

解壓縮安裝包到/export/server/中。08i28資訊網(wǎng)——每日最新資訊28at.com

tar -zxvf apache-zookeeper-3.8.4.tar.gz -C /export/server/

3.在 cd /export/server/apache-zookeeper-3.8.4-bin/conf/創(chuàng)建zoo.cfg。08i28資訊網(wǎng)——每日最新資訊28at.com

# 復(fù)制zoo_sample.cfg命名為zoo.cfgcp zoo_sample.cfg zoo.cfg

4.修改Zookeeper保存數(shù)據(jù)的目錄。08i28資訊網(wǎng)——每日最新資訊28at.com

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/data

5.編輯zoo.cfg文件。08i28資訊網(wǎng)——每日最新資訊28at.com

vim zoo.cfg

內(nèi)容如下:08i28資訊網(wǎng)——每日最新資訊28at.com

# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/export/server/apache-zookeeper-3.8.4-bin/data# the port at which the clients will connectclientPort=2181server.1=192.168.150.111:2888:3888server.2=192.168.150.112:2888:3888server.3=192.168.150.113:2888:3888

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

創(chuàng)建myid文件,配置服務(wù)器編號(hào) 服務(wù)器zookeeper的dataDir對(duì)應(yīng)目錄下創(chuàng)建 myid 文件,內(nèi)容為對(duì)應(yīng)ip的zookeeper服務(wù)器編號(hào)。08i28資訊網(wǎng)——每日最新資訊28at.com

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/dataecho 1 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

7.分發(fā)zookeeper文件夾08i28資訊網(wǎng)——每日最新資訊28at.com

# 在kafka1執(zhí)行如下命令cd /export/serverscp -r  /export/server/apache-zookeeper-3.8.4-bin kafka2:`pwd`/scp -r  /export/server/apache-zookeeper-3.8.4-bin kafka3:`pwd`/

8.在kafka2上修改myid08i28資訊網(wǎng)——每日最新資訊28at.com

echo 2 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

9.在kafka3上修改myid08i28資訊網(wǎng)——每日最新資訊28at.com

echo 3 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

七、VMware虛擬機(jī)集群上部署Kafka集群

本次使用的Kafka版本為2.4.1,是2020年3月12日發(fā)布的版本。 可以注意到Kafka的版本號(hào)為:kafka_2.12-2.4.1,因?yàn)閗afka主要是使用scala語(yǔ)言開(kāi)發(fā)的,2.12為scala的版本號(hào)。http://kafka.apache.org/downloads可以查看到每個(gè)版本的發(fā)布時(shí)間。08i28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

1.將Kafka的安裝包上傳到虛擬機(jī)。08i28資訊網(wǎng)——每日最新資訊28at.com

tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/ cd /export/server/kafka_2.12-2.4.1/

2.修改 server.properties。08i28資訊網(wǎng)——每日最新資訊28at.com

cd /export/server/kafka_2.12-2.4.1/configvim server.properties

內(nèi)容如下:08i28資訊網(wǎng)——每日最新資訊28at.com

# 指定broker的idbroker.id=0# 指定Kafka數(shù)據(jù)的位置log.dirs=/export/server/kafka_2.12-2.4.1/data# 配置zk的三個(gè)節(jié)點(diǎn)zookeeper.cnotallow=kafka1:2181,kafka2:2181,kafka3:2181

3.將安裝好的kafka復(fù)制到另外兩臺(tái)服務(wù)器。08i28資訊網(wǎng)——每日最新資訊28at.com

cd /export/serverscp -r apache-zookeeper-3.8.4 kafka2:`pwd`/scp -r apache-zookeeper-3.8.4 kafka3:`pwd`/

4.修改另外兩個(gè)節(jié)點(diǎn)的broker.id分別為1和2。08i28資訊網(wǎng)——每日最新資訊28at.com

---------kafka1--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=1
---------kafka2--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=2

八、配置Zookeeper和KAFKA_HOME環(huán)境變量

vim /etc/profileJAVA_HOME=/export/server/jdk1.8.0_361KAFKA_HOME=/export/server/kafka_2.12-2.4.1ZOKEEPER_HOME=/export/server/apache-zookeeper-3.8.4-bin/PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOKEEPER_HOME/binexport PATH分發(fā)到各個(gè)節(jié)點(diǎn)scp /etc/profile kafka2:$PWDscp /etc/profile kafka2:$PWD每個(gè)節(jié)點(diǎn)加載環(huán)境變量source /etc/profile

九、啟動(dòng)Zookeeper

1.在三臺(tái)機(jī)器上啟動(dòng)Zookeeper。08i28資訊網(wǎng)——每日最新資訊28at.com

zkServer.sh start

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

2.在三臺(tái)機(jī)器上查看Zookeeper狀態(tài)。08i28資訊網(wǎng)——每日最新資訊28at.com

zkServer.sh status

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

十、啟動(dòng)Kafka

[root@kafka1 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka2 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka3 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties

kafka1節(jié)點(diǎn)的Cluster Id:08i28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

kafka2節(jié)點(diǎn)的Cluster Id:08i28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

kafka3節(jié)點(diǎn)的Cluster Id:08i28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片08i28資訊網(wǎng)——每日最新資訊28at.com

十一、查看Kakka隊(duì)列

1.創(chuàng)建主題(名字叫test):08i28資訊網(wǎng)——每日最新資訊28at.com

kafka-topics.sh --create --bootstrap-server kafka1:9092 --topic test

2.查詢當(dāng)前kafka的所有主題:08i28資訊網(wǎng)——每日最新資訊28at.com

kafka-topics.sh --bootstrap-server kafka3:9092 --list

08i28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://m.www897cc.com/showinfo-26-88325-0.html從零開(kāi)始搭建 Kafka集群

聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 八個(gè)將網(wǎng)頁(yè)轉(zhuǎn)為桌面應(yīng)用程序的開(kāi)源方案

下一篇: 我用 Flutter、React Native 和 Ionic 構(gòu)建了相同的應(yīng)用程序

標(biāo)簽:
  • 熱門(mén)焦點(diǎn)
Top 日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不
先锋影院在线亚洲| 亚洲另类视频| 国产欧美日韩在线观看| 国产深夜精品福利| 在线日韩av| 一本久道久久久| 性色av一区二区三区红粉影视| 久久精品亚洲乱码伦伦中文 | 国产一区二区久久久| 国产女人aaa级久久久级| 一色屋精品视频在线看| 亚洲精品中文字幕有码专区| 亚洲欧美激情四射在线日| 久久夜色精品| 欧美三级视频在线播放| 国内精品久久久久久久影视麻豆 | 国产美女精品人人做人人爽| 激情av一区| 一本一本久久a久久精品综合妖精| 亚洲一区二区视频| 欧美在线免费视屏| 久久资源av| 欧美视频中文字幕| 国产亚洲精品久| 日韩亚洲欧美中文三级| 欧美一级成年大片在线观看| 久久欧美肥婆一二区| 欧美日精品一区视频| 国产一区二区在线观看免费播放 | 欧美亚洲视频| 欧美激情一区二区三区在线视频观看| 欧美少妇一区| 国产欧美一区二区在线观看| 亚洲国产黄色| 久久国产精品一区二区三区| 欧美精品国产一区| 国产一级一区二区| 夜夜嗨av一区二区三区中文字幕 | 老司机成人网| 国产伦精品免费视频| 久久国产66| 欧美揉bbbbb揉bbbbb| 黄色精品一区| 亚洲专区欧美专区| 欧美激情一区在线观看| 国产日韩欧美成人| 在线视频精品一区| 久久综合网hezyo| 国产视频一区二区在线观看 | 久久久一区二区三区| 欧美性做爰猛烈叫床潮| 亚洲福利视频网| 久久国产99| 国产精品二区三区四区| 亚洲精品婷婷| 另类尿喷潮videofree| 国产一区在线播放| 亚洲综合首页| 国产精品yjizz| 亚洲精品欧美一区二区三区| 久久这里有精品15一区二区三区| 国产精品久久久99| 日韩午夜精品| 欧美成人国产| 亚洲国产成人在线视频| 欧美专区日韩视频| 国产精品亚洲综合色区韩国| 一区二区三区高清视频在线观看| 免费在线欧美视频| 伊人久久大香线| 久久精品免费电影| 国产色综合天天综合网| 亚洲欧美制服中文字幕| 国产精品九九久久久久久久| 日韩天堂在线观看| 欧美激情一区二区三区高清视频| 狠狠色丁香久久综合频道| 亚洲女人天堂成人av在线| 欧美日韩精品三区| 亚洲精品日韩在线观看| 蜜臀av性久久久久蜜臀aⅴ四虎| 国产视频综合在线| 亚洲欧美一区二区在线观看| 欧美日韩在线精品一区二区三区| 亚洲激情国产| 媚黑女一区二区| 在线观看91精品国产入口| 久久精品国产亚洲高清剧情介绍| 国产精品乱码一区二三区小蝌蚪| av成人手机在线| 欧美日韩国产亚洲一区| 亚洲剧情一区二区| 欧美激情aaaa| 亚洲精品中文在线| 欧美私人啪啪vps| 中文一区字幕| 国产精品国产三级国产普通话三级| 亚洲欧洲日本专区| 欧美精品三级在线观看| 亚洲精品久久久久久久久| 欧美成人国产va精品日本一级| 亚洲第一福利在线观看| 久久午夜电影网| 亚洲黄色在线观看| 欧美日韩国产限制| 中文精品视频| 国产精品久久久久婷婷| 亚洲欧美制服另类日韩| 国产伦精品一区二区三区视频黑人| 午夜精品久久久久久99热软件| 国产精品自拍在线| 久久激情五月激情| 在线观看欧美日韩| 欧美韩日一区二区三区| 亚洲高清视频在线观看| 欧美精品久久99久久在免费线| 一本大道av伊人久久综合| 国产精品yjizz| 欧美一区二区视频97| 尤物网精品视频| 欧美二区在线看| 99精品欧美一区| 国产精品美女久久福利网站| 欧美一级电影久久| 伊人成人开心激情综合网| 欧美精品日韩一区| 亚洲制服欧美中文字幕中文字幕| 国产欧美一区二区精品仙草咪| 久久久久久9| 亚洲精品裸体| 国产嫩草一区二区三区在线观看| 久久精品夜色噜噜亚洲a∨| 亚洲福利国产精品| 欧美日韩亚洲一区二区三区四区 | 一区二区三区日韩精品| 国产精品一区在线播放| 久久久久久久一区二区三区| 亚洲精品视频免费| 国产麻豆综合| 免费h精品视频在线播放| 亚洲一区精彩视频| 精品成人一区二区三区| 欧美三级小说| 久久精品道一区二区三区| 亚洲国产精品成人一区二区| 欧美日韩精品免费观看| 欧美一区二区在线免费播放| 亚洲国产日本| 国产精品视频yy9099| 久热综合在线亚洲精品| 中文精品视频一区二区在线观看| 国产一区二区电影在线观看| 欧美日韩1234| 久久精品国产亚洲5555| 夜夜嗨av一区二区三区四季av| 国产欧美亚洲精品| 男女视频一区二区| 午夜精品99久久免费| 亚洲精品123区| 亚洲综合另类| 在线观看亚洲精品视频| 国产精品久久久久久久久免费樱桃| 久久综合激情| 亚洲女女女同性video| 亚洲高清在线| 国产精品亚洲视频| 欧美精品三级在线观看| 久久精品国产久精国产思思| 日韩视频永久免费观看| 国产视频在线观看一区| 欧美日韩视频在线观看一区二区三区| 久久精品日韩欧美| 午夜日韩在线观看| 日韩网站在线| 在线播放中文字幕一区| 国产精品入口| 欧美精品一区视频| 久久亚洲精品欧美| 午夜日韩在线观看| 一本大道av伊人久久综合| 亚洲第一毛片| 国产专区一区| 国产日韩精品一区二区三区 | 久久激情视频| 亚洲免费在线| 一区二区欧美国产| 亚洲福利视频网站| 激情视频一区二区三区| 国产欧美日韩免费| 欧美性事免费在线观看| 欧美精品久久久久久久免费观看| 久久综合影音| 久久久久欧美精品| 欧美一区二区三区四区在线| 亚洲一区中文| 99国产精品私拍| 亚洲精品久久久久久一区二区| 一区二区三区在线免费观看| 国产欧美在线播放| 国产精品推荐精品| 国产精品护士白丝一区av| 欧美日韩国产欧| 欧美理论电影网| 欧美二区在线|