直屏旗艦來(lái)了 iQOO 12和K70 Pro同臺(tái)競(jìng)技
旗艦機(jī)基本上使用的都是雙曲面屏幕，這就讓很多喜歡直屏的愛(ài)好者在苦等一款直屏旗艦，這次，你們等到了。據(jù)博主數(shù)碼閑聊站帶來(lái)的最新爆料稱，Redmi下代旗艦K70 Pro和iQOO 12兩款手
Hey大家好，我是小米，今天我們來(lái)聊一聊在Kafka中，ZooKeeper到底扮演了什么樣的重要角色。你是不是也曾在面試中被問(wèn)到這個(gè)問(wèn)題？別擔(dān)心，今天這篇文章將帶你深入了解Kafka與ZooKeeper之間的秘密，助你在面試中脫穎而出！
圖片
在我們討論Kafka中ZooKeeper的作用之前，先簡(jiǎn)單介紹一下這兩個(gè)大名鼎鼎的家伙。
Kafka是一個(gè)分布式流處理平臺(tái)，由LinkedIn開(kāi)發(fā)并開(kāi)源。它主要用于構(gòu)建實(shí)時(shí)數(shù)據(jù)管道和流應(yīng)用。Kafka的核心概念包括Producer（生產(chǎn)者）、Consumer（消費(fèi)者）、Topic（主題）和Partition（分區(qū)），它通過(guò)高吞吐量、低延遲的數(shù)據(jù)傳輸能力在大數(shù)據(jù)領(lǐng)域中廣受歡迎。
ZooKeeper是一個(gè)開(kāi)源的分布式協(xié)調(diào)服務(wù)，用于分布式應(yīng)用中的同步服務(wù)。它提供了一套簡(jiǎn)單的原語(yǔ)，比如命名服務(wù)、配置管理、分布式鎖和隊(duì)列等，用來(lái)解決分布式系統(tǒng)中的協(xié)調(diào)問(wèn)題。
Kafka使用ZooKeeper來(lái)存放集群的元數(shù)據(jù)。這些元數(shù)據(jù)主要包括主題和分區(qū)的信息，以及各個(gè)分區(qū)的Leader和Follower的位置信息。簡(jiǎn)單來(lái)說(shuō)，Kafka的主題分區(qū)的所有數(shù)據(jù)都保存在ZooKeeper中，其他“人”都要與它保持對(duì)齊。
當(dāng)Kafka中的Producer或Consumer要向某個(gè)Topic發(fā)送或拉取消息時(shí)，它們首先會(huì)向ZooKeeper查詢這個(gè)Topic的元數(shù)據(jù)，獲取到該Topic的分區(qū)信息和各個(gè)分區(qū)的Leader Broker地址。這樣，Producer和Consumer就可以直接與這些Broker進(jìn)行交互，完成消息的生產(chǎn)和消費(fèi)。
在Kafka集群中，每個(gè)Broker節(jié)點(diǎn)在啟動(dòng)時(shí)都會(huì)向ZooKeeper注冊(cè)自己的信息，包括其ID、主機(jī)地址、端口號(hào)等。這就好比是在集群中“報(bào)個(gè)到”，告訴其他節(jié)點(diǎn)“我上線了，可以開(kāi)始工作了”。
如果某個(gè)Broker節(jié)點(diǎn)發(fā)生故障或下線，它也會(huì)通知ZooKeeper進(jìn)行注銷。ZooKeeper會(huì)將這些變更通知給Kafka集群中的其他節(jié)點(diǎn)，使它們能夠及時(shí)感知到集群成員的變化。這種機(jī)制確保了Kafka集群的高可用性和穩(wěn)定性。
Kafka集群中有一個(gè)特別重要的角色——Controller。Controller負(fù)責(zé)管理集群中的一些全局性任務(wù)，比如主題的創(chuàng)建和刪除、分區(qū)的Leader選舉等。在Kafka啟動(dòng)時(shí)，第一個(gè)啟動(dòng)的Broker會(huì)自動(dòng)向ZooKeeper注冊(cè)自己，成為Controller。如果當(dāng)前的Controller節(jié)點(diǎn)發(fā)生故障，ZooKeeper會(huì)選舉一個(gè)新的Controller來(lái)接替它的工作。
這種選舉機(jī)制基于ZooKeeper的分布式一致性協(xié)議，確保了Kafka集群在任何時(shí)候都有一個(gè)可用的Controller。
目前，Kafka依賴ZooKeeper來(lái)完成上述所有的關(guān)鍵任務(wù)，但隨著KIP-500提案的推進(jìn)，Kafka將逐步去除對(duì)ZooKeeper的依賴，轉(zhuǎn)而使用社區(qū)自研的基于Raft算法的共識(shí)機(jī)制來(lái)實(shí)現(xiàn)這些功能。
KIP-500提案的核心目標(biāo)是簡(jiǎn)化Kafka的架構(gòu)，通過(guò)引入一種基于Raft的分布式共識(shí)算法來(lái)替代ZooKeeper。這樣做有幾個(gè)明顯的優(yōu)勢(shì)：
Raft算法是一種廣泛認(rèn)可的分布式一致性算法，它通過(guò)Leader選舉、日志復(fù)制和狀態(tài)機(jī)應(yīng)用等機(jī)制來(lái)保證集群的一致性和可靠性。在KIP-500中，Kafka將采用Raft算法來(lái)管理集群的元數(shù)據(jù)和成員信息，實(shí)現(xiàn)Controller的自動(dòng)選舉和故障切換。
隨著Raft算法的普及，越來(lái)越多的分布式系統(tǒng)開(kāi)始采用etcd來(lái)存儲(chǔ)和管理元數(shù)據(jù)。etcd是一個(gè)高可用的分布式鍵值存儲(chǔ)系統(tǒng)，它內(nèi)置了Raft一致性算法，能夠提供強(qiáng)一致性的元數(shù)據(jù)管理服務(wù)。
在現(xiàn)代分布式系統(tǒng)中，etcd被廣泛應(yīng)用于以下幾個(gè)場(chǎng)景：
在Kafka的架構(gòu)中，ZooKeeper扮演了至關(guān)重要的角色，負(fù)責(zé)存放元數(shù)據(jù)、管理集群成員、以及進(jìn)行Controller選舉。然而，隨著KIP-500提案的推進(jìn)，Kafka將逐步去除對(duì)ZooKeeper的依賴，轉(zhuǎn)而采用基于Raft算法的自研共識(shí)機(jī)制來(lái)實(shí)現(xiàn)這些功能。
與此同時(shí)，etcd作為一種基于Raft算法的分布式鍵值存儲(chǔ)系統(tǒng)，已經(jīng)在許多分布式系統(tǒng)中得到了廣泛應(yīng)用，成為元數(shù)據(jù)存儲(chǔ)和管理的新選擇。
希望這篇文章能夠幫助大家更好地理解Kafka中ZooKeeper的作用，以及未來(lái)KIP-500提案對(duì)Kafka架構(gòu)的影響。如果你在面試中遇到類似的問(wèn)題，相信你一定能夠從容應(yīng)對(duì)，輕松拿下Offer！加油！
本文鏈接：http://m.www897cc.com/showinfo-26-97891-0.html深度揭秘！Kafka和ZooKeeper之間的相愛(ài)相殺
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 消息稱臺(tái)積電今明兩年將接收超 60 臺(tái) EUV 光刻機(jī)，相關(guān)投資超四千億新臺(tái)幣
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)