Redmi Buds 4開箱簡評：才199還有降噪 可以無腦入
在上個月舉辦的Redmi Note11T Pro系列新機發(fā)布會上，除了兩款手機新品之外，Redmi還帶來了兩款TWS真無線藍牙耳機產(chǎn)品，Redmi Buds 4和Redmi Buds 4 Pro，此前我們在Redmi Note11T
我是碼哥，可以叫我靚仔。今天來聊一聊 Kafka 消息隊列的使用場景和核心架構實現(xiàn)原理，幫助你全面了解 Kafka 其內部工作原理和設計理念。。
Apache Kafka 是一個高吞吐量、分布式的流處理平臺，廣泛應用于實時數(shù)據(jù)管道和流處理應用中。
Kafka 以其高性能、低延遲、擴展性和可靠性，成為了大數(shù)據(jù)生態(tài)系統(tǒng)中的重要組件。
消息隊列是一種進程間通信或者同一個進程中不同線程間的通信方式，主要解決異步處理、應用耦合、流量消峰、負載均衡等問題，實現(xiàn)高性能、高可用、可伸縮和最終一致性架構，是大型分布式系統(tǒng)不可缺少的中間件。
kafka 本質也是一個消息隊列，如下圖，上游系統(tǒng)將消息發(fā)送到消息中間件，下游系統(tǒng)從消息中間件中獲取消息消費。
馬樓：“上游系統(tǒng)為什么不直接發(fā)消息給下游系統(tǒng)，搞個中間商干啥？”
這就要從消息隊列的主要作用說起了。
消息隊列可以實現(xiàn)異步通信，使得發(fā)送消息的組件不需要等待接收消息的組件處理完畢，從而提高系統(tǒng)的響應速度和處理效率。
如下圖所示，阿斗被邀請去休閑養(yǎng)生 SPA 享受，服務包含泡腳、按摩、吃水果、看電視。
SPA 系統(tǒng)只需要驗證啊斗的會員卡有錢就也可以服務了，串行化執(zhí)行的每個步驟的話，體驗太差。可以同時進行，快樂加倍。泡腳、按摩的同時可以同時吃水果看電視，大大提升體驗。
如下圖所示，采用了消息中間件之后，訂單系統(tǒng)將下單消息發(fā)送到 MQ 存儲，然后各個下游系統(tǒng)從 MQ 中獲取消息并執(zhí)行對應的業(yè)務邏輯。
這種異步的方式，減少了服務之間的耦合程度，不然的話，維護訂單系統(tǒng)的馬樓要哭死，下單后調用多個下游系統(tǒng)，有的系統(tǒng)通過接口調用還必須要求重試機制不能丟失。
有了消息隊列后，利用 MQ 本身提供的高可用保證數(shù)據(jù)不丟失，另外不管你是王啟年還是范閑，我就放到消息隊列中，你們自己從 MQ 拿，不用再去聯(lián)系每個系統(tǒng)的維護人員。
在流量高峰期，消息隊列可以充當緩沖區(qū)，平滑高峰流量，避免系統(tǒng)因瞬時高負載而崩潰。
比如某個接口平時的流量也就 100TPS，特殊時刻會暴增，達到 4000 TPS，一般來說，MySQL 每秒可以處理 2000 個請求，每秒 4000 個請求，可能直接把 MySQL 搞崩潰。
你可以通過消息隊列來進行流量削峰，防止把 MySQL 干爆，引入 MQ 后，先將請求存到 MQ 中，MySQL 慢慢處理請求。
Kafka 的 Topic 可以分成多個 Partition，每個 Paritition 類似于一個隊列，單個 Paritition 可以保證數(shù)據(jù)有序。
Kafka 具有優(yōu)秀的分區(qū)分配算法——StickyAssignor，把生產(chǎn)者的消息發(fā)送到不同 Paritition，保證 Paritition 的分配盡量地均衡。這樣，整個集群的分區(qū)盡量地均衡，各個 Broker 和 Consumer 的處理不至于出現(xiàn)太大的傾斜。
同一個 Consumer Group 下的 Consumer 并發(fā)消費 Paritition，需要注意的是，如果 Consumer Group 下的 Consumer 個數(shù)超過 Partition 數(shù)量，那么會出現(xiàn)空閑 Consumer。
每個 Kafka 主題（Topic）可以分為多個分區(qū)（Partition）。每個分區(qū)都是一個有序的、不可變的消息隊列。
生產(chǎn)者（Producer）將消息發(fā)送到分區(qū)時，Kafka 按消息的發(fā)送順序將其追加到分區(qū)的末尾。
消費者（Consumer）讀取分區(qū)中的消息時，也是按照消息的存儲順序逐條讀取。
因此，在同一個分區(qū)內，消息的順序是嚴格保證的。這對于某些業(yè)務場景來說非常重要，特別是需要保證消息順序性的應用，例如金融交易、訂單處理等。
針對消息有序的業(yè)務需求，還分為全局有序和局部有序。
Kafka 的一個 Topic 可分為多個 Partition，Producer 發(fā)送消息的時候，kafka 會使用負載均衡策略將消息發(fā)送到其中一個 Partition，會導致順序是亂的。
要保證全局有序，那么一個 Topic 只能存在一個 Partition。而且對應的 Consumer 也要使用單線程或者保證消費順序的線程模型。
要滿足局部有序，只需要在發(fā)消息的時候指定 Partition Key，Kafka 對其進行 Hash 計算，根據(jù)計算結果決定放入哪個 Partition。這樣 Partition Key 相同的消息會放在同一個 Partition，從而保證有序。
此時，Partition 的數(shù)量仍然可以設置多個，提升 Topic 的整體吞吐量。
Kafka 提供了消息持久化、重試機制和確認機制，確保消息不會丟失或重復處理，增強系統(tǒng)的容錯能力。
終于到今天的主角登場，直接上圖。
Kafka 的核心架構由以下幾個主要組件組成：
來看下什么是 Topic 和 Partition。
Topic 是 Kafka 中數(shù)據(jù)的邏輯分類單元，可以理解成一個隊列。Broker 是所有隊列部署的機器，Producer 將消息發(fā)送到特定的 Topic，而 Consumer 則從特定的 Topic 中消費消息。
為了提高并行處理能力和擴展性，Kafka 將一個 Topic 分為多個 Partition。
每個 Partition 是一個有序的消息隊列，消息在 Partition 內部是有序的，但在不同的 Partition 之間沒有順序保證。
Producer 可以并行地將消息發(fā)送到不同的 Partition，Consumer 也可以并行地消費不同的 Partition，從而提升整體處理能力。
每個 Partition 可以有多個副本（Replica），分布在不同的 Broker 上。
Kafka 會為分區(qū)的多個副本選舉一個作為主副本(Leader)，主副本對外提供讀寫服務，從副本(Follower)實時同步 Leader 的數(shù)據(jù)。
Kafka 通過副本機制實現(xiàn)高可用性，當一個 Broker 故障時，可以通過副本保證數(shù)據(jù)不丟失，并繼續(xù)提供服務。
如下圖所示，黃色表示 leader，灰色表示 follower。Topic 分了三個 Patition，副本數(shù)是 2。
Kafka 有消費組的概念，每個消費者只能消費所分配到的分區(qū)的消息，每一個分區(qū)只能被一個消費組中的一個消費者所消費，所以同一個消費組中消費者的數(shù)量如果超過了分區(qū)的數(shù)量，將會出現(xiàn)有些消費者分配不到消費的分區(qū)。消費組與消費者關系如下圖所示：
Kafka 的數(shù)據(jù)存儲機制采用了順序寫入磁盤的方式，通過這種方式來提高寫入性能。
每個 Partition 的消息被存儲在多個 Segment 文件中，每個 Segment 文件由一組連續(xù)的消息組成。Segment 文件通過索引和日志文件進行管理，索引文件記錄了每條消息在日志文件中的偏移量。
Kafka 的存儲機制具備以下幾個特點：
Kafka 通過以下幾種機制來實現(xiàn)高可用性和容錯性：
Kafka 提供了三種消息傳遞保證：
Kafka 將 Broker、Topic 和 Partition 的元數(shù)據(jù)信息存儲在 Zookeeper 上。通過在 Zookeeper 上建立相應的數(shù)據(jù)節(jié)點，并監(jiān)聽節(jié)點的變化，Kafka 使用 Zookeeper 完成以下功能：
Kafka 的擴展性主要體現(xiàn)在以下幾個方面：
本文鏈接：http://m.www897cc.com/showinfo-26-91374-0.html消息隊列的六種經(jīng)典使用場景和 Kafka 架構設計原理詳細解析
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
下一篇： 聊聊主流消息隊列的認證和鑒權！
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號