日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁 > 科技  > 軟件

聊聊高可用存儲架構(gòu):集群和分區(qū)

來源: 責(zé)編: 時間:2024-04-26 08:47:55 232觀看
導(dǎo)讀主備、主從、和主主架構(gòu)都基于一個共同的前提:主機(jī)需要有能力存儲所有數(shù)據(jù)。然而,主機(jī)的存儲和處理容量是有限的。以歷史發(fā)展為例,Intel 386時代的服務(wù)器僅能存儲幾百M(fèi)B數(shù)據(jù),到了Intel奔騰時代則能夠存儲幾十GB,而進(jìn)入Inte

主備、主從、和主主架構(gòu)都基于一個共同的前提:主機(jī)需要有能力存儲所有數(shù)據(jù)。然而,主機(jī)的存儲和處理容量是有限的。以歷史發(fā)展為例,Intel 386時代的服務(wù)器僅能存儲幾百M(fèi)B數(shù)據(jù),到了Intel奔騰時代則能夠存儲幾十GB,而進(jìn)入Intel酷睿多核時代后,服務(wù)器的存儲能力增加到了數(shù)TB。盡管從硬件發(fā)展角度看,存儲能力的提升速度相當(dāng)快,但與業(yè)務(wù)需求的增長速度相比,這種提升還是遠(yuǎn)遠(yuǎn)不夠。例如,截至2013年,F(xiàn)acebook已經(jīng)累計(jì)存儲了2500億張照片,總?cè)萘窟_(dá)到250PB(250×1024TB),日均上傳量達(dá)到3億5000萬張圖片。這種龐大的數(shù)據(jù)量顯然無法由單臺服務(wù)器來存儲和處理,因此必須依賴多臺服務(wù)器的集群架構(gòu)來實(shí)現(xiàn)。I1J28資訊網(wǎng)——每日最新資訊28at.com

簡而言之,集群是由多臺機(jī)器組成的一個統(tǒng)一系統(tǒng),這里的“多臺”通常指的是至少3臺機(jī)器。與主備或主從架構(gòu)的兩臺機(jī)器相比,集群提供了更大的擴(kuò)展性。集群可以根據(jù)其中機(jī)器承擔(dān)的角色不同分為兩種類型:數(shù)據(jù)集中型集群和數(shù)據(jù)分散型集群。I1J28資訊網(wǎng)——每日最新資訊28at.com

1. 數(shù)據(jù)集中集群

數(shù)據(jù)集中集群與主備、主從這類架構(gòu)相似,我們也可以稱數(shù)據(jù)集中集群為 1 主多備或者 1 主多從。無論是 1 主 1 從、1 主 1 備,還是 1 主多備、1 主多從,數(shù)據(jù)都只能往主機(jī)中寫,而讀操作可以參考主備、主從架構(gòu)進(jìn)行靈活多變。下圖是讀寫全部到主機(jī)的一種架構(gòu):I1J28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片I1J28資訊網(wǎng)——每日最新資訊28at.com

在主備和主從架構(gòu)中,數(shù)據(jù)通常通過單一的復(fù)制通道從主機(jī)復(fù)制到備機(jī)。然而,在數(shù)據(jù)集中集群架構(gòu)中,存在多個復(fù)制通道,這可能會增加主機(jī)的復(fù)制負(fù)擔(dān)。在某些情形下,減輕主機(jī)的復(fù)制負(fù)擔(dān)或減少復(fù)制操作對正常讀寫活動的影響是必要的。I1J28資訊網(wǎng)——每日最新資訊28at.com

此外,多個復(fù)制通道可能會導(dǎo)致不同備機(jī)之間的數(shù)據(jù)出現(xiàn)不一致。在這種情況下,需要對各備機(jī)之間的數(shù)據(jù)一致性進(jìn)行驗(yàn)證和調(diào)整。I1J28資訊網(wǎng)——每日最新資訊28at.com

對于備機(jī)如何判斷主機(jī)的狀態(tài),主備和主從架構(gòu)中只涉及單臺備機(jī)的狀態(tài)判斷。但在數(shù)據(jù)集中集群架構(gòu)中,多臺備機(jī)都需要對主機(jī)狀態(tài)做出判斷,且不同備機(jī)的判斷結(jié)果可能不一致,處理這些不一致的判斷是一個復(fù)雜的問題。I1J28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)主機(jī)發(fā)生故障時,如何決定新的主機(jī)也是一個關(guān)鍵問題。在主從架構(gòu)中,通常直接將備機(jī)升級為主機(jī)。然而,在數(shù)據(jù)集中集群架構(gòu)中,由于存在多臺可升級的備機(jī),必須決定哪一臺備機(jī)最適合成為新的主機(jī),以及備機(jī)之間如何進(jìn)行協(xié)調(diào)。I1J28資訊網(wǎng)——每日最新資訊28at.com

ZooKeeper是一個典型的開源數(shù)據(jù)集中集群解決方案,它通過ZAB算法來解決這些問題,盡管ZAB算法相當(dāng)復(fù)雜。I1J28資訊網(wǎng)——每日最新資訊28at.com

對于數(shù)據(jù)分散集群,這種結(jié)構(gòu)涉及多臺服務(wù)器,每臺服務(wù)器存儲部分?jǐn)?shù)據(jù)并備份其他部分?jǐn)?shù)據(jù)。數(shù)據(jù)分散集群面臨的復(fù)雜性在于如何將數(shù)據(jù)恰當(dāng)?shù)胤峙涞讲煌?wù)器上。這涉及到以下幾個設(shè)計(jì)要素:I1J28資訊網(wǎng)——每日最新資訊28at.com

均衡性:分配算法必須確保數(shù)據(jù)在各服務(wù)器之間的分布大體均衡,避免某臺服務(wù)器的數(shù)據(jù)量顯著高于其他服務(wù)器。I1J28資訊網(wǎng)——每日最新資訊28at.com

容錯性:當(dāng)部分服務(wù)器出現(xiàn)故障時,算法需要能夠?qū)⑹苡绊懙臄?shù)據(jù)區(qū)重新分配給其他服務(wù)器。I1J28資訊網(wǎng)——每日最新資訊28at.com

可伸縮性:當(dāng)需要擴(kuò)展集群容量時,算法應(yīng)能自動將數(shù)據(jù)遷移到新增的服務(wù)器上,并確保擴(kuò)容后數(shù)據(jù)依然均衡分布。I1J28資訊網(wǎng)——每日最新資訊28at.com

與數(shù)據(jù)集中集群不同,數(shù)據(jù)分散集群中的每臺服務(wù)器都能處理讀寫請求,因此不存在像數(shù)據(jù)集中集群中那樣的專門負(fù)責(zé)寫操作的主機(jī)角色。然而,在數(shù)據(jù)分散集群中,需要有一個特定角色負(fù)責(zé)執(zhí)行數(shù)據(jù)分配算法,這個角色可能是一臺獨(dú)立服務(wù)器,也可能是由集群內(nèi)部選舉產(chǎn)生的服務(wù)器。如果是后者,這臺服務(wù)器通常也被稱為主機(jī),但其職責(zé)與數(shù)據(jù)集中集群中的主機(jī)職責(zé)有所不同。I1J28資訊網(wǎng)——每日最新資訊28at.com

Hadoop 的實(shí)現(xiàn)就是獨(dú)立的服務(wù)器負(fù)責(zé)數(shù)據(jù)分區(qū)的分配,這臺服務(wù)器叫作Namenode。Hadoop 的數(shù)據(jù)分區(qū)管理架構(gòu)如下:I1J28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片I1J28資訊網(wǎng)——每日最新資訊28at.com

與 Hadoop 不同的是,Elasticsearch 集群通過選舉一臺服務(wù)器來做數(shù)據(jù)分區(qū)的分配,叫作 master node,其數(shù)據(jù)分區(qū)管理架構(gòu)是:I1J28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片I1J28資訊網(wǎng)——每日最新資訊28at.com

在集群架構(gòu)中,數(shù)據(jù)集中型集群只允許客戶端將數(shù)據(jù)寫入主節(jié)點(diǎn),而數(shù)據(jù)分散型集群允許客戶端在任何服務(wù)器上進(jìn)行讀寫操作。這一關(guān)鍵差異決定了兩種架構(gòu)適用于不同的應(yīng)用場景。數(shù)據(jù)集中型集群通常適用于數(shù)據(jù)量較小、服務(wù)器數(shù)量較少的情況,如ZooKeeper集群,通常建議使用約5臺服務(wù)器,且每臺服務(wù)器的數(shù)據(jù)量是可管理的。相反,數(shù)據(jù)分散型集群因其優(yōu)越的可擴(kuò)展性,更適合處理大量業(yè)務(wù)數(shù)據(jù)和大規(guī)模服務(wù)器群,如Hadoop和HBase集群,這些集群可包含數(shù)百甚至數(shù)千臺服務(wù)器。I1J28資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)分區(qū)

在考慮存儲高可用架構(gòu)時,我們通常關(guān)注的是如何在硬件故障發(fā)生時維持系統(tǒng)的運(yùn)行。然而,對于可能導(dǎo)致所有硬件同時故障的重大災(zāi)害或事故,如新奧爾良的水災(zāi)、美加大范圍停電、洛杉磯的大地震等,單純基于硬件故障的高可用架構(gòu)可能不足以應(yīng)對。在這種情況下,需要設(shè)計(jì)可以抵抗地理級別故障的高可用架構(gòu),這正是數(shù)據(jù)分區(qū)架構(gòu)的來源。I1J28資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)分區(qū)架構(gòu)通過按照特定規(guī)則將數(shù)據(jù)分布在不同的地理位置來避免地理級別的故障帶來的重大影響。這種架構(gòu)確保即使某一地區(qū)遭受重大災(zāi)害,也只有部分?jǐn)?shù)據(jù)受到影響,而非全部數(shù)據(jù)。一旦地區(qū)故障恢復(fù),其他地區(qū)的備份數(shù)據(jù)可以快速恢復(fù)受影響地區(qū)的業(yè)務(wù)運(yùn)行。I1J28資訊網(wǎng)——每日最新資訊28at.com

設(shè)計(jì)有效的數(shù)據(jù)分區(qū)架構(gòu)需要綜合考慮多個方面:I1J28資訊網(wǎng)——每日最新資訊28at.com

1.數(shù)據(jù)量數(shù)據(jù)量的大小決定了分區(qū)復(fù)雜性。

例如,假設(shè)每臺MySQL服務(wù)器的存儲能力為500GB,那么2TB的數(shù)據(jù)需要至少4臺服務(wù)器。但對于200TB的數(shù)據(jù),簡單地增加到800臺MySQL服務(wù)器將極大增加管理復(fù)雜度。例如,可能每周都有服務(wù)器故障,從800臺服務(wù)器中找出故障的那一兩臺并不簡單,同時,運(yùn)維復(fù)雜度也會顯著提高。在地理分布上,若數(shù)據(jù)集中在一個城市,一旦發(fā)生大型災(zāi)難,風(fēng)險極高。I1J28資訊網(wǎng)——每日最新資訊28at.com

2.分區(qū)規(guī)則

分區(qū)可以按照洲際、國家或城市等級別進(jìn)行,具體采取哪種規(guī)則取決于業(yè)務(wù)需求和成本考慮。洲際分區(qū)適用于服務(wù)不同大洲的用戶,由于網(wǎng)絡(luò)延遲較大,通常用作數(shù)據(jù)備份而非實(shí)時服務(wù)。國家分區(qū)適合針對具有不同語言、法律需求的國家,通常也主要用于數(shù)據(jù)備份。城市分區(qū)則適合在同一國家或地區(qū)內(nèi)提供低延遲服務(wù),適用于異地多活等需求。I1J28資訊網(wǎng)——每日最新資訊28at.com

3.復(fù)制規(guī)則

即使采用了數(shù)據(jù)分區(qū)架構(gòu),每個分區(qū)仍然需要處理大量數(shù)據(jù)。單一分區(qū)的數(shù)據(jù)損壞或丟失仍然是無法接受的。因此,即使在分區(qū)架構(gòu)中,也必須實(shí)施數(shù)據(jù)復(fù)制策略,以確保數(shù)據(jù)的安全和高可用性。I1J28資訊網(wǎng)——每日最新資訊28at.com

常見的分區(qū)復(fù)制規(guī)則有三種:集中式、互備式和獨(dú)立式。I1J28資訊網(wǎng)——每日最新資訊28at.com

集中式備份

集中式備份系統(tǒng)設(shè)有一個主要的備份中心,所有的分區(qū)都將其數(shù)據(jù)傳輸至該中心進(jìn)行備份。此架構(gòu)的優(yōu)點(diǎn)包括設(shè)計(jì)的簡潔性,由于分區(qū)之間沒有直接的聯(lián)系,各自獨(dú)立運(yùn)作,互不干擾。此外,擴(kuò)展性也較高,若需要添加新的分區(qū),如武漢分區(qū),僅需將其數(shù)據(jù)備份到已有的西安備份中心,不影響其他分區(qū)。然而,這種方式的缺點(diǎn)是成本相對較高,因?yàn)樾枰⒑途S護(hù)一個獨(dú)立的備份中心。I1J28資訊網(wǎng)——每日最新資訊28at.com

圖片圖片I1J28資訊網(wǎng)——每日最新資訊28at.com

互備式備份

互備式備份要求每個分區(qū)備份另一個分區(qū)的數(shù)據(jù)。這種設(shè)計(jì)較為復(fù)雜,因?yàn)槊總€分區(qū)不僅要處理自己的業(yè)務(wù)數(shù)據(jù)還要負(fù)責(zé)備份工作,分區(qū)間存在相互影響和依賴。擴(kuò)展此系統(tǒng)相對困難,例如引入武漢分區(qū)可能需要重新配置廣州分區(qū)的備份目標(biāo)為武漢,同時還需處理原有的北京與廣州的備份數(shù)據(jù),不論是數(shù)據(jù)遷移還是保留歷史數(shù)據(jù)都會帶來挑戰(zhàn)。但這種方法成本較低,因?yàn)樗苯永矛F(xiàn)有的設(shè)施。I1J28資訊網(wǎng)——每日最新資訊28at.com

圖片I1J28資訊網(wǎng)——每日最新資訊28at.com

獨(dú)立式備份

獨(dú)立式備份中,每個分區(qū)都擁有自己的備份中心,且備份中心不與原數(shù)據(jù)中心位于同一地點(diǎn)。例如,北京分區(qū)的備份設(shè)在天津,上海的備份設(shè)在杭州,廣州的則設(shè)在汕頭,主要目的是為了防止同城或相同地理位置的災(zāi)難同時影響主數(shù)據(jù)中心和備份中心。這種架構(gòu)的優(yōu)點(diǎn)在于設(shè)計(jì)簡單,分區(qū)間互不干涉,擴(kuò)展也相對簡單,新分區(qū)只需建立自己的備份中心即可。然而,其缺點(diǎn)是成本非常高,每個分區(qū)需要單獨(dú)建設(shè)和維護(hù)備份中心,地點(diǎn)租賃和設(shè)施成本是主要的財(cái)務(wù)負(fù)擔(dān),使得獨(dú)立式備份的成本遠(yuǎn)高于集中式備份。I1J28資訊網(wǎng)——每日最新資訊28at.com

圖片 圖片 I1J28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://m.www897cc.com/showinfo-26-85695-0.html聊聊高可用存儲架構(gòu):集群和分區(qū)

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 打包Python代碼的常用方法,讓你的程序變成exe應(yīng)用!

下一篇: 詳解JavaScript中的層疊規(guī)則(CSS Specificity)

標(biāo)簽:
  • 熱門焦點(diǎn)
Top 日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不
国产欧美一区在线| 久久久久国产成人精品亚洲午夜| 在线观看视频一区| 亚洲国产aⅴ天堂久久| 亚洲国内自拍| 亚洲午夜电影网| 欧美一区日韩一区| 欧美大片18| 欧美性淫爽ww久久久久无| 国产亚洲欧美激情| 亚洲人成免费| 亚洲一二三区视频在线观看| 午夜精品福利一区二区三区av| 久久久九九九九| 欧美精品免费观看二区| 国产精品一区久久久| 亚洲第一在线综合在线| 亚洲调教视频在线观看| 久久av最新网址| 欧美黄免费看| 国产麻豆午夜三级精品| 亚洲国产精品久久久久婷婷884| 日韩一区二区精品| 久久激情综合| 欧美日韩国产成人| 国户精品久久久久久久久久久不卡| 亚洲国产专区校园欧美| 亚洲一区二区在线| 老妇喷水一区二区三区| 欧美午夜精品伦理| 永久免费毛片在线播放不卡| 这里只有精品在线播放| 久久免费视频在线| 欧美深夜影院| 在线观看日韩国产| 午夜精品一区二区三区在线播放| 女仆av观看一区| 国产女优一区| 一本色道久久精品| 米奇777在线欧美播放| 国产精品看片你懂得| 亚洲高清精品中出| 欧美亚洲日本一区| 欧美日本免费一区二区三区| 国产亚洲精品bt天堂精选| 亚洲精品一区中文| 久久久美女艺术照精彩视频福利播放 | 国产女人18毛片水18精品| 亚洲另类视频| 久久久欧美一区二区| 国产精品国产a级| 亚洲日本在线视频观看| 欧美一区二区三区在线观看视频| 欧美日韩精品系列| 亚洲大胆人体视频| 久久疯狂做爰流白浆xx| 国产精品久久久久久影院8一贰佰 国产精品久久久久久影视 | 激情校园亚洲| 亚洲欧美日韩国产综合在线 | 黄色成人在线网址| 午夜精品久久久久久久99水蜜桃| 欧美日韩黄色大片| 亚洲人成毛片在线播放| 久久综合久久综合久久| 国产亚洲一区在线播放| 亚洲主播在线观看| 欧美日韩中文精品| 亚洲另类视频| 欧美电影资源| 亚洲电影毛片| 久久久久久久久久久久久女国产乱 | 日韩五码在线| 欧美激情精品久久久| 在线观看欧美亚洲| 欧美在线日韩在线| 国产欧美一区二区三区沐欲| 亚洲一区二区黄色| 欧美日韩三级在线| 亚洲精选在线| 欧美精品综合| 日韩一级大片| 欧美黄在线观看| 亚洲欧洲免费视频| 免费在线看一区| 欧美日产一区二区三区在线观看| **性色生活片久久毛片| 久久久www成人免费精品| 国产日韩精品一区二区浪潮av| 亚洲一区二区在线视频| 国产精品福利在线| 亚洲一区二区精品| 国产精品素人视频| 性一交一乱一区二区洋洋av| 国产农村妇女精品一区二区| 欧美在线一区二区三区| 国内精品嫩模av私拍在线观看 | 欧美一区二区在线免费观看| 国产欧美精品xxxx另类| 欧美永久精品| 国产一区在线看| 久久久久高清| 1000部精品久久久久久久久| 鲁大师成人一区二区三区| 亚洲国产成人91精品| 欧美精品三区| 一区二区免费在线视频| 欧美性色视频在线| 亚洲欧美中文在线视频| 国产欧美在线观看一区| 久久久精品五月天| 亚洲国产婷婷香蕉久久久久久| 欧美黄色视屏| 亚洲视频你懂的| 国产精品尤物| 久久久亚洲国产天美传媒修理工| 亚洲国产精品va在线看黑人| 欧美国产先锋| 亚洲在线观看| 国产真实乱子伦精品视频| 久久性天堂网| 99在线|亚洲一区二区| 国产精品久久久一区二区| 午夜精品久久久久久久99热浪潮| 好看的av在线不卡观看| 欧美成人精品| 亚洲一区二区三区高清 | 一区二区三区精品久久久| 国产精品亚洲片夜色在线| 久久久免费观看视频| 亚洲精品免费电影| 国产精品伦理| 久久亚洲精品伦理| 99re6热在线精品视频播放速度| 国产精品你懂的| 久久久久久电影| 亚洲伦伦在线| 国产欧美在线播放| 欧美高清视频在线播放| 亚洲欧美日韩精品久久久| 一区二区在线视频播放| 欧美日韩亚洲一区三区 | 久久精品国产亚洲a| 亚洲精品日韩一| 国产农村妇女毛片精品久久麻豆 | 国产亚洲一级高清| 久久久国产精品亚洲一区| 亚洲精品在线三区| 国产免费成人av| 欧美高清在线| 欧美一级久久久| 亚洲精品麻豆| 国产在线精品二区| 欧美日韩不卡| 久久人人爽人人爽| 亚洲一区中文| 亚洲国产日韩欧美综合久久 | 日韩午夜电影| 黄网站色欧美视频| 国产精品国产三级国产专播精品人 | 国产网站欧美日韩免费精品在线观看 | 先锋影音国产一区| 亚洲精品永久免费精品| 国产专区综合网| 国产精品啊v在线| 免费亚洲一区二区| 欧美一区二区三区四区在线观看| 亚洲精品无人区| 韩国三级电影一区二区| 欧美亚洲第一页| 欧美成在线观看| 久久精品91| 亚洲在线黄色| 日韩午夜中文字幕| 在线观看久久av| 国产情侣一区| 欧美午夜一区二区福利视频| 欧美大片免费观看在线观看网站推荐 | 国产在线日韩| 国产精品户外野外| 欧美精品福利在线| 久久综合伊人77777| 欧美一区二区成人6969| 中国亚洲黄色| 亚洲每日在线| 亚洲电影毛片| 伊人精品视频| 国内精品久久久久久| 国产精品爽黄69| 欧美三区在线观看| 欧美女同在线视频| 欧美大片在线看| 欧美电影打屁股sp| 久久一区精品| 久久人91精品久久久久久不卡| 欧美在线视频网站| 欧美在线短视频| 欧美在线www| 久久av资源网站| 久久精品一级爱片| 久久精品在这里| 久久久精品性| 久久男人av资源网站| 久久蜜桃资源一区二区老牛| 久久久无码精品亚洲日韩按摩|