當前位置：首頁 > 科技 > 軟件

大數據面試：分層設計思想

來源：責編：時間：2024-07-05 09:06:11 1173觀看

導讀ODS-DWD-DWS-ADS數據倉庫的分層設計（ODS-DWD-DWS-ADS）是一種常見的架構設計方法，通過將數據分層存儲和處理，來提高數據的質量、管理和查詢性能。以下是對每一層的詳細描述：ODS（Operational Data Store，操作數據存儲）功能：ODS是

ODS-DWD-DWS-ADS

數據倉庫的分層設計（ODS-DWD-DWS-ADS）是一種常見的架構設計方法，通過將數據分層存儲和處理，來提高數據的質量、管理和查詢性能。以下是對每一層的詳細描述：

ODS（Operational Data Store，操作數據存儲）

功能：

ODS是最原始的數據存儲層，用于保存從各種源系統實時或準實時獲取的原始數據。
數據在ODS中是未經處理或僅進行簡單清洗的數據，保留了數據的完整性和細節。

特點：

數據實時或準實時地加載。
數據格式與源系統一致。
數據保留時間較短，主要用于實時分析和臨時查詢。

DWD（Data Warehouse Detail，明細數據層）

功能：

DWD層對ODS層的數據進行初步處理和清洗，形成標準化的、細粒度的明細數據。
該層的數據具有一定的一致性和完整性。

特點：

進行數據清洗、轉換和初步的聚合。
保留數據的細節和完整性，適用于細粒度的分析和查詢。
數據存儲時間較長，通常為幾個月到幾年。

DWS（Data Warehouse Service，服務數據層）

功能：

DWS層對DWD層的數據進行進一步的加工和聚合，生成面向主題的中間數據。
該層的數據通常用于多維分析和報表。

特點：

數據經過進一步清洗、聚合和轉換，適用于多維分析（OLAP）。
提供給業務人員用于決策支持和業務分析。
數據存儲時間較長，通常為幾年。

ADS（Application Data Store，應用數據層）

功能：

ADS層是數據倉庫的最頂層，主要用于支持具體的應用和業務需求。
該層的數據經過高度聚合和摘要，提供給最終用戶進行直接查詢和分析。

特點：

數據高度聚合，支持快速查詢和報表生成。
面向具體應用和業務需求設計，提供給BI工具和終端用戶。
數據存儲時間可根據應用需求靈活設置。

分層設計的優勢

數據治理通過分層處理數據，可以更好地管理數據質量，確保數據的一致性和準確性。
性能優化分層設計將數據處理和存儲職責分離，提高了數據倉庫的查詢性能和擴展性。
靈活性不同層的數據可以滿足不同類型的查詢和分析需求，提供了更大的靈活性。
可維護性分層設計使得數據處理流程更加清晰和可維護，有助于數據倉庫的長期管理和優化。

通過這種分層設計，數據倉庫能夠有效地處理和存儲大量數據，同時為各種分析和業務需求提供支持。

涉及到的技術棧

在數據倉庫的分層設計（ODS-DWD-DWS-ADS）中，各層可以使用不同的技術棧來實現。以下是每一層常用的技術棧：

ODS（Operational Data Store，操作數據存儲）

涉及技術棧：

數據源各種業務系統，如ERP、CRM、銷售系統等。
數據采集工具

ETL工具：Apache NiFi、Talend、Informatica、Pentaho

CDC（Change Data Capture）工具：Debezium、Oracle GoldenGate

數據同步工具：Apache Sqoop、Apache Flume

數據庫
關系型數據庫：MySQL、PostgreSQL、Oracle
NoSQL數據庫：MongoDB、Cassandra

DWD（Data Warehouse Detail，明細數據層）

涉及技術棧：

ETL工具 Apache NiFi、Apache Airflow、Talend、Informatica、Pentaho
數據處理框架

批處理：Apache Spark、Apache Flink、Apache Hadoop（MapReduce）

流處理：Apache Kafka Streams、Apache Flink、Apache Storm

數據存儲
分布式文件系統：Hadoop HDFS
列式存儲：Apache Parquet、Apache ORC
數據湖：Apache Hudi、Delta Lake

DWS（Data Warehouse Service，服務數據層）

涉及技術棧：

ETL工具 Apache Airflow、Apache NiFi、Talend
數據處理框架

批處理：Apache Spark、Apache Hive

流處理：Apache Flink、Apache Storm

數據存儲
分布式數據倉庫：Apache Hive、Apache HBase、Google BigQuery、Amazon Redshift
列式存儲：Apache Parquet、Apache ORC
數據湖：Delta Lake、Apache Iceberg
OLAP引擎 Apache Kylin、Druid、ClickHouse、Presto

ADS（Application Data Store，應用數據層）

涉及技術棧：

ETL工具 Apache Airflow、Talend、Informatica
數據處理框架

批處理：Apache Spark、Apache Hive

流處理：Apache Flink、Apache Kafka Streams

數據存儲
數據庫：MySQL、PostgreSQL、Oracle
數據倉庫：Amazon Redshift、Google BigQuery、Snowflake
BI工具 Tableau、Power BI、Looker、QlikView、Domo

其他輔助技術

數據治理與質量 Apache Atlas、Apache Griffin、Talend Data Quality
數據編排與調度 Apache Airflow、Apache Oozie、Prefect
數據可視化 Tableau、Power BI、Looker、Grafana
數據安全與訪問控制 Apache Ranger、Apache Sentry

通過使用這些技術棧，可以有效地實現數據倉庫的各個層次，從而滿足不同層次的需求和應用場景。

構建ODS-DWD-DWS-ADS的步驟

構建ODS-DWD-DWS-ADS數據倉庫的過程可以分為幾個步驟，每一步都需要特定的技術和方法來實現數據的采集、清洗、轉換、存儲和分析。以下是構建這一架構的詳細步驟：

構建ODS（Operational Data Store，操作數據存儲）

步驟：

數據源識別

確定需要集成的數據源（如ERP、CRM、銷售系統等）。

數據采集

使用ETL工具（如Apache NiFi、Talend、Informatica）或CDC工具（如Debezium、Oracle GoldenGate）從數據源中采集數據。
配置數據采集任務，確保實時或準實時地獲取數據。

數據存儲

將采集到的原始數據存儲在關系型數據庫（如MySQL、PostgreSQL）或NoSQL數據庫（如MongoDB、Cassandra）中。

數據監控與管理

設置數據質量監控和異常處理機制，確保數據的完整性和準確性。

構建DWD（Data Warehouse Detail，明細數據層）

步驟：

數據清洗

使用ETL工具（如Apache NiFi、Apache Airflow、Talend）對ODS中的數據進行清洗，處理缺失值、重復值和錯誤數據。

數據轉換

對清洗后的數據進行標準化和格式轉換，確保數據的一致性。

數據存儲

將處理后的細粒度數據存儲在分布式文件系統（如Hadoop HDFS）或列式存儲格式（如Apache Parquet、Apache ORC）中。

數據加載

配置數據加載任務，定期將ODS數據加載到DWD層。

構建DWS（Data Warehouse Service，服務數據層）

步驟：

數據聚合

使用批處理框架（如Apache Spark、Apache Hive）或流處理框架（如Apache Flink、Apache Storm）對DWD層的數據進行聚合和轉換。

數據建模

基于業務需求和分析目標，進行數據建模和多維數據集的創建。

數據存儲

將聚合后的數據存儲在分布式數據倉庫（如Apache Hive、Apache HBase）或數據湖（如Delta Lake、Apache Iceberg）中。

OLAP配置

配置OLAP引擎（如Apache Kylin、Druid、ClickHouse），支持多維分析和快速查詢。

構建ADS（Application Data Store，應用數據層）

步驟：

數據摘要和匯總

使用數據處理框架（如Apache Spark、Apache Hive）對DWS層的數據進行進一步的聚合和摘要。

數據定制

根據具體的業務需求和應用場景，對數據進行定制化處理。

數據存儲

將處理后的數據存儲在關系型數據庫（如MySQL、PostgreSQL）或數據倉庫（如Amazon Redshift、Google BigQuery、Snowflake）中。

BI工具集成

配置BI工具（如Tableau、Power BI、Looker），實現數據的可視化展示和自助分析。

用戶訪問控制

設置數據訪問權限，確保數據的安全性和合規性。

輔助步驟

數據治理與質量

使用數據治理工具（如Apache Atlas）和數據質量管理工具（如Apache Griffin）確保數據的完整性、一致性和準確性。

數據編排與調度

使用數據編排和調度工具（如Apache Airflow、Apache Oozie）管理和調度ETL任務，確保數據處理流程的自動化和可監控性。

數據安全與合規

實施數據安全措施（如Apache Ranger、Apache Sentry），確保數據訪問的安全性和合規性。

通過這些步驟，可以系統化地構建ODS-DWD-DWS-ADS數據倉庫架構，滿足企業對數據采集、存儲、處理和分析的需求。

ODS-DWD-DWS-ADS最小化部署方案

要構建一個最小化的ODS-DWD-DWS-ADS數據倉庫架構，可以選擇使用一些開源工具和框架來實現。以下是一個簡單的部署方案，包括各個層次的最小化配置和實現步驟：

環境準備

服務器

至少需要一臺服務器（可以是物理機或虛擬機），建議配置較高的CPU和內存。

操作系統

Linux（如Ubuntu或CentOS）或Windows。

最小化技術棧選擇

ETL工具 Apache NiFi
數據處理框架 Apache Spark
數據存儲 MySQL、Apache Hive
BI工具 Tableau Public或Power BI Desktop（用于數據可視化）

ODS（Operational Data Store，操作數據存儲）

技術棧：

數據源模擬數據源（如CSV文件、簡單的Web API）
數據采集工具 Apache NiFi
數據庫 MySQL

步驟：

安裝MySQL

sudo apt-get updatesudo apt-get install mysql-server

配置MySQL，并創建一個數據庫用于存儲ODS數據。

安裝Apache NiFi

wget https://archive.apache.org/dist/nifi/1.13.2/nifi-1.13.2-bin.tar.gztar -xzf nifi-1.13.2-bin.tar.gzcd nifi-1.13.2./bin/nifi.sh start

在瀏覽器中打開NiFi Web UI（默認端口8080），配置數據采集流程，將數據從模擬數據源導入MySQL。

DWD（Data Warehouse Detail，明細數據層）

技術棧：

數據處理框架 Apache Spark
數據存儲 Apache Hive

步驟：

安裝Apache Spark

wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgztar -xzf spark-3.1.2-bin-hadoop3.2.tgz

安裝Apache Hive

wget https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gztar -xzf apache-hive-3.1.2-bin.tar.gzcd apache-hive-3.1.2-binbin/schematool -dbType mysql -initSchema

數據清洗與轉換

編寫Spark作業（使用PySpark或Scala），從MySQL中讀取數據，對數據進行清洗和轉換，將處理后的數據寫入Hive。

DWS（Data Warehouse Service，服務數據層）

技術棧：

數據處理框架 Apache Spark
數據存儲 Apache Hive

步驟：

數據聚合與建模

編寫Spark作業，對Hive中的DWD數據進行聚合和轉換，生成面向主題的中間數據表。

ADS（Application Data Store，應用數據層）

技術棧：

數據存儲 MySQL
BI工具 Tableau Public或Power BI Desktop

步驟：

數據摘要和匯總

編寫Spark作業，對DWS中的數據進行進一步的聚合和摘要，將結果寫入MySQL。

安裝BI工具

下載并安裝Tableau Public或Power BI Desktop。
配置數據源連接到MySQL，創建可視化報表和儀表盤。

輔助步驟

數據編排與調度

調度工具使用簡單的cron作業調度ETL任務。

crontab -e

添加cron任務調度Spark作業和NiFi數據采集任務。

數據監控與管理

在Apache NiFi中配置數據監控和警報機制，確保數據采集流程的穩定性。

總結

這個最小化部署方案使用了較少的工具和框架，但仍然涵蓋了ODS-DWD-DWS-ADS數據倉庫架構的基本功能。通過這種方式，我們可以快速構建一個簡單的數據倉庫，并根據需求逐步擴展和優化。

本文鏈接：http://m.www897cc.com/showinfo-26-98866-0.html大數據面試：分層設計思想

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 10 款炫酷的前端 CSS 加載器和進度條動畫

下一篇：每月超1.5億次下載的前端工具，作者寫了一個更強大的替代品！

標簽：

熱門焦點

一加Ace2 Pro官宣：普及16G內存引領24G

一加官方今天繼續為本月發布的新機一加Ace2 Pro帶來預熱，公布了內存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待。”同時
印度登月最關鍵一步！月船三號今晚進入環月軌道

8月5日消息，據印度官方消息，月船三號將于北京時間今晚21時30分左右開始近月制動進入環月軌道。這是該探測器能夠成功的最關鍵步驟之一，如果成功將開始圍
分享六款相見恨晚的PPT模版網站, 祝你做出精美的PPT!

1、OfficePLUSOfficePLUS網站旨在為全球Office用戶提供豐富的高品質原創PPT模板、實用文檔、數據圖表及個性化定制服務。優點：OfficePLUS是微軟官方網站，囊括PPT模板、Word模
深度探索 Elasticsearch 8.X：function_score 參數解讀與實戰案例分析

在 Elasticsearch 中，function_score 可以讓我們在查詢的同時對搜索結果進行自定義評分。function_score 提供了一系列的參數和函數讓我們可以根據需求靈活地進行設置。近期
馮提莫簽約抖音公會前“斗魚一姐”消失在直播間

來源：直播觀察提起“馮提莫”這個名字，很多網友或許聽過，但應該不記得她是哪位主播了。其實，作為曾經的“斗魚一姐”，馮提莫在游戲直播的年代影響力不輸于現
信通院：小米、華為等11家應用商店基本完成APP簽名及驗簽工作

中國信通院表示，目前，小米、華為、OPPO、vivo、360手機助手、百度手機助手、應用寶、豌豆莢和努比亞等9家應用商店，以及抖音和快手2家新型應用分發平
網傳小米汽車開始篩選交付中心建筑面積不低于3000平方米

7月7日消息，近日有微博網友@長三角行健者爆料稱，據經銷商集團反饋，小米汽車目前已經開始了交付中心的篩選工作，要求候選場地至少有120個車位，建筑不能低
iQOO Neo8系列今日官宣：首發天璣9200+ 全球安卓最強芯！

在昨日舉行的的聯發科新一代旗艦芯片天璣9200+的發布會上，iQOO官方也正式宣布，全新的iQOO Neo8系列新品將全球首發搭載這款當前性能最強大的移動平臺
電博會上海爾智家模擬500平大平層，還原生活空間沉浸式體驗

電博會為了更好地讓參展觀眾真正感受到智能家居的絕妙之處，海爾智家的程傳嶺先生同樣介紹了展會上海爾智家的模擬500平大平層，還原生活空間沉浸式體驗。程傳