今天給大家分享一個(gè)阿里開源的數(shù)據(jù)同步工具DataX，在Github擁有14.8k的star，非常受歡迎，地址：https://github.com/alibaba/DataX5Km28資訊網(wǎng)——每日最新資訊28at.com

什么是 Datax?

DataX 是阿里云 DataWorks數(shù)據(jù)集成 的開源版本，使用Java 語(yǔ)言編寫，在阿里巴巴集團(tuán)內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)。DataX 實(shí)現(xiàn)了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各種異構(gòu)數(shù)據(jù)源之間高效的數(shù)據(jù)同步功能。5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

應(yīng)用場(chǎng)景有那些？

1. 數(shù)據(jù)倉(cāng)庫(kù)同步：DataX 可以幫助將數(shù)據(jù)從一個(gè)數(shù)據(jù)倉(cāng)庫(kù)（如關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)存儲(chǔ)系統(tǒng)等）同步到另一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)的遷移、備份或復(fù)制。
2. 數(shù)據(jù)庫(kù)遷移：當(dāng)我們需要將數(shù)據(jù)從一個(gè)數(shù)據(jù)庫(kù)平臺(tái)遷移到另一個(gè)數(shù)據(jù)庫(kù)平臺(tái)時(shí)，DataX 可以幫助完成數(shù)據(jù)的轉(zhuǎn)移和轉(zhuǎn)換工作
3. 數(shù)據(jù)集成與同步：DataX 可以用作數(shù)據(jù)集成工具，用于將多個(gè)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合和同步。它支持多種數(shù)據(jù)源，包括關(guān)系型數(shù)據(jù)庫(kù)、NoSQL 數(shù)據(jù)庫(kù)、文件系統(tǒng)等，可以將這些數(shù)據(jù)源的數(shù)據(jù)整合到一個(gè)目標(biāo)數(shù)據(jù)源中。
4. 數(shù)據(jù)清洗與轉(zhuǎn)換：DataX 提供了豐富的數(shù)據(jù)轉(zhuǎn)換能力，可以對(duì)數(shù)據(jù)進(jìn)行清洗、過(guò)濾、映射、格式轉(zhuǎn)換等操作。這對(duì)于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)集市等數(shù)據(jù)存儲(chǔ)和分析平臺(tái)非常有用，可以幫助提高數(shù)據(jù)質(zhì)量和一致性。
5. 數(shù)據(jù)備份與恢復(fù)：DataX 可以用于定期備份和恢復(fù)數(shù)據(jù)。通過(guò)配置定時(shí)任務(wù)，可以將數(shù)據(jù)從源端備份到目標(biāo)端，并在需要時(shí)進(jìn)行數(shù)據(jù)恢復(fù)。

DataX支持那些數(shù)據(jù)源？

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

架構(gòu)設(shè)計(jì)

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

DataX作為離線數(shù)據(jù)同步框架，采用Framework + plugin架構(gòu)構(gòu)建。將數(shù)據(jù)源讀取和寫入抽象成為Reader/Writer插件，納入到整個(gè)同步框架中。5Km28資訊網(wǎng)——每日最新資訊28at.com

• Reader：Reader為數(shù)據(jù)采集模塊，負(fù)責(zé)采集數(shù)據(jù)源的數(shù)據(jù)，將數(shù)據(jù)發(fā)送給Framework。
• Writer：Writer為數(shù)據(jù)寫入模塊，負(fù)責(zé)不斷向Framework取數(shù)據(jù)，并將數(shù)據(jù)寫入到目的端。
• Framework：Framework用于連接reader和writer，作為兩者的數(shù)據(jù)傳輸通道，并處理緩沖，流控，并發(fā)，數(shù)據(jù)轉(zhuǎn)換等核心技術(shù)問(wèn)題。

DataX 開源版本支持單機(jī)多線程模式完成同步作業(yè)運(yùn)行，如下圖5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

1. DataX完成單個(gè)數(shù)據(jù)同步的作業(yè)，稱之為Job，DataX接受到一個(gè)Job之后，將啟動(dòng)一個(gè)進(jìn)程來(lái)完成整個(gè)作業(yè)同步過(guò)程。DataX Job模塊是單個(gè)作業(yè)的中樞管理節(jié)點(diǎn)，承擔(dān)了數(shù)據(jù)清理、子任務(wù)切分(將單一作業(yè)計(jì)算轉(zhuǎn)化為多個(gè)子Task)、TaskGroup管理等功能。
2. DataXJob啟動(dòng)后，會(huì)根據(jù)不同的源端切分策略，將Job切分成多個(gè)小的Task(子任務(wù))，以便于并發(fā)執(zhí)行。Task便是DataX作業(yè)的最小單元，每一個(gè)Task都會(huì)負(fù)責(zé)一部分?jǐn)?shù)據(jù)的同步工作。
3. 切分多個(gè)Task之后，DataX Job會(huì)調(diào)用Scheduler模塊，根據(jù)配置的并發(fā)數(shù)據(jù)量，將拆分成的Task重新組合，組裝成TaskGroup(任務(wù)組)。每一個(gè)TaskGroup負(fù)責(zé)以一定的并發(fā)運(yùn)行完畢分配好的所有Task，默認(rèn)單個(gè)任務(wù)組的并發(fā)數(shù)量為5。
4. 每一個(gè)Task都由TaskGroup負(fù)責(zé)啟動(dòng)，Task啟動(dòng)后，會(huì)固定啟動(dòng)Reader—>Channel—>Writer的線程來(lái)完成任務(wù)同步工作。
5. DataX作業(yè)運(yùn)行起來(lái)之后， Job監(jiān)控并等待多個(gè)TaskGroup模塊任務(wù)完成，等待所有TaskGroup任務(wù)完成后Job成功退出。否則，異常退出，進(jìn)程退出值非0

DataX調(diào)度流程

舉例來(lái)說(shuō)，用戶提交了一個(gè)DataX作業(yè)，并且配置了20個(gè)并發(fā)，目的是將一個(gè)100張表的mysql數(shù)據(jù)同步到odps里面。DataX的調(diào)度決策是：5Km28資訊網(wǎng)——每日最新資訊28at.com

1. Job根據(jù)分表切分成了100個(gè)Task。
2. 根據(jù)20個(gè)并發(fā)，DataX計(jì)算需要分配4個(gè)TaskGroup。
3. 4個(gè)TaskGroup平分切分好的100個(gè)Task，每一個(gè)TaskGroup負(fù)責(zé)5個(gè)并發(fā)共計(jì)運(yùn)行25個(gè)Task。

如何使用 Datax?

點(diǎn)擊datax 下載，下載后解壓至本地某個(gè)目錄，如下圖5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

用例說(shuō)明

這里為了方便演示，我們同步MySQL的user_info表至MySQL的ods_test_mysql_user_info_m，同步條件為更新時(shí)間字段，如下5Km28資訊網(wǎng)——每日最新資訊28at.com

在實(shí)際工作中你可以選擇不同類型的數(shù)據(jù)源測(cè)試5Km28資訊網(wǎng)——每日最新資訊28at.com

drop table ods_test_mysql_user_info_mCREATE TABLE `user_info` (  `id` int NOT NULL COMMENT 'ID',  `name` varchar(50) NOT NULL COMMENT '名稱',  `sex` tinyint NOT NULL COMMENT '性別 1男 2女',  `phone` varchar(11) COMMENT '手機(jī)', `address` varchar(1000)  COMMENT '地址', `age` int  COMMENT '年齡', `create_time` datetime(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) COMMENT '創(chuàng)建時(shí)間',  `update_time` datetime(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '修改時(shí)間',  PRIMARY KEY (`id`) USING BTREE) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3 COMMENT='用戶信息表';CREATE TABLE `ods_test_mysql_user_info_m` (  `id` int NOT NULL COMMENT 'ID',  `name` varchar(50) NOT NULL COMMENT '名稱',  `sex` tinyint NOT NULL COMMENT '性別 1男 2女',  `phone` varchar(11) COMMENT '手機(jī)', `address` varchar(1000)  COMMENT '地址', `age` int  COMMENT '年齡', `create_time` datetime(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) COMMENT '創(chuàng)建時(shí)間',  `update_time` datetime(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '修改時(shí)間',  PRIMARY KEY (`id`) USING BTREE) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3 COMMENT='用戶信息數(shù)倉(cāng)表';

在user_info表中插入數(shù)據(jù)如下5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

創(chuàng)建作業(yè)的配置文件（json格式）

在 datax 的 script 目錄，創(chuàng)建ods_test_mysql_user_info_m.json文件，配置如下，mysqlreader表示讀取端，mysqlwriter表示寫入端5Km28資訊網(wǎng)——每日最新資訊28at.com

{    "job": {        "content": [            {                "reader": {                    "name": "mysqlreader",                    "parameter": {                        "column": ["id","name","sex","phone","address","age","create_time","update_time"],                       "splitPk": "id",                        "connection": [                            {                                "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false"],                                "table": ["user_info"]                            }                        ],                        "password": "root",                        "username": "root",                        "where": "update_time > '${updateTime}' "                    }                },                "writer": {                    "name": "mysqlwriter",                    "parameter": {                       "writeMode": "replace",                        "column": ["id","name","sex","phone","address","age","create_time","update_time"],                        "connection": [                            {                                "jdbcUrl":"jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false",                                "table": ["ods_test_mysql_user_info_m"]                            }                        ],                        "username": "root",                        "password": "root",                        "preSql": [],                        "session": [                          "set session sql_mode='ANSI'"                        ]                    }                }            }        ],        "setting": {            "speed": {                "channel": "5"            }        }    }}

創(chuàng)建執(zhí)行腳本

為了更貼合實(shí)際，寫一個(gè)調(diào)度腳本sync.sh支持動(dòng)態(tài)參數(shù)來(lái)執(zhí)行任務(wù)5Km28資訊網(wǎng)——每日最新資訊28at.com

#!/bin/bash## 執(zhí)行示例 sh /Users/weizhao.dong/Documents/soft/datax/datax-script/call.sh /Users/weizhao.dong/Documents/soft/datax/datax-script/dwd_g2park_inout_report_s.json 1jsnotallow=$1echo '執(zhí)行腳本:'$jsonScriptinterval=$2echo "時(shí)間間隔(分鐘):"$intervalnow_time=$(date '+%Y-%m-%d %H:%M:%S')echo "當(dāng)前時(shí)間："$now_timeupdate_time=$(date -v -${interval}M  '+%Y-%m-%d %H:%M:%S')#linux 更新時(shí)間獲取#update_time=$(date -d "${now_time} $interval minute ago" +"%Y-%m-%d %H:%M:%S")echo "更新時(shí)間："$update_time#執(zhí)行python3 /Users/weizhao.dong/Documents/soft/datax/bin/datax.py $jsonScript -p "-DupdateTime='${update_time}'"

假設(shè)我們要執(zhí)以上ods_test_mysql_user_info_m.json腳本，并且同步十分鐘之前的數(shù)據(jù)，如下5Km28資訊網(wǎng)——每日最新資訊28at.com

./sync.sh ods_test_mysql_user_info_m.json 10

測(cè)試

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

執(zhí)行./sync.sh ods_test_mysql_user_info_m.json 10進(jìn)行同步5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

以上結(jié)果可能有些人有疑問(wèn)，就三條數(shù)據(jù)執(zhí)行時(shí)間為 10s，其實(shí)這個(gè) 10s主要是初始化時(shí)間，耗時(shí)過(guò)長(zhǎng)，同步的數(shù)據(jù)量多了優(yōu)勢(shì)就體現(xiàn)出來(lái)了，以下為實(shí)際生產(chǎn)同步數(shù)據(jù)結(jié)果，可以看到同步63102條耗時(shí)22s5Km28資訊網(wǎng)——每日最新資訊28at.com

推薦用法

以上我們只是通過(guò)一個(gè)簡(jiǎn)單的示例來(lái)演示了dataX如何使用，如果只是一次性同步，沒(méi)問(wèn)題，但是如果是周期性進(jìn)行同步，有以下幾種方式推薦5Km28資訊網(wǎng)——每日最新資訊28at.com

crontab調(diào)度

這種方式是最簡(jiǎn)單的，可以使用操作系統(tǒng)中的crontab定時(shí)調(diào)度，通過(guò)crontab -e編輯corn 任務(wù)，添加對(duì)應(yīng)腳本即可5Km28資訊網(wǎng)——每日最新資訊28at.com

海豚調(diào)度器

在種方式在大數(shù)據(jù)領(lǐng)域用的比較多，典型場(chǎng)景就是 mysql 同步到數(shù)倉(cāng)，海豚調(diào)度器內(nèi)置了 datax 并且提供了圖形化配置界面，配置起來(lái)非常方便5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

同時(shí)每次執(zhí)行都有記錄，并且都有對(duì)應(yīng)的日志5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片5Km28資訊網(wǎng)——每日最新資訊28at.com

定時(shí)任務(wù)框架（elasticjob/xxl-job）

定時(shí)調(diào)度框架都支持調(diào)度 shell 腳本，通過(guò)傳入對(duì)應(yīng)參數(shù)也可執(zhí)行5Km28資訊網(wǎng)——每日最新資訊28at.com

圖片 5Km28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://m.www897cc.com/showinfo-26-72430-0.html什么是數(shù)據(jù)同步利器DataX，如何使用？

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 【踩坑指南】線程池使用不當(dāng)?shù)奈鍌€(gè)坑

下一篇： 如何在PHP中使用 Caddy2 協(xié)同服務(wù)