日韩欧美久久综合一区_日韩黄色无码一区二区三区_真真久久特黄无码毛片_日韩aa视频在线观看

世界滾動:初探ETLCloud CDC零代碼實現(xiàn)MySQL數(shù)據(jù)實時同步

  • 商洛在線
  • 2023-06-23 17:09:08
  • 來源：RestCloud

1. CDC實時數(shù)據(jù)同步的應(yīng)用場景

CDC實時同步功能是現(xiàn)代數(shù)據(jù)倉庫技術(shù)中常見的一種數(shù)據(jù)同步技術(shù)，能夠?qū)崿F(xiàn)實時交互、持續(xù)同步、高可用性和高性能的數(shù)據(jù)傳輸。

應(yīng)用場景：

實時數(shù)據(jù)備份：將源系統(tǒng)的數(shù)據(jù)實時備份到目標數(shù)據(jù)系統(tǒng)中，確保數(shù)據(jù)的實時性和可靠性。


(資料圖片)

高效數(shù)據(jù)同步：保證源系統(tǒng)中數(shù)據(jù)變化及時地同步到目標數(shù)據(jù)系統(tǒng)中，減少數(shù)據(jù)同步延遲和數(shù)據(jù)丟失。

數(shù)據(jù)異構(gòu)轉(zhuǎn)換：將不同數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)進行異構(gòu)轉(zhuǎn)換，實現(xiàn)數(shù)據(jù)的互通和共享。

數(shù)據(jù)監(jiān)管和審計：對數(shù)據(jù)的改動進行監(jiān)管和審計，提高數(shù)據(jù)的安全性和合規(guī)性。

ETLCloud CDC 介紹

ETLCloud CDC是一款容安裝易使用的、零代碼的CDC實時數(shù)據(jù)同步工具，ETLCloud CDC具有以下功能特點：

零代碼：只需簡單配置，無需任何代碼即可完成CDC的配置和同步。

實時數(shù)據(jù)同步：將一個或多個源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)實時傳輸?shù)侥繕藬?shù)據(jù)系統(tǒng)。

增量數(shù)據(jù)同步：高效的數(shù)據(jù)同步方式，可以只同步最新的更新內(nèi)容，避免全部備份和傳輸。

數(shù)據(jù)源類型：ETLCloud CDC支持多種數(shù)據(jù)源類型的實時同步主要包含：MySQL、Sql Server、Oracle、PG、MQ等。

實時數(shù)據(jù)類型轉(zhuǎn)換：實時將原始數(shù)據(jù)轉(zhuǎn)換為目標端可以識別的格式，從而保證數(shù)據(jù)準確性和有效性。

DDL同步: 當源表的DDL發(fā)現(xiàn)變更時自動同步目標表的DDL。

斷點自動恢復(fù)：在傳送過程中發(fā)生異常時能自動從斷點位置重新傳送實時數(shù)據(jù)。

CDC+ETL一體化架構(gòu): 通過CDC實時數(shù)據(jù)流與ETL的結(jié)合實現(xiàn)對實時復(fù)雜數(shù)據(jù)的處理需求。

此外，ETLCloud CDC 還具備高可用性、靈活配置、數(shù)據(jù)安全加密、任務(wù)監(jiān)控等功能，可滿足不同場景下企業(yè)級應(yīng)用的要求。

安裝部署

3.1安裝ETLCloud CDC

步驟1：官網(wǎng)下載linux一鍵部署包，把一鍵部署包放到一個目錄下解壓并進入該目錄。

對腳本文件進行賦權(quán)

chmod +x restcloud_install.sh

執(zhí)行腳本

./restcloud_install.sh

等待tomcat啟動，當出現(xiàn)這個界面，則restcloud證明啟動成功

步驟2：打開瀏覽器輸入{host}/restcloud/admin/login

輸入用戶名密碼: admin/pass

步驟3：登入系統(tǒng)后我們?nèi)ス倬W(wǎng)申請sn碼

填寫好郵箱和對應(yīng)的機器號，點擊驗證發(fā)送驗證郵件然后就會返回申請的序列號到所填寫的郵箱

將返回的序列號填好，點擊保存，刷新頁面進入到首頁

步驟4：填寫好序列號后, 需要執(zhí)行下版本更新, 在平臺主頁選擇平臺監(jiān)控 -> 一鍵備份升級,點擊版本更新按鈕，重啟Tomcat即可。

進入tomcat/bin目錄

cd /usr/tomcat/bin

//啟動tomcat并打印啟動日志

./startup.sh && tail -f ../logs/catalina.out

ETLCloud CDC實時庫表同步

步驟1： 啟用MySQL的CDC功能，需要在MySQL的my.cnf配置文件中設(shè)置相應(yīng)的參數(shù)。

在配置文件中增加如下配置，開啟Binlog。

server-id = 123

log_bin = mysql-bin

binlog_format = row

binlog_row_image = full

expire_logs_days = 10

gtid_mode = on

enforce_gtid_consistency = on

修改完配置參數(shù)后重啟MySQL服務(wù)

步驟2： 創(chuàng)建數(shù)據(jù)監(jiān)聽器

步驟3： 配置數(shù)據(jù)監(jiān)聽器

在創(chuàng)建數(shù)據(jù)同步任務(wù)后，需要對同步任務(wù)進行配置。在這個過程中，您需要指定要同步的表以及數(shù)據(jù)傳輸模式。

步驟4： 啟動同步任務(wù)

完成同步任務(wù)的配置后，您需要啟動同步任務(wù)以開始實時同步數(shù)據(jù)。在ETLCloud中，可以通過單擊“啟動”按鈕來啟動同步任務(wù)。

步驟5： 監(jiān)控同步任務(wù)

啟動數(shù)據(jù)同步任務(wù)后，可以通過監(jiān)控面板統(tǒng)計圖來了解任務(wù)的運行狀態(tài)、同步量以及異常情況。

使用Navicat查看源表數(shù)據(jù)（restcloud.test）

使用Navicat查看目標表數(shù)據(jù)（test.test）

執(zhí)行插入語句

監(jiān)控面板統(tǒng)計圖

再次使用Navicat查看源表數(shù)據(jù)（restcloud.test）

目標表數(shù)據(jù)（test.test）

通過對比發(fā)現(xiàn)ETLCloud CDC實時同步功能成功使用。

ETLCloud CDC實時同步功能是一種高效、可靠的數(shù)據(jù)同步方案，它可以用于實現(xiàn)源數(shù)據(jù)庫和目標數(shù)據(jù)庫之間的實時同步，從而提高數(shù)據(jù)集成和應(yīng)用開發(fā)的效率。

ETLCloud CDC社區(qū)免費版本下載地址：ETLCloud 全域數(shù)據(jù)集成平臺

標簽：

?

熱門資訊 日 周 總

推薦More