開發與維運

yugong阿里巴巴去Oracle數據遷移同步工具(全量+增量,目標支持MySQL/DRDS)

項目介紹

名稱:   yugong

譯意:   愚公移山

語言:   純java開發

定位:   數據庫遷移 (目前主要支持oracle / mysql / DRDS)

項目介紹

整個數據遷移過程,分為兩部分:

  1. 全量遷移
  2. 增量遷移

image.png

過程描述:

  1. 增量數據收集 (創建oracle表的增量物化視圖)
  2. 進行全量複製
  3. 進行增量複製 (可並行進行數據校驗)
  4. 原庫停寫,切到新庫

架構

image.png

{width="584" height="206"}

說明: 

  1. 一個Jvm Container對應多個instance,每個instance對應於一張表的遷移任務
  2.  instance分為三部分 a.  extractor  (從源數據庫上提取數據,可分為全量/增量實現) b.  translator  (將源庫上的數據按照目標庫的需求進行自定義轉化) c.  applier  (將數據更新到目標庫,可分為全量/增量/對比的實現)

方案設計

DevDesign

快速開始

QuickStart

運維管理

AdminGuide

性能報告

Performance

相關資料

  1. yugong簡單介紹ppt: ppt
  2. 分佈式關係型數據庫服務DRDS (前身為阿里巴巴公司的Cobar/TDDL的演進版本, 基本原理為MySQL分庫分表)

溝通與交流

  1. 詳見 wiki home 頁

Leave a Reply

Your email address will not be published. Required fields are marked *