雲計算

OSS在線遷移服務剖析

作者:張醫博

在前遷移說明

  • 目前由於 OSS 數據遷移服務涉及到對目標的 OSS 要有很多 action 的 API 授權,為避免用戶產生過多的學習成本,我們直接強制使用主賬號進行遷移;
  • 該服務正在公測中,目前仍在免費使用階段;服務使用需要提前工單申請賬號 UID 加入白名單;

在線遷移分類

離線遷移:這裡是指的閃電立方硬盤數據 copy 的方式遷移到 OSS;適合用在專有云,以及海量 PB 級別數據想要快速遷移的需求

7.1.png

7.2.png

在線遷移:包含了第三方存儲遷移到 OSS 以及 ECS 數據遷移到 OSS
1、創建數據地址,類似 ossimport job.cfg 的操作,配置遷移的數據源,以及目標 OSS bucket 相關配置;

  • 遷移數據用的 accesskeyID 要具有對應的權限,授予子賬號存儲空間讀寫權限(AliyunOSSFullAccess)和在線遷移管理權限(AliyunMGWFullAccess)
  • 數據地址要創建兩個,一個源數據地址,一個目標數據地址;

7.3.png

7.4.png

2、創建遷移任務

7.5.png

7.6.png

3、任務類型說明
全量遷移:上傳所有的源文件到 OSS;
增量遷移:上傳前先 list 所有的源文件,比對哪些是已經上傳過的,將不再重複上傳;
數據同步:這裡注意下,當部署的是 OSS 之間遷移的任務時,可以在同區域進行數據同步操作,定期的同步源 bucket 數據到目標 bucket;
同時還可以針對指定文件的時間進行數據遷移;

7.7.png

4、調優設置
用戶配置好遷移體量和文件大致數量後,可以根據設置自動計算分配的工作線程數,同時用戶也可以靈活的按時間段限流,或者不限流;

7.8.png

5、注意
在創建遷移任務後,OSS 會去源拉個別文件進行測試,如果恰好源文件含有非法命名的 object 就會導致整個任務失敗,
非法字符包含 "/ .. " 以及長度不能超過 1024字節;

7.9.png

在線遷移管理

已經創建好的遷移任務,用戶可以對其進行管理和監控;

  • 進入到管理界面後我們可以看到遷移任務的整體監控(流量,任務狀態,遷移進展)

7.10.png

  • 任務遷移過程中如果出現失敗,用戶可以進行重試;

7.11.png

  • 任務遷移完成後,用戶生成遷移報告,包含來整體的遷移實際數量,是否有報錯,以及報錯原因等信息;報告是保存在 OSS 上的;

7.12.png

Leave a Reply

Your email address will not be published. Required fields are marked *