Apsara Clouder認證之旅 數據倉庫系統的運維優化

認證名稱及鏈接

Apsara Clouder大數據技能認證：數據倉庫系統的運維優化

 

課時列表

• 課時1：數據倉庫系統運維介紹
• 課時2：數據倉庫系統運維技術方案
• 課時3：阿里雲數據倉庫運維開發平臺DataWorks介紹
• 課時4：阿里雲相關產品基本操作演示
• 課時5：利用阿里雲DataWorks產品實現數據倉庫系統運維
• 課時6：【在線實驗】數據倉庫系統的運維優化

 

證書

 

筆記

• 倉庫系統的運維

  1. 確保系統正常運轉
  2. 出現問題能夠及時解決

• 運維管理的主要目標

  1. 合規性
  2. 可用性
  3. 可靠性
  4. 經濟性
  5. 服務性

• 運維發展

  1. 被動手工無系統
  2. 半手工半自動運維
  3. 自動化運維
  4. 智能運維

• 運維主要流程

  1. 數據採集
  2. 分析處理
  3. 結果應用

• 數據倉庫運維模式

  1. 垂直模式
  2. 橫向模式
  3. 均衡模式

• 數據倉庫系統的運維框架

  1. 人員
  2. 流程
  3. 工具
  4. 外服
  5. 數據&業務

• 數倉系統運維數據流優化策略

  1. 依據業務邏輯
  2. 依據處理效率
  3. 依據處理時間
  4. 依據重要程度
  5. 依據數據量
  6. 依據源系統

• 數倉運維自動化技術方案

  1. 關鍵：流程+工具
  2. 目標：標準化、流程化、原子化

• 自動化運維

  1. 資源管理
  2. 安裝配置
  3. 發佈部署
  4. 自動巡檢
  5. 變更管理
  6. 安全審計

• 運維智能化技術

  1. 異常檢查
  2. 智能告警
  3. 關聯分析
  4. 故障定位
  5. 自愈預測
• 數倉運維利器：高效調度系統
• 數倉數據運維的根本：元數據

• DataWorks（原名：Data IDE）

  1. 數據開發
  2. 數據管理
  3. 作業調度

• DataWorks 系統角色

  1. 組織管理員
  2. 項目管理員
  3. 開發
  4. 運維
  5. 部署
  6. 訪客

• DataWorks 基本概念

  1. 組織
  2. 項目空間
  3. 作業
  4. 工作流
  5. 節點
  6. 依賴關係
  7. 實例
  8. 資源
  9. 自定義函數
• MaxCompute、RDS、DataWorks
• SQL

 

備註

工匠精神，精益求精，踏實學習，再接再厲O(∩_∩)O
歡迎各位同學一起來交流學習心得！