雲計算

Spark on ECI大數據分析

雲棲號最佳實踐:【點擊查看更多上雲最佳實踐
這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!

場景描述

Spark作為快速、通用的大規模數據處理平臺,更多關注Spark Application的管理,底層實際資源調度和管理更多的是依靠外部平臺的支持例如Mesos、YARN、Kubernetes等。藉助阿里雲的容器服務Kubernetes版(ACK)、彈性容器組實例(ECI)、文件存儲HDFS或者對象存儲OSS提供靈活彈性計算資源彈性可擴展、計算與存儲分離架構、成本可控的Spark on ECI解決方案實踐。

解決問題

  • 計算資源彈性能力不足,計算資源成本管控能力欠缺
  • 集群資源調度能力和隔離能力不足
  • 計算與存儲無法分離,大數據量分析時出現數據存儲資源瓶頸
  • Spark submit方式提交分析作業參數支持有限等缺點

產品列表

  • 容器服務Kubernetes版(ACK)
  • 彈性容器實例(ECI)
  • 文件存儲HDFS
  • 對象存儲OSS
  • 專有網絡VPC
  • 容器鏡像服務ACR

image

直達最佳實踐 》》

160@Spark on ECI大數據分析.png.png

Leave a Reply

Your email address will not be published. Required fields are marked *