雲棲號最佳實踐:【點擊查看更多上雲最佳實踐】
這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!
場景描述
Spark作為快速、通用的大規模數據處理平臺,更多關注Spark Application的管理,底層實際資源調度和管理更多的是依靠外部平臺的支持例如Mesos、YARN、Kubernetes等。藉助阿里雲的容器服務Kubernetes版(ACK)、彈性容器組實例(ECI)、文件存儲HDFS或者對象存儲OSS提供靈活彈性計算資源彈性可擴展、計算與存儲分離架構、成本可控的Spark on ECI解決方案實踐。
解決問題
- 計算資源彈性能力不足,計算資源成本管控能力欠缺
- 集群資源調度能力和隔離能力不足
- 計算與存儲無法分離,大數據量分析時出現數據存儲資源瓶頸
- Spark submit方式提交分析作業參數支持有限等缺點
產品列表
- 容器服務Kubernetes版(ACK)
- 彈性容器實例(ECI)
- 文件存儲HDFS
- 對象存儲OSS
- 專有網絡VPC
- 容器鏡像服務ACR