開發與維運

MaxCompute規格詳解–合理的選擇讓您花更低的成本獲得更高的業務價值

精彩視頻回看請點擊:MaxCompute規格詳解

以下為精彩視頻內容整理:
在用戶使用MaxCompute之前,都會考慮成本和業務兩大問題。有些企業處在快速的發展期,在業務上對性能的要求比較高,例如計算業務對資源的需求是彈性的,要求峰谷明顯,一段時間對資源的要求非常高,另一段時間對資源的要求是比較低的,這種類型屬於業務優先於成本。還有一些企業對預算有嚴格的要求,例如進行合同制的企業,在前期必須要有明確的預算,但對性能的要求不是很高,只需要在當天能夠完成任務。基於以上兩大場景MaxCompute推出了一系列格和計費方式。

服務模式

MaxCompute服務模式

圖片 1.png
MaxCompute的服務模式有兩種方式,按量計費和包年包月。開通MaxCompute相當於對服務進行註冊,同時產生有協議的訂單,訂單成功後即可使用該服務。按量計費是指整個訂單計費模式都為使用之後再按量計費,包括計算、存儲、下載幾大塊主要功能。開通時為0元開通,開通後若不使用則無費用產生。包年包月是指訂單計費模式為混合模式,計算資源是按包年包月進行預付費,存儲和下載則為使用之後在按量計費。開通時需要預先對計算資源進行付款。

MaxCompute計費方式

MaxCompute費用由三部分組成,存儲費用、計算費用和下載費用。

  • 存儲費用按存儲的數據容量大小進行階梯計費,包年包月套餐中有固定的存儲量,超出部分按量計費。
  • 計算費用包含SQL任務、MapReduce任務、Lightning任務及Spark任務。
  • SQL任務在按量付費時,如果是標準版,根據計算輸入數據量及SQL的複雜度進行計算。如果是開發者版,根據計算輸入量進行計算。在購買完包年包月的計算資源後,無需額外付費。
  • MapReduce任務在按量付費時,根據計算任務所消耗的計算時進行計費。在購買完包年包月的計算資源後,無需額外付費。
  • Lightning任務是根據查詢輸入量進行計算。
  • Spark任務在按量付費時,根據計算任務所消耗的計算時進行計算。在購買完包年包月的計算資源後,無需額外付費。
  • 下載費用按公網下載的流量進行計費。對上傳、內網的下載不產生費用。

規格介紹

按量計費

圖片 2.png

按量計費-標準版

按量計費包括標準版和開發者版,標準版的計算資源為極致的彈性計算資源,資源池為共享型,計算任務按需搶佔,不可指定使用量也無使用限制。包括SQL(含UDF)、MapReduce、Spark、交互式分析(Lightning)、Graph等計算類型資源。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶佔,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對標準版的計費說明,計算資源(CU)收費按各計算類型任務使用量計費。當前僅SQL、MR、Spark、交互式分析幾類計算任務有計費。存儲收費只收表(Table)存儲的容量費用。且容量大小是壓縮後的數據。數據上傳、下載收費指數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

按量計費-開發者版

開發者版的計算資源資源池為共享型,計算任務按需搶佔資源,不可指定使用量,只提供MaxCompute SQL(支持使用UDF)、PyODPS計算資源;一個region只能有一個項目選擇使用開發者版資源;每個項目最大作業併發數為5個;單作業最多隻能佔用10CU計算資源。存儲資源的資源池為共享型,按需存儲。每個項目最大存儲量限制在500GB(含臨時數據大小),超過500GB將無法存入。這兩個因素的限制使得開發者版資源不適合作為生產資源。上傳、下載數據資源的資源池為共享型,按需搶佔,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對開發者版的計費說明,計算資源(CU)收費:計算作業按照數據掃描量計費。每個月贈送價值100元的免費計算量,即每月可免費執行掃描666GB數據的作業量,超出部分將按量計費。存儲收費:每個項目空間可免費且只能存儲500GB資源。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

包年包月

3.png

包年包月-標準計算資源

計算資源包含計算資源單元和非預留計算資源兩種。計算資源單元即為預留計算資源,是必選資源。資源池為獨享型,按購買CU量固定分配資源。非預留計算資源為非必選資源,資源數量在[0,購買量]區間內且不可獨享。計算任務只能佔用預留和非預留計算資源。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶佔,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對標準計算資源的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按CU量和購買時長進行收費。預留和非預留資源單價不一樣。存儲收費:只收表(Table)存儲的容量費用。且容量大小是壓縮後的數據。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

包年包月-套餐版

針對計算資源,套餐中的預留計算資源為獨享資源,按購買套餐固定分配計算資源。非預留計算資源為非必選資源,資源數量在[0,購買量]區間內且不可獨享。計算任務只能佔用預留和非預留計算資源。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶佔,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對套餐版的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按套餐和購買時長進行收費。預留和非預留資源單價不一樣。存儲收費:只收表(Table)存儲的容量費用。且容量大小是壓縮後的數據。每日按購買的套餐提供固定的存儲量,超出的量另行計費。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

包年包月-非預留計算資源

針對計算資源,資源數量為[0,購買量]範圍內的彈性資源池。購買後系統不預留資源,任務發起後,系統會在總資源池搶佔並分配空閒資源。如果總資源池中空閒資源充足則可能為您分配所購買的最大CU量;如果總資源池繁忙則可能為您分配0CU。MaxCompute可保障您購買的非預留計算資源全天50%的計算力(一天計算力:資源數量*24小時)。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載數據資源的資源池為共享型,按需搶佔,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。
針對非預留計算資源的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按CU量和購買時長進行收費。存儲收費:只收表(Table)存儲的容量費用。且容量大小是壓縮後的數據。數據上傳、下載收費:數據上傳至MaxCompute為免費;僅對通過公網下載進行按量收費。

選擇和使用

計算資源的選擇

如何選擇生產計算資源,就要從計算資源需求的場景來考慮。對於極致的彈性計算資源需求,資源為按量計費標準版,計算資源彈性使用,按量付費,其中SQL單價為0.3元/GB/1複雜度。規格優勢在於資源不受限,峰值有保障,劣勢在於費用不受控,目前有消費監控告警。對於重預算、重基線的場景需求,資源類型為包年包月預留計算資源,獨享計算資源,購買後系統固定預留CU。包年包月標準版和套餐中的計算資源單元均為預留計算資源。其中標準版預留計算資源單價為150元/CU/月。規格優勢在於資源獨享,預算可控,劣勢在於資源受限不利於超高峰值任務。
對於重預算、輕基線的場景需求,資源類型為包年包月非預留計算資源,預付彈性計算資源池,購買後使用時可獲得[0,購買量]的彈性資源,單價為40元/CU/月。資源優勢在於價格低廉,預算可控,劣勢在於資源不可獨享,忙時不能保障峰值。

資源類型的使用

  • 按量付費使用

4.png
對於按量付費中的計算資源使用,開通按量計費模式以後,就擁有了共享資源池的使用權,同時創建一個或多個project,就可以指定的使用資源池。MaxCompute會分配共享資源池作為默認資源組,創建MaxCompute project時只要選擇按量計費模式,project都是綁定這個默認公共資源組。當project裡發起task,則按需佔用該資源池資源。它的優勢在於使用靈活,無需對資源進行管理,只需要按業務進行項目規劃。重點提醒的是需要配置好相關消費監控告警,避免預料外的高額賬單。
對於按量付費中的存儲資源使用,無使用限制,無需關注存儲資源,只需要按業務需求進行數據存放。重點提醒的是管理好數據生命週期,存在多project時,在滿足業務需求的同時集中存放數據。

  • 包年包月預留資源使用

購買預留計算資源時,開通包年包月模式,選擇“標準計算資源”,同時非預留計算資源為0;或者選擇3種套餐中的任何一種,同時非預留計算資源為0。
5.png
使用非預留計算資源時,購買包年包月計算資源後,系統默認給分配一個資源組,其中只包含預留計算資源。可以在MaxCompute管家中創建二級quota組細分資源,如果不細分,則只有1中的默認quota組。Project指定使用包年包月計算資源(默認quota組)後,到MaxCompute管家指定具體quota組。Project中單個task按業務需求可通過quota tag功能指定到其他二級quota組執行。

  • 包年包月非預留資源使用

購買非預留計算資源時,當前僅在國內上海、北京、杭州、深圳4個region可購買,其他地區的region沒有開放。購買時有兩種方式,組合購買和單獨購買,同時也要根據自己的業務需求購買。
6.png
組合購買,即標準計算資源或套餐購買的同時加購非預留計算資源。通過購買100CU和300ECU後,系統默認給分配一個資源組。可以在MaxCompute管家中創建二級quota組細分資源,一組為默認100CU,另一組為300ECU。Project指定使用默認quota組後,到MaxCompute管家指定具體quota組。Project中單個task按業務需求可通過quota tag功能指定到其他二級quota組執行。如果沒有進行細分,這種方式會優先使用預留資源,通過細分預留資源可以進行一些重要的任務,非預留資源可以進行一些峰值高、對性能要求不是很高的任務。
7.png
單獨購買,即只購買使用非預留計算資源。購買300ECU後,默認quota組中會有300ECU,project中的所有任務都會使用默認quota組的計算資源。
所有的規格在不同的模式中都是可以切換使用的,比如剛開始使用的是開發者版,也可以切換成標準版來使用,但是不可以將標準版切換成開發者版。使用包年包月時,開通後只能選擇一個規格,當有需求時也可以通過升級和降配的頁面切換成另外的規格。Project創建時,剛開始選擇按量付費,在使用過程中也可以切換成包年包月資源,或者剛開始選擇包年包月,在使用過程中也可以切換成按量付費。

  • 包年包月和按量計費混合使用

在實際使用時,也可以按業務需求,同時開通兩種模式,混合使用。比如,任務的業務數據量很大但是時間要求不高,按量計費不划算可以使用包年包月資源慢慢執行。再比如,任務需要重點保障時間,且峰值很高,包年包月按峰值數量購買的話很多時間又閒置不划算,買少了又不能保障峰值和時間,可以放到按量計費資源執行。

示例

案例一:MaxCompute按量計費
8.png
如上圖所示,此案例的需求特點是業務處在需要快速發展階段,對數據基線要求高,集群利用率低,業務計算閒時佔比大於50%,計算峰值是平均水位的大於2倍。這時,推薦規格為按量付費,業務處在高速發展期,使用MaxCompute相比於IDC自建集群,可以省掉集群運維成本,同時靈活的彈性資源可以滿足爆發式分析資源需求。

案例二:MaxCompute包年包月
9.png
此案例的需求特點是成本控制嚴格,特別關注低質量SQL對計費的影響,如果是預算合同制,通過按量不容易估算成本。在前期可評估每天平均作業量和數據量,計算峰值所需核數是平均水位的5倍,但對生產性能要求不高。這時,推薦規格為包年包月的預留資源加非預留預付。如上圖所示,通過獨佔計算資源和非預留系統搶佔式計算資源的方式,以預留獨享計算資源保障重要業務,非預留作為非保障業務峰值擴充資源。

大家如果對MaxCompute有更多諮詢或者建議,歡迎掃碼加入 MaxCompute開發者社區釘釘群,或點擊鏈接 申請加入。
2群.png

Leave a Reply

Your email address will not be published. Required fields are marked *