歡迎通過本期月刊了解 MaxCompute 2021年4月-6月產品動態
1、MaxCompute 支持 Dynamic Filter 智能優化功能提高任務執行效率 查看文檔 >>
適用客戶
開發者、分析師、SQL優化用戶
發佈功能
JOIN是分佈式系統中常見的操作，在海量數據場景下，也是一個非常耗時、耗資源的操作。針對JOIN場景，MaxCompute推出Dynamic Filter 智能優化功能，可以利用JOIN本身的等值連接屬性，基於運行時動態生成過濾器，在Shuffle或JOIN之前提前過濾數據，實現加速查詢運行。
該功能適用於維度表和事實表執行JOIN的場景。您可以在Session級別通過開關強制打開、智能選擇打開或手工提示使用動態過濾器，並使用動態分區裁剪方法先過濾分區再使用動態過濾器。
2、2021年8月10日 MaxCompute 流式數據通道服務功能商業化
2021年8月10日，MaxCompute 流式數據通道服務功能即將結束免費公測，開始對流式數據通道服務寫入的數據按量計費。
計費公式及規則：
流式數據寫入費用 = 流式寫入數據量（GB）×流式數據寫入價格（0.08元/GB）
- MaxCompute為每個MaxCompute項目每天提供100GB的免費流量，當天寫入數據量超出100GB部分按上述計費公式計費。
- MaxCompute會按天推送您的流式寫入計量信息，並在第二天給出您的流式寫入費用賬單。
- 流式寫入數據量：指寫入請求的HTTP Body的大小。承載數據的HTTP Body使用ProtoBuffer編碼，因此一般比數據原始容量要小，但是比壓縮後存儲在MaxCompute上的數據量要大。
MaxCompute 流式數據通道服務功詳情參見 流式數據通道服務概述。計費詳情參見 流式數據寫入費用（按量計費）。
3、2021年8月10日 MaxCompute SQL 的 UPDATE、DELETE和MERGE INTO功能商業化
2021年8月10日，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能即將結束免費公測，開始正式計費。已經使用UPDATE、DELETE和MERGE INTO功能的按量計費作業，屆時會產生計算費用。
如果您之前因為擔心公測穩定性問題而暫未使用UPDATE、DELETE和MERGE INTO功能，屆時可以放心使用。
MaxCompute為UPDATE、DELETE和MERGE INTO功能的相關可用性、穩定性等提供與MaxCompute SQL能力同等保障。
計費公式及規則：
- 如果MaxCompute項目的計費模式為包年包月，計算費用不單獨收費。
- 如果MaxCompute項目的計費模式為按量計費，計算費用計算規則調整為：單條SQL計算費用=計算輸入數據量×SQL複雜度×單價（0.3元/GB）。其中：SQL複雜度通過SQL關鍵字個數折算。SQL關鍵字個數=JOIN個數+GROUP BY個數+ORDER BY個數+DISTINCT個數+窗口函數個數+MAX（INSERT個數|UPDATE個數|DELETE個數-1, 1）。
如果您擔心費用超出預期，可以配置消費監控告警控制消費。更多監控告警信息，請參見 消費監控告警。
您還需要注意如下內容：
- 如果MaxCompute項目的計費模式為按量計費，MaxCompute會根據UPDATE、DELETE和MERGE INTO語句掃描的輸入數據量×SQL複雜度×單價計算費用。當您對Transactional表執行更新或刪除操作後會生成Delta文件，Delta文件積累較多後會造成數據膨脹並影響讀取性能，也會逐漸增大掃描數據量，增加費用。即使MaxCompute項目的計費模式為包年包月，也會佔用更多資源，影響後續作業執行效率。您可以通過Compact方法合併Delta文件，更多語法信息請參見 合併Transactional表文件。
- MaxCompute會按照批處理方式執行delete、update作業，每一條語句都會使用資源併產生費用，建議您使用批量方式刪除或更新數據，請參見 更新或刪除數據（UPDATE | DELETE）。命令示例如下
--推薦方案：使用關聯方法，一次改寫或刪除所有需要操作的數據。 update table1 set col1= (select value1 from table2 where table1.id = table2.id and table1.region = table2.region);
--不推薦方案：逐行操作。 update table1 set col1=1 where id='2021063001'and region='beijing'; update table1 set col1=2 where id='2021063002'and region='beijing'; ......
4、MaxCompute 視頻中心全新改版上線 視頻中心>>
MaxCompute 新版視頻中心包含產品發佈會、大數據系列公開課、近年雲棲大會精彩演講、行業客戶案例、最佳實踐、人物專訪等內容，方便您一站式獲取MaxCompute相關的視頻信息。
5、精選技術及實踐文章
- 數倉架構的持續演進與發展 — 雲原生、湖倉一體、離線實時一體、SaaS模式
- 如何基於 MaxCompute 快速打通數據倉庫和數據湖的湖倉一體實踐
- MaxCompute 中如何通過logview診斷慢作業
- MaxCompute 挑戰使用SQL進行序列數據處理
- MaxCompute 造數據-方法詳解
- 使用MaxCompute LOAD命令批量導入OSS數據最佳實踐—STS方式LOAD開啟KMS加密OSS數據
- MaxCompute 非事務表如何更新數據
- Azkaban業務流程如何轉化為DataWorks業務流程
- [JDBC] Kettle on MaxCompute 使用指南
- UDF精簡使用大全
更多關於大數據計算、雲數倉技術交流，歡迎掃碼加入 “MaxCompute開發者社區” 釘釘群
