雲計算

《 Delta Lake 數據湖專題系列5講》文章回顧

簡介

眾所周知,Databricks 主導著開源大數據社區 Apache Spark、Delta Lake 以及 ML Flow 等眾多熱門技術,而 Delta Lake 作為數據湖核心存儲引擎方案給企業帶來諸多的優勢。

《Delta Lake數據湖專題系列5講》由阿里雲 DDI 團隊翻譯整理自大數據技術公司 Databricks 針對數據湖 Delta Lake 系列技術文章。閱讀完此係列文章可以幫助您達到入門級,對數據湖Lakehouse有整體上的認識和應用,掌握理論知識體系。


此外,阿里雲和 Apache Spark 及 Delta Lake 的原廠 Databricks 引擎團隊合作,推出了基於阿里雲的企業版全託管 Spark 產品——Databricks 數據洞察,該產品原生集成企業版 Delta Engine 引擎,無需額外配置,提供高性能計算能力。有興趣的同學可以搜索` Databricks 數據洞察`或`阿里雲 Databricks `進入官網,或者直接訪問https://www.aliyun.com/product/bigdata/spark 瞭解詳情。

內容回顧

第一篇:

標題:【詳談 Delta Lake 】系列技術專題 之 基礎和性能(Fundamentals and Performance)

譯者: 韓宗澤(棕澤),阿里雲計算平臺事業部技術專家,負責開源大數據生態企業團隊的研發工作

目錄:

  • Chapter-01  Delta Lake 基礎:為什麼可靠性和性能很重要?
  • Chapter-02  深入理解事務日誌(Transaction Log)
  • Chapter-03  如何使用 Schema 約束(Schema Enforcement)和演變(Schema Evolution)
  • Chapter-04  Delta Lake DML 語法
  • Chapter-05  在 Delta Lake 中使用 Data Skipping 和 Z-Ordering 來快速處理PB級數據

079e3ff6553b4f1aaf601526de27fc58.jpg

第二篇:

標題:【詳談 Delta Lake 】系列技術專題 之 特性(Features)

譯者: 張鵬(卓昇),阿里雲計算平臺事業部技術專家

目錄:

  • Chapter-01  為什麼使用 Delta Lake 的 MERGE 功能?
  • Chapter-02  使用 Python API 在 Delta Lake 數據表上進行簡單,可靠的更新和刪除操作
  • Chapter-03  大型數據湖的 Time Travel 功能
  • Chapter-04  輕鬆克隆您的 Delta Lake 以方便測試,數據共享以及進行重複的機器學習
  • Chapter-05  在 Apache Spark 上的 Delta Lake 中啟用 Spark SQL 的 DDL 和 DML 語句

1.png

第三篇:

標題:【詳談 Delta Lake 】系列技術專題 之 湖倉一體( Lakehouse )

譯者: 韓宗澤(棕澤),阿里雲計算平臺事業部技術專家,負責開源大數據生態企業團隊的研發工作

目錄:

  • Chapter-01  什麼是湖倉一體?
  • Chapter-02  深入探討 Lakehouse 和 Delta Lake 的內部工作原理
  • Chapter-03  探究 Delta Engine

1.png

第四篇:

標題:【詳談 Delta Lake 】系列技術專題 之 Streaming(流式計算)

譯者: 馮加亮(加亮),阿里雲計算平臺事業部大數據工程師

目錄:

  • Chapter-01  使用 Delta Lake 解決流式數據入湖的難題
  • Chapter-02  使用 Delta Lake 簡化股票行情數據的分析
  • Chapter-03  Tilting Point 遊戲公司是如何使用 Delta Lake 處理流數據
  • Chapter-04  使用 Delta Lake 構建流媒體視頻的解決方案

1.png

第五篇:

標題:【詳談 Delta Lake 】系列技術專題 之 客戶用例( Customer Use Case)

譯者: 韓宗澤(棕澤),阿里雲計算平臺事業部技術專家,負責開源大數據生態企業團隊的研發工作

目錄:

  • Chapter-01  Healthdirect Australia : 使用 Databricks 提供個性化和安全的在線患者護理
  • Chapter-02  Comcast:使用Delta Lake和MLflow轉換查看器體驗
  • Chapter-03  Viacom18: 從 Hadoop 遷移到 Databricks ,以提供更多吸引人的體驗

1622618952312-ee2d70fb-e7ad-4871-bde0-3f706109c4d7.png


獲取更詳細的 Databricks 數據洞察相關信息,可至產品詳情頁查看:

https://www.aliyun.com/product/bigdata/spark

阿里巴巴開源大數據技術團隊成立 Apache Spark 中國技術社區,定期推送精彩案例,技術專家直播,只為營造純粹的 Spark 氛圍,歡迎關注公眾號!

掃描下方二維碼入 Delta Lake 中國技術交流社區、Databricks 數據洞察產品交流釘釘群一起參與交流討論!

8904928D-E241-4104-896D-EF2698DABBCA.jpg

Leave a Reply

Your email address will not be published. Required fields are marked *