簡介
眾所周知,Databricks 主導著開源大數據社區 Apache Spark、Delta Lake 以及 ML Flow 等眾多熱門技術,而 Delta Lake 作為數據湖核心存儲引擎方案給企業帶來諸多的優勢。
《Delta Lake數據湖專題系列5講》由阿里雲 DDI 團隊翻譯整理自大數據技術公司 Databricks 針對數據湖 Delta Lake 系列技術文章。閱讀完此係列文章可以幫助您達到入門級,對數據湖Lakehouse有整體上的認識和應用,掌握理論知識體系。
此外,阿里雲和 Apache Spark 及 Delta Lake 的原廠 Databricks 引擎團隊合作,推出了基於阿里雲的企業版全託管 Spark 產品——Databricks 數據洞察,該產品原生集成企業版 Delta Engine 引擎,無需額外配置,提供高性能計算能力。有興趣的同學可以搜索` Databricks 數據洞察`或`阿里雲 Databricks `進入官網,或者直接訪問https://www.aliyun.com/product/bigdata/spark 瞭解詳情。
內容回顧
第一篇:
標題:【詳談 Delta Lake 】系列技術專題 之 基礎和性能(Fundamentals and Performance)
譯者: 韓宗澤(棕澤),阿里雲計算平臺事業部技術專家,負責開源大數據生態企業團隊的研發工作
目錄:
- Chapter-01 Delta Lake 基礎:為什麼可靠性和性能很重要?
- Chapter-02 深入理解事務日誌(Transaction Log)
- Chapter-03 如何使用 Schema 約束(Schema Enforcement)和演變(Schema Evolution)
- Chapter-04 Delta Lake DML 語法
- Chapter-05 在 Delta Lake 中使用 Data Skipping 和 Z-Ordering 來快速處理PB級數據
第二篇:
標題:【詳談 Delta Lake 】系列技術專題 之 特性(Features)
譯者: 張鵬(卓昇),阿里雲計算平臺事業部技術專家
目錄:
- Chapter-01 為什麼使用 Delta Lake 的 MERGE 功能?
- Chapter-02 使用 Python API 在 Delta Lake 數據表上進行簡單,可靠的更新和刪除操作
- Chapter-03 大型數據湖的 Time Travel 功能
- Chapter-04 輕鬆克隆您的 Delta Lake 以方便測試,數據共享以及進行重複的機器學習
- Chapter-05 在 Apache Spark 上的 Delta Lake 中啟用 Spark SQL 的 DDL 和 DML 語句
第三篇:
標題:【詳談 Delta Lake 】系列技術專題 之 湖倉一體( Lakehouse )
譯者: 韓宗澤(棕澤),阿里雲計算平臺事業部技術專家,負責開源大數據生態企業團隊的研發工作
目錄:
- Chapter-01 什麼是湖倉一體?
- Chapter-02 深入探討 Lakehouse 和 Delta Lake 的內部工作原理
- Chapter-03 探究 Delta Engine
第四篇:
標題:【詳談 Delta Lake 】系列技術專題 之 Streaming(流式計算)
譯者: 馮加亮(加亮),阿里雲計算平臺事業部大數據工程師
目錄:
- Chapter-01 使用 Delta Lake 解決流式數據入湖的難題
- Chapter-02 使用 Delta Lake 簡化股票行情數據的分析
- Chapter-03 Tilting Point 遊戲公司是如何使用 Delta Lake 處理流數據
- Chapter-04 使用 Delta Lake 構建流媒體視頻的解決方案
第五篇:
標題:【詳談 Delta Lake 】系列技術專題 之 客戶用例( Customer Use Case)
譯者: 韓宗澤(棕澤),阿里雲計算平臺事業部技術專家,負責開源大數據生態企業團隊的研發工作
目錄:
- Chapter-01 Healthdirect Australia : 使用 Databricks 提供個性化和安全的在線患者護理
- Chapter-02 Comcast:使用Delta Lake和MLflow轉換查看器體驗
- Chapter-03 Viacom18: 從 Hadoop 遷移到 Databricks ,以提供更多吸引人的體驗
獲取更詳細的 Databricks 數據洞察相關信息,可至產品詳情頁查看:
https://www.aliyun.com/product/bigdata/spark
阿里巴巴開源大數據技術團隊成立 Apache Spark 中國技術社區,定期推送精彩案例,技術專家直播,只為營造純粹的 Spark 氛圍,歡迎關注公眾號!
掃描下方二維碼入 Delta Lake 中國技術交流社區、Databricks 數據洞察產品交流釘釘群一起參與交流討論!