雲計算

Apache Flink Meetup · 上海站,超強數據湖乾貨等你!

你是否有過流批技術棧不統一的抓狂?

你是否有過流批數據對不上的煩惱?

你是否有過,海量數據更新時效性跟不上的無奈?

Apache Flink 社區 2021 首場 Meetup 來啦!

4月17日 | 上海 | 線下

來一場 Flink x 數據湖的乾貨體驗之旅~

本次 Meetup 邀請了來自阿里巴巴、騰訊、Dell 科技集團、汽車之家的四位技術專家,聚焦 Flink 數據湖應用主題,圍繞湖倉一體架構實踐、Iceberg 和對象存儲的數據湖構建方案、超大規模數據入湖實踐以及數據入湖面臨的挑戰等,全方位解析數據湖生產應用難題!

【活動亮點】

  • 超多實用乾貨,從數據湖應用面臨的挑戰入手,解析數據湖架構升級、對象存儲與 Iceberg 的數據湖生態以及百億數據入湖實踐,輕鬆 get 數據湖正確打開方式;
  • 活動形式多樣化,線下線上同步開啟,同城可參與線下 Meetup 面對面交流,異地也可在線觀看直播,精彩內容不錯過;
  • 豐富周邊等你拿,報名參加就有機會獲得超多 Flink 社區定製的精美周邊!

▼ 掃碼立即報名 ▼

image.png

嘉賓及議題介紹

邸星星-圓.png

《汽車之家基於 Apache Iceberg 的湖倉一體架構實踐》

邸星星 | 汽車之家 實時計算平臺負責人

演講簡介:

近年來,批流一體、湖倉一體成為大數據領域十分火熱的話題,汽車之家也在持續探索如何對大數據架構進行升級轉型,充分發揮“新鮮”數據的價值,為用戶帶來更好的使用體驗。本文將分享汽車之家基於 Apache Iceberg 進行數倉架構升級過程中的一些實踐。

嘉賓簡介:

邸星星,汽車之家實時計算平臺負責人,長期從事實時計算與 OLAP 方面的平臺建設工作,致力於為公司提供大規模、高效、穩定的計算與查詢服務。

孫偉-圓.png

《Iceberg 和對象存儲構建數據湖方案》

孫偉 | Dell科技集團 高級軟件研發經理

演講簡介:

本演講主題將論述如何基於對象存儲和 Iceberg 來構建數據湖生態。講述對象存儲作為 Iceberg 的數據湖存儲支撐所需要解決的一些問題以及優化思路,提供了開源 S3 catalog 可行實現方案,並給出對比其他存儲方案(如 HDFS)的優勢。

演講將進一步給出商業對象存儲與 Iceberg 適配的另一種最佳實踐方法,並構建 Flink+Iceberg+對象存儲的數據湖進行實例演示。同時本演講將基於面向存儲空間優化的思路,通過改造對象存儲和 Iceberg 結合方式,給出一種源數據和 Iceberg table 共享數據源的方法來適配不同的應用場景。

嘉賓簡介:

孫偉,Dell 科技集團,高級軟件研發經理,2014年加入 Dell 科技集團,深入參與 Atmos 到 ECS 兩代對象存儲產品的設計和研發,有豐富的分佈式系統和對象存儲架構設計經驗。現致力於將對象存儲和開源大數據平臺深度結合,幫助客戶搭建完整數據湖方案。

陳俊傑-圓.png

《百億級實時數據入湖實戰》

陳俊傑 | 騰訊 數據湖研發高級工程師

演講簡介:

你是否有過流批技術棧不統一的抓狂?你是否有過流批數據對不上的煩惱?你是否有過,海量數據更新時效性跟不上的無奈?

騰訊應用業界最新技術 Flink + Iceberg 技術幫助多個業務方實現了業務數據實時入倉入湖,端到端數據可見性提高到秒級。本次分享將介紹騰訊如何將 Flink + Iceberg 技術應用到多個百億級數據入湖任務,入湖過程中遇到的挑戰,入湖數據如何進行優化保證分析引擎的高效查詢。

嘉賓簡介:

陳俊傑,騰訊數據湖研發高級工程師,多年大數據工作經驗,開源大數據組件 Spark、 Iceberg、Parquet 等貢獻者。

胡爭-圓.png

《Flink 和 Iceberg 如何解決數據入湖面臨的挑戰》

胡爭 | Apache Iceberg Committer,阿里巴巴技術專家

演講簡介:

我們經常會把來源不同的數據定期或實時地同步到數倉/數據湖中,其中有一些令人頭痛的問題:

任務同步一半數據中斷,導致原有的數據湖報表不準確,這時怎麼辦?
持續的數據導入後,業務方發現作業越跑越慢?
老闆說:怎麼把 MySQL 的數據報表做的更實時一些,比如分鐘級別?
數據同步作業跑著跑著突然中斷,原來是上游改了 schema ?
其他問題

本次分享我們將藉助 Flink 和 Iceberg 來嘗試解決上述數據入湖的相關挑戰,幫助業務同學更加高效地聚焦在自身的業務挑戰上。

嘉賓簡介:

胡爭(子毅),目前主要負責 Apache Flink 數據湖方案的設計和研發工作,是 Apache Iceberg 及 Apache Flink 項目的長期活躍貢獻者。同時也是 Apache HBase PMC 成員,合著有《HBase 原理與實踐》。

活動議程及報名

■ 活動議程

image.png

■ 活動詳情

時間:4月17日 13:00-17:30
地點:上海市長寧區上海金鐘路968號凌空SOHO 攜程12號樓11層
直播觀看:https://developer.aliyun.com/live/246619

Leave a Reply

Your email address will not be published. Required fields are marked *