5月16日,2020 年首場 Apache Flink Meetup · 杭州站在線直播圓滿結束。本次 Meetup 邀請了來自袋鼠雲、網易雲音樂、有贊及阿里巴巴的四位技術專家分享關於實時數倉、1.10 生產環境實踐、Flink 分佈式同步工具以及 Flink 在 AI 流程中的應用。
Meetup 直播回顧:
https://developer.aliyun.com/live/2772
PPT 合集下載
https://developer.aliyun.com/topic/download?id=116
《袋鼠雲基於 Flink 實現的分佈式數據同步工具 FlinkX 》
徐超 | Flink contributor,袋鼠雲 資深技術專家
嘉賓介紹:
徐超,袋鼠雲資深技術專家,Flink contributor,負責袋鼠云云原生一站式數據中臺 PaaS-數棧從0到1的產品研發;參與的數棧產品應用於大型政企、金融、教育、新零售等行業客戶,曾負責京東方、招商證券、寧波發改委、浙大、票付通等典型客戶的數據中臺項目的技術服務;目前專注於 Flink 實時計算周邊擴展,包括袋鼠雲 FlinkX、Flink Stream SQL 開源項目。
演講簡介:
一、為什麼選擇基於 Flink 實現
- 分佈式,簡單的併發配置
- 易於擴展
- 高效性
二、整體結構(包括架構圖)
三、如何實現控制併發和限流(原理和實現)
四、增量同步,斷點續傳(原理和實現)
五、實時採集(原理和實現)
六、當前版本插件的支持情況和未來的開發計劃
《網易雲音樂實時數倉實踐》
汪磊 | 網易 數據平臺開發專家
嘉賓介紹:
汪磊,網易數據平臺開發專家,目前負責雲音樂實時、離線、以及機器學習平臺的建設工作。
演講簡介:
雲音樂隨著業務的發展,對實時計算業務的需求越來愈多,要求越來越高,平臺遇到挑戰也越來越大。為了降低實時計算開發的門檻,更好的管控實時任務,提升系統的穩定性,我們整合了我們已有的底層服務開發了適合雲音樂的實時數倉方案。
本次分享主要介紹我們整體的實踐方案,面臨的一些問題,以及未來的一些規劃,整體大綱如下:
- 雲音樂整體數據平臺架構介紹
- 雲音樂 Flink 實時數倉和元數據中心整合
- 目前面臨的問題和挑戰
- 批流一體的實踐和規劃
《Apache Flink SQL 1.10 在有讚的實踐應用》
沈磊 | 有贊數據研發工程師
嘉賓介紹:
沈磊,英文名 LakeShen,目前在有贊負責實時計算平臺、以及 Flink 計算引擎相關研發和維護工作。積極參與 Flink 開源社區,喜歡和大家分享 Flink 技術,個人也寫了很多 Flink 相關技術文章,幫助大家一起學習 Flink。
演講簡介:
本次演講主要講解 1.10 版本 Flink SQL 在有讚的實踐應用,以及為什麼選擇 Flink SQL 。主要內容包括:
- 實時平臺 Flink SQL 開發實踐
- Flink Connector 的實踐和優化
- Flink SQL 在有讚的業務支撐
《Apache Flink 在 AI 流程中的應用》
塗軼文(應言)| 阿里巴巴開發工程師
嘉賓介紹:
塗軼文,花名應言,2019年7月加入阿里巴巴,擔任開發工程師,專注於 Flink AI 生態領域的開發yiwen.png。
演講簡介:
在如今的 AI 場景中,Flink 在流模式下得天獨厚的優勢給 AI 的發展帶來了更多的可能,為了能夠更好地支持 AI 在不同場景下的發展,Flink 社區和 Flink 的生態項目也在不斷地努力著,本文將介紹 Flink 在 AI 場景中的應用,主要內容包括:
- Background on Flink embracing AI
- What is AI flow
- Meet Flink AI flow
- An ML scenario
現場合照