開源大數據社區 & 阿里雲 EMR 系列直播 第十二期
主題:Flink on Zeppelin 流計算處理最佳實踐
講師:簡鋒,阿里雲 EMR 數據開發平臺 負責人
內容框架:
- 大數據概覽
- Flink 學習框架
- EMR Studio 上的流計算最佳實踐
- 演示
直播回放:掃描文章底部二維碼加入釘群觀看回放,或進入鏈接https://developer.aliyun.com/live/247106
一、大數據概覽
- 大數據處理 ETL (Data → Data)
- 大數據分析 BI (Data → Dashboard)
- 機器學習 AI (Data → Model)
二、Flink 學習框架
Flink 要點
- Stateful
- Time
- Flink Architecture
- Flink API
- Flink Configuration
- Flink Log
Stateful:
- Why
• 流計算的及時性
• 流計算的 unbounded
- When
• Window
• Join
• Pattern
- How
• statebackend
Time
- Event time
- Processing time
- Watermark
Flink Architecture
Flink API
Flink Configuration
- Cluster Configuration
- Job Configuration
- Statebackend
- Resource Manager
- SQL/Python
參考文檔:https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/
Flink Log
三、EMR Studio 上的流計算最佳實踐
EMR Studio 特性:
- 兼容開源組件
EMR Studio 在開源軟件 Apache Zeppelin,Jupyter Notebook, Apache Airflow 的基礎上優化了做了優化和增強。
- 支持連接多個集群
- 適配多個計算引擎
- 交互式開發 + 作業調度無縫銜接
- 適用多種大數據應用場景
- 計算存儲分離
Flink Clients
Flink on Zeppelin (Phase 1) - Interactive Flink Client
Flink on Zeppelin (Phase 2) - Interactive JobManager
Flinkon Zeppelin 主要 Feature
四、演示
⭐具體產品介紹和演示,可以掃描文章底部釘釘群二維碼,進群觀看直播回放哦!
也可以點擊以下鏈接直接觀看回放:
https://developer.aliyun.com/live/247106
後續我們會在釘釘群定期推送精彩案例,邀請更多技術大牛直播分享。歡迎有興趣的同學掃下方二維碼加入釘釘群進行交流和技術分享。關注公眾號,鎖定每週精彩分享內容!