大數據

Flink on Zeppelin 流計算處理最佳實踐

開源大數據社區 & 阿里雲 EMR 系列直播 第十二期


主題:Flink on Zeppelin 流計算處理最佳實踐


講師:簡鋒,阿里雲 EMR 數據開發平臺 負責人

內容框架:

  • 大數據概覽
  • Flink 學習框架
  • EMR Studio 上的流計算最佳實踐
  • 演示


直播回放:掃描文章底部二維碼加入釘群觀看回放,或進入鏈接https://developer.aliyun.com/live/247106

一、大數據概覽

  • 大數據處理 ETL (Data  → Data)
  • 大數據分析 BI   (Data  →  Dashboard)
  • 機器學習    AI   (Data  →  Model)

image.png

二、Flink 學習框架

Flink 要點

  • Stateful
  • Time
  • Flink Architecture
  • Flink API
  • Flink Configuration
  • Flink Log

Stateful:

  • Why

 • 流計算的及時性

 • 流計算的 unbounded

  • When

 • Window

 • Join

 • Pattern

  • How

 • statebackend

Time

  • Event time
  • Processing time
  • Watermark

Flink Architecture

image.png

Flink API

image.png

Flink Configuration

  • Cluster Configuration
  • Job Configuration
  • Statebackend
  • Resource Manager
  • SQL/Python


參考文檔:https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/

Flink Log

image.png

三、EMR Studio 上的流計算最佳實踐

EMR Studio 特性:

  • 兼容開源組件
    EMR Studio 在開源軟件 Apache Zeppelin,Jupyter Notebook, Apache Airflow 的基礎上優化了做了優化和增強。

image.png

  • 支持連接多個集群
  • 適配多個計算引擎
  • 交互式開發 + 作業調度無縫銜接
  • 適用多種大數據應用場景
  • 計算存儲分離

Flink Clients

image.png

Flink on Zeppelin (Phase 1) - Interactive Flink Client

image.png

Flink on Zeppelin (Phase 2) - Interactive JobManager

image.png

Flinkon Zeppelin 主要 Feature

image.png

四、演示

具體產品介紹和演示,可以掃描文章底部釘釘群二維碼,進群觀看直播回放哦!

也可以點擊以下鏈接直接觀看回放:

https://developer.aliyun.com/live/247106


後續我們會在釘釘群定期推送精彩案例,邀請更多技術大牛直播分享。歡迎有興趣的同學掃下方二維碼加入釘釘群進行交流和技術分享。關注公眾號,鎖定每週精彩分享內容!

459e3ae840724dabb2499b3990cac9b4.png

Leave a Reply

Your email address will not be published. Required fields are marked *