大數據

Flink Weekly | 每週社區動態更新 – 20200318

大家好,本文為 Flink Weekly 的第九期,由沈磊(LakeShen)整理,主要內容包括:近期社區開發進展,郵件問題答疑以及 Flink 最新社區動態及本週社區直播內容、技術文章推薦。

Flink 開發進展

■ [Table API & SQL] Jingsong Li 發起 FLIP-115 的討論,主要在 Flink Table 支持 FileSystem Connector,FLIP-115 主要內容包括:

在 Flink Table 中支持 FileSystem Table Factory,同時支持csv/parquet/orc/json/avro 格式。
支持在流應用或者 Flink On Hive 中數據輸出。

更多信息請參考:

[1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-115%3A+Filesystem+connector+in+Table
[2] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/DISCUSS-FLIP-115-Filesystem-connector-in-Table-td33625.html

■ [RunTime / Configuration] Andrey 發起 FLIP-116 統一的 JobManager 的內存配置的討論,在 FLIP-49中,我們針對 TaskManager 進行統一的內存管理和配置,在 Flink 1.10 版本中 release 該功能。為了讓 JobManager 的內存模型和配置保持對齊,同時針對用戶代碼 native non-direct memory 的使用,在FLIP-116 中都進行了詳細說明。更多信息請參考:

[3] https://cwiki.apache.org/confluence/display/FLINK/FLIP-49%3A+Unified+Memory+Configuration+for+TaskExecutors
[4] https://cwiki.apache.org/confluence/display/FLINK/FLIP+116%3A+Unified+Memory+Configuration+for+Job+Managers
[5] https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_detail.html#overview

■ [Connectors / HBase] Flavio 發起了 FLIP-117 HBase Catalog的討論,該 FLIP 主要討論 HBaseCatalog 的實現。更多信息參考:

[6] https://cwiki.apache.org/confluence/display/FLINK/FLIP-117%3A+HBase+catalog

[7] https://issues.apache.org/jira/browse/FLINK-16575

■ Yu Li 發起了 Releasing Flink 1.10.1 的相關討論。

[8] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-10-1-td38689.html

■ 為了讓大家瞭解到 Flink 1.11 的相關特性,Zhijiang 發起了 Flink 1.11 特性的討論,大家有什麼想法或者期待可以在下面郵件中進行相關回復。

[9] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Features-of-Apache-Flink-1-11-td38724.html#a38793

郵件問題答疑

■ shravan 社區提問:當 k8s 集群突然 down 掉時,如何優雅的通過 stop with savepoint 停止作業,Vijay 進行了解答。

[10] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Stop-job-with-savepoint-during-graceful-shutdown-on-a-k8s-cluster-td33626.html

■ Alexander 使用 Flink 1.10 ,對於 Mesos 容器內存配置方面遇到一些問題,Yangze Guo進行了詳細解答。

[11] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-1-10-container-memory-configuration-with-Mesos-td33594.html

■ wanglei2 詢問了在 Flink SQL 任務中,如何設置狀態後端,以及在 SQL Client 中,維表 Join 任務沒有運行問題。Jingsong Li 和 Zhenghua Gao 分別進行了詳細的回答。

[12] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/How-to-set-stateBackEnd-in-flink-sql-program-td33590.html

[13] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/dimention-table-join-not-work-under-sql-client-fink-1-10-0-td33616.html

■ Yuval 提問了關於 Flink 如何從增量的 Checkpoint 狀態回覆的一些問題,Andrey 進行了詳細的解答。

[14] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Restoring-state-from-an-incremental-RocksDB-checkpoint-td33630.html

■ Eyal 遇到了一些 Flink On Yarn 方面的日誌打印配置問題,社區同學進行了解答。

[15] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Setting-app-Flink-logger-td33537.html

■ Flavio 在社區提問了關於 Alink 和 Flink ML 的問題,感興趣的可以看一下。

[16] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Alink-and-Flink-ML-td33332.html

■ LakeShen 詢問了關於從 Checkppoint 狀態文件恢復,是否能夠改變算子的併發的問題。對於 Checkpoint 的狀態文件,當任務從其開始恢復時,可以調整算法的併發度,只要不要修改算子最大的併發度就行。

[17] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Cancel-the-flink-task-and-restore-from-checkpoint-can-I-change-the-flink-operator-s-parallelism-td33613.html

■ karl 在社區提問了關於 Flink Session 窗口的狀態 TTL 問題。

[18] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Session-Windows-State-TTL-td33349.html

活動 / 博客文章 / 其他

SQL 開發任務超 50%,滴滴實時計算的演進和優化

Flink 如何支持特徵工程、在線學習、在線預測等 AI 場景?

一行配置作業性能提升53%!Flink SQL 性能之旅

有贊實時任務優化:Flink Checkpoint 異常解析與應用實踐

■ Flink 中文社區進行了【1.10 特別篇】系列直播:《PyFlink 架構、應用案例及未來規劃》,由 Apache Flink PMC,阿里巴巴高級技術專家孫金城分享。

2 分鐘快速訂閱 Flink 中文郵件列表

Apache Flink 中文郵件列表訂閱流程:

  1. 發送任意郵件到 [email protected]
  2. 收到官方確認郵件
  3. 回覆該郵件 confirm 即可訂閱

訂閱成功後將收到 Flink 官方的中文郵件列表的消息,您可以向 [email protected] 發郵件提問也可以幫助別人解答問題,動動手測試一下!

Tips:

Flink Weekly 週報計劃每週更新一期,內容涵蓋郵件列表中用戶問題的解答、社區開發和提議的進展、社區新聞以及其他活動、博客文章等,歡迎持續關注~

作者介紹:

沈磊(LakeShen),目前在有贊負責實時平臺、以及 Flink 相關開發和維護工作。積極參與 Flink 開源社區,喜歡和大家分享 Flink 技術,個人也寫了很多 Flink 相關技術文章,幫助大家一起學習 Flink。

Leave a Reply

Your email address will not be published. Required fields are marked *