大家好,本文為 Flink Weekly 的第九期,由沈磊(LakeShen)整理,主要內容包括:近期社區開發進展,郵件問題答疑以及 Flink 最新社區動態及本週社區直播內容、技術文章推薦。
Flink 開發進展
■ [Table API & SQL] Jingsong Li 發起 FLIP-115 的討論,主要在 Flink Table 支持 FileSystem Connector,FLIP-115 主要內容包括:
在 Flink Table 中支持 FileSystem Table Factory,同時支持csv/parquet/orc/json/avro 格式。
支持在流應用或者 Flink On Hive 中數據輸出。
更多信息請參考:
[1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-115%3A+Filesystem+connector+in+Table
[2] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/DISCUSS-FLIP-115-Filesystem-connector-in-Table-td33625.html
■ [RunTime / Configuration] Andrey 發起 FLIP-116 統一的 JobManager 的內存配置的討論,在 FLIP-49中,我們針對 TaskManager 進行統一的內存管理和配置,在 Flink 1.10 版本中 release 該功能。為了讓 JobManager 的內存模型和配置保持對齊,同時針對用戶代碼 native non-direct memory 的使用,在FLIP-116 中都進行了詳細說明。更多信息請參考:
[3] https://cwiki.apache.org/confluence/display/FLINK/FLIP-49%3A+Unified+Memory+Configuration+for+TaskExecutors
[4] https://cwiki.apache.org/confluence/display/FLINK/FLIP+116%3A+Unified+Memory+Configuration+for+Job+Managers
[5] https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_detail.html#overview
■ [Connectors / HBase] Flavio 發起了 FLIP-117 HBase Catalog的討論,該 FLIP 主要討論 HBaseCatalog 的實現。更多信息參考:
[6] https://cwiki.apache.org/confluence/display/FLINK/FLIP-117%3A+HBase+catalog
[7] https://issues.apache.org/jira/browse/FLINK-16575
■ Yu Li 發起了 Releasing Flink 1.10.1 的相關討論。
■ 為了讓大家瞭解到 Flink 1.11 的相關特性,Zhijiang 發起了 Flink 1.11 特性的討論,大家有什麼想法或者期待可以在下面郵件中進行相關回復。
郵件問題答疑
■ shravan 社區提問:當 k8s 集群突然 down 掉時,如何優雅的通過 stop with savepoint 停止作業,Vijay 進行了解答。
■ Alexander 使用 Flink 1.10 ,對於 Mesos 容器內存配置方面遇到一些問題,Yangze Guo進行了詳細解答。
■ wanglei2 詢問了在 Flink SQL 任務中,如何設置狀態後端,以及在 SQL Client 中,維表 Join 任務沒有運行問題。Jingsong Li 和 Zhenghua Gao 分別進行了詳細的回答。
■ Yuval 提問了關於 Flink 如何從增量的 Checkpoint 狀態回覆的一些問題,Andrey 進行了詳細的解答。
■ Eyal 遇到了一些 Flink On Yarn 方面的日誌打印配置問題,社區同學進行了解答。
■ Flavio 在社區提問了關於 Alink 和 Flink ML 的問題,感興趣的可以看一下。
[16] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Alink-and-Flink-ML-td33332.html
■ LakeShen 詢問了關於從 Checkppoint 狀態文件恢復,是否能夠改變算子的併發的問題。對於 Checkpoint 的狀態文件,當任務從其開始恢復時,可以調整算法的併發度,只要不要修改算子最大的併發度就行。
■ karl 在社區提問了關於 Flink Session 窗口的狀態 TTL 問題。
活動 / 博客文章 / 其他
■ Flink 如何支持特徵工程、在線學習、在線預測等 AI 場景?
■ 一行配置作業性能提升53%!Flink SQL 性能之旅
■ 有贊實時任務優化:Flink Checkpoint 異常解析與應用實踐
■ Flink 中文社區進行了【1.10 特別篇】系列直播:《PyFlink 架構、應用案例及未來規劃》,由 Apache Flink PMC,阿里巴巴高級技術專家孫金城分享。
- 公眾號後臺回覆關鍵字「PyFlink」可獲取嘉賓分享 PPT。
- 直播回顧:https://ververica.cn/developers/flink-training-course3/
2 分鐘快速訂閱 Flink 中文郵件列表
Apache Flink 中文郵件列表訂閱流程:
- 發送任意郵件到 [email protected]
- 收到官方確認郵件
- 回覆該郵件 confirm 即可訂閱
訂閱成功後將收到 Flink 官方的中文郵件列表的消息,您可以向 [email protected] 發郵件提問也可以幫助別人解答問題,動動手測試一下!
Tips:
Flink Weekly 週報計劃每週更新一期,內容涵蓋郵件列表中用戶問題的解答、社區開發和提議的進展、社區新聞以及其他活動、博客文章等,歡迎持續關注~
作者介紹:
沈磊(LakeShen),目前在有贊負責實時平臺、以及 Flink 相關開發和維護工作。積極參與 Flink 開源社區,喜歡和大家分享 Flink 技術,個人也寫了很多 Flink 相關技術文章,幫助大家一起學習 Flink。