大數據

Dataworks坑記——小時級別依賴數據丟失問題

問題描述

A 小時級任務 (一天有24個節點) ,A依賴上游B , B 30分鐘級任務(一天有48個節點),我們期望應該是一個節點依賴2個,但是第一個只依賴一個節點導致丟數據。

B調度配置如圖:

image.png

A調度配置如圖

image.png

依賴關係

A依賴上游B
image.png

產出依賴關係

圖上時間為定時時間
image.png
就依賴結果:
產出依賴是向前就近關聯,不存在跨天依賴的情況

期望依賴關係

image.png

解決辦法

調整任務A調度時間
調度時間 大於 依賴的最晚節點的時間加上節點執行時間。
(0點35任務A節點) > (0點30任務B節點)+ (小於1分鐘)
image.png

執行結果

最後執行結果符合預期,圖上時間為定時時間
image.png

Leave a Reply

Your email address will not be published. Required fields are marked *