DataWorks支持三種跨週期依賴模式(依賴上一週期):
- 一層子節點:依賴當前節點的下游。例如,節點A存在b、c、d三個下游節點,依賴一層子節點是指節點A依賴 b、c、d三個節點的上一週期。
- 本節點:依賴當前節點的上一週期(即自依賴)。
- 自定義:手動輸入需要依賴的節點id,多個節點間英文逗號分隔,依賴該id節點的上一週期。
注意:不要重複配置依賴,調度配置中配置了“依賴上一週期”後,在“父節點輸出”那裡,不要重複配置依賴,否則會出現依賴上游“昨天+今天”兩天的實例等情況。
跨週期依賴典型場景
【典型場景一】
“一層子節點”應用場景:對本節點的結果表進行清洗,查看是否正常產出最終結果
【典型場景二】
Q:天任務依賴小時任務,不想等24個小時任務實例跑完才跑天任務,天任務希望儘量按定時時間12:00跑
A:上游小時任務配置“依賴上一週期”選“本節點”;下游天任務定時調度時間選12:00,天任務不需要設置跨週期依賴。這樣天任務就會在12點開始跑,且依賴最新跑完的那個小時任務實例的數據(下有圖解)
【典型場景三】
Q:天任務依賴小時任務昨天的數據
A:下游天任務配置“依賴上一週期”選“自定義”,填上游小時任務的id
【典型場景四】
Q:小時任務依賴天任務,上游天任務跑完,下游小時任務多個週期定時時間已到,導致小時任務多週期併發調起怎麼辦
A:下游小時任務配置“依賴上一週期”選“本節點”(下有圖解)
【典型場景五】
Q:本節點依賴自己的上一週期產出的數據,不知上一週期何時產出
A:本節點配置“依賴上一週期”選“本節點”
自依賴應用技巧
自依賴是天然的跨週期依賴。
- 小時任務依賴天任務(即上述典型場景四)
上游天任務跑完,下游小時任務多個週期定時時間已到,不希望小時任務多週期併發調起。不配置自依賴的話,12點過後a1和a2實例會併發調起。
- 天任務依賴小時任務(即上述典型場景二)
不想等24個小時任務實例跑完才跑天任務,天任務希望儘量按定時時間12:00跑。配置自依賴後,實例a2跑完,12點一到,實例A就會調起。
DataWorks百問百答歷史記錄請點擊查看
採購季限時!原價2500元現僅需99元,3分鐘入門DataWorks標準版6大場景!點擊查看
更多DataWorks技術和產品信息,歡迎加入【DataWorks釘釘交流群】