大數據

DataWorks百問百答21:節點的調度依賴關係有哪些? 表之間的業務邏輯簡化說明

三張圖 幫助你理解調度依賴關係

(一)常見問題

  • 節點調度依賴中的本節點輸出名為什麼和我SQL中的表名不一致,會有影響嗎?
  • 調度依賴配置搜不到父節點?
  • 突然報錯提示“‘XXX’不存在,請確保擁有該輸出名的父節點已被提交”?

(二)圖解分析說明

調度配置調度依賴中的父節點輸出本節點輸出執行邏輯上的依賴關係,和實際業務邏輯沒有關係。

圖解:
image.png

image.png

(三)自動解析依賴原理

看懂自動解析,也會幫助您理解依賴關係。

如果您的下游任務的輸入表均來自上游任務的輸出表,那麼牆裂推薦自動解析

自動解析會根據您的SQL解析出依賴關係

  • 父節點輸出名稱:FROM後的表名。
  • 本節點輸出名稱:INSERT/CREATE後的表名。

自動解析原理圖:
image.png

(四)常見依賴關係問題解答

Q1:節點調度依賴中的本節點輸出名為什麼和我SQL中的表名不一致,會有影響嗎?
A1:不會,如上所述,調度配置調度依賴中的父節點輸出與本節點輸出是執行邏輯上的依賴關係,和實際業務邏輯沒有關係


Q2:調度依賴配置搜不到父節點?
A2:step1:確認父節點是否已提交
       step2:搜父節點的本節點輸出名哦,也就是圖1的藍色D


Q3:突然報錯提示“‘XXX’不存在,請確保擁有該輸出名的父節點已被提交”,任務之前一直運行正常?
A3:可能父節點被修改了輸出名
step1:找到父節點負責人,讓他查看一下本節點輸出 ,也就是圖1的藍色D
step2:重新掛依賴,提交發布

(五)更復雜的依賴關係可參見文檔

DataWorks文檔鏈接:https://help.aliyun.com/document_detail/137550.html?spm=a2c4g.11174283.6.785.486a2b657Zrfic#title-vzu-yb4-8rx

DataWorks百問百答歷史記錄 請點擊這裡查看>>

更多DataWorks技術和產品信息,歡迎加入【DataWorks釘釘交流群】

Leave a Reply

Your email address will not be published. Required fields are marked *