在DataWorks的數據質量和運維中心裡,均出現了“規則”這一概念,那麼這兩個模塊下的“規則”有什麼不同和關聯之處呢?
區別
數據質量中的規則,側重於對具體數據的監控,目的是為了保證各節點產出數據表中的數據真實有效。具體操作表現為,您可以對業務流程中的某些重要節點來配置表級或字段級的規則,從而約束和監控數據表內的數據內容。例如,在表級規則中,設置錶行數在一定時間週期內的波動率,如果超過這個波動率範疇,則說明該產出表很可能出現了數據缺失或者數據重複的問題;再例如,在字段級規則中,設置某個字段的內容不能為空,如果監測到某條記錄中的該字段內容為空,則說明該條記錄可能在運行過程中丟失了具體數據值。
運維中心中的規則,側重於對整體運行的監控,目的是為了保障整個業務流程和內部關鍵鏈路能夠平穩和順利地運行,是一種全局化的監控。具體操作表現為,您可以選擇不同的粒度(任務節點、基線、業務流程、工作空間)來創建規則,小到單一節點,大到工作空間,單至一條基線,多至並行鏈路,您都可以靈活地選擇規則的應用範圍。與此同時,通過選擇觸發條件,您可以對運行的不同狀態進行更加詳細地把控:完成、未完成、出錯、週期未完成和超時。
關聯
數據質量的規則支持與運維中心的調度任務關聯。在表規則和調度任務綁定後,運維中心的任務實例運行完成都會觸發數據質量的檢查。對錶規則和任務進行關聯調度有兩種方式:1)在運維中心中,找到週期任務並右鍵選擇“配置質量監控”;2)在數據質量中,在規則配置頁面,單擊“關聯調度”並綁定已經提交到調度的某個節點。
無論是數據質量中的規則還是運維中心中的規則,都是為了能夠更好地幫助您進行全方位地維護和把關,在必要時為您產生報警信息進行提示,規則的報警方式是多樣化的,在兩個模塊中均支持郵件、短信和釘釘群機器人的報警通知。
總結
選擇哪個模塊的規則、具體選擇哪條規則,需要根據您的業務場景和側重對象進行不同的選擇和搭配,詳細的配置說明請分別參考官網文檔:
數據質量規則配置:https://help.aliyun.com/document_detail/85362.html?spm=a2c4g.11174283.6.614.638b2b65w7lVTM
運維中心規則配置:https://help.aliyun.com/knowledge_detail/138172.html
不管是數據方面的規則,還是運維方面的規則,我們都希望能通過靈活多樣的方式來為您的業務開發工作提供便捷。
DataWorks百問百答歷史記錄 請點擊這裡查看>>
更多DataWorks技術和產品信息,歡迎加入【DataWorks釘釘交流群】