大數據

DataHub問題之同步篇

Q:DataHub同步延遲很大,不符合5min/64m歸檔一次

  • 檢查數據同步狀態,若為EXECUTING代表同步任務正常
  • 可能原因:數據同步點位設置有誤,頁面創建默認從當前時間創建
  • 如何解決:創建同步時指定時間為數據最早寫入時間

Q:Datahub歸檔狀態顯示為hang?

  • image.png

點擊問號按鈕查看詳情,會顯示hang原因,進行更正

DataHub歸檔狀態為error

  • 7.png

解決辦法:查看失敗原因,嘗試重啟歸檔

Q:Odps partition not in partition config. partition:ts traceId: 20200331160333a838dc0bcc14e600]

  • MaxCompute中對應的分區信息不在DataHub的分區信息中。這個多見於使用SystemTime或者EventTime模式同步的方式,這種方式,需要MaxCompute中固定存在三級分區分別是ds/hh/mm,分區類型為String,如果匹配不上,就會報這個錯誤。

maxcompute新加一個字段流程

數據同步髒數據會自動清理的嗎

  • 髒數據指的是在datahub裡,寫不到下游的數據【下游產品無法接收】,同步時候會自動跳過

datahub裡面在配置數據同步的頁面的時候,出現了字段信息太多的問題,導致後面的頁面無法上翻

  • 全屏即可下翻

Leave a Reply

Your email address will not be published. Required fields are marked *