大數據

DataHub問題之topic篇

如何修改Topic生命週期

  • 調用Java SDK中的updateTopic方法即可

    使用Java sdk寫入大批數據,沒有寫入成功,也沒有報錯

  • 使用putrecord方法,寫入失敗不會報錯,需要對函數進行判斷,也可以通過getFailedRecordCount獲取用失敗記錄數,最優解升級datahub採用putRecordByShard方法

    創建Tuple類型的Topic timestamp類型是什麼?

  • datahub中timestamp類型本質上是一個long類型

    上游數據源發生變化,topic如何設計?

  • 針對確定的數據源,每一條記錄字段可能為空的情況,創建Topic時可選擇字段類型允許為null,這樣上游同步數據字段缺少的在datahub中會默認為null

    Topic字段如何動態修改?

  • 只支持添加字段,調用appendField方法【目前只支持java sdk】進行添加字段
    刪除字段,修改字段datahub不支持

    創建Topic字段眾多,無法修改有何解決辦法?

  • DataHub支持批量創建Topic,使用datahub console命令工具的script腳本即可

Leave a Reply

Your email address will not be published. Required fields are marked *