大數據

DataWorks百問百答04:數據源連通性測試失敗怎麼排查問題

引子

測試數據源連通性失敗,是大家在使用數據集成時經常會遇到的問題。
排除某些時候粗心大意填錯配置信息外,很多時候大家發現都配置對了,但為什麼還不通?
此時怎麼知道問題出在什麼地方了呢?

下面本文教你一些排查技巧:

測試原理

數據集成由管控服務和執行集群兩部分組成,數據源連通性測試由管控服務發起,而同步任務實際運行在執行集群,由於二者部署在不同服務器,所以可能存在數據源連通性測試成功但同步任務執行失敗,或者數據源連通性測試失敗但同步任務執行成功等情況。

可能的原因

對於用戶添加的數據源,不能連通具體原因可能有:

  • 網絡不可達
  • 數據源應用層權限控制
  • 白名單、應用層acl限制等

至於後兩者,是沒有辦法來推斷的,但是判斷物理網絡通與不通非常關鍵,如果網絡是通的,但是權限受控,就直接找對應的數據源管理員協調就好了。

網絡通路排查

藉助FTP/SFTP數據源輔助驗證數據源網絡是否可達。操作方法:

  1. 添加ftp數據源,設置ip、port為待測試數據源的相關信息
  2. 協議Protocol類型選擇SFTP
  3. 用戶名、密碼任意填寫
  4. 點擊【測試連通性】

image.png

測試結果 測試分析 測試結論
返回錯誤信息顯示“Auth fail error” SFTP協議層的認證相關日誌信息說明網絡報文可達 物理網絡可通
返回錯誤信息顯示“timeout: socket is not ...” 底層網絡連接的timeout異常 物理網絡層不可達

DataWorks百問百答歷史記錄請點擊查看

採購季限時!原價2500元現僅需99元,3分鐘入門DataWorks標準版6大場景!點擊查看

更多DataWorks技術和產品信息,歡迎加入【DataWorks釘釘交流群】

Leave a Reply

Your email address will not be published. Required fields are marked *