雲計算

DataWorks百問百答24:怎麼處理同步文件名加後綴問題?

OSS/FTP/SFTP/HDFS同步後文件名加後綴的原因:

數據集成同步數據到OSS/FTP/SFTP/HDFS時將並行多線程寫入,由於對應文件系統限制,只能生成多個不重名文件才可以保證同步任務的併發運行,所以在每個文件後面加上一串隨機字符串防止文件名衝突。

解決方法

目前只有OSS插件支持併發寫入單個文件並且不會在文件後面加後綴,_FTP/SFTP/HDFS插件不支持_

OSS插件操作方法

在[腳本模式]增加如下配置:"writeSingleObject": true

yuq1.png

注意:如果您自定義資源組上面設置上面的參數不生效是因為您datax版本比較老建議升級版本。

DataWorks百問百答歷史記錄 請點擊這裡查看>>

更多DataWorks技術和產品信息,歡迎加入【DataWorks釘釘交流群】

Leave a Reply

Your email address will not be published. Required fields are marked *