本示例使用的工具及驅動版本 |
|
Kettle |
8.2.0.0-342 |
MaxCompute JDBC驅動 |
v3.2.8 |
Setup
- 下載並安裝Kettle
- 下載MaxCompute JDBC driver
- 將MaxCompute JDBC driver置於Kettle安裝目錄下的lib子目錄(data-integration/lib)
- 啟動spoon
Job
我們可以通過Kettle + MaxCompute JDBC driver來實現對MaxCompute中任務的組織和執行。
首先需要執行以下操作:
- 新建Job
- 新建Database Connection
JDBC連接串格式為:jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>
JDBC driver class為:com.aliyun.odps.jdbc.OdpsDriver
Username為阿里雲AccessKey Id
Password為阿里雲AccessKey Secret
JDBC更多配置見:https://help.aliyun.com/document_detail/161246.html
之後,可以根據業務需要,通過SQL節點訪問MaxCompute。下面我們以一個簡單的ETL過程為例:
Create table節點的配置如下:
需要注意:
- 這裡Connection需要選擇我們配置好的
- 不要勾選Send SQL as single statement
Load from OSS節點配置如下:
需要注意的點同Create table節點。有關更多Load的用法,見:https://help.aliyun.com/document_detail/157418.html
Processing節點配置如下:
需要注意的點同Create table節點。