雲計算

Kettle on MaxCompute使用指南


本示例使用的工具及驅動版本

Kettle

8.2.0.0-342

MaxCompute JDBC驅動

v3.2.8

Setup

  1. 下載並安裝Kettle
  2. 下載MaxCompute JDBC driver
  3. 將MaxCompute JDBC driver置於Kettle安裝目錄下的lib子目錄(data-integration/lib)
  4. 啟動spoon

Job

我們可以通過Kettle + MaxCompute JDBC driver來實現對MaxCompute中任務的組織和執行。

首先需要執行以下操作:

  1. 新建Job
  2. 新建Database Connection
    JDBC連接串格式為:jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>
    JDBC driver class為:com.aliyun.odps.jdbc.OdpsDriver
    Username為阿里雲AccessKey Id
    Password為阿里雲AccessKey Secret
    JDBC更多配置見:https://help.aliyun.com/document_detail/161246.html

01.png

之後,可以根據業務需要,通過SQL節點訪問MaxCompute。下面我們以一個簡單的ETL過程為例:

image

Create table節點的配置如下:

需要注意:

  1. 這裡Connection需要選擇我們配置好的
  2. 不要勾選Send SQL as single statement

Load from OSS節點配置如下:

image

需要注意的點同Create table節點。有關更多Load的用法,見:https://help.aliyun.com/document_detail/157418.html

Processing節點配置如下:

image

需要注意的點同Create table節點。

Leave a Reply

Your email address will not be published. Required fields are marked *