大數據

DataWorks熟能生巧系列直播第四期:DataWorks數據集成獨享資源組與VPC數據源網絡打通

本篇文章主要介紹了DataWorks相關資源組的概念,包括分類、區別和使用場景等,並實操演示瞭如何打通數據集成獨享資源組與VPC數據源網絡。

分享人:DataWorks技術支持團隊

我們在開發者社區學習路線裡有發佈一個DataWorks的學習路線,裡面包含了入門講解和熟能生巧系列的直播內容,大家可以去學習一下,需要主賬號登陸學習哦:https://developer.aliyun.com/learning/course/81

本期視頻地址:https://developer.aliyun.com/learning/course/81/detail/1241

一、資源組相關概念介紹

什麼是資源組? - 資源組是任務分發、執行的服務器。

DataWorks資源組分為公共資源組、獨享資源組、自定義資源組。

  • 公共資源組為所有用戶共享的機器,高峰期可能出現任務等待機器資源而暫時無法運行的情況,運行任務時按量付費。
  • 獨享資源組需要用戶自行購買,包年包月形式售賣,購買後可分配到用戶自己的工作空間獨享使用。
  • 自定義資源組為用戶自建的機器,由用戶自己維護。

image.png

資源組的區別和使用場景如下:

image.png任務執行時如果資源不足,任務會等待資源:

調度資源組和數據集成資源組這兩種資源組等待資源的具體表現形式不同。如果調度資源組資源不足,那麼任務日誌中會打印“任務併發執行數已達上限,正在等待雲端的gateway資源”,而數據集成資源組不足的情況下,數據集成的任務實際不會分配到資源來運行,所以數據集成日誌中會長時間地打印wait這個狀態。

image.png

如果是使用公共資源組出現等待資源,可以考慮購買獨享資源組。如果是獨享資源組資源不夠,可以考慮擴容或者購買新的獨享資源組。注意獨享資源組僅在綁定的工作空間內使用,如果是多個工作空間,建議分開購買獨享資源組。合理規劃使用獨享資源組,可以保障任務按時執行和產出。

下面是獨享資源組的解釋,它可以在DataWorks管控臺的資源組列表裡購買。

也可以通過購買鏈接直接購買:https://common-buy.aliyun.com/?commodityCode=dide_resource_pre&request=%7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D

購買是請謹慎確認地域、資源組類型和資源組規格等信息:

image.png

在不同的數據集成任務場景中,數據源所在網絡環境比較複雜,需要通過一系列操作打通獨享數據集成資源組和數據源的網絡鏈接,下面的鏈接具體講解了各種場景。當然,目前DataWorks提供了數據源網絡連通性工具來幫助大家連通數據源,降低連通操作的複雜度。

image.png

本次主要以RDS-MySQL為例,講解如何在VPC環境下和獨享數據集成資源組打通網絡,主要分為以下6個步驟:

  • 購買阿里雲數據庫服務(以rds-mysql為例)
  • 購買同地域同可用區(可用區可不一致)的數據集成獨享資源組
  • 數據集成獨享資源組綁定dataworks工作空間
  • 數據集成獨享資源組修改專有網絡綁定(添加rds實例的vpc信息。不同可用區需要添加路由)
  • 將數據集成獨享資源組的eip和彈性網卡ip添加到rds實例的白名單中
  • 創建數據集成數據源並正常測試獨享數據集成資源組的連通性

文檔指導操作鏈接:https://developer.aliyun.com/article/766753

image.png

二、實操演示部分

首先到RDS管控臺,根據我們的需要購買相應的實例。

創建好RDS-MySQL實例之後,可以查看它的基本信息,比如地域可用區、內網地址等。

image.png

隨後再看下數據庫連接,這裡有一個網絡類型,表示的是這個實例所在的VPC,而VSwitch表示的是RDS實例所在的VPC下的交換機。

image.png

購買RDS實例之後,再到DataWorks管控臺購買獨享資源組,自己創建名字和備註,然後到相應的地方購買。

image.png

這裡選獨享數據集成資源組並根據需求購買規格,比如4vCPU  8GiB最多支持的離線任務併發數是8,超過8個就運行不起來。

現在這個獨享資源組還無法和對應的RDS實例連通。首先要先改一下歸屬空間,這是為了讓這個獨享資源組在對應的工作空間下可以選中並且使用。

image.png

image.png

隨後開始網絡打通。首先點開專有網絡綁定,點擊新增綁定,選擇剛才RDS的專有網絡,這裡交換機和安全組選擇默認的即可,如果沒有也可以自己創建。

image.png

image.png

image.png

這裡“專有網絡”要選定RDS-MySQL實例控制檯的VPC,就是剛才RDS控制檯“數據庫連接”裡看到的實例VPC,另外還有一個VSwitch是交換機號碼,這裡配置交換機的時候如果找不到RDS實例的VSwitch(RDS交換機和資源組在不同可用區會找不到,但沒關係,後面配置路由連接交換機即可,配置好VPC就行),可以先隨便選一個或者新建一個(點擊“創建交換機”),安全組選默認的就行,或者你建一個。

這就完成了第一步綁定,但由於它們的交換機不一樣,所以現在還無法連通。

image.png

這就需要通過路由規則來將同一個VPC下的不同交換機的網絡進行連通。點擊“自定義路由”來新增路由,目的類型選擇VPC,目的VPC和目的Switch實例選擇RDS-MySQL實例(這裡應該就能找到VSwitch號碼了)的地址。

image.png

添加成功後會有頂部彈出條提示成功

生成路由成功之後,需要將交換機網段或彈性網卡IP加入到RDS實例的白名單內。

image.png

image.png

添加白名單之後,這個網絡就連通了。連通後進入DataWorks工作空間列表,找到剛才的工作空間,進入數據集成。再進入數據源管理界面,新建MySQL數據源,填入RDS-MySQL數據源的實例信息以及賬號、數據庫名等信息。

image.png

然後我們就可以進行獨享數據集成資源組的連通性測試。

image.png

如果使用連接串方式添加數據源,那配置選擇會變多:

image.png

“網絡連接類型”選擇阿里雲VPC的話,“JDBC URL”配置裡RDS實例地址就使用內網地址,填寫形式大概是 “內網地址:端口號/數據庫名”

“網絡連接類型”選擇公網的話,“JDBC URL”配置裡RDS實例地址就使用公網地址

以上就是本次“數據集成獨享資源組與VPC數據源網絡打通”講解的全部內容,有問題需要解答的同學可以掃碼加一下我們的釘釘大群,群裡有直播回放可以觀看,技術支持的同學們也會回答大家的問題。

感謝大家的關注!

DataWorks部門主群二維碼.JPG

Leave a Reply

Your email address will not be published. Required fields are marked *