本期導讀 :【OSS 訪問加速】第九講
主題:Presto 如何高效查詢 OSS 數據
講師:健身,阿里巴巴計算平臺事業部 EMR 技術專家
內容框架:
- Presto 介紹
- JindoSDK 安裝
- 使用介紹
- 相關資料
直播回放鏈接:(9/10講)
https://developer.aliyun.com/live/246875
一、Presto 介紹
Presto 介紹:SQL-on-Anything
- 為性能和規模而生
- 存儲計算分離,沒有存儲
- 最初針對 HDFS 進行設計
- 原地查詢,無需遷移數據
二、JindoSDK 安裝
1、下載最新的 jar 包 jindofs-sdk-x.x.x.jar,然後在所有 Presto 節點安裝 JindoFS SDK
- 下載鏈接:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md - cpjindofs-sdk-${version}.jar$PRESTO_HOME/plugin/hive-hadoop2/
2、配置 JindoFS OSS 實現類
3、配置 OSS Access Key
- 請參考:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_credential_provider.md
4、 重啟 Presto 所有服務,使配置生效
5、現在 hive catalog 即可訪問 OSS
三、使用介紹
演示邏輯:
- 安裝 JindoSDK
- 配置 Presto
- 讀取鳶尾花數據集並寫入 OSS
- 從 OSS 查詢鳶尾花數據集
⭐點擊回放鏈接,直接觀看第9/10講視頻回放,獲取講師實例講解:
https://developer.aliyun.com/live/246875
四、相關資料
- 下載JindoFS SDK:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md - Presto 使用 JindoSDK:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindosdk_on_presto.md
⭐Github鏈接:
https://github.com/aliyun/alibabacloud-jindofs
不錯過每次直播信息、探討更多數據湖 JindoFS+OSS 相關技術問題,歡迎掃碼加入釘釘交流群!