開發與維運

數據湖實操講解【OSS 訪問加速】第五講:訪問 OSS 這類對象存儲最快的方式 – JindoFS SDK

本期導讀 :【OSS 訪問加速】第五講

主題:訪問OSS這類對象存儲最快的方式- JindoFS SDK

講師:誠歷,阿里巴巴計算平臺事業部 EMR 技術專家

內容框架:

  • 大數據存儲架構演進
  • JindoFS
  • JindoFS SDK
  • JindoFS 性能

直播回放鏈接:(5/6講)

https://developer.aliyun.com/live/246811

一、大數據存儲架構演進

640 (26).png

數據湖存儲方案(JindoFS SDK + 對象存儲)

640.png

二、JindoFS


JindoFS 雙模式

  • 既是一個分佈式緩存系統,為計算加速和提供優化(緩存/cache 模式)
  • 也是一個分佈式存儲系統,支持高可靠高可用和安全(存儲/block 模式)

640 (1).png

JindoFS 客戶端Native 架構

  • 全鏈路Native
  • 一套底層適配多個場景

image.png

三、JindoFS SDK

HCFS 標準

  • Filesystem Compatibility with Apache Hadoop


JindoFS SDK 訪問OSS

640 (2).png

詳細使用介紹請參考後續的課程或

參考Github:https://github.com/aliyun/alibabacloud-jindofs

四、JindoFS SDK 優勢

高性能

  • Native Object Engine 基礎操作性能平均提升2.2倍
  • Jindo HCFS 對比開源版本性能大幅提升


易集成

  • 不引入額外Java 依賴,避免生產環境出現依賴衝突
  • 社區模式:文檔完善+在線支持

高可靠

  • 大量客戶Hadoop 生產環境部署使用
  • 對接引擎豐富

Jindo Native Object SDK vs OSS Java SDK

640 (3).png

Jindo OSS Hadoop SDK vs Hadoop 現有OSS SDK

640 (4).png

直接觀看視頻回放,獲取實例講解~https://developer.aliyun.com/live/246811


Github鏈接:

https://github.com/aliyun/alibabacloud-jindofs

不錯過每次直播信息、探討更多數據湖 JindoFS+OSS 相關技術問題,歡迎掃碼加入釘釘交流群!

1835a71d3367446db32f7169e4ae62e3.jpg

Leave a Reply

Your email address will not be published. Required fields are marked *