開發與維運

无限价值,瞬时洞察–沉浸式体验尽在HoloStudio

导读:

HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。

作者:柔惠/魉妹/赵红梅

   

      新一代实时交互式分析引擎于2019云栖大会重磅发布,交互式分析致力于低成本、高性能、高可用的大规模计算型存储和极致的查询能力,兼容PostgreSQL,为用户提供海量数据实时数仓解决方案和实时交互式查询服务。

     交互式分析引擎与MaxCompute直接打通,同时支持Blink实时写入实时查询,支持海量数据场景下的实时数据分析、离线数据实时分析、实时离线联合分析,适用于实时大屏、实时BI报表、用户画像、监控预警等典型场景,数据开发流程主要分为以下三大类: 

实时数仓场景

业务数据实时写入实时计算,并将数据进行ETL处理,再由交互式分析实时查询,最终输出到第三方分析工具,实现实时数据的实时分析。该场景下的典型应用有:

  1. 数据部门的实时数仓、实时大屏、实时Reporting报表分析;
  2. 运维和数据应用的实时监控、实时异常检测预警、实时Debug;
  3. 业务部门的实时风控、实时推荐、实时效果分析、实时训练等;

MaxCompute加速查询场景

  业务数据写入离线数仓MaxCompute,由交互式分析直接加速查询/导入查询,再对接BI分析工具,轻松实现离线数据的实时分析。该场景下的典型应用有:

  1. 离线数据MaxCompute的实时查询;
  2. 离线数据MaxCompute的报表实时分析;
  3. 离线数据MaxCompute的在线应用输出(比如RESTful API)。

实时离线联邦分析场景

业务数据按冷热分开存储,冷数据存储在离线数仓MaxCompute,热数据存储在交互式分析,通过交互式分析实现实时离线数据联邦分析,再对接BI分析工具,快速响应简单查询与复杂多维分析的业务要求。

  在飞天大数据平台全面升级、实时交互式分析需求极速增长的背景下,如何为交互式分析用户提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务跃然纸上,基于DataWorks平台的基础能力,交互式分析和DataWorks团队共同打造了一站式交互式开发平台--HoloStudio

       (产品地址:https://holostudio-cn-shanghai.data.aliyun.com/ ) 感谢小伙伴们的关注,如果想快速体验交互式分析和HoloStudio功能,钉钉搜索加入“交互式分析交流群”)


核心能力

      HoloStudio基于交互式分析交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务,HoloStudio提供的核心能力总结为以下四点: 

图一:HoloStudio核心能力

HoloStudio目前已上线模块包括项目空间多DB管理 、表管理、外部表管理、ETL开发,实时查询和终端服务,下面给大家带来主要模块的功能详解。

表管理

提供可视化和SQL两种建表模式,满足不同层次用户需求。为适应多场景和开发人员的使用习惯,HoloStudio提供了多元化的开发模式,尤其是常用的表管理相关

UI建内部表

UI模式的表管理组件,UI和SQL脚本联动,满足不同数据开发工程师的使用习惯。

图二:HoloStudio 表管理架构

      UI模式的表管理组件兼容PostgreSQL DDL协议,与交互式分析引擎同步,在基础信息、索引、分区等上做了标准化分类,同时直接引用Dataworks数据分析模块WebExcel满足一键数据预览和分析需求,让用户回归专注于开发之中、减少跳转。

图三:交互式分析内部表UI方式创建示例

UI同步外部表

   MaxCompute一键shcema同步创建外部表,亚秒级MaxCompute数据预览和分析

   交互式分析支持对MaxCompute数据进行直接交互式分许,无冗余存储,无额外数据集成工作,创建交互式分析外部表建立与MaxCompute目标分析表的Schema映射关系,即可直接分析MaxCompute里的数据。

   在MaxCompute目标分析表表字段多、或查询分析场景频繁的场景下,拷贝MaxCompute表DDL然后手动进行交互式分析外部表的绑定操作很繁琐且容易出错,HoloStudio利用DataWorks数据地图管理MaxCompute元数据的天然优势,自动获取MaxCompute表Schema一键同步,是您贴身的好帮手。

图四:MaxCompute Schema一键同步,直接加速预览分析

ETL开发

    智能调度和运维、实时离线交互式分析完整业务流

    HoloStudio基于DataWorks的底层能力,为用户提供一站式稳定高效的ETL服务,满足用户MaxCompute离线数据到交互式分析索引数据的周期构建、交互式分析实时数据周期性ETL作业等需求,且与DataStudio离线ODPSETL调度任务流串联,实现完成的 odps ETL --> odps2Holo -->交互式分析交互式分析作业流。 

图五:MaxCompute周期性同步交互式分析

实时查询

    智能编辑器、秒级交互式查询体验

图六:交互式分析亚秒级交互式查询示例

PSQL终端

    web端psql服务,满足终端习惯客户需求

图七:基于AppStudio的PSQL终端服务

构想

      构建完善集数据集成、数据开发、数据分析、数据应用、数据治理于一体的一站式大数据开发平台一直是Dataworks的核心,HoloStudio后续将在交互式数据分析上基于交互式分析引擎和Dataworks生态快速迭代,从图形化运维、query分析和诊断,到数据服务、数据可视化输出、数据综合治理进行深度耕耘和扩展。

     交互式分析目前在阿里妈妈内部搜索、阿里妈妈、菜鸟、口碑、AIS、CCO、CBU、lazada等各个BU广泛应用,公共云也已正式公测,欢迎大家体验和合作,更多精彩请进钉钉群~

更多精彩

总纲

飞天大数据平台操作系统-全域智能大数据平台 DataWorks 3.0 (https://www.atatech.org/articles/151933)   

产品介绍

技术交流

最后不要错过

We are hiring! 全域智能大数据平台 DataWorks 期待你的加入, 前后端同学欢迎联系@枕水

 

Leave a Reply

Your email address will not be published. Required fields are marked *