大數據

学会这个,实时数据(Blink)实时查询实时写入!

交互式分析的核心功能是:实时处理离线数据(MaxCompute)和实时数据(Blink)。为了让大家更好的理解交互式分析和更加快捷的掌握核心功能,小编为大家整理了如何使用HoloStudio来完成数据的开发,往期精彩传送门:
MaxCompute直接查询:在吗?0代码加速查询MaxCompute请查收!
MaxCompute导入查询:来了,2行代码秒级查询MaxCompute!
简单实时大屏最佳实践:双11就要来了,实时大屏准备好了吗?


随着业务的不断拓展,数据的实时性变得越来越重要,对实时数据的快速查询、分析、决策并为业务赋能是大数据生态中的一重大突破点。以往的解决方案通常是:实时计算(Blink)将消息队列中的数据进行初步加工清洗,存储到数据存储系统,之后再进行数据查询,并对接第三方工具来可视化分析。这种解决方案的痛点在于,业务场景的复杂度不同,所需的存储和查询服务也会不一样,这就需要开发人员维护多套系统,增加运维难度,同时高性能、高并发的数据服务也得不到及时响应。
交互式分析的另一核心功能是能够对实时数据实时写入实时查询,既能存储实时计算初步聚合后的数据,又能实现高并发的简单、复杂查询,同时也有JDBC/ODBC接口,轻松对接第三方工具,只需要一套代码维护一套系统,就能完美满足业务的实时查询、分析要求。
在小编为大家讲解过如何通过实时计算、交互式分析做一个实时大屏,但当时的讲解主要侧重于场景实现,中间的操作步骤对于新手还是比较陌生,今天小编就为大家讲解使用HoloStudio实时查询实时数据的具体操作步骤。

前提条件

1.开通实时计算服务
2.开通交互式分析实例
注意:一定要确保这2个计算服务在同一region。



操作步骤

本次案例演示如何在实时计算里随机生成随机数,并在交互式分析中实时查询数据。(本次演示的所有内容大家都可以参考文档:实时数据实时写入查询
使用平台:实时计算平台、HoloStudio
注意事项:本案例侧重于操作步骤的演示,数据为随机生成的数据,实际业务请根据实际场景数据来做处理)



1.交互式分析建表

登录HoloStudio,并创建一张接收数据的内部表,示例建表语句如下:

create table test(a int, b text, c text, d float8, e int8);

2.实时计算准备实时作业

登录实时计算平台,新建作业开发,并填写作业。在作业中主要是建立实时计算与交互式分析的连接,并导入数据。示例SQL如下:

//模拟消息队列随机生成数据
create table randomSource (a int, b VARCHAR  , c VARCHAR , d DOUBLE, e BIGINT) with (type = 'random');

//建立实时计算与交互式分析的连接表信息,下面的连接串信息为必填内容
create table blink_test_demo (
  a INT ,
  b VARCHAR  ,
  c VARCHAR  ,
  d DOUBLE,
  e BIGINT,
  PRIMARY KEY (a)
) with (
  type = 'custom',
  tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
  `endpoint` = '交互式分析实例VPC网络地址:交互式分析实例VPC网络端口',
  `userName` = '当前账号的Access ID',
  `password` = '当前账号的Access Key',
  `dbName` = '要连接的交互式分析数据库名',
  `tableName` = '交互式分析中用于接收数据的表'
);

//将数据导入至连接表中    
insert
  into blink_test_demo
select
  a,b,c,d,e
from
  randomSource;

作业填写完成后,在实时计算左侧菜单栏处选择资源引用,并引用资源包(资源包可以在交互分析文档中下载)
image.png

说明:资源包一定要引用,其提供了实时计算与交互式的接口连接。

3.上线实时作业

资源包引用成功后,可保存作业并进行语法检查,语法检查成功后,可将作业进行上线。并按照上线步骤填写上线信息配置。
image.png
作业上线成功后,需要将作业提交到生产环境运行。单击左上角运维,手工启动作业。(作业启动并有输出信息需要1-2分钟,请耐心等待)
image.png
可以看到当前数据的输出信息
image.png






4.交互式分析实时读取数据

实时计算有了输出数据之后,可以前往HoloStudio进行数据实时查询
image.png
可以看到,只要查询就能实时产生数据,在数据开发中执行该条语句,通过DataWorks调度进行周期性查询作业,提高业务效率。

成功操作完以上步骤,就说明你已成功掌握交互式分析查询实时查询实时计算数据的操作步骤了,赶紧用起来吧!
若大家对交互式分析想要了解更多信息或者技术咨询,欢迎大家进钉钉群交流。
image.png

Leave a Reply

Your email address will not be published. Required fields are marked *