大數據

大數據

低成本历史库最佳实践

云HBase活动福利 【云HBase产品介绍】 更多活动内容请参考链接 背景 阿里巴巴集团内为淘宝、支付宝、菜鸟提供订单、账单、物流单的历史库最佳实践方案,帮助您解决历史库的成本和扩展性问题,提供可视化的历史库链路搭建,支持水平扩展,极低的存储成本和丰富的在线查询能力。 解决方案架构图 简单易用 可视化配置,10分钟搭建 内置丰富处理函数,沉淀于最佳实践 支持脏数据容错 完善的监控和报警 低成本 高压缩算法 冷热分离 混合存储 高扩展性 支持水平扩展、垂直升配 扩容节点分钟级生效,异步数据Balance,不影响在线查询 丰富查询 支持高并发的点查和范围查询 […]

大數據

如何构建阿里小蜜算法模型的迭代闭环?

新技术 / 实用技术点: 实时、离线场景下数据加工的方案选型 高维数据的可视化交互 面对不同算法,不同部署场景如何对流程进行抽象 背景 1. 技术背景及业务需求 小蜜系列产品是阿里巴巴为消费者和商家提供的智能服务解决方案,分别在用户助理、电商客服、导购等方面做了很多工作,双十一当天提供了上亿轮次的对话服务。其中用到了问答、预测、推荐、决策等多种算法模型,工程和算法同学在日常运维中会面临着如何从 0 到 1 快速算法模型并不断迭代优化,接下来将从工程角度介绍如何打通数据 -> 样本 -> 模型 -> 系统的闭环,加速智能产品的迭代周期。

大數據

Kubernetes 中日志的正确输出姿势

镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站 作者:元乙 一、Kubernetes 日志等级选择  日志等级是用来区分日志对应事件严重程度的说明,这是所有日志中必须具备的一个选项。通常日志会分为6个不同的等级: FATAL(致命):用来输出非常严重或预期中不会发生的错误,遇到此种错误应当立即报警并人工介入处理。 ERROR (错误):非预期中的错误,此种错误可能导致部分系统异常但不会影响核心业务和系统正常运行。 WARN(警告):潜在的危险或值得关注的信息(比较核心的路径)。 INFO(信息):应用执行过程中的详细信息,一般通过该信息可以看到每个请求的主要执行过程。 DEBUG(调试):用于线下调试的日志信息,用于分析应用执行逻辑,线上应用切勿开启。 TRACE(跟踪):输出最细致的运行轨迹,可能包含涉及的数据内容。 作为程序员,一定要合理设置日志等级,个人在开发过程中总结以下几点经验: FATAL类型日志一定是非常严重的错误、需要人工处理的场景打印的。 ERROR和WARNING的区别很多程序员难以选择,可以从告警角度考虑:ERROR一般需要告警,WARNING不需要。 日志等级一方面是为了能够表示日志的严重程度,另一方面也是为了控制应用程序的日志输出量,通常线上只能打开INFO或WARN的日志。 DEBUG日志可以多打,方便分析问题。 所有用户请求日志,必须记录。 对于不确定的外部系统调用,日志需尽可能覆盖周全。 程序中的日志库需要具备运行期间变更日志等级的能力,方便在遇到问题需要分析时临时更改日志等级。

大數據

从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践

摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面: 一、实时计算的痛点 二、Saber 的平台演进 三、结合 AI 的案例实践 四、未来的发展与思考 重要:点击「PPT」可下载 Flink Forward Asia 大会全部PPT。

大數據

从认证到调度,K8s 集群上运行的小程序到底经历了什么?

作者 | 声东  阿里云售后技术专家 导读:不知道大家有没有意识到一个现实:大部分时候,我们已经不像以前一样,通过命令行,或者可视窗口来使用一个系统了。 前言 现在我们上微博、或者网购,操作的其实不是眼前这台设备,而是一个又一个集群。通常,这样的集群拥有成百上千个节点,每个节点是一台物理机或虚拟机。集群一般远离用户,坐落在数据中心。为了让这些节点互相协作,对外提供一致且高效的服务,集群需要操作系统。Kubernetes 就是这样的操作系统。 比较 Kubernetes 和单机操作系统,Kubernetes 相当于内核,它负责集群软硬件资源管理,并对外提供统一的入口,用户可以通过这个入口来使用集群,和集群沟通。 而运行在集群之上的程序,与普通程序有很大的不同。这样的程序,是“关在笼子里”的程序。它们从被制作,到被部署,再到被使用,都不寻常。我们只有深挖根源,才能理解其本质。 “关在笼子里”的程序 代码 我们使用 go 语言写了一个简单的 web 服务器程序

大數據

【阿里云IoT+YF3300】14.阿里IoT Studio打造手机端APP

  在上一篇《13.阿里云IoT Studio WEB监控界面构建》中,我们介绍了用阿里云IoT Studio(原Link Develop)可视化构建WEB界面程序。本篇文章将介绍用阿里云IoT Studio打造手机端APP。  和WEB开发类似,可以通过可视化拖拽的方式,方便地将各种图表组件与设备相关的数据源关联,无需编程,即可将物联网平台上接入的设备数据可视化展现。不过支持的组件相对于WEB可视化相对少一些,如下图所示:一 阿里云云端设备创建操作步骤1)登陆物联网平台控制台2)创建产品a.左侧导航栏选择设备管理 > 产品。在产品管理页面,单击创建产品。b.单击完成 产品将自动出现在产品列表中 3)创建属性a.在创建的产品界面选择功能定义 > 自定义功能>添加功能。创建温湿度属性4)创建设备a.左侧导航栏选中设备管理 > 设备,进入设备管理页面b.单击添加设备。选中上一步创建的产品,输入设备名称(DeviceName),设置设备备注名,单击确认c.记录设备证书内容设备证书包含ProductKey、DeviceName和DeviceSecret。设备证书是设备后续与物联网平台交流的重要凭证,请妥善保管。也可以在设备的设备信息中查询二 设备连接阿里云 准备材料:YF3300设备套装,YFIOS组态系统,组态KEY,温湿度传感器(妙昕T10FBF)官方下载YFIOsManager组态管理软件 下载链接:http://www.yfiot.com/content/downsort?current=1&title=1 设备连接:1)将组态key插入电脑,将附赠GPRS天线连接好,插入附赠的物联网卡(也可使用自己购买的物联网卡)2)将YF3300通过Type-C连入电脑 端口选择USB 然后点击连接设备配置:(1)在用户设备中新建设备注意事项:串口号应选择串口COM2 创建设备名应与云端设备名保持一致(YF3300_TH)其它默认点击保存项目,保存自定义的组态工程。 (2)在策略列表中新建策略,策略文件选择sys >阿里云MQTT客户端(精简版) A. 服务配置中在相应的地方填入设备三元组,填入产品密钥,服务地址会自动更改,扫描间隔可更改,变化上传可勾选B.

大數據

从大年初一开始,他们在支付宝 7×24 小时工作

“你好,我是支付宝反欺诈中心客服醒醒,系统检测到您刚刚在支付宝上有一笔交易存在被骗风险。可以根据实际情况核对下交易吗?” “你好,我是客服人员小保。你在支付宝购买的好医保长期医疗保险的保障期限一年已经到期……” “你好,我是支付宝客服中心机器人,因春节假期延长,货币基金交易日延后至 02 月 03日……” 这个春节,在全民抗击新型肺炎期间,AI赋能的智能语音机器人走上前台,快速补充人力不足的影响,成为支付宝与客户沟通的主力,7×24 小时不间断服务百姓,每日呼出电话服务时长覆盖了 10% 至 60% 原有人工外呼,并根据当前情况迅速扩展新的覆盖场景。 回访数据显示,大部分用户都没意识到对面不是真人,他们认为,交流顺畅,95% 以上点了好评。 这是如何做到的呢?本文将详细介绍在这背后蚂蚁金服智能客服技术团队所做的工作。 事实上,因为新冠病毒疫情,不少企事业单位也出现了因大量人员不能返岗而导致的人手严重不足的问题。在服务蚂蚁内部各业务的同时,智能客服技术团队也主动将技术能力开放,积极与各行各业的专业人士探索,如何基于各自独特的应用场景,训练个性化的智能机器人。 一、智能语音应用场景 智能语音机器人来源于支付宝的智能客服热线技术,在历次淘宝、支付宝活动中,支付宝小二需要处理数以十万计的热线电话进线量。忙到什么程度?活动中排除困难最多的客服小二会获得“金膀胱”奖的荣誉,可以想见热线处理多么繁忙。 但是,小二们大量宝贵时间都花费在了“问题厘清”、“简单问题疏导”上,而线上还有更多的客户在电话的另一头等待着服务…. 显然,随着业务的持续深入发展,AI

大數據

快速搭建疫情相关平台 阿里宜搭全国多地打响数字化战“疫”

疫情当前,居民身体出现发热、咳嗽等情况如何快速上报?企业复工复产如何科学有序进行?通过阿里巴巴宜搭平台快速搭建上线的“疫情上报平台”、“企业复工申报申请表”等系统,正为浙江、湖北、安徽等地区的相关疫情服务和管理工作提供快速响应的解决方案。 企业复工申报平台 杭州企业率先使用 随着企业复工期的到来,面对疫情,杭州市8日发出通知,全市企业复工实行申报备案制,符合“六个到位”的企业,通过“杭州市企业复工申报”微应用提交复工申报。 据悉,杭州市企业复工平台的企业复工申请表单是基于宜搭平台快速搭建的。通过宜搭, 企业负责人就可以在钉钉中快捷提交企业复工备案申请表相关信息。宜搭的数据报表能力,也给政府侧迅速提供了企业申报数据看板,帮助杭州市防疫指挥部对企业复工进行有序科学的管理。 浙江经验复制湖北安徽 疫情上报平台保驾护航 自疫情发生后,今年春节期间宜搭团队快速投入到各地疫情相关的技术支持工作中。不仅快速响应浙江省卫健委号召,搭建出疫情信息管理系统,支持浙江省11个地市卫健委、90个区县卫健局、上千个基层防控工作小组的疫情上报工作。 宜搭团队还在第一时间开发出“疫情上报系统”,便于用户主动申报疑似症状的案例,方便相关单位更好进行疫情服务与管理。 疫情上报系统作为浙江省新型肺炎防控公共服务管理平台代表的一整套完整的疫情服务和管理解决方案,还免费提供给全国各地政府和社区。目前,该套方案体系已迅速复用到湖北省襄阳市、随州市、孝感市以及安徽省铜陵市等多个省市地区。 助力企业 宜搭免费提供疫情相关模板 阿里巴巴宜搭平台支持通过可视化拖拽的方式进行应用开发,即使不会代码也能迅速完成搭建。目前,超过1400位开发者在疫情期间通过宜搭平台倾力合作,助力超过1000家政府组织搭建了“疫情上报系统”和“企业复工申报系统”等,让10万多基层组织通过宜搭实现疫情相关管理。 为了让更多政府、企业快速生产疫情相关应用服务,宜搭现免费向全社会开放使用。同时提供每日健康打卡、企业员工返工情况等免费模板,直至疫情解除。 企业可一键创建并使用免费模板,通过“企业员工返工情况”可在线上收集员工返工前的整体健康状况、返工时间等信息。“每日健康打卡”可管理与了解员工健康状况。所有数据还将以图形化和表格化的呈现方式,辅助企业管理层进行科学决策。

大數據

阿里防疫再出手,快速开发上线“防疫直采全球寻源平台”

2月5日,阿里巴巴发信致谢海内外各界,并开通“防疫直采全球寻源平台”,呼吁全球中小企业加入到抗击新型冠状病毒感染的肺炎疫情的行列。 通过这个平台,全球商贸及生产企业上传的医疗物资供应信息,将与平台发布的需求信息进行匹配,最大限度寻找货源、扩大产能;再由阿里巴巴直接采购,将医用口罩等紧缺防疫用品,定点送往疫情防控一线特别是医院。 阿里巴巴表示,在这个平台上,国内外关于防疫物资的信息会透明、高效匹配。无论物资在何处,都会以最快的最安全的方式送达医护人员的手中。阿里巴巴已联合全球物流合作伙伴,针对不同国家和地区,制定符合本地实际的快速物流解决方案。 1月25日,阿里巴巴设立10亿元医疗物资供给专项基金。截至2月3日16时,阿里巴巴已将自采及社会捐赠、来自韩国、西班牙、俄罗斯等15个国家和中国国内的医疗物资,直送湖北、浙江、安徽3省18家医院。 据悉,该平台是由阿里员工紧急开发,通过阿里应用搭建平台宜搭,在短时间内即完成平台的搭建与上线。目前该平台支持中英双语,平台上列出阿里集团直采防疫物资需求,代替传统信息采集与管理方式,让信息更透明,匹配更高效。 疫情期间,宜搭平台还支持了全国15个省市、100多个区县、10万多个基层医疗单位搭建疫情相关的信息采集、管理系统。为了让更多政府、企业快速生产类似应用服务,宜搭搭建平台还向全社会免费开放使用,并提供每日健康打卡、企业返工情况跟踪等免费模板,直至疫情解除。阿里宜搭平台通过可视化拖拽的方式,即使不会代码也能迅速搭建应用,对抗疫情。

大數據

助力企业应对疫情 阿里宜搭免费开放使用

抗击疫情如救水火,必须与时间赛跑!1月29日,浙江省卫生健康委员会确认,目前已经应用“疫情信息采集系统”进行信息管理并支持决策,在疫情攻坚战中“分秒必争”。 据介绍,“疫情信息采集系统”由阿里云提供技术支持,系统将覆盖浙江省11个地市卫健委、90个区县卫健局、上千个基层防控工作小组。 面对突发疫情,信息化技术的支持尤为重要,应对突发状况,要求系统能快速上线、灵活应对。但是传统的系统开发建设周期长、灵活性差,无法满足实际工作需求。 然而,疫情的传播速度十分惊人,时间就是生命。 面对新型冠状病毒不断升级的疫情,浙江省卫健委联合阿里巴巴、浙江谷瞰服务团队,通过阿里云宜搭平台,仅用时1天就搭建出疫情信息管理系统,并能按照最新需求迅速调整以满足工作需要。该系统可以支持多级部门数据实时导入,并能同步给出统计分析报表,解决了基层疫情上报繁琐、区县市级收集耗时耗力等问题。基于该系统的实时展示功能,还为政府部门的决策提供直观的数据支持。 疫情期间,宜搭平台免费开放使用 据了解,全国15个省市、100多个区县、10万多个基层医疗单位正在应用阿里宜搭平台搭建疫情相关的信息采集、管理系统。为了让更多政府、企业快速生产类似应用服务,阿里云表示向全社会开放宜搭搭建平台及每日健康打卡、企业返工情况跟踪等免费模板,直至疫情解除。阿里宜搭平台通过可视化拖拽的方式,即使不会代码也能迅速搭建应用,对抗疫情。

Scroll to Top