雲計算

蚂蚁金服在过去十五年重塑支付改变生活，为全球超过十二亿人提供服务，这些背后离不开技术的支撑。在 2019 杭州云栖大会上，蚂蚁金服将十五年来的技术沉淀，以及面向未来的金融技术创新和参会者分享。我们将其中的优秀演讲整理成文并将陆续发布在“蚂蚁金服科技”公众号上，本文为其中一篇。 在人工智能时代，数据是AI领域的石油，如果没有数据很难将AI更好的落地。但是数据孤岛阻碍了数据的获取和利用，蚂蚁金服在三年前开始布局隐私保护机器学习，致力于在保护数据安全和隐私保护的前提下进行机器学习，我们称之为共享智能。我们之前分享了共享智能的理念和原理，今天，我们想聊聊共享智能的发展与应用趋势。 人工智能目前存在的难题是鱼与熊掌不可兼得，也就是隐私性跟可用性难以兼顾。如果你想要你的AI系统能发挥作用，就可能需要牺牲隐私。但是，在大量真实场景中，如果做不到同时兼顾隐私和可用性，会导致很多AI落地的困境。 举几个例子。 首先是贷款风控，用户想要买房去银行贷款，在银行A可能被判定为“坏人”，没有办法给他进行贷款，因为这个机构持有这个人部分数据，同样的用户到了机构B，这个机构B基于它拥有的部分数据，有可能会给予他贷款，这样矛盾的情况比比皆是，皆是因数据不通导致。 在智慧医疗领域，有些罕见病在每个医院的案例都不多，如果我们能把各个医院的案例共享起来，就能获得更多的样本数据，从而可以利用AI进行更准确的诊断，但是这个案例里面技术不是最优先的，对医院来说，它有责任保护患者的隐私，如何确保在共享案例的同时，不泄漏用户的隐私才是首先要解决的。 数据孤岛的问题会给AI落地和应用带来很多类似的难题。 现实环境中，数据在这个图中是不通的，有的地方可能有一些短暂的链接，绝大部分数据在这个图中处于断开状态。我们的目标是想打通数据孤岛，用技术的方法解决技术的问题。通过技术保护数据安全的情况下，实现数据的共享和价值的传递。 共享智能：可用不可见 对于共享智能，我们希望达到的目标是数据可用不可见，在多方参与且各数据提供方与平台方互不信任的场景下，能够聚合多方信息进行机器学习，并确保各参与方的隐私不被泄漏，数据不被滥用。 为了达到这一目标，我们使用了很多业界已有的技术，比如学术圈一直在研究的差分隐私、很多大数据厂商在探索的可信执行环境、随着计算力和硬件技术的提升+密码学突破而广受重视的多方安全计算等。还有一些情况，目标数据比较少，但源领域数据较多，我们采用迁移学习的方法去做数据共享，这个也属于我们大的技术范畴。 具体来看的话，第一种方案是可信执行环境的方案，主要依赖中间的硬件级的保险箱Enclave，双方通过一些密码学的机制，把数据进行加密，加密之后只有在密码箱里面才能解密，解密以后做各式各样的计算，因为密码箱是第三方可信的密码箱，大家不信任彼此的情况下，信任密码箱即可，这样在数据隐私不会泄露的情况下，去做各式各样AI的算法。 这种方案依赖可信硬件，通过数据加密的方式，集中传送到可信的平台。对于一些机构，本身就已经上云，把所有的东西都存放在云上面，所有的技术在云上面部署，那么采用这种方式非常快速便捷，同时又能达到很好的隐私保护的效果。 第二种方案是偏软件级别的方案，我们在中间把数据做相应的处理后再进行计算。比如说像秘密分享的技术，通过把数据拆分完以后，几方通过发送随机数来完成运算，然后可以完成各式各样AI的计算和模型；还有像同态加密这样的方法，在加密后的空间里面做相应的运算来完成AI的计算，中间有一个控制模块来共同完成学习的目标。这个方式本身不涉及到硬件，是偏软件+密码学的方案，中间出去的是随机数/加密中间结果，目前业界隐私+AI结合的方向上，用这个方案相对来说比较多。 星云 Nebula：共享智能网络 共享智能需要多方参与，我们设计了星云Nebula共享智能网络架构，对于蚂蚁金服而言，希望跟合作方共同打造这样的共享智能网络。 网络中存在各式各样的计算节点，能够在某个管理平台中进行触发实现AI计算。这个共享智能网络，可以用不同的技术完成共享智能的目标，比如，构建联合营销网络，节点之间可任意组网，采用多方安全计算技术来实现联合营销，同时管理节点可以部署在任何的地方；对于某些机构而言，可能没有很强的AI能力和多方计算能力，那他们可以依赖于云这样的技术，将数据放在可信执行环境中，去参与建设这样的网络，通过这样的共享智能技术来解决AI落地最后一公里的难题。 […]

摘要：2019杭州云栖大会大师零距离大咖有约，由高德资深地图技术专家杨帆主讲。本文主要围绕技术是什么展开讲解，同时介绍了路径规划技术的演进历程，及技术人的成长主要会遇到深度、广度和系统性等三个问题。 精彩直播回放 以下为精彩视频内容整理：所谓路径规划就是在用户选择完起点和终点之后，所提供的一条路径。出行的方式包括自驾、步行、公共交通等。路径规划的主要工作就是针对亿万用户的情况下，在极短的时间内提供给用户一条最优的路线。 一、技术是什么 1.技术的定义 在《技术的本质》这本书中，作者给出了对技术的定义，其中包括三个定义。第一，技术是某种组合。第二，技术的每个组件也是缩微技术。第三，所有技术的本质都是效应与现象。 2.技术的特点 如上图所示为一张树状图，但其实可以理解成为网状图，因为不是一个现象只出来一个技术，也可能出现很多技术，并且上层的技术不一定是完全互相隔离的，也有可能是互相依赖的。从图中可以看出，技术有以下三个特点： 技术是有层次结构的，分为高层和底层，这并不代表技术的好坏，而是指技术之间的相互利用。例如制造汽车作为一种技术，其中高层技术是指汽车的三大件，包括底盘、发动机和变速箱，更低层的技术可以理解为是材料学方面的或者是动力学方面的。 技术是模块化的。比如汽车的三大件属于汽车的模块。此外，在程序员写程序设计的时候，模块化是非常实用的。 技术是可以被重构的。重构的含义分为三层，第一层含义是指每一项技术的自身是可以通过自然界或者自身的方式被完善，目前所有的技术都不是完美的。第二层含义是指上层的技术可以通过下层的两个技术的推动得以完善。第三层含义是指可以引用其他技术。 二、为什么有技术 技术是为了解决某些问题而存在的。例如，针对架构的重构技术，问题可以分为以下5类：1.业务诉求。比如双十一大促销活动。2.协作。比如如何让成百上千的程序员在一起做一项工作。3.伸缩性。4.效率。5.成本。比如用电的费用。 三、路径规划技术演进 如上图所示，竖条为路径规划技术的演进历程。Dijkstra为路径规划最经典的算法，也作为后续所有算法的基石。在求最短距离时它是最经典的算法，但是在中国的路径规划或者全球的路径规划中并不适用，因为中国有四千多万条路，假如计算从西藏到黑龙江的路程，在计算机寻址中可能需要遍历几千万次，根据计算机的性能不可能在很短的时间内得出结果，可能需要等待三分钟的时间。这时，需要对其进行优化，并且找到技术的突破点。前人也提供了一些例子，例如Bi-Dijkstra，与Dijkstra相比，Bi-Dijkstra的搜索空间是一个椭圆，而Dijkstra的搜索空间是一个圆。 Dijkstra可以理解为是在不停的寻找最短的路线，有可能最短的路在边上就会走出范围。而A Star是设定了一个方向，必须沿着向终点的方向走，同时增加一个参数使得提高性能。 Multi-Layers是指将道路进行分层，分为底层路网和高层路网。方式是从底层路网到高层路网的升级，比如从村道上升到县道，再从县道上升到国道，直到上升到高速公路。使用一种减枝的方法使得路径规划查找的数目更少，性能更快。直到2010年还一直使用这种方法。此方法解决了性能问题，实现了在几秒钟之内能够提供给用户一条路线。同时也带来了最优路线的选取问题。 CH算法可以理解为全国的路网是由很多条路、边和节点组成的，利用计算机缓存的原理，将两个点之间的距离缓存下来。算法主要是将全国任意两个点之间的距离预先的计算出来，需要时可以通过查找得到，这样做可以减少遍历的边数，使得性能得到极大的提升。大概几毫秒就可以得到任何两点的路线。但是也存在新的问题，实时的关注路况的动态变化是必要的，比如道路拥堵问题。 CBR算法是指道路进行区域化。将全国化分为很多个区域，比如区域可以分为M个入口和N个出口，将M个入口和N个出口的最短距离和最短时间计算出来并且进行缓存。这样就可以找到一条从M1到N3的最短距离。其主要思路是分层，一个省作为一个区域或者一个市作为一个区域视为一层，另一层进行聚合变成几个省或几个市为一个区域，每一层的结果都是递归的。CH算法是一个线性算法，无法实现并行，而CBR则不同，是可以并行运算的，从而可以节约时间。

美国技术创新研究与咨询机构Lux Research最近发布的一份报告显示，从2014年到2018年，中国AI创业公司一共融资61亿美元，比美国的36亿美元高出近70%。在同一时期，中国与AI相关的专利数量也超过了美国，位居世界第一。 尽管如此，这份研究报告表示中国尚未充分巩固其全球AI领导者的地位，中国AI公司可能会发现自己难以占领欧美市场，原因是中国的AI投资缺乏多样性。 中国的AI应用仅集中在少数几个市场领域，如金融、零售和政府，而这导致了制造业等行业领域的落后。 此次Lux Research研究了5个主要领域，即语音识别、自然语言处理（NLP）、AI芯片和边缘计算、基础AI、计算机视觉。在去年，中国风投只投资了这5个领域中的2个，在计算机视觉获得大量投资的同时，基础AI只得到了少量投资。 从积极的一面来看，热衷于中国AI市场的投资者会发现，尚未开发的AI平台技术为他们提供了大量的投资机会。根据Lux Research报告对风投的分析，NLP、语音识别、AI处理器以及边缘计算等技术领域将推动AI市场增长。 尽管如此，由于中国AI投资领域有限，中国公司可能只能在国内市场实现快速增长。 “中国AI公司将很难渗透到美国和欧洲市场。与这些市场上领先的当地同行相比，中国公司缺乏明显的技术优势，它们适用于中国某些市场领域的专业知识无法满足国外市场的需求。”分析师Jerrold Wang说。 同样，尽管中国发布的与AI相关的专利和论文数量超过了世界上任何其他国家，但是Lux Research的研究表明，在开发真正的创新技术方面，中国仍未领先于世界。 “在引用次数最多的2100名研究员中，只有158名是来自中国研究机构的学者，占比不到8%，”该报告说，“换句话说，在进行创新性且有影响力的AI研究方面，中国离领导者的位置还有很远一段距离。” 转自创头条，原文链接：http://www.ctoutiao.com/2324423.html

随着以Google Spanner以及Amazon Aruora 为代表的NewSQL的快速发展，为数据库的数据一致性给出了与以往不同的思路： 基于分布式一致性协议！我们也实现了一个独立的分布式协议库X-Paxos，并将这个特性继承到了RDS 5.7三节点企业版中。 三节点企业版是面向企业用户的云数据库产品， 基于一致性协议的多副本复制技术，具有跨可用域RPO=0的强一致能力，并在此基础上大幅压缩用户成本，是具有低成本高可靠性的MySQL解决方案。 *直播预告 预约直播，解锁新品核心技术！了解更多，查看产品核心优势！ 分布式一致性协议 说到一致性协议，我们通常就会讲到复制状态机。一般情况下，我们会用复制状态机加上一致性协议算法来解决分布式系统中的高可用和容错。许多分布式系统，都是采用复制状都是采用复制状态机来进行副本之间的数据同步，比如HDFS，Chubby和Zookeeper等。 所谓复制状态机，就是在分布式系统的每一个实例副本中，都维持一个持久化的日志，然后用一定的一致性协议算法，保证每个实例的这个log都保持完全一致，实例内部的状态机按照日志的顺序回放日志中的每一条命令，这样客户端来读取数据时时，在每个副本上都能读到一样的数据。 复制状态机的核心就是图中的Consensus模块，也就是我们要讨论的Paxos，Raft等一致性协议算法（准确的说，Paxos并不指代一个协议，而是一类协议的统称，比较常见的paxos类协议有Basic-Paxos 和Multi-Paxos） 1.Basic-Paxos Basic-Paxos是Lamport最先提出的分布式一致性算法。要理解Paxos，只要记住一点就好了，Paxos只能为一个值形成共识，一旦Propose被确定，之后值永远不会变，也就是说整个Paxos Group只会接受一个提案（或者说接受多个提案，但这些提案的值都一样）。Paxos协议中有三个角色，Proposer、Acceptor和Learner角色（Leaner只是学习Proposer的结果，暂时不讨论该角色）。Paxos允许多个Proposer同时提案。Proposer要提出一个值让所有Acceptor达成一个共识，达成一个共识分为2个阶段：Prepare阶段和Accept阶段。 Prepare阶段 Proposer会给出一个ProposeID

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货，就在《开发者必读》！ 每日集成开发者社区精品内容，你身边的技术资讯管家。 每日头条 超全云栖演讲稿实录资料（持续更新ing），错过再等一年！ 2019年9月25日-27日，杭州云栖大会圆满举办。大会包含130+场峰会和专场、上千位重量级分享嘉宾以及硬核科技大型展区。开发者社区搜集全站云栖资料与大咖演讲实录，为你带来一年仅此一次的丰富云栖干货！ 最强干货 隐私与AI兼得，蚂蚁金服是如何做到的？ 在人工智能时代，数据是AI领域的石油，如果没有数据很难将AI更好的落地。但是数据孤岛阻碍了数据的获取和利用，蚂蚁金服在三年前开始布局隐私保护机器学习，致力于在保护数据安全和隐私保护的前提下进行机器学习，我们称之为共享智能。 这6种编码方法，你掌握了几个？ Don Roberts 提出的一条重构准则：第一次做某件事时只管去做；第二次做类似的事时会产生反感，但无论如何还是可以去做；第三次再做类似的事时，你就应该重构。 编码也是如此，当多次编写类似的代码时，我们需要考虑是否有一种方法能够提高编码速度，让编码速度“起飞”？高德地图技术专家陈昌毅（常意）多年来致力于敏捷开发，总结了一套编码的方法论，有助于程序员”快速、优质、高效”地进行编码。 为什么 K8s 集群达万级规模，阿里购物体验还能如丝顺滑？ 本文主要介绍阿里巴巴和蚂蚁金服在大规模生产环境中落地 Kubernetes 的过程中，在集群规模上遇到的典型问题以及对应的解决方案，内容包含对 etcd、kube-apiserver、kube-controller

1 为什么要有资源编排 传统运维模式下，业务上线需经过设备采购，机器上架，网络环境搭建和系统安装等准备阶段。随着云计算的兴起，各大公有云厂商均提供了非常友好的交互界面，用户借助一个浏览器就可以按需采购各种云资源，快速实现业务架构的搭建。 然而，随着业务架构的不断扩展，云资源采购的规模和种类也在持续增加。当用户需要快速采购大量不同类型的云资源时，云管理页面间大量的交互操作反而降低了云资源的采购效率。在阿里云控制台上初始化一个经典的VPC网络架构，从创建VPC、交换机VSwitch到创建Nat网关、弹性IP再到配置路由等工作，大概要花费20分钟甚至更久。同时，工作成果的不可复制性，带来的是跨Region和跨云平台场景下的重复劳动。 事实上，对业务运维人员而言，只关心对资源的配置，无需关心这些资源的创建步骤。如同喝咖啡，只需要告诉服务员喝什么，加不加冰等就够了。如果有一份完整的云资源采购清单，这张清单清楚的记录了所需要购买的云资源的种类，规格，数量以及各云资源之间的关系，然后一键完成购买，并且当业务需求发生变化时，只需要变更清单就可以实现对云资源的快速变更，那么效率就会提高很多。在云计算中这被称作资源编排，目前很多云平台也提供了资源编排的能力，如阿里云的ROS，AWS的CloudFormation等。 将云资源、服务或者操作步骤以代码的形式定义在模板中，借助编排引擎，实现资源的自动化管理，这就是基础设施即代码（Infrastructure as Code，简称IaC），也是资源编排最高效的实现模式。 然而，多种云编排服务带来的是高昂的学习成本、低效的代码复用率和复杂的多云协同工作流程。每一种服务仅限于管理自家的单一云平台上，无法满足对多个云平台，多种层级（如IaaS，PaaS）资源的统一管理。 如何解决如上问题，是否可以使用统一的编排工具，共用一套语法实现对包括阿里云在内的多云的统一管理呢？这就是本文所要介绍的主角 – Terraform。 2 Terraform简介 Terraform是由Hashicorp公司于2014年推出的一个开源项目，是一个典型的IaC工具。在Terraform中，Infrastructure是一个广泛的抽象，几乎涵盖了所有可以被管理的资源和服务，如计算资源虚拟机，存储资源磁盘、对象存储，网络资源虚拟网络、交换机、路由器、IP、负载均衡等，安全资源防火墙、其他安全产品和设备，数据库资源MySQL、PostgreSQL等等。 Terraform与前文提到的ROS等各家的资源编排服务相比，主要有几个特点： 1.开源从诞生之初，Terraform就是一个开源项目，任何开发者都可以对其贡献代码，完善功能。 多云管理支持对多种云服务的统一管理，各云服务厂商提供自家的管理插件Provider（后文会提到），用户只需要学习统一的Terraform语法，选择不同的Provider，定义不同的资源模板即可。对不同云服务厂商云资源的描述可以定义在同一个模板中，相互之间不会产生干扰。 面向客户端只要在操作机器上完成对Terraform的安装，就可以通过简单的Terraform命令实现对云资源的一键管理，非常方便，无需再借助与API、SDK等方式整合后进行调用。 目前，市场上的IaC工具大体可以分为两类：一类是配置管理类，典型代表有Ansible，Chef，Puppet等；另一类是以Terraform为代表的资源编排类。运维人员可能对前者更加熟悉，并且认为这些工具也可以实现对资源的管理，比如阿里云的Ansible

数据库是整个企业数据最核心的承载载体，在线上使用过程中，用户经常会遇到以下问题：如何保障业务连续性、数据库研发效率低、数据库存在性能瓶颈及数据存在安全风险等等。 本次的企业级数据库专场中，我们邀请到了数位阿里巴巴资深专家及高级专家为大家分享阿里巴巴的数据库实践经验及产品化解决方案，同时也邀请了客户朋友到现场分享他们的数据库最佳实践。 云时代，数据库容灾解决方案 阿里云智能资深技术专家 陈长城 云时代，灾备建设的契机 正如投资理财，为分散风险把鸡蛋分散在不同的篮子里。业务上，为了保障服务连续性，我们也需要针对核心业务建设数据冗余灾备。针对容灾课题，国家正式出台了灾难恢复等级定义。除了测试业务外，所有的线上业务都需要构建数据灾备。 其中，一般业务需要实现等级三的灾备能力，灾备的RPO/RTO为天级别；重要业务需要实现等级四的灾备能力，RPO/RTO为小时级别；对于关键业务，要求发生故障时，不能丢失超过30分钟的数据，且要在1小时内恢复业务；而对于核心业务则要做到故障时，“0”数据丢失，且在分钟级别恢复整个业务。 对于企业来说，要投资建设满足国标要求的灾备系统，存在如下的痛点： 1，投入大 要做业务的灾备，企业往往要有大笔的初始投资，且后续的维护成本也非常高。 2，可靠性 灾备数据可靠性难保障。 3，可验证 备份集的可用性存疑，导致故障切换存在极大风险。出于切换风险的考虑，很多企业在业务发生故障时，都选择等待故障自动恢复。 云时代，新容灾技术方案 随着云计算的发展，企业容灾体系已迎来新的技术趋势： 容灾副本的在线化、可分析、可服务 数据安全性得到产品级保障。 分钟级乃至秒级RPO、RTO技术逐渐成熟

AI算法工程师薪资高已是行业共识，也成为影响AI创业公司发展的重要难题。不给高薪，或难以找到高质量人才，可能错失商业机会；给出高薪，又可能影响公司内部的稳定与平衡。36氪此前接触的多家AI 初创公司均曾面临这样的难题。2018年8月，阿里巴巴携手36氪，启动了“AI赛道明星班”项目。8月20日，“AI赛道明星班”第一次集结，开启为期四天的培训课程。活动第二天，金沙江创业投资基金董事总经理朱啸虎分享对AI领域创业投资趋势的见解之外，也向现场的36名创业者提出一问——AI算法工程师这么贵，公司如何平衡他们与其他员工的关系？包括云估价CEO孙杰、鲸仓CEO李林子、随身听CEO汤巍敏、深维科技CEO樊平、极熵科技CEO孙东来、友杰智新CEO杨汉丹、测评学CEO刘劲松、火星盒子CEO聂迪、高新兴机器人CEO柏林、知量科技CEO武继坤、看看社保CEO耿敢超、蛙声科技CEO辛鑫、哈哈零兽CEO樊伟、重庆小爱科技CEO龙汝倩、喜圈科技CEO熊伟、怡水科技CEO阮晨海、找大状CEO尚宏金、百芯网络CEO宋俊纬、精臣科技CEO李颇、Speakin CEO陈昊亮、简寻CEO何斌、存信数据CEO黄敏强、极光物联CEO高明、闪宝科技CEO曾金鹤、鼎纳自动化CEO秦应化、米卡迪智能CEO陈顺军、时代拓灵CEO孙学京、盒盒搭CEO杨立东、小立教育CEO牛晓莉、MatchU CEO钱宝祥、氦氪CEO苏立挺、头等舱CEO张鑫、圈圈网络CEO许峰、卓视智通CEO吴柯维、擎朗智能CEO李通在内的36名学院参与了讨论，并分享了他们的实战经验。 一、开源招聘到优秀的AI算法工程师，并通过策略避免因为算法工程师薪资太高影响团队稳定，需要从“开源”、“转化”、“留存”三个方面入手。开源，即是发现优秀人才。除了平时正常的招聘网站、猎头等常规招聘途径，还可以通过做活动，诸如举办大赛来发现优秀的人才。这个过程很类似互联网运营中的“拉新”。1、硅谷的高端人才便宜虽然大量的AI公司注册在中国，但招聘则可以将目光投向海外。对比中美，硅谷的AI算法工程师更加便宜。举例来说，，挖国内BAT中的人，往往需要200-300万元人民币总有。但在硅谷，类似背景的人，很可能只有三四十万美元，高端的人才硅谷其实更便宜，反而是中国因为BAT中P9、P10这样的称号，带给AI算法工程师很高的溢价。2、引入外部科研院所合作除了自己招聘团队做外，也有可能通过与外部科研院所合作。多名CEO认为，可以与关系比较好的科研院所或者高校合作，即可以获得技术上的支持与帮助，也有可能一起申请相关经费做研发。当然，一般来说，与科研院所的团队直接接触并洽谈合作，会比与学校本身合作投入要少至少一个数量级。3、通过相关的技术工具解决当前，AI公司算法工程师太贵，但有一些技术与解决方案已经开源，或者被其他公司做成了标准化产品。创业公司要善于应用这些工具。二、转化1、重视数据对算法工程师的吸引力AI技术实现的观点在于算法、算力、数据三点，其中数据是否关键，只有给到AI算法工程师足够多的数据，才能挖掘出真正的价值，否则也很可能是英雄无用武之地。有足够多场景数据的公司，则可以以此吸引一些算法工程师。2、用企业的价值观感染算法工程师初创公司往往要与大公司及其他公司竞争AI算法工程师领域的人才。创业者应该像给投资人介绍公司一样，给算法工程师们讲清楚公司的价值，让员工真正知道公司要干嘛，怎么去兑现价值。当把这个过程梳理清楚以后，算法工程师特别是高端人才往往会非常认同。三、留存1、设立研究院这样的机构为了平衡内部薪资的差异，可以设置研究院这样的机构。哪怕这个研究院的规模很小，但是至少在公司内部制造一个研究院的人，应该拿更高的薪水，在公司层面先做一个平衡。2、合理设计期权在设置了研究院这样的机构后，可以研究院设立了一个单独的期权，对其他人的期权不共享。拿未来的钱来吸引这些算法工程师。原创文章，作者：石亚琼。转载或内容合作请点击 转载说明 ，违规转载法律必究。寻求报道，请 点击这里 。本文图片来自：视觉中国 正版图库

点击这里回顾9月27日上午开发者峰会精彩内容 蚂蚁金服在过去的十几年中用技术重塑金融服务，主要工作集中在金融级交易支付技术和金融级数据智能技术两个领域。 除了和传统大数据相同的需求之外，金融数据智能还有一些独特的需求： 实时性要求高：实时数据增长非常迅速，在线决策越来越多，数据时效性对业务发展非常重要。 计算场景复杂多样：从简单统计和决策规则发展到复杂图、AI模型以及复杂决策。 数据链路长，全链路研发调试：模型研发横跨18个系统，需要掌握多种研发模式，对研发团队提出了巨大挑战。 计算存储高可用：需要实现跨域容灾，高可靠的计算服务。 数据安全，监管合规，风险防控：严格的数据安全、等级体系，保护用户隐私，遵守监管合规，全面风险的防控。 为了应对金融数据智能的需求，蚂蚁金服的计算技术也经历了漫长的演进和发展过程。针对海量数据，需要使用像MapReduce/RDD这样的批处理计算引擎。时效性要求高，因此也需要做实时计算。数据分析的需求越来越多，于是也实现了交互式分析。同时，计算技术也会面临一些挑战，比如多种计算模式带来了研发效率问题，多套系统带来了多样存储需求，需要花费额外成本，并且还需要不同的容灾要求并保障数据安全，并带来了复杂度上升的问题。 开放计算架构 可能对于工程师们而言，想要解决上述问题最理想的方案就是构建一套统一的系统，但是难点在于系统是什么，如何确定系统的边界以及如何对系统进行抽象。首先，因为计算引擎本身与业务是强相关的，而在现阶段没有一个引擎能够满足蚂蚁金服所有的业务需求，并且业务仍在不停地进行创新，也在不停地提出新的需求。因此，蚂蚁金服希望能够拥有开放的计算架构，能够容纳各种各样的计算引擎。 在开放的计算架构之下，存储也需要统一起来。数据存储可以有各种各样的格式，可以有多个副本和复制，可以针对计算引擎进行各种各样的优化，但是在底层需要使用统一的存储，同时要有统一的全站式安全管控措施。 数据安全管控必须是全站的，金融数据智能体系需要提供全站统一的元数据管理、接入规范、安全等级以及隐私保护体系。只有在统一的数据安全规范之上，才可以将不同计算引擎接入进来。并且，针对每个引擎也需要能够提供不同的安全管控策略。 在开放架构、统一存储和统一数据安全规范的基础之上，蚂蚁金服还希望统一编程模型。蚂蚁现在的做法是统一基于一套标准SQL及扩展让用户直接面对底层数据来写自己的业务逻辑。可以想象为将引擎和存储抽象出来，对业务而言，不需要关注流计算与批计算，而只需要关注需要数据做什么以及数据的时效性即可，其他的部分则由引擎以及存储层自动优化和解决。此外，在统一编程模型中真正实现了面向数据的编程，业务同学面向抽象出来的数据编写业务逻辑，而不需要关注具体细节，这就是数据虚拟化的过程。统一编程模型是蚂蚁金服基于现有的计算模式和经验总结而成的，它能够为用户带来研发体验的巨大提升。 以上的这些就形成了蚂蚁金服所认为的能够支撑未来金融业务持续发展的一整套金融数据智能体系。而如今最为火热的话题就是人工智能技术，蚂蚁也需要考虑如何在金融智能业务中应用人工智能。 人工智能系统的现状基本上就是先有一个数据集，经过数据仓库清洗数据，然后将数据放在模型平台上进行训练并且输出训练好的模型，最终将模型推给线上的服务。在整个流程里面，肯定需要多套系统，并且数据也需要复制多份，这就有可能造成数据安全风险以及存储效率低下的问题。此外，因为模型本身的限制，这一过程很难做到实时，但是实时性在金融系统正在变得越来越重要。对于用户而言，需要做数据仓库，需要掌握机器学习平台，还需要将模型部署上线，整套过程非常复杂和烦琐。而蚂蚁金服在金融数据智能新体系里面直接插入了机器学习引擎。 蚂蚁金服SQLFlow的初衷是希望用SQL来表征和描述所要做的机器学习内容，使用SQL将数据和机器学习串联起来，可以让机器学习变得像SQL一样简单。用户只需要了解SQL就能够完成机器学习训练以及模型预测。 ElasticDL是蚂蚁金服开源的基于弹性调度的AI引擎，它完全基于开源的TensorFlow，但在TensorFlow的基础之上实现了容错以及弹性调度。同时，ElasticDL与SQLFlow进行了集成，使得用户训练模型更加简单。 金融级图计算 在蚂蚁金服业务中存在一些图计算的典型场景，比如实时反套现、社交分析以及营销圈人等。这些场景在蚂蚁金服的金融数据智能体系下实现起来也是非常简单的，相当于在体系中插入了一个图计算引擎。这样一来，不仅提供了离线和在线的图计算引擎，同时将流计算、批计算打通，实现了混合计算引擎。此外，蚂蚁还希望进一步优化金融数据智能体系，通过SQL

这是Jerry在SAP成都研究院内部用英文做的一个演讲，这里把底稿分享给大家： With the accellerated evolution of mobile hardware, application developers tend to reconsider the importance of the Augmented Reality technology