雲計算

阿里云配置审计 – 规则篇

阿里云配置审计是一款面向资源的审计服务类产品。它可以主动发现用户资源,持续监控并记录资源配置变更,能够提供有效的资源管控服务。并基于“合规即代码”的理念,将资源审计逻辑实现放置于阿里云函数计算运行环境之上,使得持续性的合规审计、安全评估分析成为可能。更多的阿里云Config介绍请参考 阿里云配置审计 – 全解析 阿里云配置审计(以下简称Config)提供了持续的合规审计功能,以审计规则作为落地合规审计的具体策略,基于自动化的手段帮助企业用户完善资源合规审计制度,确保“等级2.0”具体实施的快速落地。它一方面提供了丰富的托管审计规则,提供基础的合规审计功能,开箱即用,可以满足绝大部分用户需求;另外用户可以开发自定义的审计规则,完善内部最佳实践和指南。 为支持后续合规审计规则的持续建设,结合“等保2.0”的具体要求和阿里云Config已具备的能力,通过对现有的审计规则进行总结,分类划分,以方便用户的理解。 1. 网络安全 网络安全是一个比较大的范畴,涉及互联网时代工作、生活的方方面面。“等保2.0”对身份鉴别、访问控制、数据完整性和保密性等方面都提出了要求;从阿里集团层面也出台了《阿里云安全白皮书》,通过《阿里云企业上云安全指引》助力企业用户更好的上云。 以下从阿里云Config审计规则的角度,将涉及安全审计的规则划分为:公网访问控制、用户数据安全、账号和权限安全、高可用支持等几个层面: 1.1 公网访问安全 要求最大限度的限制公网访问,筛选有效用户,减少风险来源,保证流量入口的安全,从而达到保护云产品服务网络环境的目的; 举例: 云产品如:ECS/SLB/EIP等是否具有公网地址;相关规则:ecs-instance-no-public-ip(检查ECS实例是否绑定公网Ip),eip-attached(检查弹性公网IP是否绑定到ECS或SLB实例上),slb-no-public-ip(检查slb实例是否绑定公网Ip) 云产品如:ECS/RDS/OSS/FC等是否允许0.0.0.0/0公网访问;相关规则:sg-public-acces-check(检查安全组是否配置为0.0.0.0/0),rds-public-access-check(检查RDS实例是否允许公网访问) 云产品如:ECS/RDS/FC等产品是否启用VPC;相关规则:ecs-instances-in-vpc(检查ECS实例是否已关联到VPC实例),rds-instances-in-vpc(检查RDS实例是否已关联到VPC实例) 云产品如:ECS/RDS是否附加到安全组;相关规则:ecs-instance-attached-security-group(检查ECS实例是否已关联到安全组) VPC中是否启用了可直接路由到互联网的路由表; ECS是否开启3389、22等风险端口;相关规则:sg-risky-ports-check(检查安全组是否开启指定端口) […]

開發與維運

如何做好干系人管理?知己知彼,百战百胜! | 开发者必读(080期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 知己知彼,百战百胜!如何做好干系人管理 众所周知,高效的沟通是项目成败重要的影响因素。沟通在项目管理过程中扮演了极其重要的作用,而沟通对象又是完整的基于项目干系人,所以在项目管理过程中干系人管理就显得尤为重要,那么干系人管理的好坏也就会直接影响到项目的成败。干系人管理是一门较为复杂的艺术,既会涉及沟通,又将涉及管理学,可见其难度之大;而今天我们如果是基于一个创新型的业务,其复杂性又将会提升,创新型业务的特点就是变化快、不确定性大,那么期间必然会对团队的凝聚力产生挑战,尤其是刚组建的团队。那么我们在基于不确定性极大、变化极快的创新型业务时,作为 PM 应如何做好干系人管理呢? 最强干货 Go Git:面向未来的代码平台 2019杭州云栖大会大咖有约,由阿里巴巴·研发效能部·代码基础技术团队负责人蒋鑫(Git项目贡献者、《Git权威指南》作者)主讲“Go Git:面向未来的代码平台”。专题围绕版本控制系统的历史、现状和未来,尝试回答一个问题:未来的版本控制系统是什么样的?还会是Git么? 浅析Cassandra LeveledCompactionStrategy Cassandra是基于LSM架构的分布式数据库。LSM中有一个很重要的过程,就是压缩(Compaction)。默认的压缩策略是SizeTieredCompactionStrategy,今天主要说一下另一种压缩策略LeveledCompactionStrategy。 重磅揭晓!Flink Forward Asia 2019 议程完整出炉

開發與維運

干货|Flutter 原理与闲鱼深度实践

作者|王康(正物)出品|阿里巴巴新零售淘系技术部 王康(正物)—— Flutter 官方成员 阿里巴巴技术专家,之前主要负责 Flutter 在闲鱼中的混合开发体系,目前重点关注 Flutter 深入度以及生态相关的工作。本文将分享三方面内容, Flutter 的原理、 Flutter 在闲鱼中的应用,最后介绍我们在深度方面的一些探索。 关注「淘系技术」微信公众号,回复“大会”即可获得云栖大会「移动技术专场」全部 PPT 下载链接,赶快下载吧~ 01、Flutter 原理 当我们谈到跨平台框架时,可能会想到很多备选方案。包括早期的 HTML

開發與維運

UAVStack JVM监控分析工具:图形化展示采集及分析监控数据

引言 作为AllInOne的智能化服务技术栈,UAVStack提供了非常全面的监控数据采样功能,同时支持数据监控与预警。近期,我们整合了原有的数据采集展示功能,新增JVM分析功能,推出了更易用的JVM监控分析工具。 熟悉JDK的开发者都知道,JDK本身提供了一套JVM分析工具,包括jinfo、jmap、jstack等。用户可以通过命令行轻松获取JVM内存堆栈信息、内存对象分配以及JVM启动基本参数信息。但这些工具需要在命令行环境中执行,且生产环境下则需要通过堡垒机转发。 开源社区一些不错的JVM分析工具也可以提供获取JVM基本信息、追踪堆栈、获取内存信息等功能,但同样需要命令行CLI的支持。 UAVStack推出的JVM监控分析工具提供基于页面的展现方式,以图形化的方式展示采集到的监控数据;同时提供JVM基本参数获取、内存dump、线程分析、内存分配采样和热点方法分析等功能。 一、架构 JVM监控分析工具基于UAVStack既有架构,整体分为前端、后台及中间件增强框架(MOF)。其中: 前端负责展示数据、向后台发送用户执行指令; 后台负责下发指令、响应用户查询、处理采集到的数据; 中间件增强框架(MOF)负责接收后台下发的指令、执行指令并返回数据或将数据写入文件,然后通过UAV提供的文件归集功能上送数据。 整体架构流程如下图所示: 二、关键技术 2.1 JMX JMX提供相关接口,获取基础的JVM监控数据,如内存堆大小、GC情况等,是JVM监控数据的基础。 2.2 中间件增强框架(MOF) 作为分析工具整条链路的基础,MOF依附于用户应用,主要提供以下基础支持: 基础数据采集:MOF植入应用中,JMX定期获取并上报相关JVM的基本信息数据,为展示和预警提供数据基础。 请求捕获、指令执行:JVM监控分析工具的大多数功能都需要下发指令至应用所在的服务器。MOF负责把下发指令的请求拦截下来,执行并返回对应的结果。

開發與維運

云服务OpenAPI的7大挑战,架构师如何应对? | 开发者必读(081期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 云服务OpenAPI的7大挑战,架构师如何应对? API 是模块或者子系统之间交互的接口定义。好的系统架构离不开好的 API 设计,而一个设计不够完善的 API 则注定会导致系统的后续发展和维护非常困难。比较好的API设计样板可以参考 github 和 k8s ,它们都是典型的RESTful接口。云服务对外开放的窗口就是OpenAPI,今天要讨论的话题是“云服务场景下OpenAPI设计的挑战”。 最强干货 干货|Flutter 原理与闲鱼深度实践 本文整理自云栖大会移动技术专场。王康(正物)—— 阿里巴巴技术专家,之前主要负责 Flutter

開發與維運

大咖集结 | 开发者进阶直通车

为了让广大开发者更好的进行技术分享、经验吐槽、提升技能,【阿里云开发者社群】第三期开发者招募开始啦,10月15日,仅一天的时间就有500多位来自python、大数据、Java、物联网、AI、IOT等各领域的开发者纷纷加入。目前,开发者招募依然火热进行中,名额有限,抓紧时间啦。进群直通车 1、 阿里云开发者社群是什么? 阿里云开发者社群是阿里云为解决广大开发者的技术疑问、技术交流、经验分享、职业发展等问题而创办,社群成员覆盖了IT技术各个领域,在这里,不仅能获得行业最新的技术动态,而且有机会参加各种不定期阿里高级专家线上线下讲座。截止到目前,已经有上百期直播视频回放链接以及10部阿里独家电子书等上传至群文件中,加入我们,你就可以得到。 2、 社群福利 ① 与阿里高级专家同群交流阿里云开发者社群目前已经聚集20位阿里高级专家、高德技术专家、蚂蚁金服技术专家,在这里,你可以与各路大咖零距离接触,了解大厂的技术理念及经验。 ② 定期专家技术分享直播(可根据群成员需求进行开展)社群每周会邀请阿里高级技术专家在线交流分享,让你对各领域技术有更深入的理解,收获新颖的开发新思路。【往期直播部分内容节选】 ③ 解决你“百度”不到的问题程序开发过程中,各种bug层出不求,与产品沟通更是难上加难。每次遇到问题不知道向谁请教,相信很多技术人都不会相信百度,于是在各大技术论坛游荡,无法判断真假,一次又一次的尝试。在阿里云开发者社群,不懂就问,与专家及各领域开发者在线互动答疑,你的问题,总有一个人遇到过。④ 最新技术领域信息与阿里独家技术干货技术人做了几年都会有想学新的技术又不知道到底学什么的疑问,渐渐的,使自己一直处于不断地观望过程中。在这里,会分享技术新热点,看看专家如何评论的,看看各领域的开发者是如何吐露心声的。⑤可以参与阿里云开发者社区标兵评选,获得开发者定制版礼品 ⑥进阶福利a、 创业投融资、孵化器资源对接支持b、 阿里巴巴经济体技术岗位内部推荐(P6~P9级)c、 获得价值200元的实验点(可在开放实验室动手搭建真实环境)d、 获得阿里云技术专家面对面交流的机会。 3、 哪些人适合加入开发者社群

開發與維運

开放平台能为开发者带来什么价值?

2019杭州云栖大会大咖有约,由阿里云开放平台负责人圭多带来以“开放平台能为开发者带来什么价值?”为题的演讲。本文对阿里云的开放平台进行了详细的阐述,即对阿里云开放平台到底开放的是什么,开发者又被给予了哪些开发能力进行了详细的介绍,包括丰富完整的API产品体系,及如何让开发者更好享受技术红利? 视频直播回顾 以下为精彩视频内容整理: 阿里云开放平台在做什么? 什么是阿里云开放平台? 什么是阿里云开放平台呢?众所周知阿里云创办已经有十年的时间了,早期大家接触到的阿里云更多的是做产品,像云计算、数据库等。但云不单单是一个单品,它是一个整体,是一个架构,是一个顶层完整设计的架构。在这个完整的架构下,要想真正的让客户用好云,就需要对平台进行开放。开放平台的使命就是怎么让企业、客户更好的去使用阿里 到目前为止,开放平台具有规模大、程度深、品牌背书、商机巨大的特点,关于开放平台有一些简单的数据跟大家分享一下。目前整个阿里云的开放平台已经对外开放了10000+个API接口,有95%的阿里云产品对外开放了API接口,使企业和用户可以通过API来进行访问。面向于阿里云的生态伙伴,开放平台还可以提供阿里云的技术认证和品牌背书。以上就是阿里云开放管理平台的简单介绍。 阿里云开放平台架构 阿里云开放平台的架构如图所示,架构分为三个层次。最底层是产品层,产品层就是所说的ECS、OSS、RDS、VPC、大数据、IoT、AI等。在架构的最上层,大家使用比较多的是控制台和手机APP。接下来,重点介绍下中间层,中间起到承上启下作用的就是开放平台,那为什么要叫开放平台呢?开放平台有两层,第一层就是平台层,平台层含义怎么理解呢?因为云计算是一个企业级的服务。那云计算这种企业级服务更多挑战的是什么呢?就是平台能力和整个企业的服务能力。针对企业的服务能力,简单的举个例子来说,就是企业是一个完整的组织结构,它不是一个个体,所以说整个企业平台这一层,我们也叫做企业IT治理,这里包括企业的身份管理、权限管理、资源管理、日志&审计、计费&账单。开放平台的另一层指的是开放层的能力,开放层能力就是说现在服务的究竟是互联网企业,还是传统企业或者合作伙伴。开放层的能力就是说阿里云的能力(比方说ECS、数据库等)是不是真正的可以通过API的能力跟外部的系统去对接,是不是真正的可以通过API去建立一个数据库,是不是可以通过API将所有的资源列表拉出来,并将运行状态全部采集出来,跟业务系统完成无缝对接。 阿里云开放平台的规模 阿里云目前开放了10000+的API,覆盖了阿里云的100多款产品,在这里开放的数量同比增长65%,然后现在每一天的调用量是100亿次以上,在这个过程中有100万+的活跃开发者,这个相对于去年也有104%的增长。 为开发者提供体验一致、稳定、易用的API 阿里云开放平台具备了能力以后,需要做的就是怎么跟开发者(个人开发者、企业开发者、生态伙伴开发者)建立很好的连接。为开发者提供体验一致、稳定、易用的API,首先要对内部统一规范,阿里云有10000+多接口,只有保证所有的接口易读性、易用性、可用性达到一个很高的水准,并从API设计到上线接入到线上运行到API下线整个API的生命周期进行统一规范,才能保证在集成阿里云的时候能够正常运行。在统一规范之上需要保证统一体验,即做到一定的开放度、稳定可用率、文档的完整性、活跃度,我们在这些方面要不断的提升自己的能力。 开放平台提供了丰富完整的API产品体系 阿里云提供的丰富的API产品如图,整个阿里云的开放平台覆盖了100款+的云产品,对外提供了10000+的API接口,这些云产品和API接口都是公开的,这些产品和接口还需要不断的打磨,不断的做得更好。目前最常见的基础产品有云服务器ECS、高性能计算HPC、云数据库RDS版、文件存储NAS、内容分发CDN、负载均衡SLB、专有网络VPC、容器服务、批量计算、云通信等,所有这些产品都由API开放出去。除了基础产品之外,还有安全、企业服务、IoT、大数据、AI、开发运维相关的产品。提供丰富完整的API产品体系也是阿里云未来最重要的一个使命,即把底层的能力建设好,不断的夯实底层的能力,然后再把这个能力完全对外开放,希望用这种平台开放把整个生态繁荣起来。 如何让开发者更好享受技术红利? 阿里云开放平台:提供全方位的API工具及内容 开放平台如果仅仅是把10000+的接口开放出来,对于使用的人而言,接口报错了都不知道是什么意思。所以在接口开放之后,团队不断的把API接口往上层去包装。这里面有整个API的编排,API编排除了API、CLI、SDK这些工具外,还跟开源工具做紧密的结合,像Ansible、Terraform、Bosh工具,这些都是开源里面非常优秀的工具,这些工具分别在不同的场景下可以起到很好的作用。比如说Terraform,就是一个很好的资源编排工具。能力层往上就是工具层,就是把API的场景化能力给用户展示出来,让用户可以去验证和使用。工具层往上是内容层,包含 API的各种教学文档,还有实验室Labs以及Demo模板。有了这些能力之后,才能真正的把开放平台的原子化能力变成一个可用、切实、可集成的一个能力。 可视化API调用工具——OpenAPI

開發與維運

D2来了 | 阿里巴巴第十四届D2前端大会购票渠道开放

D2 前端技术论坛,是由阿里经济体前端委员会主办的面向全球前端领域的技术论坛,立志于建设一个促进业内交流、引领前端领域发展的平台。目前 D2 已经成功地举办了 13 届,为国内外前端领域的开发者和设计者提供了共同探讨行业发展的机会,以技术会友、一起分享技术的乐趣。 延续上次燃爆前端圈的盛况,第十四届 D2 又向我们招手了! 这次,它将踩着 2019 年的尾巴,于 12 月 14 号,和你我相约在美丽的杭州,一起分享技术的乐趣,共同探讨行业的发展。 如果你对本次会议感兴趣,那就赶紧去买票吧!(扫描上方图片二维码直达官网,官网地址:http://d2forum.alibaba-inc.com) 本届 D2 由以下

開發與維運

【译】使用Spark SQL 运行大规模基因组工作流

编译: 诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。 使用Spark SQL 运行大规模基因组工作流 在过去十年中,随着基因组测序价格下降,可用基因组数据的数量逐渐激增。研究人员现在已经能够从英国生物银行等项目的数十万人群中探测遗传变异和疾病之间的关联。这些分析将使人们更深入地了解疾病的根本原因,从而治疗当今一些主要的疾病问题。但是,目前用来分析这些数据集的工具还没有跟上数据增长的步伐。 许多用户习惯于使用命令行工具(如plink或单节点Python和R脚本)来处理基因组数据。但是,单节点工具暂时还不足以达到TB级甚至更高级别的程度。 目前Broad研究所的Hail项目建立在Spark之上,可以将计算分配到多个节点,但它要求用户除了Spark之外还要学习新的API,并鼓励数据以特定于Hail的文件格式存储。由于基因组数据不是孤立地保持其价值,而是针对结合不同数据来源(例如医疗记录,保险索赔和医学图像)进行分析后的一种输入,因此单独的系统可能导致严重的并发症。 我们相信Spark SQL已经成为处理各种不同风格的大量数据集的标准,代表了通向简单、可扩展的基因组工作流程的最直接途径。 Spark SQL用于以分布式方式来对(ETL)大数据进行提取,转换和加载。 ETL是生物信息学所涉及工作的90%,从提取突变,用外部数据源注释,到为下游统计和机器学习分析做准备。 Spark

Scroll to Top