雲計算

CNTK中GPU信息的获取

CNTK中GPU信息的获取 device接口 CNTK提供了device接口,可以访问gpu的几个基本参数。 获取所有的设备 首先可以通过cntk.device.all_devices方法来获取当前的设备 >>> C.device.all_devices() (GPU[0] GeForce GTX 960M, CPU) 获取GPU 知道了系统里有多少设备了之后,就可以通过设备号来通过device.gpu来访问GPU设备了。例: >>> C.device.gpu(0) GPU[0] GeForce GTX 960M […]

雲計算

一言不合就删库跑路?万名贡献者和阿里开源的二三事 | 开发者必读(076期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 一言不合就删库跑路?万名贡献者和阿里巴巴开源的二三事 9 月 27 日云栖大会,阿里巴巴宣布贾扬清担任开源技术委员会负责人。有人问:开源是为了什么?从个人视角看,可以证明自己的专业能力,获得行业认可;从企业视角看,可以建立技术影响力,建立商业化竞争优势;从经济学视角看,可以大幅提升商品的生产效率和分发效率。经历 8 年野蛮生长,阿里巴巴开源收获累累,也在今年夏天举办阿里巴巴开源编程之夏。为了更全面地探讨开源,Alibaba Open Source 首次展开互动:开源老司机 & 开源萌新,他们眼中的开源是怎么样的? 最强干货 块存储支持云化618实战总结 从最早的 2015 年支持大数据,到

雲計算

“飞天”如何有效支撑中国最大公共云:详情架构与演进

2019杭州云栖大会大咖有约,由阿里云智能资深技术专家陈绪带来以“飞天如何有效支撑中国最大公共云:详情架构与演进”为题的演讲。本文对为什么飞天系统要自主研发,以及“飞天”的演进与架构进行了详细的介绍。 视频直播回顾 以下为精彩视频内容整理: “飞天”史 当看到“飞天”这个词时会想到什么?其实在中国谈飞天有三个含义。第一个飞天是印度的飞天Apsara神女的壁画;第二个是跟阿里云长期合作的飞天茅台;第三个就是我们今天要讲的这个支撑中国最大规模公共云的飞天操作系统。这个飞天是在2008年立项,就是要构造一个自主研发的操作系统,飞天的来源从本质上是借鉴了印度的飞天壁画,意味着能够一飞冲天。阿里云是在2009年9月10号成立的,但早在2009年2月,阿里云团队就写下第一行飞天代码,到2010年,第一个客户阿里金融通过飞天平台正式对外提供服务,到2011年,阿里云开始大规模对外提供基于飞天的云计算服务,到2012年,飞天成为双11的基础设施,到2013年,飞天首个5000台集群正式上线,阿里云成为世界上第一家对外提供5K计算能力的公司,到2014年,飞天全球用户突破100万,到2015年,“登月计划”完成,阿里巴巴集团所有的数据计算任务迁移至飞天平台,到2016年,ET城市大脑项目启动,飞天进入人工智能时代并应用于解决社会治理的难题,到2017年,飞天获得中国电子学会15年来首个科学进步特等奖,直到去年2018年,飞天进入2.0时代,成为面向万物智能的云操作系统。 为什么飞天系统要自主研发 为什么有自信说这个飞天是阿里云自主研发的系统呢?原因在于当年全世界还没有特别成熟的云计算软件代码可以为阿里云所用,因此也就意味着阿里云从第一天开始,每一行代码就只能自己写,就只能自主研发。这是时代选择的偶然,更是历史的必然。 飞天系统的演进 飞天系统的架构与演进来源于世界对计算的实际需求。很多云是为做云而做云,而阿里云不是,阿里云是针对业务的需求而做云。阿里云研发要解决两个问题,一个就是针对IT成本增长太快的问题;另一个就是当时整个世界上还没有任何一个公司能够支撑这个性能指标。在2013年所说的5k是指用5000台计算机组成一个集群同时处理大数据,也就是当年所说的ODPS,后面改名为MaxCompute。双11凌晨大屏幕出现的数据统计就是由这个飞天系统计算出来的,但是再往后飞天的技术方向发生了改变,改变在哪里呢?用户更多的是嫌到ID物理机房扛机器太麻烦,不想用原来的物理机,开始使用虚拟机,因此想要到阿里云上通过虚拟机的方式来买容器、买存储、买计算。当时阿里云刚刚成立,由于并没有经过实际演练,面临最大的困难是没有客户,就是没有人为飞天的研发买单。阿里云的第一个客户是阿里小贷,它是蚂蚁金服的一个业务,通过阿里小贷的牧羊犬项目证实了系统的大数据处理能力,能够满足市场上的需求。接下来进入一个新的阶段,在2014年的时候还有很多友商攻击阿里云研发的系统不行,到去年2018年,再也没有任何一个公司说飞天系统不行了。这是为什么呢?因为在这四年中,阿里云团队不仅在技术上实现了升级和演变,而且从商业品牌上也获得了市场的认可。 飞天操作系统 最近的数据显示,中国59%的上市公司使用的是阿里云的系统。他们为什么用阿里云的系统呢?因为他们看中的就是飞天,飞天有几大体系,第一大体系叫做飞天云操作系统,它不是传统意义上的操作系统,它是云操作系统;第二个是飞天大数据平台;第三个叫飞天数据库,我们现在主要讲这个飞天云操作系统。阿里云平台有一个底座,把这个底座称作天基,这个底座是保证所有对物理硬件的管控,能够灵活地进行调度,所以它的层级在最底下。飞天从创建到现在中间经历了无数次的演变和架构的调整,现在的飞天已经达到了一个很高的水平。物理层的管控全部是靠天基系统,在天基之上有神龙、盘古、洛神等主流云计算系统。神龙是阿里云最先进的计算平台的一个架构,它和所有其它的计算平台最大不同在于它是专用硬件虚拟化。虚拟化经历过三代,第一代是软件虚拟化;第二代是通用硬件虚拟化;第三代自研了神龙的芯片。另外,神农在全世界不是没有对手,有一个对手就是AWS。盘古是存储部分。当购买阿里云服务和产品的时候,其实主要买的是三个东西,一个是计算能力,就是一秒能够计算多少次;第二个是存储能力,在整个平台之上能够存储多少数据;第三个是网络能力,构建稳定的网络环境。以盘古为例,盘古系统完全是阿里自研的,经过了十年的研发,现在不仅非常稳定,而且还基于盘古创建了许多有创新意义的一些科技。首先,盘古可以存储数据,存储的数据分为块、文件、对象等。基于盘古之上构建的系统能够支持所有的存储需求,所以盘古系统真正实实在在地成为了整个存储的底层。盘古还能够进行日志服务,什么叫日志服务呢?在一个互联网大规模系统之中,最关键的数据就是数据日志,因为数据日志记录着所有行为的轨迹,那么对于日志的处理和分析就成为了一个通用的需求。很多公司的团队开发对数据进行分析的工具,跟阿里云的日志团队相比,这些公司没有那么多的研发工程师,所以说他们在工具的效率和功能上是有限制的。从去年开始,阿里云的日志服务业务增长得非常快,我们开始也没有想到一个日志服务会有这么多的用户,用户都有了日志服务之后,能够进行不同维度和各个层面的统计和归纳,而且花费的处理时间短得超乎想象。换句话说,就是把存储和日志服务这个整块处理能力全部委托阿里云,这是飞天操作系统的能力。在飞天项目中,很多名字都是古代神话的名字,比如说洛神,其源于古代时期洛神赋。为什么网络这一块叫洛神呢?它讲的是网络之神,意思是把网络已经做得很神了。网络做到现在,目前比较受市场欢迎的两个主打产品是SAG(智能接入网关)和CEN(企业网),SAG解决了目前数字经济时代由于很多公司走向海外,导致分支机构特别多所面临的链接问题。当门店遍布全国或者全球的时候,就会出现一些核心的问题。一个是数据的安全问题,即数据传上去会不会被拦截掉,会不会出现内容的泄漏;第二个是对于新零售来说很核心的问题,是本地和中央的一个数据连接问题。SAG真正地解决了安全问题和连接问题,它能够把全世界所有的门店组成一个局域网,所以说目前SAG特别符合新零售、连锁酒店的联网需求。有些人说没有SAG可以选择拉专线呀。注意:专线的成本至少是SAG的5倍以上,当存储有1000个节点的时候,全部用专线,费用会增长成天文数字,而洛神系统就解决了这方面的问题。为什么洛神能够解决别人解决不了的问题呢?对于一个系统来说,它和用户越近,那么它的处理效果就越好,所以最好在处理数据的附近有数据机房,而阿里云在全世界有200多个数据机房。阿里云在亚太地区部署的数据存储机房最密集,其中阿里云在中国有八个地域(region),包括北京、张北、上海、杭州、成都、呼和浩特、青岛、深圳等。云计算的本质特性很重要的一点是弹性,弹性的意思是说用多少买多少。目前最伟大的云计算公司都是从电商产生的。当年双11为了满足那一天的峰值需求,需要备货许多的物理机,而这些物理机往往需要半年的时间才能消耗掉。到了现在,有了公共云之后就不存在这个问题,不再为资源的闲置而烦恼,也不再为未来的需求而提前买单。 公共云和公有云之间的区别 公共云和公有云的英文名称都是public cloud,因此有很多人分不清楚。公共云和公有云的核心区别是看问题的出发点不同。Public cloud是让用户提供可供租用的云计算资源,使之以低成本获取资源并通过Internet使用。公共云的提法很好地承接了这一理念,强调了公共基础设施的概念,以标准化方式构建的平台能够以比较好的性价比满足大部分用户的需求,这里更多强调的是服务。另外,在服务的提供方面,公共云服务提供商往往提供最为大众化的、需求量最为广泛和集中的服务。“公有云”的概念则更多偏重强调对于物理资源的拥有权,这个不如公共云直观和贴切。所以我们一般把阿里云飞天构建的公共基础服务平台称为公共云,而非公有云。

雲計算

火爆专场 干货来袭 | 淘宝端智能演进和思考

作者|吕承飞(吕行) 出品|阿里巴巴新零售淘系技术部 关注「淘系技术」微信公众号,回复“大会”即可获得云栖大会「移动技术专场」全部 PPT 下载链接,赶快下载吧~ 今天分享内容包括三部分,第一是端智能整体趋势和淘宝应用现状,第二是淘宝在应用端智能过程中面临的问题和挑战,以及我们的应对和解决思路,我们构建了端到端的完整技术体系,第三是开源推理引擎 MNN 的最新情况。 01、端智能趋势和现状 端智能简单说就是在端侧做机器学习或者深度学习模型的推理运行及上层应用。端智能相比云端智能具有低延时,保护数据隐私,节省云端计算资源等优势。其实大家在日常生活中已经用到了很多端智能应用,比如手机上拍照的 AI 摄像,人脸解锁 FaceID ,以及短视频 App 中各种 AR 特效等。 那么,为什么会出现端智能,以及他底层演化逻辑是什么?首先这两年有一个明显趋势就是深度学习从实验室往产业落地方向演进,海量终端设备成为落地最佳载体,手机是覆盖用户最多的设备,很容易做到规模化应用。除了这个大的趋势,我们觉得影响端智能演进还有三个关键要素,分别是算力、算法和场景。 算力:手机的算力不断增长,每年

雲計算

后摩尔时代提升云端算力,「深维科技」获启迪之星领投数千万元Pre-A轮次融资

36氪获悉,FPGA计算平台供应商「深维科技」获得由启迪之星领投、仁爱资本跟投的数千万元Pre-A轮融资,本轮资金将用于产品落地与进一步行业合作。2016年,该公司曾获梆梆安全天使轮融资。2015年以来,摩尔定律逐步放缓,走向终结,登纳德缩放比率也已经失效,借由增加晶体管来提升算力这套方案也快行不通了。与此同时,富媒体应用、面向未来的5G、物联网、AI等对算力的要求与日俱增。那么如何提升算力呢?目前,CPU、GPU仍是主流,两者属于冯诺依曼结构,指令译码执行、共享内存,因而能耗高、实时性差。相比之下,ASIC和FPGA则在能效上略胜一筹,主要因为其体系结构无指令、无需共享内存。ASIC是为了某种特定需求专门定制的芯片,体积小、功耗低、计算性能和效率高,但是问题在于其灵活性差,算法调整难度极高。反观FPGA,具备了低延时、低功耗的特性,且可编程灵活性高、开发周期短,支持后期的调整升级。基于此,深维科技选定了FPGA。据深维科技创始人樊平介绍,深维作为FPGA计算平台供应商,解决的核心问题是开发效率。FPGA 需要经过算法设计、综合、布局、布线等一系列转化过程才能够得到可以在芯片上运行的程序,现在缺乏高效的编译系统和系统工具,所以开发周期也比较长。为解决这个问题,深维做了两件事:**第一件事是基于C/C++语言开发,一方面可支持更大规模算法,另一方面提升灵活性,另一方面提升芯片架构的灵活性,让改动周期缩短;第二件则是自研开发工具,包括面向AI应用的FPGA设计工具、调试工具、标准化专用系统设计工具等,旨在提供平台级服务让FPGA更易用。据悉,传统开发,一个基于FPGA结构的芯片开发周期在6个月到一年,然而使用深维服务,则可将周期缩短至1到3个月。**去年,36氪曾报道过深维科技,那时公司还在试验应用落地场景。而今,深维已经将技术产品化落地。据樊平介绍:深维的产品是软硬结合的,硬件包括服务器和FPGA加速卡,软件包括FPGA算法及主机端软件栈。商业方面:深维当前业务分两块:一是切入电商、社交、手机云相册、新闻资讯等具体场景,为大型网站提供图片转码服务器,聚焦图片视频加速,据悉已和3-4家行业用户合作;二是面向数据中心,即在云端进行AI加速,为云上用户提供标准化服务,据悉目前已经和AWS、百度云、华为云等主流云平台合作。 提及未来规划,樊平表示:公司当前技术面向云端,未来也将面向边缘端,接下来也会把视频和图像处理加速技术应用于安防、汽车、医疗影像等场景中。未来,公司希望与行业深度合作,开发核心IP,打造FPGA加速应用,为企业客户提供AI加速全栈化服务。 据悉,今年深维科技成为了中国云体系联盟成员、赛灵思Alliance联盟成员。深维科技于今年入选了阿里巴巴和36氪携手主办的“阿里AI赛道明星班”,并通过这一活动促成了本次融资。深维科技团队在FPGA应用开发上具备多年经验。创始人樊平,本科和硕士均毕业于北京航空航天大学计算机系,具有十四年行业经验,曾任京微雅格技术总监、Cadence高级软件工程师、IBM软件工程师,在FPGA芯片架构设计与评估技术、FPGA EDA工具算法、高性能算法等方面具有多年积累。关于投资逻辑,本轮投资方之一仁爱资本的投资负责人袁磊表示:我们看好团队的技术实力和背景,通过软硬件结合的能力,提升算力水平,将会广泛应用于大数据时代的云计算场景下。————我是郑铟,36氪超人学院创始学员,关注AI、AR/VR、物联网、边缘计算、社交 ,项目交流请加微信zhengbaobao097825,注明公司、职位、姓名。超人学院相信早期生态推动社会变革,使命是为早期生态培养领袖人才,详情请戳36氪想要为进入创投圈的年轻人做一所「超人学院」,你来不来原创文章,作者:郑铟@超人学院。转载或内容合作请点击 转载说明 ,违规转载法律必究。寻求报道,请 点击这里 。本文图片来自:视觉中国 正版图库

雲計算

Go Git:面向未来的代码平台

2019杭州云栖大会大咖有约,由阿里巴巴·研发效能部·代码基础技术团队负责人蒋鑫(Git项目贡献者、《Git权威指南》作者)主讲“Go Git:面向未来的代码平台”。专题围绕版本控制系统的历史、现状和未来,尝试回答一个问题:未来的版本控制系统是什么样的?还会是Git么? 精彩直播回放–9月25日下午“大咖有约”专场 以下为精彩视频内容整理: 作为Git项目的贡献者、本地化的国际协调者,主讲人开场给大家奉献了一个小窍门,和一个链接(开源电子书): 一个让你超越90%的Git用户的小窍门:如何分析一个开发者在项目中的提交。例如查看某个目录之外的贡献: log –author “Author” –no-merges –oneline — “:(exclude)po/” 《Git权威指南》原稿链接:https://github.com/gotgit/gotgit ,已经拥有500个forks和900个stars。 SVN是2000年诞生的,5年之后诞生的 Git 最终超越、替代了SVN。Git 已经快15岁了,目前为止仍然是用户最喜爱的版本控制系统,那么再过15年,Git会被什么替代? 一、

雲計算

看云栖说云栖——神龙、含光、擎天、云超算

遥远的东方有一条神龙,它不仅可以在天空(计算)、大地(存储)、海洋(网络)间自由穿梭,还能够在虚拟和现实之间幻化自如。 数据中心三大资源分别是计算、存储、网络,这次就让我们先聊一聊阿里云的计算基础设施,相关的内容来自杭州云栖大会2019以下三个专场: 阿里云智能弹性计算专场 阿里云异构计算专场 阿里云智能弹性计算用户实践专场 在阿里云,神龙是计算资源的代表,阿里云及阿里巴巴经济体的百万台服务器都要统一到神龙架构下。(图片来自于2019杭州云栖大会公开脱敏胶片) 世界上有两种云服务商:一种是有裸金属服务的,一种是没有裸金属服务的。所谓的裸金属就是直接提供物理服务器硬件给上层操作系统和应用。神龙就是阿里云提供裸金属计算服务的基础。 服务器虚拟化是云服务商进行大规模资源管理和分配的利器,可以说,没有虚拟化就没有今天云计算的发展,但总有一些应用场景是不太适合使用服务器虚拟化的,例如容器集群、深度学习、高性能计算,这样的场景越来越多。但直接提供物理服务器对云服务商的资源调度管理将带来严重挑战,这种挑战还不仅在于资源的初始化和重新分配方面,还在于需要同时保有虚拟化和物理机两个资源池,难免会出现闲置和不足同时发生的情况,另外,物理服务器对云服务商围绕虚拟化平台而构建起来的各种存储、计算资源的访问也会出现这样或者那样的问题。 神龙就是阿里云解决上述一切问题的答案,以下是第二代神龙的架构,这也是阿里巴巴生态体正在采用的一代架构。 (图片来自于2019杭州云栖大会公开脱敏胶片) 神龙架构包含软件和硬件两部分: Dragonfly Hypervisor虚拟化层、是阿里云为神龙定制的服务器虚拟化系统,具有超轻薄(内存<1MB/VM),资源“零损耗”(CPU<0.1%);超平稳、性能“零抖动”(计算平稳性:99.9999%);超平滑,兼容原架构(兼容KVM架构,支持虚拟机互迁移)的特点。 神龙板卡、不仅支持为虚拟机提供存储、网络资源还支持为物理服务器提供EBS弹性块存储和VPC网络支持,并提供远超物理硬件的存储和网络QOS保障能力。 在神龙服务器上运行容器平台,可在高负载场景下依然保证较低的网络和存储延时: (图片来自于2019杭州云栖大会公开脱敏胶片) 神龙自从2017年发布以来,保持每年更新一代的迭代速度,在这次杭州云栖大会上,将发布第三代神龙。 (图片来自于2019杭州云栖大会公开脱敏胶片) 第三代神龙将更多的存储和网络IO功能加入到神龙芯片中,实现了更低的时延和性能抖动。 (图片来自于2019杭州云栖大会公开脱敏胶片)

雲計算

2019·杭州·云栖大会·MVP见闻分享

2019年9月25-9月27日一年一度的云栖大会在杭州云栖小镇如期召开,今年大会以开发者为大会主角,聚焦数字经济为核心议题,重点展示云计算、人工智能、物联网等这一届云栖大会给大家带来哪些新东西呢,作为神秘组织阿里云MVP成员的我们在提前一天召开闭门会后带着任务秘密潜入现场,下面为您带来前线的分享……补充知识点Tips–阿里云MVP到底是个什么样的组织呢? 阿里云最有价值专家,简称 MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云的技术实践领袖。阿里云MVP有三大使命分别是:1优化产品体验,通过聆听平台提交产品Bug或建议,积极参与新产品的内测和公测;2技术实践领袖,发布产品相关的原创技术文章。在社区和论坛积极回答其他用户的问题。3技术布道,在云栖大会作为讲师分享产品实践经验,组织技术沙龙或研讨会。 第11期阿里云 MVP 将于2019年12月公开,期待您的加入 http://mvp.aliyun.com广告打完了,下面进入云栖大会主题: # # 主论坛 感受一下首日大会的签到入口 首先是云栖大会重头戏主会场,当然由于拿到的票是不包含主论坛的通票,所以首日的主论坛只能通过直播观看,传送门https://yunqi.youku.com/2019/hangzhou/review?share_source=weibo_link划重点来说01 阿里第一颗芯片问世 平头哥发布AI芯片含光800 02 阿里云三任总裁同台对话 十年传承,步入技术无人区 03

雲計算

CCF大赛走进同济,百万奖金池等你瓜分!

近日,由中国计算机学会组委会主办的2019 CCF BDCI 大数据与计算智能大赛“走进高校”活动在同济大学成功举行。 负责阿里巴巴数据库OLAP产品和研发的阿里巴巴资深技术专家专家魏闯先以及同济大学的学生们共同参与了本次活动。 CCF BDCI 大数据与计算智能大赛自2013年创办以来,已成功举办六届,连续获得教育部、工信部、国家基金委等多个国家部委指导,受到北京、青岛、常熟、沈阳、郑州等多地地方政府支持。在梅宏院士、李国杰院士等百余位国内顶尖专家的参与下,共吸引了来自全球25个国家,1500余所高校及科研院所,1800余所企事业单位的60000余人参加。 CCF BDCI大赛权威度高,专业性强,创新成果突出,产学研结合紧密,已经成为中国大数据及人工智能赛事的旗帜。是全球大数据与人工智能领域最具影响力的活动之一。 大赛赛题来源于现实问题,大赛组委会特邀请技术专家、企业专家与往期参赛者深度解读赛题,增进参赛者对本届大赛赛题的理解。 大赛背景 为落实国家大数据与人工智能发展战略,推动我国新一代信息技术引领数字经济发展,中国计算机学会(CCF)成立了大数据专家委员会,发起了CCF大数据与计算智能大赛(CCF BDCI)。 “作为大数据及人工智能领域算法、应用和系统挑战的大型赛事,大赛为社会发现和培养了大量高质量数据人才,很好地推动了大数据技术及产业生态发展,为我国信息技术发展实现“换道超车”做出了实质性贡献。 ”—— 中国科学院院士、CCF大数据专家委员会主任 梅宏 企业老师进行赛题解读 阿里云创立于2009年,是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。

雲計算

深入解读阿里云SDK体系

前言 在今天,OpenAPI 的应用已经越来越广泛,尤其是开放服务和云计算领域中。作为“集成”或者“被集成”的主要实现方案,今天的应用研发中,很少没有涉及到 OpenAPI 的使用的。那么对于一个开发者而言,使用 OpenAPI 的主要方式自然是 SDK,如果一个 OpenAPI 服务没有提供对应语言的 SDK,那么使用它之前的第一件事情便是写一个对应的 SDK。 为 OpenAPI 编写 SDK 通常而言并不是一件困难的事情,无外乎是熟悉 OpenAPI 的参数,封装成 Client

Scroll to Top