開發與維運

数据分析工具PANDAS技巧-如何过滤数据

在本文中,我们将介绍在Python中过滤pandas数据帧的各种方法。 数据过滤是最常见的数据操作操作之一。 它类似于SQL中的WHERE子句,或者必须在MS Excel中使用过滤器根据某些条件选择特定行。 就速度而言,python执行过滤和聚合更佳。 它有很棒的库:pandas。 Pandas是在numpy包之上构建的,它是用C语言编写的,这是一种低级语言。 因此,使用pandas包进行数据操作是处理大型数据集的快速而智能的方法。 数据过滤的示例 它是预测建模或任何报告项目的数据准备的最初步骤之一。 它也被称为“子集数据”。 请参阅下面的一些数据过滤示例。 选择在2019年1月1日之后开立帐户的所有活跃客户 提取过去6个月内进行超过3笔交易的所有客户的详细信息 获取在组织中工作超过3年且在过去两年中获得最高评级的员工的信息 分析投诉数据并确定在过去1年内提交超过5个投诉的客户 提取人均收入超过40K美元的地铁城市的详细信息 导入数据 我们将使用包含2013年从纽约出发的航班详情的数据集。该数据集有32735行和16列。下载 https://itbooks.pipipan.com/fs/18113597-393403297。 […]

開發與維運

《深入理解ES6》| 每日读本书

编辑推荐 √ 不识老尼,枉为前端攻城狮,其成名作《JS高级程序设计》曾名动江湖。 √ Redux缔造者与React核心成员作序力荐,盛赞本书对JS的剖析无人企及。 √ 用直截了当的方式传达艰深的技术细节,对技术的理解方可高效送达。 √ 中高级开发者藉由本书可一举迈入对标准及其未来特性熟稔于心之化境。 【美】尼古拉斯·泽卡斯 著 / 2017年7月出版 内容提要 ES6是ECMAScript标准十余年来变动最大的一个版本,其中添加了许多新的语法特性,既有大家耳熟能详的Promise,也有闻所未闻的Proxy代理和Reflection反射;既有可以通过转译器(Transpiler)等方式在旧版本浏览器中实现兼容的let、const、不定参数、展开运算符等功能,亦有无论如何都无法实现向前兼容的尾调用优化。深入理解ES6的特性对于所有JavaScript开发者而言至关重要,在可预见的未来,ES6中引入的语言特性会成为JavaScript应用程序的主流特性,这也是《深入理解ES6》的初衷。希望你通过阅读《深入理解ES6》可以了解ES6的新特性,并在需要时能够随时使用。 作者简介 Nicholas C. Zakas 自2000年以来一直致力于Web应用程序的开发,重点关注前端开发,并以写作和讲述前沿最佳实践而闻名。他曾于雅虎主页任职5年有余,他也是多本书的作者,其中包括The

開發與維運

高德全链路压测平台TestPG的架构与实践

导读 2018年十一当天,高德DAU突破一个亿,不断增长的日活带来喜悦的同时,也给支撑高德业务的技术人带来了挑战。如何保障系统的稳定性,如何保证系统能持续的为用户提供可靠的服务?是所有高德技术人面临的问题,也是需要大家一起解决的问题。 高德业务规模 支撑一亿DAU的高德服务是什么体量?可能每个人的答案都不相同,这里从基础设施的角度给大家做个简单的介绍,我们有数千个线上应用,分别部署在全国各地多个机房中的数万台机器上。 这张图是高德业务核心链路的架构,从图中可以看出高德业务具有相当高的复杂性。当然,真实系统远远要比图表示的复杂,如果用这张图来代表高德整体业务形态,无异于管中窥豹,太过于片面。 对于如此大规模,高复杂度的系统,如何保障系统的稳定性,是高德技术人长期面临和解决的问题。 保障稳定性的手段 如何保障系统稳定性是几乎所有互联网企业都需要面对的问题。通常来讲,有五种手段来从理论上保障系统的稳定性,分别是: 容量规划:根据以往业务的流量,估算出未来(通常是即将来临的大促,节假日)的流量。以整体流量为基础,估算出每个子系统需要满足的容量大小。然后根据子系统的容量来计算出需要的资源数量,对系统进行适当的扩容。计算方式可以简单的表示为如下公式: 机器数量 = 预估容量 / 单机能力 + Buffer (一定数量的冗余) 流量控制:系统需要防止流量超过设计的容量,对超出设计的流量进行限流。各业务也需要对超出子系统服务能力的流量进行限流,对超负荷的服务进行降级。 灾备:一旦系统发生灾难性故障,需要将流量切换到容灾机房,避免对大量用户造成损失。 监控:对服务进行全方面的监控,实时掌控系统的状态,对系统中出现的问题及时预警,做到早发现,早治理。

開發與維運

值得收藏!阿里技术专家带来技术人的万能成长模式 | 开发者必读(047期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 从求生存到修体系,我在阿里找到了技术人的成长模式 做业务就好比打仗,团队是我们的归属。在团队中,我们既要通力协作,又要定义问题,既要业务先赢,又要技术成长。越来越多的前端投身业务研发中。想要有更好的发展,业务理解力非常关键。阿里巴巴前端技术专家悟寻将他在阿里的成长思考,送给在业务中深耕细作的你。 最强干货 阿里云造了个“隐身斗篷”,被Gartner点名了! 熟悉《哈利波特》的同学一定对隐身斗篷如数家珍:它是一件能让人隐形的斗篷,永久有效,持续隐形,无论用什么咒语都不可破解,可谓是顶级安全神器。 如今,阿里云也为用户打造了一件世间罕见的“隐身斗篷”:基于Intel SGX(Software Guard Extensions )的“加密计算”。就在前几天,全球信息技术研究机构Gartner发布了2019年云安全技术成熟度曲线报告(Gartner, Hype Cycle for Cloud Security, 2019, Jay

開發與維運

对话首席架构师|阿里云迁云实战解析(一):全面上云拐点已到,云架构师get 何种技能?

以下内容根据演讲视频以及PPT整理而成。 直播回顾,请点击这里。 一、对云架构师的理解 大家都知道,架构师本身涉及很多技术职能,不管是哪一·类的架构师,其整体素质要求都比较高。一方面架构师需要具备丰富的知识面,不仅要理解知识的广度和深度,还要懂得不同场景下特定技术的实现路径;另一方面由于架构师基本上是由系统工程师、软件工程师发展成长而来,因此相对于工程师而言,其需要更加熟知落地的场景,更擅长跳出单纯的研发或实施思维,从总体上做好规划和设计。 云架构师是云计算时代的产物。随着技术的发展和复杂化,作为一名合格的云架构师,不仅要深入了解云计算的架构,熟悉各类云服务场景和技术,包括计算、存储、网络、安全以及云原生技术(容器化、K8s、CI/CD)等,还需要具备较好的实际操作能力,以便随时随地进行问题排查和分析,从而帮助企业在云上进行整个IT架构构建的最佳实践。总体来讲,随着云计算的普及,未来对于云架构师的需求将会越来越多。 二、前言 首先来看一下整个中国云计算市场的发展趋势(如下图所示),之所以要了解其发展趋势,是因为在整个云计算发展的不同阶段,所关注的点是不同的。总体来讲,整个中国云计算市场的规模在持续增加,2015年云计算处在发展的初级阶段,当时的重点是不断向企业宣传为什么要上云以及上云的价值,而云计算发展至现在,这些问题的答案已经得到普及,现阶段需要向客户宣传的是怎样合理地使用云,从而更好地为企业服务。 如果将云计算的整个发展阶段分为上半场和下半场,上半场主要进行的是基础设施云化,下半场主要进行云计算业务应用的深化,下半场意味着真正广义的云普及时代已经到来。 目前,整个中国云计算市场发展的规模巨大、速度飞快。IDC最新发布的全球云计算市场调研报告显示,全球云上IT基础设施的占比将超过传统的数据中心,成为市场的主导者。国家、政府对于云的推广也给予大力的支持,2018年8月10日工信部发布的《推动企业上云指南》中提到,到2020年,力争实现企业上云环境进一步优化,行业企业上云意识和积极性明显提高,上云比例和应用深度显著提升,云计算在企业生产、经营、管理中的应用广泛普及。 在刚刚结束的阿里云上海峰会上,阿里云CEO行癫表示,全面上云是时代的必然性,而今年是一个非常重要的拐点。全面上云趋势呈现的原因主要有以下四个方面:• 企业数字化转型的驱动:企业的数字化转型是上云的重要推动力,因为云计算是企业数字化转型的最好土壤。• 云计算在成本、稳定和效率层面已经远超传统IT:云计算本身的计费和使用模式、规模效应、产品丰富、支持的应用场景多等特性,可以帮助企业最大程度地节省原来在传统IT上的投入。• 安全和合规性的要求:目前政府监管部门对于企业合规性要求越来越高,对于云计算而言,阿里云的公有云可以很好地满足监管部门的合规性要求,同时阿里云所拥有的多种安全产品,具备帮助企业更好地防范安全问题的能力。• 核心业务系统上云难度降低:随着技术的成熟,企业核心业务上云的挑战也越来越小。以SAP为例,目前SAP已经在阿里云上通过了认证,这说明企业最核心的应用可以成功上云,其他应用上云的阻碍也会大幅度降低。另外VMware目前和阿里云开展了一系列重要合作,其旗下产品SDDC、vSphere等都已经可以在阿里云上成功运行,这意味着更多线下的IT应用和设施能够无缝地迁移到云上。未来技术发展会越来越快,云上对于各种业务的支持力度将会越来越大,全面上云的趋势也会越来越强。 上云深化阶段的重点在上云深化阶段需要关注的重点是主要有以下四个:1) 云上架构优化:即整个架构搬迁到云上以后,如何更好地利用云的技术特点和能力,优化业务架构、基础架构和系统架构,使得用户无需再考虑线下基础设施的情况。2) 应用适配改造:云计算产品尤其是PaaS产品的使用有着与传统基础设施不同的特点,因此上云后势必需要进行相应的应用适配改造,改造的范围和难度控制得越小越好。3) 云原生应用:云原生技术,如容器化、K8s、CI/CD和普罗米修斯等,如何更好地应用到云计算的场景下。4) 业务创新:充分利用云所提供的各种能力,如大数据平台、SaaS服务,来提升整个业务的创新能力,从而最快、最好地满足业务发展需要。

開發與維運

撕掉标签后 支付宝程序员真实的另一面

格子衬衫、发量少、老得快、加班……似乎已是整个社会给程序员群体打下的共识性标签,甚至,许多程序员都乐于用这些词汇自黑。然而,支付宝的工程师们却用自己的生活与工作的故事,解密了程序员真实的另一面。 上大学的第一年,诸威买了第一块滑板。从高中开始他就对这东西魂牵梦萦,但在真正拿到手时,却对踩着它滑出去这件事心生胆怯。 这个生性内向的男孩在入夜之后才敢一个人带着滑板去操场边偷偷练习,在那里,他结识了最初的“滑友”。一个翻板过障碍的动作,他练了足足三个月,脚跟扭伤了很多回,走路一瘸一拐。但最终大功告成的时候,他听到来自身旁伙伴的掌声,一下子被无上的成就感包围。 支付宝高级前端工程师 诸威 “这跟写代码差不多。”如今诸威回味起那种单纯的快乐,仍然记忆犹新,“用很一段很漂亮的代码解决一个难题之后,也是这么爽。” 现在诸威在支付宝做前端工程师,是React组件库Ant Design的核心贡献者。第一眼看去,你会觉得他是个“非典型”的85后程序员——留着长发,扎着马尾,滑板玩得溜溜的,同时嗜摇滚如命,常常混迹杭州各大live house。但他自己不喜欢“非典型”一说,因为在他看来,这世界上本就不存在什么“典型”程序员:“任何用简单词汇去概括整个群体的行为,都是以偏概全。” 他是对的。程序或许是这个世界上最注重简洁和理性的东西,但程序员的生活远远不能用几个简单的标签来概括。 在支付宝的数千名程序员中,诸威并不算非常特立独行的代表。这支年轻的队伍远比人们想象中的“程序员”要新潮和活力得多:有人扎脏辫,有人唱rap,有人玩无人机,有人把头发染成绿色,还有人在纯色T恤和格子衬衫的朴实外表之下暗暗“闷骚”着,深藏许多不为人知的绝活。 寻找点亮人生的东西 同样是在上大学的第一年,蒋吉麟买了第一块数位板。有了这个之后,他不必再在纸上作画然后扫描进电脑了,画起漫画来事半功倍。 支付宝前端技术专家 蒋吉鳞 蒋吉麟从小爱画画,漫画作品常常被刊登在杂志上;他还喜欢玩游戏,也是不知不觉就玩出了名堂。他给游戏《饥荒》开发的MOD《额外物品包》广受欢迎,同时也是非官方Dota2 KV Editor的作者。 如今的蒋吉麟有两个昵称,“二货爱吃白萝卜”是他在网上连载漫画的笔名,漫画的主角叫做“豆酱”,是个睁着一双大眼睛、竖起两个小耳朵的可爱白色谜之生物,在各种日常生活场景里憨态可掬,偶尔又会冒出一两句深富哲理的发言。 “豆酱”也是他在支付宝体验技术部工作时所用的花名,某种意义上,那个白色小家伙的经历之中,浓缩的都是他自己的人生感悟。“当你欠电费的时候,无论你换多少个灯泡,它都是不会亮的。人生也是如此……”《豆酱》之中一个名为《哲学》的章节里这样写道。

十點讀書, 感情

凡事從自己身上找原因

凡事從自己身上找原因 Your browser does not support the audio element. 蘇聯大文豪高爾基說:“反省是一面瑩澈的鏡子,它可以照見心靈上的臟汙。” 人非聖賢孰能無過,人無完人,人活著,每一個人都有優點和缺點,人難免會犯錯誤,不可能處處完美。 吾日三省吾身,做人應懂得常思己過,嚴以律己,要慎獨、慎微。 在獨處之時謹言慎行、反躬自省,能夠讓我們不斷進步日臻完善,才不至於迷失方向。 在生活中,人人都不完美,理應用寬容的心態去對待他人的缺點,用發現美的眼睛去發現別人的長處。 眼里容得下別人,才能讓別人容得下你。 敬人者,人亦敬之,善待他人,尊重他人,才能和善祥和! 1 做人,應反躬自省、常思己過 《禮記·樂記》有雲:“好惡無節於內,知誘於外,不能反躬,天理滅矣。” 常思己過、自省是一種高貴的品質,自省是對自己和他人負責的表現。

十點讀書, 感情

情緒管理的7點建議

情緒管理的7點建議 Your browser does not support the audio element. 學會情緒管理是每一個成年人必備的素養,這7點建議,希望對你有所幫助。 1 反複深呼吸,倒數10秒 情緒特別激動,但還需要處理當下的事情時,反複深呼吸,並倒數10秒。 比如面試、比賽時緊張的情緒,和親人、伴侶吵架時焦躁不耐煩的情緒,和他人交流時憤怒或羞愧的情緒,都可以用這種方式逼著自己冷靜下來,至少不會影響當下的境況,也不會因為脫口而出的一句話毀了一段關系。 當你的負面情緒停留10秒後,想要爆發的欲望就小了很多。通常這個時候,你就可以開始理性思考了,而不是完全被情緒給左右。 10秒之後,你也許會感覺到慶幸,因為及時的自我控制,避免了一場無法估量的損失。 2 運動半小時 與其沈浸在糟糕的情緒里無法自拔,不如運動去。 運動時,大腦中會分泌一種可以支配的心理和行為的肽類。其中一種叫做“內啡肽”的物質,科學家稱之為“快樂素”,它作用於人體能使人產生愉悅。

雲計算

Aliyun Serverless VSCode Extension v1.5.0 发布

Aliyun Serverless VSCode Extension 是阿里云 Serverless 产品 函数计算 Function Compute 的 VSCode 插件,该插件结合了函数计算 Fun 工具以及函数计算 SDK ,是一款 VSCode 图形化开发调试函数计算以及操作函数计算资源的工具。 通过该插件,用户可以:

雲計算

阿里云合作伙伴峰会SaaS加速器专场 | 阿里邮箱产品生态

导语:本文中,阿里邮箱生态负责人蔡攸介绍了阿里邮箱的发展、产品优势、和钉钉的强强联合战略以及未来全线发展的趋势;通过华东运营服务中心——上海云璞的负责人刘峰和华南运营服务中心——广州汇华的李尔波介绍了阿里邮箱的生态体系部署。 今天和大家分享对于产品的感悟和邮箱的生态体系。 阿里邮箱的发展心路主要是三个阶段: 初创期:阿里云成立的元年,2009年阿里邮箱的团队就成立了。当时我们给集团的高管们这样一个许诺,我们要打造一款阿里自研的企业邮箱产品。这是在初期的时候。 快速成长期:随着1.0、2.0、3.0的迭代,很快进入到中期,也就是一个快速成长期。那个时候我们即将要推出阿里邮箱的4.0。这个之前一直叫阿里云邮箱,对外宣称还不叫阿里邮箱。我们把邮箱4.0打造出来。我们想的问题比较简单,我们要做一些正式的商用。首先我们会选客户。我们选的第一个客户就是阿里巴巴集团本身。当时阿里集团在用海外的一个品牌,用了一个自建的系统。我们告诉公司这个邮箱产品已经成熟了。我们花了一整年的时间把集团办公的企业邮箱从原有的海外品牌迁移到了自研的阿里邮箱的系统上。同时,迁移完成之后,我们把我们的子公司的邮箱业务、客户它的产品全部迁到了阿里云邮箱上。可能有些人会问,行业里面也在传说,阿里邮箱是不是就是外网邮箱?不是。其实它已经画上了一个句号。整个承接的提供方是阿里邮箱。 进阶期:在快速成长期过了之后,我们已经正式迈入这个市场了,告知整个邮箱行业阿里邮箱在为中小企业提供一个企业邮箱的服务。当时我们的商业模式其实比较简单,只是我们在做线上的客户。通过我们的垂直行业的伙伴或者我们的线上官网的运营方式,很多客户了解到阿里其实是有企业邮箱的。在线上去下单购买,整个行业里面其实很多友商在做的是线下的生态。我们在后面这个时期,我们叫做一个进阶期。当时整个团队的想法非常地直白。我们也要做阿里邮箱属于自己自建的生态伙伴体系。在2016年,整个阿里邮箱伙伴体系成立,当时在2016年的时候我们选了两家非常优质的合作伙伴。一直到去年,我们在大概两年的时间打磨这个体系,我们觉得非常完善的时候又选了两家,华北和华中。 阿里邮箱产品线:现在我们在售卖公有云SaaS的企业版本。大家觉得很奇怪,邮箱可以简单到只要用三个版本就可以覆盖到市场需求吗?的确是这样的。我们做过统计也做过横向比较,只要这个企业它的成员数在5名员工之上就可以有这个诉求需要用到企业邮箱。我们这三个版本会涵盖这种初创型的企业,大型的集团化的公司,甚至包含那些大型的企业,都会在里面。这三个版本就可以涵盖。 产品优势: 首先,是稳定高效。阿里邮箱平均迭代的频率是一周一次。我们在2019年财年里面是零故障。一个企业如果上升到上百个员工之后一旦邮箱服务出问题了,服务响应的量会非常非常高。邮箱其实是一个企业内部沟通沉淀数据,去传递一些公司信息的非常重要的工具。 第二个是全球畅游。首先,我们先把邮箱做海外的部署,满足我们内部的不同的分公司在海外节点的需求。现在已经成熟到提供给任何一个国家的企业用户去使用或者购买我们的邮箱产品。 第三个是安全可靠。很多企业用户会关注邮箱安全。现在邮箱部署的安全维度跟天猫跟支付宝是同一个维度,我们称之为叫做交易级别的安全维度。再说一个小点,阿里邮箱场景的覆盖是异地登录提醒。这又把我们的邮箱产品安全维度提升一个级别。 第四个是运营经验。本身邮箱团队相对来说原来服务于集团,早些年偏后端。在我们最近的三年里头,我们不断地跟我们的合作伙伴交流,跟我们的客户去共建共创邮箱产品。截至今日我们服务的企业用户数已经达到2000万了。 邮箱+钉钉的强强联合:2015年的时候把邮箱的能力输入到钉钉,做了一个钉邮。我们把业务工具的能力去横向拉通,做精做细。邮件跟会话的联动可以相互之间穿透,通过邮件去发起会议的场景等等。 全线发展:马上推出专有云和混合云刚刚说的邮箱单一产品层面的,其实在邮箱的大盘子里头,有做公有云的厂牌也有做专有云的厂牌。我们酝酿已久的阿里邮箱的专有云和混合云马上要推出了。阿里邮箱将会全线争取这个市场。因为很多企业可能能够接受公有云。但是很多企业比如说涉及到数据安全的问题,数据必须落在本地,可以使用专有云,乃至混合云。 阿里邮箱生态:阿里邮箱的生态体系是按照区域-分而治之,各区-一带一路,下沉-二三线城市来构建的。 1、按照区域设立服务中心,也就是阿里邮箱的一级代理商。它的职责是开拓当地区域的市场和分销伙伴。这个体系已经打磨了三年,区域服务中心已经具备赋能的能力来服务好更多类型的想做企业邮箱产品的分销商或者合作伙伴。现在全国有四家服务中心,分为东南北中。 2、各区分销商全国加起来有300家。这里头其实大部分的分销商都是原来做邮箱起家的,邮箱经验的沉淀比较足一点,也有其中一部分可能占10%左右,是来自行业里面做其他产品有自己主营业务的。 3、下沉到二三线城市。说实话不可能去招募很多服务中心,只有靠服务中心下面的很多分销商去覆盖二三线城市,服务当地客户。这个其实已经做了三年时间,已经做穿做透了。很多服务商他的客户已经下沉到原来我们可能阿里邮箱品牌不被认知的区域。 上图的数据可以看到现在的成绩,也算是对三年邮箱体系的回顾。因为整个区域里还会有西南和西北,会有空白的区域。现有的服务中心的所辖区域里面还有很多二三线城市,服务商不会特别多。我们期许的是有更多的优质的伙伴,如果想做企业邮箱想做阿里邮箱这一块业务,我让我们的服务中心给各位提供这样一个能力的支撑和赋能。 刚刚提到整个生态体系其实时至今日已经服务了差不多三万家的企业用户,今年会突破到五万家。整个行业的里头,我们的生态体系的增长应该是每年以100%的增量去加速。

Scroll to Top