雲計算

点击查看第一章点击查看第三章 第2章 ONAP安装部署指南本章将介绍如何在Kubernetes（简称K8s）上安装部署ONAP。通过这种方式，可以将ONAP各个组件以容器的形式进行部署，并通过Kubernetes进行管理。同时利用了容器轻量化及Kubenertes成熟管理的优势，使ONAP易于安装并且更加稳定可扩展。由于本章会涉及大量Linux操作，故需要读者对Linux操作系统、网络及shell命令等有一定的了解。至于容器和Kubernetes本身的操作，可以通过本章给出的实例进行学习。ONAP的所有组件均运行在Docker之中，而且需要一个Kubernetes集群进行编排管理。 2.1　安装要求说明 由于ONAP可以在多种场景下部署，对硬件及软件分别有不同的要求，故本节将对这些做一个简单介绍。简单来讲，ONAP的部署可以分为物理裸机部署、私有云环境部署和公有云环境部署。三种部署场景的基本安装步骤如图2-1所示。 无论哪种场景，ONAP全量安装的总硬件最低要求都如表2-1所示。 不同版本的ONAP安装对应的相关软件版本要求如表2-2所示。本章ONAP的安装讲解将以C版本为例。 2.2　在物理裸机上部署ONAP 2.2.1　资源准备—安装OS 物理裸机需要在机器上安装Ubuntu Server 16.04 LTS。安装过程这里不再赘述，可以参考网上相关系统安装指南。系统安装完，还需要在每台机器上进行一些简单的配置。1.设置iptables默认规则为ACCEPT新安装的系统默认的规则可能是DROP，运行下列命令修改默认为ACCEPT。 2.设置虚拟内存的最大值将进程可以使用的内存区域设置为最大值，以避免内存溢出等异常。 3.安装及配置openssh-server在新安装操作系统的机器里可能没有安装openssh-server。需要安装openssh-server之后才能远程登录服务器。安装openssh-server的命令如下： 配置openssh-server机器的用户名/密码登录方式，脚本如下： 2.2.2　在物理服务器上安装Kubernetes Kubernetes是Google开源的一款基于容器的集群管理系统，是其内部Borg工具的开源版。Kubernetes是目前公认的最成熟、先进的开源容器集群管理系统，发展非常迅猛，得到了容器生态圈厂商的全面支持。许多公有云服务厂商都提供基于Kubernetes的基础设施层支持。一个Kubernetes集群，是由Kubernetes Master及若干Worker（节点）组成的。节点上最小的操作单元被称为Pod：相关的一个或多个容器构成一个Pod，Pod包含的容器运行在同一个上下文中，可看作一个统一的管理单元，共享相同的volumes和network namespace空间。Kubernetes […]

概述 异步通讯一般发生在生产与消费不等的情况，这类请求可能需要同步请求转异步请求，应用需要通过MQ消息队列来进行5类情况处理：•异步处理•应用解耦•流量消峰•日志处理•消息通讯目前从业务应用架构模式上来说，异步处理、应用解耦、流量消峰比较常用。通常情况下，我们对同步请求转异步请求处理。同步请求转异步请求模式：可以通过同步EDAS通讯框架，降低前端业务系统对MQ中间件的依赖，然后能更好的通过同步通讯框架来实现路由、分组、限流、熔断等处理。并且可以快速通过水平扩展模式来提高并发。而且对自发自首MQ完全由业务系统来进行控制，对于MQ的使用量上会大大减少，对MQ的隔离和扩展上大大增加。 目前业务异步通讯的问题 上述两张图，反应出目前MQ在使用场景中的弊端1.应用A无法知道应用B是否接收到请求，也无法对请求作出预判。2.应用A如果出现大量错误请求的时候，对MQ来说是未知的，只会无故积压，导致影响后续正确的交易。3.应用B如果出现幂等请求情况下，应用A大量重复交易，必须通过异步请求来返回，这个时候会发现异步请求解耦被没有在正确的大量数据处理上运用。导致大量重复积压。4.应用A和B对MQ进行强依赖，变成各个系统间的集中处理中间件，万一发生问题，影响面很大。5.应用A和应用B在扩容上比较困难，需要考虑全局MQ的性能问题。6.应用A和应用B在MQ层面很难实现熔断、降级、路由、负载均衡策略。 同步请求转异步请求模式 模式一 •应用A使用EDAS Request请求应用B。 o需要验证服务端逻辑，避免不必要的请求开销 •应用B验证逻辑不通过（入参验证、幂等、安全验证等），错误直接返回EDAS Response请求到应用A。 o服务端验证应该避免远程调用，因为异步请求模式下，需要达到相应速度和应答速度来提高并发，整个请求操作应该在10MS之内。 •应用B验证逻辑通过，直接落DB或Redis等，保证业务持久可靠后，直接返回EDAS Response请求到应用A o落DB需要快速响应，可以考虑热点表，此类表因为是大量Insert操作，考虑尽量少建索引来提高并发。整个请求操作应该在 20MS之内。 •应用B自已发送MQ请求，异步解耦，自己接收自己发送的MQ请求后，处理正确的业务逻辑。 o发送MQ请求，可以考虑异步发送，提高并发，因为之前已经落DB成功，但需要考虑在接收端处理业务逻辑的时候，需要进行DB验证。 •应用B处理完成的请求结果，在通过应用A暴露的EDAS请求进行接口回调，将结果给到应用A。•使用场景：同步请求并发量比较大。 模式二

引言阿里巴巴经过多年的技术演进，系统工具和架构已经高度垂直化，服务器规模也达到了比较大的体量。当服务规模大于10000台时，小概率的硬件故障每天都会发生。这时如果需要人的干预，系统就无法可靠的伸缩。为此每一层的系统都会面向失败做设计，对下游组件零信任，确保在故障发生时可以快速的发现和处理。 不过这些措施在故障发生时是否真的有效？恢复故障的工具是否实现了容灾？处理问题的人是否熟练？沟通机制是否疏漏？容灾措施的影响是否会辐射到上一层？这些问题，平时没有太多的机会验证，就是真的有问题，往往也是在真实故障中暴露。 领域介绍 关于故障的思考 任何不符合预期状态的事件都可以称为问题。 任何基础设施、生产系统、人和流程都可能发生问题。当系统体量到达一定规模时，问题每天都在发生。 当问题不能被合理处理，产生业务级或全局性的影响时，问题将上升为故障。 任何故障都是独特的（如：发生时间地点、业务影响、处理流程），但是故障的成因（或场景）是可被枚举的。 故障演练的定义线上故障演练就是通过平台化的方式沉淀通用的故障场景，以可控成本在线上故障重放，通过持续性的演练和回归方式来暴露问题，提升问题的响应和修复能力，缩短故障修复时长（MTTR）。 实施准备对于一个准备实施或刚刚开始实施故障演练的团队，除了要掌握一些工具使用和实施策略，在文化建设、目标设定、风险控制和效率角度也要保持关注。 第一、引入混沌工程，需要建立面向失败设计和拥抱失败的文化 在思想上要认识到混沌工程的核心是通过引入一些实验变量去提前暴露已有问题，而不是创造问题。在恰当的时间和可控的爆炸半径下实施实验，有助于问题的发现和处理，降低潜在故障的影响。 传统的基础设施对于稳定性、健壮性有非常高的要求，虽然减少变更频率可以降低故障，但不是解决问题的根本方法。随着迁移到云上，基础设施的管理被转移到云厂商，上层的业务更需要做好面向失败设计，可以应对可能存在的极端情况。 第二、实施混沌工程，需要定义一个清晰可衡量的目标 混沌工程对于系统的可观察性有较高的要求。为了实施一次高质量的混沌工程实验，必须要对系统的稳态有清晰的定义。稳态指标最好能够体现客户的满意程度，业务指标好于系统指标，SLA或业务故障等级定义都是不错的选择。 混沌工程的业务价值并不适合用过程指标来度量，比如模拟了多少种实验场景、发起多少次实验等。推荐的方式是配合其他稳定性手段一起来衡量。比如： 初期：可以选择故障覆盖率这个指标（即发生并改进过故障的系统，要能够免疫同样原因的故障）。此时实验场景数就近似等同于故障覆盖率的分母。 中期：可以选择监控发现率这个指标。此时实验场景数与实验次数是分母，能够及时发现的次数（即触发稳态指标预警的次数）就是分子。 后期：随着混沌工程实施经验的丰富，可以考虑引入一些度量MTTR能力的指标项，比如发现-定位-恢复这种整体性指标。 第三、推广混沌工程，要在控制风险的同时不断提升效率

点击查看第一章点击查看第三章 第2章 Photoshop和Illustrator必备技能工欲善其事，必先利其器。在开始设计和制作平面设计作品前, 需要选择合适的软件, 并对其基本操作有一定的了解。平面设计中最常进行的工作就是位图图像和矢量图形的制作与处理。位图图像制作与处理常用的软件有Photoshop,GIMP,PaintShop Pro等,矢量图形制作与处理常用的软件有lllustrator,CorelDRAW.Inkscape等。本书选用的Photoshop和lllustrator是这些软件中的位佼者,它们均由Adobe公司出品,因而在平面设计工作中可以更加紧密地协作。本章将介绍Photoshop和lllustrator的软件界面和基本提作, 如新建和打开文件 调整图像大小、设置画板、存储和导出文件、交换文件内容等。 2.1Photoshop和Illustrator的功能对比 大多数图像处理软件都会兼具位图和矢量图的处理能力，并且会以其中的一种为主，另一种为辅。Photoshop的功能以处理位图为主，并具有一定的矢量图绘制能力；而Illustrator的功能则以绘制矢量图为主，同时能导入位图并做基本处理。下表简单介绍了两个软件的主要功能。 2.2Photoshop和Illustrator的界面构成 平面设计软件的界面是平面设计的工作环境，只有熟悉界面，才能得心应手地完成设计工作。作为同一家公司的产品，Photoshop和Illustrator的界面构成总体上非常相似，但也有各自的特点，下面分别进行介绍。 2.2.1　Photoshop的界面构成 在计算机中安装Photoshop程序后，双击桌面上的应用程序图标，就可以打开Photoshop。如下图所示为Photoshop启动完毕后打开一个设计作品文件时的界面，界面各部分的功能简介见下表。 2.2.2　Illustrator的界面构成 Illustrator的安装和启动方式与Photoshop相同。如下图所示为Illustrator启动完毕后打开一个设计作品文件时的界面，界面各部分的功能简介见下表。 2.3新建和打开文件 启动Photoshop和Illustrator之后，需要在软件中创建一个新文件，然后才能使用工具、面板和菜单命令进行作品设计。对于已经创建的文件，则可以在相应的软件中打开并编辑。下面分别讲解在Photoshop和Illustrator中新建和打开文件的具体操作。 2.3.1　在Photoshop中新建文件 新建文件是处理和编辑图像的基础。Photoshop提供了多种新建文件的方式，用户可以在“起点”工作区中新建文件，也可以执行“新建”菜单命令来新建文件，下面分别介绍新建文件的几种方法。1．执行菜单命令新建文件新建文件是在程序中创建一个新的空白文档。默认情况下，在设计和制作作品时会新建一个文件，并根据需要定义新建文件的大小和颜色模式等。执行“文件>新建”菜单命令，或者按快捷键Ctrl+N，打开“新建文档”对话框，在对话框中设置新建文件的名称、宽度、高度等选项，设置后单击“创建”按钮，如下图所示，就能根据设置的选项创建一个新的空白文件。

华为 5G 新品发布会上，Mate X 正式亮相，淘宝也作为重点展示应用出现在发布会的 PPT 上，同时也成为折叠屏生态联盟应用矩阵的第一位。 现场华为折叠屏上的淘宝多任务演示 伴随手淘技术团队对华为折叠屏适配工作的展开。半年前还只是概念方案的分屏设计方案已正式实现。华为折叠屏上的淘宝已全面支持分屏多任务，以后商品比价、边逛边聊更加轻松便捷，为大家带来不一样的购物体验。 折叠屏第二屏的多任务模式 华为折叠屏形态简介 华为mate x屏幕形态分为三种： 展开态 显示比例8:7.1（分辨率1536×2200） 折叠态正面屏 显示比例19.5:9（分辨率2480×1148） 折叠态背面屏 显示比例25:9（分辨率2480×892） 用户可以在三种形态上进行随意切换，因此第一步需要保证手淘在三种屏幕形态下的主功能没问题。

点击查看第一章点击查看第二章 第3章 在GCP上基于逻辑回归实现实时智能在本章中，我们会在谷歌云上构建一个能交互式地创建乘客配置的Web应用程序，来预测谁会在泰坦尼克号沉船事件中幸存下来。我们将重温经典的受到全世界教科书和教育博客青睐的泰坦尼克号数据集。我们将分析乘客们的特征，并尝试理解在这场悲惨的事故中，为什么有些人幸存下来了，而其他人却没有。我们将探索数据集，为建模做好准备，并将其应用到一个交互式Web应用程序中。该应用会允许使用者创建虚构的乘客配置，设置参数，并可视化他或她在这次航行中的表现（图3-1）。 我们将使用由范德比尔特大学（Vanderbilt University）生物统计学系托管的数据集，这里还托管了许多其他有趣的数据集。通过调用Pandas Python库，你可以方便地直接下载这些数据集。提示：请访问www.apress.com/9781484238721 ，单击“Download source code”按钮，跳转至GitHub网站，下载第3章所需文件。推荐使用Jupyter Notebook打开chapter3.ipynb文件，以配合阅读本章内容。 3.1　规划Web应用 作为第一步，我们将充分思考泰坦尼克项目的概念，并在本地机器上创建Web应用程序。应用程序背后的大脑是来自“sklearn Python库”的简单逻辑回归模型。在数据准备阶段，我们会删除非预测特征、为分类数据创建虚拟列，以及在文本字段上应用基本的自然语言处理。然后，我们会训练该模型，用于识别这趟旅行中幸存者和遇难者之间的共同模式。为了验证模型的准确性，我们采用标准的建模过程，将数据集一分为二，一部分用于模型训练，另一部分用于模型验证。一旦我们对模型的能力感到满意，就可以用它来预测虚构乘客的幸存概率。这个概率是0～1之间的某个数字，代表虚构乘客从沉船事件中幸存下来的机会—越接近1，幸存的机会越大。最后，我们将抽象并概括整个过程，使得它能在我们的Web应用程序的构造函数中运行。这意味着，在模型部署期间（以及每次重启Web服务器时），只会进行一次提取、准备和建模数据的整个过程。这确保了当用户想要与Web应用程序交互时，它会快速从已训练好的模型中产生预测，因为它已经被加载到内存中了。现在，我们先来完成项目的本地版本。 3.2　数据处理 由于这是一个经典的数据科学练习和一个著名的事件记录，我们已经知道（或有直觉）哪些特征有助于了解谁会在事故中幸存下来（有关其他信息，请参阅范德比尔特生物统计数据）。首先将本章的文件下载到chapter-3文件夹中。打开Jupyter Notebook以便跟进。先来看一下本机上的数据图例（表3-1）。 我们可使用Pandas的head()函数以编程方式完成探索数据的第一步，该函数将返回前5行记录（代码清单3-1和图3-2）。你还可以使用tail()函数查看最后5行数据。 其中，比较引人注意的是，body列中缺少很多值，name和home.dest列中存在大量文本数据，而cabin列中有一些混合内容。Pandas函数info()、describe()和isnull()也是进行快速数据探索的关键。强烈建议你在拿到新数据集时，或在做完任何数据转换工作后运行这些函数。info()函数告诉你数据集中包含的数据类型和非空值个数汇总（代码清单3-2）。 Pandas的info()函数输出中标记为“non-null object”的数据可被视为基于文本的数据，此时，我们还需要确定它的文本类型。这个过程会具有某种程度的主观性，因为有很多方法可以解决这个问题（下面很快就会详细介绍）。Pandas的describe()函数为你提供所有定量字段的汇总摘要。我们可以看到survived字段的平均值为0.38，这意味着只有38%的乘客幸存了下来。并且由于我们将使用该特征作为结果标签来训练模型，因此整个数据集更偏向于遇难者（也就是说，大多数乘客没有在这次航行事故中幸存下来，见代码清单3-3和图3-3）。

智能系统与技术丛书点击查看第二章点击查看第三章强化学习：原理与Python实现 肖智清　著 第1章 初识强化学习强化学习（Reinforcement Learning，简称RL，又译为“增强学习”）这一名词来源于行为心理学，表示生物为了趋利避害而更频繁实施对自己有利的策略。例如，我每天工作中会根据策略决定做出各种动作。如果我的某种决定使我升职加薪，或者使我免遭处罚，那么我在以后的工作中会更多采用这样的策略。据此，心理学家Ivan Pavlov在1927年发表的专著中用“强化”（reinforcement）这一名词来描述特定刺激使生物更趋向于采用某些策略的现象。强化行为的刺激可以称为“强化物”（reinforcer）。因为强化物导致策略的改变称为“强化学习”。心理学家Jack Michael于1975年发表文章《Positive and negative reinforcement, a distinction that is no longer necessary》，说明了强化包括正强化（positive reinforcement）和负强化（negative reinforcement），其中正强化使得生物趋向于获得更多利益，负强化使得生物趋向于避免损害。在前面例子中，升职加薪就是正强化，免遭处罚就是负强化。正强化和负强化都能够起到强化的效果。人工智能（Artificial Intelligence，AI）领域中有许多类似的趋利避害的问题。例如，著名的围棋AI程序AlphaGo可以根据不同的围棋局势下不同的棋。如果它下得好，它就会赢；如果下得不好，它就会输。它根据下棋的经验不断改进自己的棋艺，这就和行为心理学中的情况如出一辙。所以，人工智能借用了行为心理学的这一概念，把与环境交互中趋利避害的学习过程称为强化学习。本章介绍人工智能领域中强化学习的基础知识，阐述强化学习的学习方法，并给出强化学习中智能体和环境交互的编程实例。

点击查看第一章点击查看第三章 第2章 Markov决策过程本章介绍强化学习最经典、最重要的数学模型—Markov决策过程（Markov Decision Process，MDP）。首先我们从离散时间智能体/环境接口引入Markov决策过程的定义，然后介绍在求解Markov决策过程时会用到的重要性质，最后介绍一种求解Markov决策过程最优策略的方法。 2.1　Markov决策过程模型 在智能体/环境接口中，智能体可以向环境发送动作，并从环境得到状态和奖励信息。本节将从离散时间的智能体/环境接口出发导出离散时间Markov决策过程模型，并介绍离散时间Markov决策过程模型的关键数学概念。 2.1.1　离散时间Markov决策过程 离散时间Markov决策过程模型可以在离散时间的智能体/环境接口的基础上进一步引入具有Markov性的概率模型得到。首先我们来回顾上一章提到的离散时间智能体/环境接口。在离散时间智能体/环境接口中，智能体和环境交互的时刻为{0,1,2,3，…}。在时刻t，依次发生以下事情。 智能体观察状态的环境，得到观测，其中是,状态空间（state space），表示状态取值的综合；是观测空间（observation space），表示观测取值的集合。 智能体根据观测决定做出动作，其中是动作集合。 环境根据智能体的动作，给予智能体奖励，并进入下一步的状态。其中是奖励空间（reward space），表示奖励取值的集合，它是实数集R的子集。 在运行过程中，每一步的可能取值范围不同。很多时候，这是由于在不同观测下可选的动作集合可能不同造成的。为了分析方便，往往用一个包括所有可能动作的更大的集合来表示，使得每一步的动作集合在数学上可以用同样的字母表示。注意：① 不同的文献可能会用不同的数学记号。例如，有些文献会将动作后得到的奖赏记为，而本书记为。本书采用这样的字母是考虑到和往往是同时确定的。 ② 这里的离散时间并不一定是间隔相同或是间隔预先设定好的时间。这里的离散时间指标只是表示决策和动作的指标。一个时间离散化的智能体/环境接口可以用这样的轨道（trajectory）表示： 对于回合制的任务，可能会有一个终止状态。终止状态和其他普通的状态有着本质的不同：当达到终止状态时，回合结束，不再有任何观测或动作。所以，状态空间里的状态不包括终止状态。在回合制任务中，为了强调终止状态的存在，会将含有终止状态的状态空间记为

点击查看第一章点击查看第二章 第3章 有模型数值迭代在实际问题中，直接求解Bellman期望方程和Bellman最优方程往往有困难。其中的一大困难在于直接求解Bellman方程需要极多的计算资源。本章在假设动力系统完全已知的情况下，用迭代的数值方法来求解Bellman方程，得到价值函数与最优策略。由于有模型迭代并没有从数据里学习，所以一般不认为是一种机器学习或强化学习方法。 3.1　度量空间与压缩映射 本节介绍有模型策略迭代的理论基础：度量空间上的Banach不动点定理。度量空间和Banach不动点定理在一般的泛函分析教程中都会介绍。本节对必要的概念加以简要的复习，然后证明Bellman算子是压缩映射，可以用Banach不动点定理迭代求解Bellman方程。 3.1.1　度量空间及其完备性 度量（metric，又称距离），是定义在集合上的二元函数。对于集合X，其上的度量，需要满足：非负性：对任意的x’,x”∈X，有d(x’,x”)≥0；同一性：对任意的x’,x”∈X，如果d(x’,x”)=0，则x’=x”；对称性：对任意的x’,x”∈X，有d(x’,x”)=d(x”,x’)；三角不等式：对任意的x’,x”,x”’∈X，有d(x’,x”)≤d(x’,x”)+d(x”,x”’)。有序对(X,d)又称为度量空间（metric space）。我们来看一个度量空间的例子。考虑有限Markov决策过程状态函数v（s）（s∈S），其所有可能的取值组成集合，定义如下： 可以证明，是V上的一个度量。（证明：非负性、同一性、对称性是显然的。由于对于有 可得三角不等式。）所以，是一个度量空间。对于一个度量空间，如果Cauchy序列都收敛在该空间内，则称这个度量空间是完备的（complete）。例如，实数集R就是一个著名的完备空间（事实上实数集就是由完备性定义出来的。有理数集不完备，加上无理数集就完备了），对于度量空间也是完备的。（证明：考虑其中任意Cauchy列，即对任意的正实数，存在正整数K使得任意的k’,k’>K，均有。对于，所以是Cauchy列。由实数集的完备性，可以知道收敛于某个实数，记这个实数为。所以，对于，存在正整数，对于任意，有。取，有，所以收敛于，而，完备性得证）。 3.1.2　压缩映射与Bellman算子 本节介绍压缩映射的定义，并证明Bellman期望算子和Bellman最优算子是度量空间上的压缩映射。对于一个度量空间和其上的一个映射，如果存在某个实数，使得对于任意的，都有 则称映射t是压缩映射（contraction mapping，或Lipschitzian mapping）。其中的实数γ被称为Lipschitz常数。第2章中介绍了Bellman期望方程和Bellman最优方程。这两个方程都有用动作价值表示动作价值的形式。根据这个形式，我们可以为度量空间定义Bellman期望算子和Bellman最优算子。给定策略的Bellman期望算子： Bellman最优算子： 下面我们就来证明，这两个算子都是压缩映射。首先来看Bellman期望算子。由的定义可知，对任意的，有 所以 考虑到是任取的，所以有 当时，就是压缩映射。接下来看Bellman最优算子。要证明是压缩映射，需要用到下列不等式：

一年一度的剁手日即将到来！ 在双十一庞大的数据处理量面前，用户在使用感上却丝毫不受影响。阿里技术团队通过不断的探索，在交易洪峰面前仍然保障着系统丝般顺滑地运行。世界纪录的背后究竟有哪些技术支撑？今天我们将从 云计算、新零售&支付、安全 和 物流 四大方向带给大家双十一技术全解密！ 云计算篇： > 剖析AliSQL X-Cluster｜基于X-Paxos的高性能强一致MySQL数据库 MySQL数据库从诞生以来就以其简单、易用、开源为其主打特点，成为不少开发者首选的数据库系统。 > 直击阿里双11神秘技术：PB级大规模文件分发系统“蜻蜓” 蜻蜓，通过解决大规模文件下载以及跨网络隔离等场景下各种难题，大幅提高数据预热、大规模容器镜像分发等业务能力。月均分发次数突破20亿次，分发数据量3.4PB。其中容器镜像分发比natvie方式提速可高达57倍，registry网络出口流量降低99.5%以上。 > 技术如何秒懂你？阿里百万级QPS资源调度系统揭秘 TPP(Taobao Personalization Platform, 也称阿里推荐平台