大數據

摘要：尽管最近水果的价格持续上涨，但水果消费的需求和市场始终在快速提升。墨西哥的牛油果、新西兰奇异果、进口车厘子等口感美味、外观靓丽的“洋水果大军”正在跃上消费者的餐桌。 想要赢得市场份额，国内水果种植业必须要想办法提升“质和量”的双高标准。其中，海升集团通过数字化、智能化的转型，始终站在了整个行业的前列，非常值得学习。 海升集团一直是国内规模化种植、集约化经营的水果种植典范。这家创办于1996年、早期以苹果浓缩汁为主营业务的公司，十年前就是全世界最大的苹果浓缩汁生产商和供应商。2008年金融危机爆发之后，海升集团开始筹划向鲜果种植领域转型，目前已经在全国建立63个果蔬种植基地，总种植面积超过8万亩，成功打造了单品类扩规模，多品类全产业链的多维度发展模式。 但随着海升集团种植规模的快速扩大，随着机械化、自动化以及物联网的设备用的越来越多，海升集团发现，单纯依靠EXCEL统计各条业务链数据、汇总工作已经远远不够了，公司需要一套先进的信息化系统，解决信息流通、数据共享的问题，让整体的经营分析更加准确清晰。 构建农业大数据中台：“数据上云”解开最难的问题 海升希望能够构建一个农业大数据中台，把不断扩大的业务版图内的各种业务数据，按统一的方式接入中台系统，之后通过统一化的数据技术服务反哺业务，让企业的各个业务都能够共享同一套数据资产，从而实现数字化、智能化的农业建设，这也成为了海升集团与阿里云的共识。 但农事数据的多样化和复杂性远超阿里云数据专家们的想象：在农业生产中，气象、土壤、植物、农事操作、农业投入品、产出都是关键变量，都需要详细记录，特别是海升集团，多年来积累的这些农事数据是企业最为宝贵的数据资产，必须要深度融入农业大数据中台。为了构建出优秀的农业大数据中台，阿里云与海升集团反复推敲、尝试、打磨、改进，最终将后者数据报表中的选种育种、育苗、选址建园、种植管理、农机管理、采后分选、仓配、物流、营销等业务系统多源数据实现融合入库，进入了农业大数据中台的数据库中。随着数据中台将海升集团的结构化、非结构化数据统一整合，以及农业大数据中台在云上的顺利构建，海升集团完成了数据标准化和数据系统化上云。 农事管理：让农业生产有了一张“数字地图” 随着海升集团农业大数据中台的成功建设，农业大脑的建设得以顺利展开。 首先，与之前采用“田间收集，集中录入，Excel承载”不同，基于农业大脑的数据管理功能，海升集团得以更为规范的进行数据录入、表单管理工作，更为直观的对汇总数据进行查看和进行GIS图管理。田间工程师等一线工作人员，可以通过方便的手机端APP应用，直接录入基础信息、施肥、园艺、农机与农事、采后、用工、生物资产、农事环境、产量预估、建园、苗圃等方面的详细信息。同时，通过与一线自动化、机械化设备的直接对接，多种数据可以直接通过数据管理功能进入农业大数据中台，减少了手工录入的错误、延迟等问题。 不仅如此，随着物联网技术在农业种植中的广泛应用，农业大脑构建了全链路农业IoT数据传感网，通过连通气象站、土壤墒情仪、田间摄像头、无人机和农机监控设备，农业大脑实现了农场全链路数据IoT设备采集和自动化上传，种植作物得到了“全生命周期数据感知”的加持，进一步提高了田间数据的采集效率和准确率。其次，作为农业大脑重要组成部分的农事管理功能，囊括了种植业生产中的灌溉、施肥、植保、园艺管理四大主要工作，通过可视化的方式展示农事作业分基地、地块、品类、种植年份在四大农事作业方面的主要作业内容及变化趋势。这就相当于为海升集团的田间工程师提供了一个“全局细颗粒度视角”的数据展现、对比和监控。 不仅如此，在构建农业大脑时，阿里云与海升集团同时在向“以数字化、智能化的方式辅助指导种植决策”的方向尝试：首先，通过调用外部气象数据接口，农业大脑的气象预测功能每天可以实时获得未来15天的气温、风力风向、降雨和相对湿度四大核心气象数据。同时，提供过去10年当地的历史气温、湿度、日照、风速等天气数据，通过将预测数据与历史数据的对比，田间工程师可以对未来的天气情况作出更加准确的预判和及时应对。 其次，在方案管理功能中，由于可以在确定了作物物侯期之后，根据树龄、树种、树木历史施肥记录、叶片检测报告等多个维度筛选合适的历史种植方案，农事管理帮助田间工程师挖掘出最优化的种植方案，结合田间工程师对肥料配方等方面项目的调整，即可生成建议的种植方案，这实际上构建了基于历史数据和规格化的农事决策和预警引擎，对灌溉、施肥、施药等农事操作给出初步的参考建议与种植方案，这一功能的实现为未来构建农事智能辅助决策引擎打下了坚实的基础。 图说：阿里云移动农事管理应用和DATAV农事数据信息大屏 以农事管理为核心，阿里云与海升集团共同完成了农业大脑I期项目的建设，有效提高了海升集团农业种植的可视化、流程化水平，特别是通过农业大数据中台，实现了数据的系统化上云，从而解决了长期困扰海升集团的数据整合与历史数据整合问题，让农业生产第一次有了一张清晰、准确、实时的“数字地图”，而整个农业大脑I期项目上线应用，预估能够帮助海升集团在种植生产中，每亩地生产成本将减少200元，总成本节省约2000万元。 从传统种植为主的模式转向提供产业基础设施服务 目前阿里云与海升集团已经开始了第二阶段的合作：实现农业种植的机器智能决策，让AI成为海升集团的田间工程师。未来，利用农业大数据中台和农业大脑，海升集团的种植经验、知识和决策体系，将可以成为一种可复制、可输出的数字化产品和智能服务，除了传统的在全国各地投资建设种植基地，对于想提高种植业水平的地方政府、种植企业，不仅可以从海升集团输入优势品种、种植基地的建设经验、农业机械的使用与管理方法，还可以输入包含了种植管理、农事操作、（基于农事智能辅助决策引擎）种植方案设计的农业大脑——海升集团将从单纯的种植业企业，转变为包含了现代化种植技术体系的种植业产业基础设施服务提供商，成为国内乃至全球能够对外赋能的种植业企业。 文章来源：阿里研究所开发者社区整理

摘要：过去20年里，尽管中国贡献了全球粗钢增量的80%，但中国钢铁业的发展不容乐观，产能过剩与结构严重失衡、全球经济下滑导致钢铁需求增速放缓、生产质量的不稳定、废品率高、高耗能以及多元化需求，给整个行业都带来了极大的挑战。中国钢企的转型升级迫在眉睫。 在钢铁产业严重过剩、钢企转型压力巨大的背景下，　作为一个传统“老三线”建设的国有企业，攀钢前些年一直处于亏损状态，通过这几年的改革创新，不仅终结了亏损历史，打了一个漂亮的“翻身仗”，去年全年经营性利润创历史最好水平。它究竟是怎么做到的？ 依托西部地区丰富的钒钛磁铁矿资源和自主创新建设，攀钢集团有限公司（简称攀钢）已经成为我国特大型钒钛钢铁企业集团、全球第一的产钒企业、国内最大的钛原料和产业链最完整的钛加工企业，以及国内重要的铁路用钢、汽车用钢、家电用钢、特殊钢生产基地。中国的40%的钢轨和高速轨道由攀钢生产的。 尽管行业地位领先，但攀钢一样面对着和行业一样的难点痛点。从2011年到2016年，受国内钢铁产能严重过剩导致的行业普遍亏损，资源不足、位置偏僻、人员多、负担重等多种因素的影响，攀钢持续亏损，企业发展面临巨大挑战。 为此，攀钢确定了提质增效的大目标，开始改革创新：一方面扎实推进品种、市场、原料、产线结构调整，铁血降本；一方面推进产业升级，推动钒钛加快发展、钢铁精品发展、非钢创新发展。此外，人力资源方面推行绩效考核新模式，鼓励自主创新等，打开了一个科技强企的新局面。 新技术降低旧能耗 “炼钢就是炼渣”，这是钢铁生产过程中的一句老话。钢由生铁而来，和生铁的主要区别在于成分不同，所谓炼钢就是通过冶炼降低生铁中的碳、去除有害杂质，再根据钢性能要求加入适量合金元素，使之性能优良。为了将原料中一些不需要的杂质去除，就需要进行造渣。造好渣是实现炼钢生产优质、高产、低消耗的重要保证。其中，钢铁料消耗占整个炼钢厂成本的70%以上，攀钢集团需要通过降低钢铁料的消耗，实现减少原料投入及优化能耗成本，才能提升企业的整体综合竞争力。 据攀钢集团成都钢钒有限公司总经理、积微物联总裁谢海介绍,“经过多年的发展，用传统的工艺、工控手段提升产能、降低能耗、节省人力已经趋于钢铁行业极限，而随着工业大数据、云计算等新技术的成熟，我们看到了新的希望。” 攀钢集团和阿里云工业大脑一起合作，以阿里云为技术载体、以积微物联（攀钢电商平台）为平台、以攀钢集团为场景试点，率先深化ET工业大脑在钢铁生产领域的应用。出于数据采集难度、项目风险性与收益等综合因素考虑，最终决定从冷轧板材表面检测与脱硫工业优化两个场景切入，着手工业智能的尝试。 脱硫是钢铁生产过程中的一个重要环节，旨在降低铁水或钢液中的硫含量。而脱硫环节由于扒渣带铁（脱硫剂反应之后的脱硫渣中带走了大量的铁）会造成大量铁损。工业大脑应用到攀钢西昌钢钒转炉炼钢工艺后，打通炼钢全流程数据，通过建模分析获得炼钢工艺优化的关键因子，结合专家知识，定位提钒、脱硫和炼钢三个关键工序。通过对这三个工序的深入建模分析，聚焦在脱硫工序，依靠脱硫仿真模型与参数寻优模型寻找最优参数。根据实际测算，通过优化的参数推荐，每生产一吨钢可以节省一公斤铁。对于年产值400万吨钢的攀钢来说，一年的成本节省就在700万元以上 。 同时，工业大脑还被应用到了冷轧环节。钢材经过冷轧工艺加工，会形成长度约1千米钢卷。在表面检测环节，质检员通常会在短短5到10分钟内，识别出少则几百个，多则几千个的缺陷，并给出分选度、表面等级、主缺陷和是否合格等判定。但长时间、高强度、重复性且枯燥的质检工作让判钢工程师难以保证判定结果的稳定性，同时，工程师经验的差异也会造成判定水平的参差不齐。最终导致的结果则是客户的服务体验与满意度差，造成巨大的隐性成本。工业大脑的引入，可以辅助人工判断产品缺陷，降低人工依赖性。 “老师傅”们的经验复用和传承 钢铁行业历经上百年的发展，累积了大量的经验。然而，经验都是碎片化地藏在“老师傅”的脑袋里，像一个个黑箱，难以形成经验共享与规模化的复用。工业大脑的使命就是将这些隐性化的知识显性化，并帮助打破人的传统思维框架与认知局限。 工业大脑由四块拼图组成——人工智能（AI）、大数据（Big data）、云计算（Cloud computing）、专家经验（Domain knowledge）。简单地讲，就是利用A、B、C技术将D（工厂老师傅、老专家的经验）抽象成知识，并将知识规范化、模型化与代码化，以数字化的方式嵌入到系统与设备当中，被重复调用，指导或是替代人力进行决策与执行。 未来，随着大数据、算力与算法技术的不断成熟，与数据智能相关的工业应用将呈指数级增长。钢铁企业的核心竞争力不在拥有多少产能或是固定资产，而是在于掌握了多少行代码与核心算法。工业智能应用的场景颗粒度会不断细化，面对焦化、烧结、高炉、热轧、炼钢系统、安保、物流、园区、电商等场景，都有机会开放出爆款的工业SaaS或是工业APP。此外，除了持续加强场景化的算法开发能力以及数字基础设施建设（数据中台），更重要的是加快钢铁企业的数字化组织、数字化领导、数字化文化以及数字化人才的转型，创造工业智能的生长与创新土壤。 文章来源：阿里研究所开发者社区整理

摘要：2019年是蒙牛创业20周年，这家成立于内蒙古的公司是全球增长最快的乳企，2018年蒙牛乳业实现收入689.77亿元，同比增长14.66%。随着业务的迅速发展，蒙牛也和其他国际领先的乳业公司一样，面临着商品销售费用迅速增加、利润摊薄等问题。如何通过改善内部运营效率、降低经销成本，是蒙牛目前面临的重要挑战之一。 数字化转型困惑一：奶牛今天状态好不好？ 你可能不知道，其实牛也有情绪好坏。奶牛的健康状况、情绪好坏，会直接影响到产奶量和产奶品质。 目前蒙牛有100万头牛，将近800个牧场。以前大多数传统牧场主要依靠人工经验来管理。现在，蒙牛和阿里巴巴合作在奶牛养殖的许多环节进行了数字化，阿里云还正在帮助蒙牛旗下牧场的奶牛逐步连接上物联网，从饲养到产奶，对奶牛及牧场运营实现数字化监控，逐步提高牛奶质量产量，提升牧场运营效益。 在牧场里，每头牛的脖子上都挂着智能脖环。安装在特定区域的物联网网关通过这些智能脖环监测奶牛每日活动量、产奶信息、每日反刍次数等实时数据。比如监测奶牛一天走多少步，走少了可能是生病了，这头牛就需要被隔离，它的奶暂时不能用了；如果走得特别多、特别快，那意味着奶牛可能发情了，需要给它配种；给奶牛尾巴上装一个重力监测器，如果它尾巴翘起来了，就能立马监测到，牧场就能及时知道它要分娩了，尽快去帮助奶牛生产。 通过一系列物联网硬件的集成，收集来的信息将通过物联网平台上传至云端进行分析处理，未来在平台化运营后，从奶牛的选种、饲喂、繁育到最后的泌乳，每一步都有严格的指标控制和监测，也能做到对奶牛健康程度的提前预判。而且，这些数据还会转化成最优的建议反馈给牧场，提高管理水平。比如，养牛有一个环节叫精准饲喂，干草和豆粕等精饲料的配比很重要，现在通过精准配比，可以降低牧场的饲料成本。 数字化转型困惑二：大家都想买最新鲜的牛奶，如何预测销量、降低库存？ 大家都知道，乳品快消行业对保鲜度的要求非常高、必须零库存生产。但是它的销量又很容易受到各种因素影响，天气、促销、舆情等都会对其产生影响。一旦牛奶企业对于产奶量和实际销售量没有做到很好匹配，就有可能造成大量的浪费和成本增加。而且，蒙牛对商家有承诺，保质期临近的可以换货。换下来的货，就需要去商超做深度折扣，这种折扣就是一种成本。所以，对蒙牛来说，内部成本控制的复杂度非常高，要尽量保证不要供大于求。 过去，蒙牛的销量上报都是靠人工上报订单，销售人员根据订单历史和经验，对下个月的销售额做出人为判断，并且形成了一套很成熟的计算规则，通过对地区、天气、节日、交通、特定事件等众多因素的综合考虑运算，基本上能够把产销之间的匹配控制在较小的误差内。 唯一的问题是，靠传统人工经验的方式，整个调配的效率不高，无法快速应对市场变化，同时每次排产计划与销售部门之间也会产生大量的沟通和人工录入、修正，也成为排产效率的瓶颈。再加上牛奶全国运送，物流庞大，同时牧场和工厂分布范围大，有时候一些变量发生，很有可能出现预测颗粒度不够、准确度不高的问题，很难算出最优的方案和线路。 蒙牛希望和阿里云一起，就销售、排产、物流等几个方面深入进行智能化改造。 为了实现更精准的预测，蒙牛基于阿里云的数据中台架构，将供应链相关系统数据全部打通， 集成品牌线上实际销售、线下直营经销商实际销售等数据，进行更精准的数据建模，将“基于订单历史的人工预测”改变为“基于实际销量的智能预测”，提升预测准确度。在未来数据生态逐渐建立的情况下，蒙牛还可以将该预测结果反向输出给下游经销商和零售商指导其订单发布，实现经销链条的成本最大节约和共赢。 数字化转型困惑三：谁买了我的牛奶？ 除了生产和物流端的优化，蒙牛还在探索销售渠道、终端管理和营销的智能化。 过去蒙牛活动做促销活动时面临许多问题。蒙牛拥有多个广告代理商，促销活动的数据分散在各个代理商手中。代理商提供的数据报表往往只针对某一个活动，并没有将所有数据沉淀下来。 蒙牛的管理层们很希望知道，到底是哪些人购买了蒙牛的产品，这次购买的20万人与上次购买的30万人哪些是重合的，用户画像是怎样的。基于阿里巴巴数据中台的理念和技术，他们正在建立“采集—识别—分析”的一整套智能营销体系，实现对消费环节的全局洞察。 今年以来，蒙牛最大的一个变化就是建立大数据部门。“我们要把牛的大数据、经销商的大数据、客户的大数据、门店的大数据、消费者的大数据，等等，全部纳进来。未来，直接让数据来决策。” 蒙牛集团首席信息官张决说。 未来，数据会成为企业运营中贯穿所有业务的血液，它不仅仅是帮助CEO做出有效的决策，也会帮助每一个员工在自己的岗位上做出最优决策，赋予整个企业智能化的能力。

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货，就在《开发者必读》！ 每日集成开发者社区精品内容，你身边的技术资讯管家。 每日头条 开放下载！独家解密文娱 5G+AI 时代的技术实践 全新电子书《5G+AI 阿里文娱技术实践》即将正式上线！ 从优酷窄宽高清革新布局，到大麦物联网的实践之路；从文娱内容认知的AI大脑，到交互式的6DoF视频技术。5G时代来临，阿里文娱如何用新技术开拓从制作、宣发到用户的全方位体验提升，5大板块，带你全面了解阿里文娱独具魅力的思考。 最强干货 一个多业务、多状态、多操作的交易链路？闲鱼架构这样演进 双十一刚刚结束，成交额2684亿震惊全世界，每秒订单峰值达54.4W笔。在闲鱼2000万DAU，交易数额同样增长迅速的今天，我们如何保障交易链路的稳定与快速支撑业务？这篇文章从客户端开发的角度，介绍闲鱼交易链路业务的架构演进过程，在保证性能的前提下，不断提升研发效率，与大家一起交流过程中的思考。 开源大数据生态下的 Flink 应用实践 11月28-30日，Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native

点击下载《未来社区数字化操作系统白皮书》 摘要：白皮书由阿里云研究中心和衢州市大数据局联合撰写，是衢州、阿里共建的新一代人工智能创新联合实验室发布的首个创新合作成果。未来社区数字化操作系统是运行在统一的云平台之上的，同时未来社区数字化操作系统又是支撑社区各种场景下智能应用运行的一个复杂系统。最上一层通过用户的交互端，为居民，企业和政府提供数据智能应用。未来社区数字化操作系统作为全国首个未来社区数字化建设的标准化，系统性解决方案，提出了未来社区数字化总体技术架构，围绕系统性设计、模块化建设和组件式应用的设计理念，持续探索邻里、教育、健康、支撑创业、交通、低碳、建筑、服务、治理9大场景的智能应用创新。从而带动社区创业商业圈延伸、教育健康建筑等相关产业协同发展，实现社区数字生态链蓬勃发展。 文章导读 未来社区数字化操作系统是城市级的社区智能应用支撑平台, 为智慧社区提供系统性解决方案，为数字社区提供模组化建设范式。在与城市大脑互联互通的基础上，融合物联网、大数据和人工智能等先进技术打造的未来社区数字化操作系统，将社区的核心功能逐项分解，整合到标准的模块和组件当中，支撑邻里，教育，健康，创业，建筑、交通、低碳、服务、治理等九大场景智能应用的敏捷创新。 未来社区的创新需要集合全产业链的力量，依托未来社区数字化操作系统的开放生态可以加速社区的技术、产品和服务创新，为未来社区规划、建设、管理和服务提供创新思路和解决方案，为社区赋“智”、为城市赋“能”，使未来社区的网络化、数字化、智能化飞跃式发展。 数字化操作系统将与社区建设、城市建设深度融合，将美好的数字化梦想照进现实，力争打造便捷、高效、智能的未来之城，助力未来社区的建设与发展。 阿里云研究中心重磅报告 让你先人一步看清行业数字化转型的新路径 新增量数字经济时代，各个行业都面临着巨大的挑战和机遇，如何用新科技来发现和驱动新的商业场景和业务增量。 阿里云研究中心，致力于“用科技探索‘新商业’边界”。研究领域既涵盖云计算、人工智能、区块链、大数据、物联网、量子计算等前沿科技的演变趋势及产业应用，更进一步积极探索在前沿科技的推动下，新零售、新制造、新能源、新金融等产业数字化转型的方法论和路径。 经过大量的案例调研和深度研究，阿里云研究中心完成了零售、数字政务和城市治理、制造、金融、传媒、教育等多个行业数字化转型路径和方法论的思考和沉淀。在此基础上，通过扎实的workshop微咨询服务等产品形态，阿里云研究中心已经成为很多企业数字化转型的“战略顾问”。 开发者社区整理

有状态的计算作为容错以及数据一致性的保证，是当今实时计算必不可少的特性之一，流行的实时计算引擎包括 Google Dataflow、Flink、Spark (Structure) Streaming、Kafka Streams 都分别提供对内置 State 的支持。State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据，部分情况下甚至可以直接用 State 存储结果数据，这让业界不禁思考: State 和 Database 是何种关系？有没有可能用 State 来代替数据库呢？ 在这个课题上，Flink 社区是比较早就开始探索的。总体来说，Flink

Netty、Redis、ZooKeeper高并发实战点击查看第二章点击查看第三章尼恩 编著 第1章 高并发时代的必备技能 高并发时代已然到来，Netty、Redis、ZooKeeper是高并发时代的必备工具。 1.1 Netty为何这么火 Netty是JBOSS提供的一个Java开源框架，是基于NIO的客户端/服务器编程框架，它既能快速开发高并发、高可用、高可靠性的网络服务器程序，也能开发高可用、高可靠的客户端程序。注：NOI是指非阻塞输入输出（Non-Blocking IO），也称非阻塞IO。另外，本书为了行文上的一致性，把输入输出的英文缩写统一为IO，而不用I/O。 1.1.1 Netty火热的程度 Netty已经有了成百上千的分布式中间件、各种开源项目以及各种商业项目的应用。例如火爆的Kafka、RocketMQ等消息中间件、火热的ElasticSearch开源搜索引擎、大数据处理Hadoop的RPC框架Avro、主流的分布式通信框架Dubbo，它们都使用了Netty。总之，使用Netty开发的项目，已经有点数不过来了……Netty之所以受青睐，是因为Netty提供异步的、事件驱动的网络应用程序框架和工具。作为一个异步框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便地主动获取或者通过通知机制获得IO操作结果。与JDK原生NIO相比，Netty提供了相对十分简单易用的API，因而非常适合网络编程。Netty主要是基于NIO来实现的，在Netty中也可以提供阻塞IO的服务。Netty之所以这么火，与它的巨大优点是密不可分的，大致可以总结如下： API使用简单，开发门槛低。 功能强大，预置了多种编解码功能，支持多种主流协议。 定制能力强，可以通过ChannelHandler对通信框架进行灵活扩展。 性能高，与其他业界主流的NIO框架对比，Netty的综合性能最优。 成熟、稳定，Netty修复了已经发现的所有JDK NIO中的BUG，业务开发人员不需要再为NIO的BUG而烦恼。 社区活跃，版本迭代周期短，发现的BUG可以被及时修复。 1.1.2

点击查看第一章点击查看第三章 第2章 构建第一个神经网络现在我们已经快速地对神经网络进行了复习，这是一个好的起点，为了不让大家抓狂，我们先编写一个非常简单的神经网络。我们将为几个函数搭建基本框架，以便你更好地了解将要使用的许多API的背后详情。我们将从头到尾完整地开发一个神经网络应用程序，以便你熟悉神经网络中包含的所有基本组件。这种实现并不完美或包罗万象，也不是必须这样实现。正如我提到的，这只为本书的其余章节提供一个框架。这是一个非常基本的神经网络，具有保存及加载网络和数据的功能。这将为你打下基础，让你能够编写自己的神经网络。在本章中，我们将讨论以下主题： 神经网络训练 术语 突触 神经元 前向传播 Sigmoid函数 后向传播 误差计算 技术要求你需要在系统上安装Microsoft Visual Studio。观看以下视频，以了解编码过程：http://bit.ly/2NYJa5G 。 2.1　一个简单的神经网络 我们首先展示简单神经网络的基本形式。它由带有2个输入的输入层、带有3个神经元（有时称为节点）的隐藏层和由单个神经元组成的最终输出层构成。当然，神经网络可以包含更多层（以及每层包含更多神经元），一旦深入学习，你会见到更多，但是现在这些已经足够了。请记住，如下标有N的节点都是一个单独的神经元—做一个不恰当的比喻，它们都具有自己的大脑，如图2-1所示。 我们将神经网络分解成三个基本部分：输入层、隐藏层和输出层。输入层：这是网络的初始数据。对于每个输入，其输出到隐藏层的值是初始输入值。隐藏层：这是网络的核心和灵魂，也是程序发挥魔力的根本。该层中的神经元为每个输入配置权重。这些权重随机设置初始值，并在网络训练时进行调整，以使神经元的输出更接近预期结果（如果幸运的话）。输出层：这是神经网络在执行计算后得到的输出。简单案例中的输出将设置为true、false，或者on、off。神经元为每个输入配置权重，这些输入来自先前的隐藏层。虽然通常只有一个输出神经元，但如果需要或想要多个输出神经元，也可以设置更多神经元。 2.2　神经网络训练 如何训练神经网络？基本上，我们将提供一组输入数据以及我们期望看到的对应于输入的结果数据。然后，该数据将通过网络运行，直到神经网络了解了我们的目的。我们将训练、测试、训练、测试、训练、测试，直到神经网络了解了数据（或无法了解，但这是其他问题）。继续训练，直到满足一些指定的停止条件，例如误差率阈值。让我们来快速了解一下在训练神经网络时会用到的一些术语。后向传播：数据通过网络运行后，将输出数据和预期的正确结果进行验证调整。我们通过在网络的每个隐藏层中后向传播（backprop或back

上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点，相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入，会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。 需求驱动架构设计 技术架构，是将产品需求转变为技术实现的过程。对于所有的架构师而言，能够将产品需求分析透彻是非常基本也是非常重要的一点。很多系统刚建成没多久就要被推翻，最根本的原因还是没有解决好产品真正的需求。 我所在的日志服务团队在日志这块有近10年的经验，几乎服务阿里内部所有的团队，涉及电商、支付、物流、云计算、游戏、即时通讯、IoT等领域，多年来的产品功能的优化和迭代都是基于各个团队的日志需求变化。 有幸我们最近几年在阿里云上实现了产品化，服务了数以万计的企业用户，包括国内各大直播类、短视频、新闻媒体、游戏等行业Top1互联网客户。产品功能从服务一个公司到服务上万家公司会有质的差别，上云促使我们更加深入的去思考：究竟哪些功能是日志这个平台需要去为用户去解决的，日志最核心的诉求是什么，如何去满足各行各业、各种不同业务角色的需求… 需求分解与功能设计 上一节中我们分析了公司内各个不同角色对于日志的相关需求，总结起来有以下几点： 支持各种日志格式、数据源的采集，包括非K8s 能够快速的查找/定位问题日志 能够将各种格式的半结构化/非结构化日志格式化，并支持快速的统计分析、可视化 支持通过日志进行实时计算并获得一些业务指标，并支持基于业务指标实时的告警（其实本质就是APM） 支持对于超大规模的日志进行各种维度的关联分析，可接受一定时间的延迟 能够便捷的对接各种外部系统或支持自定义的获取数据，例如对接第三方审计系统 能够基于日志以及相关的时序信息，实现智能的告警、预测、根因分析等，并能够支持自定义的离线训练方式以获得更好的效果 为满足上述这些功能需求，日志平台上必须具备的功能功能模块有： 全方位日志采集，支持DaemonSet、Sidecar各种采集方式以应对不同的采集需求，同时支持Web、移动端、IoT、物理机/虚拟机各种数据源的采集； 日志实时通道，这个是为了对接上下游所必备的功能，保证日志能够被多种系统所便捷的使用； 数据清洗（ETL: Extract，Transform，Load），对各种格式的日志进行清洗，支持过滤、富化、转换、补漏、分裂、聚合等； 日志展现与搜索，这是所有日志平台必须具备的功能，能够根据关键词快速的定位到日志并查看日志上下文，看似简单的功能却最难做好；

如今，双11不光是购物狂欢节，更是对技术的一次“大考”，对于阿里巴巴企业内部运营的基础保障技术而言，亦是如此。 回溯双11历史，这背后也经历过“小米加步枪”的阶段：作战室从随处是网线，交换机放地上的“一地狼藉”；到如今媲美5G的wifi网速，到现场却看不到一根网线；从当年使用商用AP(无线路由器)，让光明顶双11当天断网一分钟，到全部使用阿里自研AP……阿里巴巴企业智能事业部工程师们提供的基础保障也在不断升级。 媲美5G的Wifi网速 现场却看不到一根网线 网络是办公基础。对于负责网络的企业智能工程师来说，虽然很多工作做在平时，但在双11期间的保障也丝毫不会松懈。 为了确保阿里园区、猫晚现场、媒体中心、盒马门店等多地网络的顺滑体验，今年双11，从机房环境、接入层、骨干层和广域网端到端的整体网络稳定性得到全面提升，实现整体网络可用性。在人员密度和并发流量均创历史新高的同时，稳定支撑双11作战室各业务。 作为阿里双11最高指挥部的“光明顶”采用自研AP进行分布式网络架构部署，现场Wifi网速可媲美5G，却看不到一根网线。 40G骨干可同时支撑数万名小二的在线办公，对于突发的直播、视频连线等大流量业务支撑也毫无压力。同时在线路监控分析领域还首次引入主动状态分析模块，提前对风险高危的模块或线路做出预警。（阿里巴巴企业智能自研AP） 语音切换大屏 作战室装备持续升级 在光明顶作战室内有一块30平方的大屏，承载了2019双11数字经济体作战指挥大屏系统。这是阿里巴巴数字经济体作战组织的技术、产品、服务串联起来的“作战指挥图”。 今年，语音控制大屏的能力，也首次正式投入到双11作战中。 不需再手动操作，只需通过天猫精灵、话筒等设备发出命令，即可实现大屏上不同数据纬度的切换，不同业务板块的展示，协同作战指挥台，随时查看各战队数据情况，下发指令。包括与全球不同地区作战室实现音视频连线，今年也可以通过语音来控制与切换，跟指挥部成员进行异地作战与沟通。（工程师正在通过天猫精灵切换数据大屏） 管够！数千名商家媒体感受阿里IT服务 今年，来自华为、海尔等全球品牌的上千名代表组成的“商家千人团”以及全球媒体也入驻阿里巴巴，与阿里小二们并肩作战，为全球消费者服务。 为了满足商家媒体，对电脑、IT配件突发的借用、使用需求，IT工程师们首次在媒体/商家中心增设IT服务台与自助领用柜。IT小哥在服务台提供电脑清洁、电脑问题排查等服务，自助领用柜内则配备了笔记本电脑、鼠标、键盘等物品，可以随到随领，随领随用。 此外，还首次将5G信号搬到了阿里西溪园区现场作为网络保障。同时，视频连线、一键切屏、无线投屏等技术也让媒体和商家感受到了阿里的办公黑科技。 自研大盘再升级 核心应用问题精准定位 双11期间如何在第一时间定位员工应用与系统故障，企业智能的工程师们自研数据大屏可对核心应用进行观测。今年从业务全景、业务风险预警、核心应用服务、基础网络、核心系统水位等五层进行全面体系化升级，建立分层、高效、精细化的指挥体系，预警覆盖双11核心应用的所有故障点，可先于故障，做出处理。