雲計算

背景 2008年，神秘的中本聪在密码学邮件组第一次提出了区块链的概念，同时区块链也成为“电子货币”比特币的核心技术，在麦肯锡的一份报告中，将区块链技术称之为继蒸汽机、电力、信息和互联网科技之后，最有潜力触发第五轮颠覆性革命浪潮的核心技术。另一方面，区块链技术产生的比特币，山寨币，ICO项目导致的大量诈骗活动也引起了社会的批判浪潮。 区块链技术究竟是像电子邮箱、Tcp/iP、万维网、社交网络一样，是革命性的，引领互联网未来的技术；还是一个被夸大的、存在巨大缺陷的技术？ 要理解区块链的历史地位和未来趋势，就不得不从互联网的诞生开始研究区块链的技术发展简史，从中发掘区块链产生的动因，并由此推断区块链的未来。 一.比特币诞生之前，5个对区块链未来有重大影响的互联网技术 1969年，互联网在美国诞生，此后互联网从美国的四所研究机构扩展到整个地球。在应用上从最早的军事和科研，扩展到人类生活的方方面面，在互联网诞生后的近50年中，有5项技术对区块链的未来发展有特别重大的意义。 1.1974诞生的TCP/IP协议：决定了区块链在互联网技术生态的位置 1974年，互联网发展迈出了最为关键的一步，就是由美国科学家文顿•瑟夫和罗伯特•卡恩共同开发的互联网核心通信技术－－TCP/IP协议正式出台。 这个协议实现了在不同计算机，甚至不同类型的网络间传送信息。所有连接在网络上的计算机，只要遵照这个协议，都能够进行通讯和交互。 通俗的说，互联网的数据能穿过几万公里，到达需要的计算机用户手里，主要是互联网世界形成了统一的信息传播机制。也就是互联网设备传播信息时遵循了一个统一的法律-TCP/IP协议。 理解TCP/IP协议对掌握互联网和区块链有非常重要的意义，在1974年TCP/IP发明之后，整个互联网在底层的硬件设备之间，中间的网络协议和网络地址之间一直比较稳定，但在顶层应用层不断涌现层出不穷的创新应用，这包括新闻，电子商务，社交网络，QQ，微信，也包括区块链技术。也就是说区块链在互联网的技术生态中，是互联网顶层-应用层的一种新技术，它的出现，运行和发展没有影响到互联网底层的基础设施和通讯协议，依然是按TCP/IP协议运转的众多软件技术之一。 2.1984年诞生的思科路由器技术：是区块链技术的模仿对象 1984年12月，思科公司在美国成立，创始人是斯坦福大学的一对夫妇，计算机中心主任莱昂纳德·波萨克和商学院的计算机中心主任桑蒂·勒纳，他们设计了叫做“多协议路由器”的联网设备，放到互联网的通讯线路中，帮助数据准确快速从互联网的一端到达几千公里的另一端。 整个互联网硬件层中，有几千万台路由器工作繁忙工作，指挥互联网信息的传递，思科路由器的一个重要功能就是每台路由都保存完成的互联网设备地址表，一旦发生变化，会同步到其他几千万台路由器上（理论上），确保每台路由器都能计算最短最快的路径。 大家看到路由器的运转过程，会感到非常眼熟，那就是区块链后来的重要特征，理解路由器的意义在于，区块链的重要特征，在1984年的路由器上已经实现，对于路由器来说，即使有节点设备损坏或者被黑客攻击，也不会影响整个互联网信息的传送。3.随万维网诞生的B/S（C/S）架构：区块链的对手和企图颠覆的对象 万维网简称为Web，分为Web客户端和服务器。所有更新的信息只在Web服务器上修改，其他几千，上万，甚至几千万的客户端计算机不保留信息，只有在访问服务器时才获得信息的数据，这种结构也常被成为互联网的B/S架构，也就是中心型架构。这个架构也是目前互联网最主要的架构，包括谷歌、Facebook、腾讯、阿里巴巴、亚马逊等互联网巨头都采用了这个架构。 理解B/S架构，对与后续理解区块链技术将有重要的意义，B/S架构是数据只存放在中心服务器里，其他所有计算机从服务器中获取信息。区块链技术是几千万台计算机没有中心，所有数据会同步到全部的计算机里，这就是区块链技术的核心， 4.对等网络（P2P）：区块链的父亲和技术基础 对等网络P2P是与C/S(B/S)对应的另一种互联网的基础架构，它的特征是彼此连接的多台计算机之间都处于对等的地位，无主从之分，一台计算机既可作为服务器，设定共享资源供网络中其他计算机所使用，又可以作为工作站， Napster是最早出现的P2P系统之一，主要用于音乐资源分享，Napster还不能算作真正的对等网络系统。2000 […]

“上班就是看秀”，“带薪出游吃遍全球”，“工作就是群里聊天”……今年天猫双11，有一群看似不务正业的人火了。 （一个天猫双11诞生5大新职业） 今日，有人才机构发布《年底互联网择业指南》，天猫双11诞生的淘宝群聊师、水果猎人、直播选品师、云柜姐、农业电商经理人的5个新职业入选2020年最有“钱”景工作。这些新职业看似“不务正业”，实则很有前景，部分人才缺口达近百万人，月薪轻松过万。这也意味着，天猫双11所展现的经济力量，已经从商业领域蔓延到了人才市场。 1、群聊师、选品师，带货王迅速升温 今年双11，有一批人“身价倍增”——淘宝群聊师，他们的出现，带来了很多怪象：淘宝群里不卖货，只聊养生和育儿；一个宠物店的群，网友却在晒自己刚出生的宝宝；一个卖文具的群里，每天都在算数学题…… （淘宝群聊师 通过运营策划增加用户粘性） 然而，就是这样看似“不务正业”的一群人，在天猫双11期间带动了近百亿的成交，6月25日,天猫宣布了“旗舰店2.0升级计划”，私域流量运营再次成为热门话题。以专属客服、淘宝群为载体，淘宝群聊师应运而生，并很快在随后到来的双11中展现了他们的巨大潜力。策划能力、沟通能力让他们成为区别于客服的新职业。据粗略统计，在电商平台，淘宝群聊师的缺口约百万，无疑已是今年双11后升温最快的岗位。 说到“带货”，直播选品师也在这次双11后脱颖而出。什么样的商品能进入直播间、谁能成为下一个爆款、同类商品谁更值得被推荐……这些问题的终极答案就在直播选品师，可以说，他们就是决定李佳琦卖什么的人，有多少个直播间就需要多少个直播选品师。 2、“水果猎人”改变水果销售路径 当传统的采购员还在奔波于批发市场之间的时候，“水果猎人”牧轲正在从智利飞往西班牙，在全球寻找更适合中国消费者的水果。 （水果猎人牧轲身后是车厘子流水线） 这不是“水果猎人”成为新职业的主要原因。生鲜电商兴起后，传统水果销售路径已经不能满足市场需要。牧轲为代表的“水果猎人”研究出了一个新的路子：把新品种引入国内，通过电商平台直接面向消费者做市场推广，随之而来的是大批量的新品类水果不断涌入，如何脱颖而出，就需要把简单的水果卖出品牌感。水果猎人应运而生，如今这种岗位已经成为天猫头部生鲜商家的标配。 3、AI训练师打造下一个时尚女魔头 黑科技不断改变生活，也不断带来新的岗位需求。带着AI一起去世界各地看时装秀，给AI上课，并和AI进行激烈的“讨论”和“观点交锋”……这是AI训练师亦声每天的工作。训练的目的是让AI看懂世界各国的时尚风格，并根据数据洞察预测未来半年到一年的中国流行趋势。 为了让AI迅速成长起来，亦声和她的团队每天要花上数个小时回答AI提出的时尚难题，这些问题有的很寻常，就像高中生需要补习的知识点，比如针织长裤流行的年代？坎普风指的是什么？或者究竟多宽的裤子可以被定义为阔腿裤？ 今年双11，她的AI学生交出了第一份答卷：通过AI预测的一系列秋冬新款不但登上了纽约时装周，还在双11热卖。 当AI训练师带出的“毕业生”越来越多，下一个时尚女魔头也许就会在它们中间诞生。 智通人才招聘研究院院长王茜说，企业的招聘需求直接反映了经济发展风向标，生产力的不断进步推动着生产关系的更新，双11后大批新职业的涌现也正反映了社会经济的活力。 【猎云网北京】11月28日报道转自创头条，原文链接：http://www.ctoutiao.com/2538619.html

11年，每年都有不同的技术挑战，2019年天猫双11成交额2684亿的消费额，阿里巴巴核心系统100%上云，撑住了双11的世界级流量洪峰。阿里巴巴集团董事局主席兼首席执行官张勇表示，在他心里，最关键的不是销售数字，而是整个技术的峰值，双11成为消费者的节日、全球商业的盛会，甚至是全社会的经济现象的基础，背后是技术创新的力量。 奔跑在一线的技术人，更要关注物流数智化在双11中如何体现？数字化转型的大潮中，我们该如何进行改变？银泰商业是如何进行技术思维的转变，把全部业务上云的呢？相信您看完这个专题后，就能一目了然了！ 阿里云 MVP（最有价值专家），是专注于帮助他人充分了解和使用阿里云的技术实践领袖。本期《MVP时间–双11购物狂欢背后的技术演进》中，有对物流战略多年研究的联合创始人、有对大数据人工智能近20年研究的CEO、有多年智能运维团队负责人、有打造国内购物中心第一个业务中台的创始人。如果能用一句话形容他们，做自己技术的突破者，是最好不过了！ 潘永刚，是罗戈网联合创始人、罗戈研究院长，多年来潜心于供应链优化、物联战略、市场营销，为顺丰、施耐德电器等众多企业提供过培训和咨询服务。每年的双11，不仅仅是消费者和商家的节日，对于各大物流企业也是一次阅兵检阅的过程，数智化的能力竞争才是强有力的推手。本次潘永刚分享的直播，聚焦于物流数智化升级在双11中的体现（直播链接），作为一个技术人，不可不看！ 赵强，作为杭州决明数据的CEO，近20年的大数据人工智能研究的敏锐，让他对数字化转型大潮下的企业形式看得十分清楚。从今年的双11天猫类目排行榜来看，头部企业占据了长期的优势，但面对数字化浪潮下，只有从传统市场竞争思维及时转变，甚至提前转变到数字化思维的企业，才能立于不败之地，新的黄金时代才刚刚开始！ 贾爽，银泰商业智能运维的负责人，银泰通过了3年多的时间，把全部业务迁移到阿里云，通过云计算进一步放大了银泰业务的支撑能力。本次他将分享银泰商业100%云化在双11的表现，讲解银泰上云的过程，让我们一同期待！ 双11的神话还将延续下去，诞生至今，11年时光倏忽而逝，背后是技术飞速的迭代发展，阿里自研神龙架构、云原生数据库，做到了计算与存储分离，先进的系统做支撑，双11才会越走越远。 如果您想和更多开发者交流，可以扫描下方二维码，加入阿里云开发者专属阵地！ 如果看完觉得不过瘾，没关系！双11购物狂欢背后的技术演进，您想怎么看就怎么看！

11月27日， 阿里云和36氪在“北京36Kr Wise大会”上发布了中小企业加速平台，希望借助阿里云在云计算领域的技术和商业能力，同时应用36氪丰富的媒体资源及80万+企业数据，为中小企业成长保驾护航，希望“让中小企业真正专注于核心业务，让靠谱的企业服务惠及更多领域。”纵观整个市场，90%中小企业难以走出一年立、两年赚、三年死的生存困局。远超3000万的中小企业贡献了全国60%以上的GDP，是企业服务领域的必争之地。但中小企业的需求在中国企业服务的市场并没有得到满足。BAT入局企业服务市场无疑能够对中小企业服务领域起到加速的作用。 阿里云云市场的企业服务演进之路 阿里云云市场是最早布局中小企业服务的BAT平台。从2013年7月发布以来，阿里云云市场一直在“让企业用好软件”的路上加速前行。 2009年，阿里云开始布局云计算领域，推动了云周边市场的快速发展。2013年7月，阿里云云市场正式成立，专营云周边产品，通过镜像和API产品为企业发展赋能。 2014年8月19日，阿里云推出一项名为“云合计划”的新计划，明确了其生态体系发展的3年目标：招募10000家云服务商。阿里云云市场一直关注中小企业服务市场，在这次计划中，阿里云云市场扩充商品种类至6000+，将SaaS产品在阿里云云市场订单中的占比提升至25%，打破了单一“云周边”售卖平台的印象，实现了向中小企业服务平台的正式转型。 2016年阿里云发布“绿洲计划”，阿里云云市场开放阿里云的渠道体系为中小SaaS企业提供渠道赋能，阿里云云市场上有10家软件企业季度交易额过100万，3家合作伙伴的季度交易额过千万。 2017年，“云合计划”升级，阿里云开始引入“智能”概念，打造智能云生态。阿里云云市场联合思科、SAP、Informatica、NetApp、中标软件、用友畅捷通、泛微、Fortinet、联想云等国内外知名软件企业推出商业软件15天免费试用计划，希望带动100万中小企业实现智能化转型。同年5月，超过1200家海内外知名软件商的逾4000款软件通过商业软件免费试用计划已实现在线服务。 2019年，云市场的生态策略升级，输出服务商“心选”商业模式。阿里云云市场的心选模式是阿里云用心挑选“质量优、服务优、口碑优”的精品软件，面向企业客户提供优质的云上软件服务。目前，阿里云云市场心选已有小程序、企业智能营销、网站建设、财务软件、办公软件、党建云、安全产品、智慧校园等十个版块，涵盖畅捷通、夺冠互动、云梦、高德、口碑、奥哲、伯俊、南威、浩鲸、河长科技和e签宝等知名软件服务商，取得了头部服务商年交易额过亿，整体交易流水8倍增长的成果。 2019年9月，云市场在云栖大会上发布了阿里云心选渠道伙伴招募计划：招募10家总代服务千万家中小企业，将云市场的中小企业服务效应进一步放大。云市场现在每年服务近百万家中小企业，涵盖企业应用、基础软件、上云服务、解决方案、IoT等多种场景。11月，阿里云云市场在《洞见2020中国企业服务年会》上荣获了“2019中国企业服务卓越平台奖”。 阿里云云市场加速中小企业成长 阿里云云市场被称为软件天猫，是一个提供标准化的SaaS软件交易及交付的平台。中小企业可以在阿里云云市场海量精品软件及服务中，选择最适合自己的服务，在节省企业应用开发成本的前提下，实现业务系统的高效构建和修改。云市场洞悉中小企业的各方诉求，通过平台的资源和能力，联合服务商输出优质产品和服务，满足中小企业的需求。 1. 满足中小企业的营销诉求：小程序和CRM 中小企业存活难，在经济形势不好的大背景下，中小企业还面临着同质化竞争激烈、人才资源稀缺、发展资金有限的艰难局面。中小企业想要渡过群狼环伺的幼年时期，业务增长和提高核心竞争力刻不容缓。小程序作为消费互联网时代最后的流量蓝海，已成中小企业实现业务增长的必要手段。但小程序具备开发难、管理难、运营难的特点。中小企业如何在万人过独木的竞争中占得先机成为了所有人关注的话题。 夺冠互动是阿里云深度合作的小程序服务开发商，针对中小企业对小程序产品功能和多元营销场景需求，为用户提供“开发+管理+运营”全托管式的小程序开发服务，实现了多端合一、快速交付的能力。其中，餐饮品牌「阿白手作」借助阿里云小程序自建了点餐平台，与用户建立了全渠道链接，实现线上销量+线下流量无障碍通路，目前已发展了6家直营店与加盟店，完成了品牌从无到有、从有到优的转变。 依托阿里云云市场提供的底层能力与渠道资源，夺冠互动累计开发并上线小程序10万+，上线商城、智慧餐厅、内容管理、培训等33个模块和3款营销插件，持续为中小企业赋能，成为了企业营销升级的中坚力量。此外，云市场还有多元的营销型产品，满足中小企业的获客以及会员管理的综合营销需求。 2. 助力敏捷高效的企业管理：财务软件的SaaS化

设备端资源包文件更新方案 1.背景 当物联网设备分布在全球各地运行时，常常有更新设备上的资源包的需求，比如刷脸设备上的人脸库资源，算法模型，语音播报设备上的语音模板资源。而我们派一位工作人员出差去设备现场更新，成本往往很高。此时借助IoT技术的力量，在云端动动手指，轻松实现设备资源包更新是最理想的方案。 2.架构方案 云端更新设备端资源文件的完整交互过程： 后台业务服务器发布资源到OSS存储 后台业务服务器生成带有STS.Token的资源访问url 业务服务器下行资源包文件更新指令到设备端 Topic为 xxx/xxx/user/resource/update Payload 包含文件id，md5值，访问uri 设备订阅了资源更新topic，接收到更新指令 设备从OSS获取到新资源包，应用到本地程序中 设备上报资源更新结果 Topic为 xxx/xxx/user/resource/update/response Payload 包含文件id，resultCode 业务服务器从规则引擎获取设备更新结果

11月27日， 阿里云和36氪在“北京36Kr Wise大会”上发布了中小企业加速平台，希望借助阿里云在云计算领域的技术和商业能力，同时应用36氪丰富的媒体资源及80万+企业数据，为中小企业成长保驾护航，希望“让中小企业真正专注于核心业务，让靠谱的企业服务惠及更多领域。” 纵观整个市场，90%中小企业难以走出一年立、两年赚、三年死的生存困局。远超3000万的中小企业贡献了全国60%以上的GDP，是企业服务领域的必争之地。但中小企业的需求在中国企业服务的市场并没有得到满足。BAT入局企业服务市场无疑能够对中小企业服务领域起到加速的作用。 阿里云云市场的企业服务演进之路 阿里云云市场是最早布局中小企业服务的BAT平台。从2013年7月发布以来，阿里云云市场一直在“让企业用好软件”的路上加速前行。 2009年，阿里云开始布局云计算领域，推动了云周边市场的快速发展。2013年7月，阿里云云市场正式成立，专营云周边产品，通过镜像和API产品为企业发展赋能。 2014年8月19日，阿里云推出一项名为“云合计划”的新计划，明确了其生态体系发展的3年目标：招募10000家云服务商。阿里云云市场一直关注中小企业服务市场，在这次计划中，阿里云云市场扩充商品种类至6000+，将SaaS产品在阿里云云市场订单中的占比提升至25%，打破了单一“云周边”售卖平台的印象，实现了向中小企业服务平台的正式转型。 2016年阿里云发布“绿洲计划”，阿里云云市场开放阿里云的渠道体系为中小SaaS企业提供渠道赋能，阿里云云市场上有10家软件企业季度交易额过100万，3家合作伙伴的季度交易额过千万。 2017年，“云合计划”升级，阿里云开始引入“智能”概念，打造智能云生态。阿里云云市场联合思科、SAP、Informatica、NetApp、中标软件、用友畅捷通、泛微、Fortinet、联想云等国内外知名软件企业推出商业软件15天免费试用计划，希望带动100万中小企业实现智能化转型。同年5月，超过1200家海内外知名软件商的逾4000款软件通过商业软件免费试用计划已实现在线服务。 2019年，云市场的生态策略升级，输出服务商“心选”商业模式。阿里云云市场的心选模式是阿里云用心挑选“质量优、服务优、口碑优”的精品软件，面向企业客户提供优质的云上软件服务。目前，阿里云云市场心选已有小程序、企业智能营销、网站建设、财务软件、办公软件、党建云、安全产品、智慧校园等十个版块，涵盖畅捷通、夺冠互动、云梦、高德、口碑、奥哲、伯俊、南威、浩鲸、河长科技和e签宝等知名软件服务商，取得了头部服务商年交易额过亿，整体交易流水8倍增长的成果。 2019年9月，云市场在云栖大会上发布了阿里云心选渠道伙伴招募计划：招募10家总代服务千万家中小企业，将云市场的中小企业服务效应进一步放大。云市场现在每年服务近百万家中小企业，涵盖企业应用、基础软件、上云服务、解决方案、IoT等多种场景。11月，阿里云云市场在《洞见2020中国企业服务年会》上荣获了“2019中国企业服务卓越平台奖”。 阿里云云市场加速中小企业成长 阿里云云市场被称为软件天猫，是一个提供标准化的SaaS软件交易及交付的平台。中小企业可以在阿里云云市场海量精品软件及服务中，选择最适合自己的服务，在节省企业应用开发成本的前提下，实现业务系统的高效构建和修改。云市场洞悉中小企业的各方诉求，通过平台的资源和能力，联合服务商输出优质产品和服务，满足中小企业的需求。 1. 满足中小企业的营销诉求：小程序和CRM 中小企业存活难，在经济形势不好的大背景下，中小企业还面临着同质化竞争激烈、人才资源稀缺、发展资金有限的艰难局面。中小企业想要渡过群狼环伺的幼年时期，业务增长和提高核心竞争力刻不容缓。小程序作为消费互联网时代最后的流量蓝海，已成中小企业实现业务增长的必要手段。但小程序具备开发难、管理难、运营难的特点。中小企业如何在万人过独木的竞争中占得先机成为了所有人关注的话题。 夺冠互动是阿里云深度合作的小程序服务开发商，针对中小企业对小程序产品功能和多元营销场景需求，为用户提供“开发+管理+运营”全托管式的小程序开发服务，实现了多端合一、快速交付的能力。其中，餐饮品牌「阿白手作」借助阿里云小程序自建了点餐平台，与用户建立了全渠道链接，实现线上销量+线下流量无障碍通路，目前已发展了6家直营店与加盟店，完成了品牌从无到有、从有到优的转变。 依托阿里云云市场提供的底层能力与渠道资源，夺冠互动累计开发并上线小程序10万+，上线商城、智慧餐厅、内容管理、培训等33个模块和3款营销插件，持续为中小企业赋能，成为了企业营销升级的中坚力量。此外，云市场还有多元的营销型产品，满足中小企业的获客以及会员管理的综合营销需求。 2.

近日，知名调研机构 IDC发布了首个《IDC MarketScape：2019中国AI云服务市场厂商评估》报告，报告显示，阿里云位列领导者象限，并在战略愿景维度排名第一，亚马逊AWS、微软Azure等云厂商紧随其后，进入主要玩家象限。 报告认为，公有云较好地解决了AI 部署和运行成本高昂的问题，AI 应用迁移、重构到云平台，或直接使用云上的AI服务是大势所趋。 该报告对主流云厂商的云服务能力及AI能力进行了全面评估，评估结果显示，阿里云在产品技术能力、市场份额以及战略愿景三个维度均有不俗表现，并在战略愿景方面位居第一。 IDC分析师指出：“阿里云在图像识别、智能营销、语音交互等AI服务领域已经积累了丰富的经验，作为较早推出行业AI解决方案的领先企业，阿里云城市大脑等已经积累了大量应用案例和成功经验，并形成了一定的品牌优势。” 作为亚洲第一、全球前三的云服务商，阿里云已完成从芯片、算法、开发平台到产业实践的全布局，将领先的算力、算法、大数据能力汇聚到云平台之上。 今年9月，阿里发布首颗AI芯片含光800，该芯片创下了两项世界记录，推理性能及能效比均为业界第一，解决了AI视觉处理的算力瓶颈，相关AI云服务已在阿里云上线，未来将为双11等场景提供极致算力。 在创新算法方面，阿里巴巴建成了完善的机器智能算法体系，涵盖语音智能、语言技术、机器视觉、决策智能等方向。目前，阿里AI每天调用超1万亿次，服务全球10亿人，日处理图像10亿张、视频120万小时、语音55万小时及自然语言5千亿句。 在AI开发平台方面，阿里云飞天AI平台是国内首个云端商业化机器学习平台，支持上百亿特征、千亿训练样本的超大规模经典算法，封装200多个机器学习算法，大幅提升开发者的效率。在IDC首份机器学习平台报告《IDC MarketScape：中国机器学习平台2019厂商评估》中，飞天AI平台在产品能力层面位居行业第一。 基于领先的算法和基础设施，早在2015年，阿里就率先实践产业AI。目前，以阿里云城市大脑、工业大脑、农业大脑为代表的产业AI，广泛应用于城市治理、工业制造、农业、零售、金融等产业场景。

前言 医疗健康产业目前呈高速发展状态，处在互联网对医疗行业赋能的关键阶段，由于医疗行业数据的隐私性较强，通过传统方式很难获取公开的医疗健康数据进行研究，根据阿里云天池比赛赛题设置研究及提供的脱敏数据集着手进行分析是比较理想的手段。本文的目的在于对医院的信息系统流程进行思考，结合公开数据集对于医疗健康数据特征进行分析，从而得出未来医疗健康产业数据架构模式的发展方向。 医疗健康数据特征 首先看一下天池比赛近期的两场比赛，都是针对医疗数据进行研究并进行挖掘的，采用脱敏数据，数据来源于实际病例因此参考价值较高：分析两个比赛提供的数据集形式，可以明显感到医疗数据集的特征为数据异构，即因为医疗检测手段的关系，数据图像化比例较高，但是因为训练数据集需要根据患者其他特征包括性别、年龄、身高、体重等进行统筹分析，因此也包含了一部分结构化数据，因此医疗数据集是典型的非结构化数据和结构化数据并存的异构数据集。 常用预测算法分析 医疗数据所需要的预测结果一般为分类，由于结果的主要目的并非直接作出定性结论而更多的是为医生提供参考因此二分类（即是或不是）和多分类（分为几类）都有实际价值。从宫颈癌风险智能诊断比赛要求结果看，初赛恶性细胞检测算法属于二分类问题，而复赛宫颈癌恶性细胞检测分类算法属于多分类问题即需要将检测结果分类成5类典型宫颈癌。数据处理方面，需要结合训练集图像输入和医生的手工标注信息和患者特征信息，因此深度学习算法的普遍使用成为必然，由于单张CT图片和标注信息只能属于一个患者因此JSON文件被采用作为记录文件形式是非常合适的，单张CT文件对应单个JSON文件相比结构化表单能够更好的记录数据。从数据量大小分析，数千份宫颈癌细胞学图片和对应异常鳞状上皮细胞位置标注，每张数据在20倍数字扫描仪下获取，大小300～400M。因此以训练集包含800张图片计算训练数据集大小约为273G，非结构化数据占了绝大部分。从心电人机智能大赛比赛要求结果看，心电异常事件分类属于多分类问题即需要将检测结果分类成训练集中的异常事件种类。4万个医疗心电样本。每个样本有8个导联，分别是I，II，V1，V2，V3，V4，V5和V6。单个样本采样频率为500 HZ，长度为10秒，单位电压为4.88微伏（microvolts）。因此在检测设备输出时已经将数据结构化，相比CT图片的特征提取和数据处理并不需要采用深度学习算法，常规数据预处理手段即能满足需求。从算法角度进行分析，针对图片进行计算需要用到深度学习算法，各类神经网络中RNN即卷积神经网络被使用频率较高，也是目前图像识别的主流算法。对两个比赛中选手公开的算法进行统计，宫颈癌风险智能诊断比赛所采用的算法几乎全部为基于神经网络的深度学习算法，差异无非是所采用的深度学习框架不同和基于神经网络衍生的算法采用不同。代表数据科学界对于未来非结构化医疗数据所采用的算法大方向上是统一的。心电人机智能大赛采用算法为机器学习分类算法，目前基于决策树的分类算法占据绝对主导地位，在决策树的基础上衍生的机器学习算法如RF即随机森林算法、GBDT算法和LIGHTLGBM算法又占了多数，LIGHTLGBM算法最普遍被使用。从交叉验证集调参和测试集验证效果评估来说，面向癌症算法和其他如心脏异常情况算法需要关注的角度不一样，癌症因为检测结果对于病员包括家属心理冲击很大，因此对于测准率和召回率的平衡问题需要非常关注，防止算法过拟合而造成的草木皆兵情况，同时也加大了医生复核的工作量。而心脏异常算法或是其他普通生化指标数据，则过拟合的问题没有那么严重，因为数据的体量到了一定的程度根据大数定理即使过拟合也会逐步的倾向于往较为准确的趋势发展。特别对于心脏异常情况判断，高测准率极其重要，因为数据的实时性强并且随时间变化价值下降速度较快，即使过拟合而误报，能让病员或家属重视总是没有错的。 医疗数据处理架构方案 根据以上对于医疗健康数据特征、所采用的数据挖掘算法分析结果，对于医疗数据处理所用的架构方案进行研究。医疗数据结构化和非结构化并存的特征造成需要使用CPU和GPU结合的异构计算。从医院现实条件来说，非结构化数据的来源主要为放射性检查设备等产生的图像，如CT每张图片的大小就约为350M,而生化指标包括心电指标能够以结构化数据呈现。非结构化数据的处理需要消耗大量GPU计算力，无法在现实情况下要求医院对于本地IDC机房进行大规模扩容并增加GPU集群。因此从架构上来说云-雾-边协同会是比较理想的架构方式。1 边缘计算节点各类检测设备附近的计算节点（包括设备自带的和医生查看结果的PC机）构成协同体系内边缘计算节点，但是现有技术条件下边缘计算的计算力相对偏弱，无法要求边缘节点进行大规模图像识别计算，因此边缘计算节点的主要任务是数据清洗并负责向雾端传送，由于医院的检查种类较多，各种报告和图像信息数据格式并不统一，因此预先在边缘端进行数据清洗有助于雾端和云端降低计算压力并帮助医院未来实现统一数据中台可能。2 雾计算节点医院现有本地IDC机房可以考虑作为雾计算节点，雾计算节点目前对于医疗行业尤其重要，虽然5G技术在时延上和传输速度上都满足大规模数据传输要求但是由于医院的环境较为复杂，如果边缘计算节点的数据需要直接传送到云端则在网络层会极其依赖无线通信手段，而无线通信特别是5G较高的频率在全方位全覆盖性的边缘计算节点与云端通信过程中是否会对医疗设备产生干扰和其他预料之外的问题需要在实际应用中再研究，短期内，边缘计算节点数据通过有线通信手段传送到雾计算节点是最合适的方法。雾计算节点的现实作用非常多，如集中边缘计算节点数据和区分应用场景并进行计算，特别如果个别医院本地IDC服务器集群配置较强则可以就地对于结构化数据进行挖掘、训练模型并进行预测工作而不必传送到云端。此外从通信角度，雾端作为统一数据出口向云端无线传输数据可以最大可能避免无线信号对于医疗设备可能的干扰作用。短期5G未普及情况或者费用较高的情况下可以采用本地IDC与云端专线通信方式作为过渡手段。在具有多个院区的医院中，不同地域的本地IDC作为雾端能够进行异地容灾建设。多个本地IDC机房在不同地域互为灾备，确保单一节点故障能够及时迁移确保业务不中断及存储数据的可用性和完整性。3 云端云计算平台能够很好的解决医院异构数据计算需求大但又短时间无法配置大规模GPU集群的现实情况，CT等放射性检查设施产生的高清图像文件及其他需要采用深度学习算法的数据可以统一通过雾端传输到云端进行计算，云计算弹性伸缩的优势在面对医院计算力需求随患者数量呈时间性波动的情况时也可以最大可能的减小医院异构计算成本，GPU集群的配置通过弹性伸缩在医院计算力需求大时自动扩充计算节点，而需求小时自动减小集群内虚拟机规模。

研究表明，以供应商为中心的人工智能设备的部署模型无法维持流量的指数性增长。 如今，电信行业已经确定需要更快的最终用户数据速率。在以往，用户通过打电话和发短信进行沟通。但是，移动通信现在以一种戏剧性的方式改变了人们的生活。 人们更倾向于基于影像和基于VR/AR视频的通信。因此考虑到这些需求，这些应用也需要一种新型的网络。而360°视频应用的沉浸式体验需要大量数据和零延迟网络。例如，分辨率等于4K电视分辨率的VR视频需要1 Gbps的带宽才能流畅播放，而需要2.5 Gbps的交互带宽。这两者都需要10ms的最小延迟。而这是往返时间。很快这些应用将以智能手机为目标，给网络带来更多压力。随着VR/AR服务的普及，即将采用的5G网络将提供所需的速度和性能。 每个物联网设备都会创建数据，而这些数据是人工智能引擎的动力。人工智能使人们能够对数据做更多有趣的事情。处理海量数据的最终目标是将这些数据转化为价值的能力。5G的启用带来的数据增长是人工智能的最大机遇。 将会有前所未有数量的数据在整个网络中移动以进行处理，并且在某些情况下会在本地缓存以确保低延迟。为此需要使处理过程更靠近用户，以利用超低延迟和超高吞吐量。 5G面临的一些挑战 5G的推出并非没有挑战。首先其成本高昂，并且以过去从未分发过的方式进行分发。建立这种类型的网络涉及大量成本，而位置对于有效规划、部署和优化5G网络至关重要。 此外，5G毫米波也面临着自身的挑战。有一些技术可以让某人接收信号并将其发送给特定的客户，而不是发送到各个方向。而传统通信技术类似于可以覆盖房间各个角落的灯泡，而5G类似于针对特定区域的手电筒。 选择合适的位置对5G网络的发展和部署起着至关重要的作用。因此必须分析，如果是在正确的地方建设，并针对正确的目标进行营销。如果选择一个区域而不是另一个区域，希望有多少新订户注册这些服务?电信运营商需要考虑到这个地区的人口、建筑结构以及获取信号的容易程度。 此外，电信运营商必须了解发生洪水的可能性，并分析实时天气以预测流量变化。因此，如果有雷雨天气，需要了解此类事件如何影响网络的需求，然后进行预测性计算。人工智能当然可以帮助预测这些事件。 人工智能的机遇之门 5G带来了新的挑战，但是可以将人工智能技术集成到网络中，这成为业界解决这些复杂问题的一种方式。人工智能技术是需要适应网络以帮助管理和控制这一变化的关键组件，人工智能的另一个重要用例是网络规划和运营。 采用5G技术，运营商将在每个移动通信基站连接到光纤线路的地方建设和运营10万个小型移动通信基站。据预测，全球各地可能需要建设1000万个移动通信基站。而弄清楚如何计划和设计这些基站将超出人类的能力范围。人工智能可以进行站点评估，并告诉某些设计的吞吐量。 人工智能可以帮助建立5G基础设施，并规划移动通信基站的位置，从而为5G基站确定最佳建设位置。它可以连续监视网络的使用方式。如果其中一个移动通信基站无法正常运行，则通过人工智能技术向另一个移动通信基站发出信号并让它接管。 以供应商为中心的设备无法支持5G技术 随着5G网络的启用，人们将产生和获得大量数据。在某些情况下，每天的数据流量达到PB级，其中大部分将归因于基于视频的应用程序。以供应商为中心的设备的部署模型无法维持流量的这种指数性增长。 随着处理和计算、存储和网络功能的发展，开源技术将在这一领域不断涌现。最终这将在边缘计算创建一个实时网络。 在边缘处理更多数据

一、背景 地图App的功能可以简单概括为定位，搜索，导航三部分，分别解决在哪里，去哪里，和怎么去的问题。高德地图的搜索场景下，输入的是，地理相关的检索query，用户位置，App图面等信息，输出的是，用户想要的POI。如何能够更加精准地找到用户想要的POI，提高满意度，是评价搜索效果的最关键指标。 一个搜索引擎通常可以拆分成query分析、召回、排序三个部分，query分析主要是尝试理解query表达的含义，为召回和排序给予指导。 地图搜索的query分析不仅包括通用搜索下的分词，成分分析，同义词，纠错等通用NLP技术，还包括城市分析，wherewhat分析，路径规划分析等特定的意图理解方式。 常见的一些地图场景下的query意图表达如下：query分析是搜索引擎中策略密集的场景，通常会应用NLP领域的各种技术。地图场景下的query分析，只需要处理地理相关的文本，多样性不如网页搜索，看起来会简单一些。但是，地理文本通常比较短，并且用户大部分的需求是唯一少量结果，要求精准度非常高，如何能够做好地图场景下的文本分析，并提升搜索结果的质量，是充满挑战的。 二、整体技术架构搜索架构 类似于通用检索的架构，地图的检索架构包括query分析，召回，排序三个主要部分。先验的，用户的输入信息可以理解为多种意图的表达，同时下发请求尝试获取检索结果。后验的，拿到每种意图的检索结果时，进行综合判断，选择效果最好的那个。query分析流程 具体的意图理解可分为基础query分析和应用query分析两部分，基础query分析主要是使用一些通用的NLP技术对query进行理解，包括分析，成分分析，省略，同义词，纠错等。应用query分析主要是针对地图场景里的特定问题，包括分析用户目标城市，是否是where+what表达，是否是从A到B的路径规划需求表达等。整体技术演进 在地里文本处理上整体的技术演进经历了规则为主，到逐步引入机器学习，到机器学习全面应用的过程。由于搜索模块是一个高并发的线上服务，对于深度模型的引入有比较苛刻的条件，但随着性能问题逐渐被解决，我们从各个子方向逐步引入深度学习的技术，进行新一轮的效果提升。 NLP领域技术在最近几年取得了日新月异的发展，bert，XLNet等模型相继霸榜，我们逐步统一化各个query分析子任务，使用统一的向量表示对进行用户需求进行表达，同时进行seq2seq的多任务学习，在效果进一步提升的基础上，也能够保证系统不会过于臃肿。 本文就高德地图搜索的地理文本处理，介绍相关的技术在过去几年的演进。我们将选取一些点分上下两篇进行介绍，上篇主要介绍搜索引擎中一些通用的query分析技术，包括纠错，改写和省略。下篇着重介绍地图场景中特有query分析技术，包括城市分析，wherewhat分析，路径规划。 三、通用query分析技术演进 3.1 纠错 在搜索引擎中，用户输入的检索词（query）经常会出现拼写错误。如果直接对错误的query进行检索，往往不会得到用户想要的结果。因此不管是通用搜索引擎还是垂直搜索引擎，都会对用户的query进行纠错，最大概率获得用户想搜的query。 在目前的地图搜索中，约有6%-10%的用户请求会输入错误，所以query纠错在地图搜索中是一个很重要的模块，能够极大的提升用户搜索体验。 在搜索引擎中，低频和中长尾问题往往比较难解决，也是纠错模块面临的主要问题。另外，地图搜索和通用搜索，存在一个明显的差异，地图搜索query结构化比较突出，query中的片段往往包含一定的位置信息，如何利用好query中的结构化信息，更好地识别用户意图，是地图纠错独有的挑战。 常见错误分类 (1) 拼音相同或者相近，例如: