雲計算

雲計算

阿里云城市大脑最新实践 衢州公交通行效率提高14%

11月20日,衢州市人民政府发布了“城市大脑”的最近实践成果——当地1路和103路公交路线的27个路口实现了公交信号优先,其中103路公交车通行效率提高了14%。 据了解,衢州智慧交通项目在新型智慧城市顶层设计框架下,以城市大脑 2.0 为技术支撑,采用人工智能、云计算、物联网等技术,全面提升交通管理水平和交通运行效率。 为了提高公共交通通行效率,衢州采用全国首创的亚米级高精定位系统、地图系统和信号联动系统,在不影响路面及其他车辆的通行效率的前提下,对公交车通行执行相对优先。 城市大脑支持衢州智慧交通一期项目实现了基于实时流量和人工智能的信号灯智能调度,全面完成了市区的信号灯配时优化,保证路口通行能力处于单点最优或区域最优。 “在交通治堵方面,我们将主城区的118个信号机接入指挥中心,这118个信控路口划分为56个子区,实现了区域系统信号配时优化。”衢州市公安交警支队支队长余水陆介绍说。 此外,当地市民可通过支付宝、衢州交警公众号等入口进入智慧交通的应用端“e衢行”,享受到停车场查询、实时公交查询、公共自行车查询等便民服务。 “我们会进一步将深入业务场景,通过数据智能技术、视频技术等融合应用,持续助力衢州新型智慧城市建设。”阿里云智能数字政府浙江区总监陈亮表示。据介绍,衢州市城市大脑建设得到了市营商办、大数据局、公安交警、交通运输、住建、交投公司、城投公司等20余个部门的全力配合。阿里云、数梦工场提供了视频计算、数据智能等技术支持。 衢州市人民政府副市长、市公安局局长王顺大表示:“未来,衢州将继续深化交通治理数字化转型,进一步优化和探索我们的交通治理,让老百姓更有获得感、幸福感,真正打造一个国内中等城市智慧交通可复制、可推广的全国样板。” 据了解,2016年阿里云在杭州云栖大会首次发布了城市大脑。在杭州,城市大脑交通模块在市心路投入试点,该路段车辆通行速度最高提升了11%。目前,全球23个城市已经引入了城市大脑。

雲計算

万物互联的时代

美国公布了一份长达35页的《2016-2045年新兴科技趋势报告》,通过对近700项科技趋势的综合比对分析,最终明确了20项最值得关注的科技发展趋势。在2045年,最保守的预测也认为将会有超过1千亿的设备连接在互联网上。这些设备包括了移动设备、可穿戴设备、家用电器、医疗设备、工业探测器、监控摄像头、汽车,以及服装等。它们所创造并分享的数据将会给我们的工作和生活带来一场新的信息革命。人们将可以利用来自物联网的信息来加深对世界以及自己生活的了解,并且做出更加合适的决定。在此同时,联网设备也将把目前许多工作,比如监视,管理,以及维修等需要人力的工作自动化。物联网、数据分析、以及人工智能这三大技术之间的合作将会在世界上创造出一个巨大的智能机器网络,在不需人力介入的情况下实现巨量的商业交易。智能物联各行业占比如下图所示。物联网是新一代信息技术的高度集成和综合运用,对新一轮产业变革和经济社会绿色、智能、可持续发展具有重要意义。为推动物联网健康有序发展,制定信息通信业“十三五”规划物联网分册。《十三五规划纲要》提出“着力构建量子通信和泛在安全物联网;推进物联网感知设施规划布局,发展物联网开环应用;加强现代信息基础设施建设,推进大数据和物联网发展,建设智慧城市”等物联网相关任务。《物联网分册》中关于构建产业生态体系、加快物联网与行业领域的深度融合、深化物联网在智慧城市领域的应用等重点任务,均体现了“十三五”规划纲要的相关要求。根据工信部“十三五”规划体系总体部署,《信息通信行业发展规划(2016-2020年)》从行业角度出发,对包括通信业、互联网、物联网在内的信息通信行业发展进行全面规划,涉及到物联网服务等相关内容。物联网更加侧重于产业发展,单独成册。《物联网分册》是部委层面唯一发布的物联网规划文件,从技术、产业、应用、安全等各方面对物联网发展进行全面部署,涉及物联网感知识别、网络传输、信息处理等各环节关键问题。IoT成为阿里巴巴第五赛道,阿里巴巴将全面进军物联网领域,IoT是阿里巴巴集团继电商、金融、物流、云计算后新的主赛道。 阿里云IoT,致力于实现万物互联的美好世界,为生态合作伙伴提供基于云计算、大数据、人工智能、云端一体化、安全的物联网基础平台和内容服务能力平台。阿里云IoT致力于做物联网基础设施的搭建者,通过打造全行业最完善的云端一体化开发平台,搭建全产业链最丰富的物联网市场,共建全球最开放的物联网标准,从而构建物联网生态系统,使能平台和基础设施,加速物理世界和数字世界的融合,推动物联网向智联网发展。 阿里云IoT先后推出物联网平台,物联网网络管理平台,物联网边缘计算,物联网操作系统,物联网安全,IoT Studio应用加速工具。提供群里云IoT的商业实践-智能家居、智能园区(雄安市民中心杭州阿里巴巴西溪园区),智能地产(蓝光地产),智能制造(淘工厂),智能城市(杭州未来科技城)等项目。智能园区(雄安市民中心杭州阿里巴巴西溪园区),阿里云IoT帮助客户通过智能场景运营重新定义建筑,包括弱电系统与阿里云物联网平台对接,赋予数据云端属性,为未来持续提升园区互联网体验创造了条件;在智慧建筑方面,借助阿里云的大数据分析能力,实现建筑全生命周期内的节能减排。此外智慧办公解决方案比如会议预约管理、无线投屏、人脸考勤及云打印等互联网应用,将高效便捷的办公场景提到了一个新的高度。智能地产(蓝光地产),阿里云IoT助力其构建扩展性强、可生态化的智能人居应用平台和生态合作系 统平台,联合鸿雁、紫光、雅观等三方合作伙伴,打造安全舒适、灯光控制 、环境管理、无卡化智能通行等在内的智能人居服务,提高社区用户安全便 捷的居住体验。智能制造(淘工厂),阿里云IoT将智能摄像头与AI算法结合,实现工厂产线信息的自动采集,让 买家随时能看到订单的生产进度,对订单执行进度更放心;让工厂老板时刻 掌握流水线的生产情况,提升管理效率,更有效的保障生产交期;基于钉钉打造的在线生产协同工具,提供生产环节的自动监控和跟进,为用户带来全新的智能制造服务新体验。 智能城市(杭州未来科技城),阿里云IoT助力未来科技城建立万物智联的城市架构,联合其产业生态提升城 市管理服务能力,创造良好的产业创新环境,在城市内涝管理、非现场执法 、景区管理等领域注入“智能”的基因,打造以“全时空感知-全要素联动- 全周期迭代”的城市综合治理新模式。

雲計算

云头条:全网通缉的“梅姨”,AI是否能找到;智能音箱产业,究竟这个市场谁才能抓住新终端的脉搏?

今日最新云头条快讯:AI,成为了寻找拐卖儿童和犯罪嫌疑人的新希望;5G驱动数字经济加快发展步伐;智能音箱的战争还在持续加剧,一起来看最新的资讯: AI能不能找到“梅姨”? 全网通缉“梅姨”,她究竟是谁,却还是个谜。AI寻人需要更多的采集面和数据量。在技术人员眼里,人脸识别需要大量的机器学习才能更加精准判断,算法也需要有一个学习的过程,再辅之以大量的数据,才能更加精准有效。毕竟,走失儿童照片素材的模糊、缺失,以及走失多年面部特征发生的巨大变化,都会给算法带来一定的挑战。 5G驱动数字经济驶入发展快车道 目前全国已经开通5G基站11.3万个,预计到年底将达到13万个,发展势头良好。专家预计,未来五年,5G将拉动中国经济增长15.2万亿元。中国有望发挥制度优势和市场优势,推进5G在产业发展、信息消费、公共服务和社会治理等领域的融合与应用,助力数字化转型。 智能音箱大混战:赔本的买卖何时盈利? 智能音箱不再是一个边缘化的产品,随着产品价格越来越低、内容越来越丰富、功能越来越智能,琳琅满目的智能音箱产品逐渐进入大众家庭。厂商们野心也越来越大。刚刚过去的双十一,智能音箱经历了一场酣战,百度、小米、阿里在智能音箱上都卖出了好数字。随着不断有潜力玩家入局竞争,这个市场究竟谁才能抓住新终端的脉搏? 虚拟女友能看也能摸,《头号玩家》场景实现且不用插电 虚拟世界与现实世界的界限越来越模糊了。电影中的VR设备看上去没有10年、20年研究很难实现。但现在,我们可能不必等那么久了,来自香港城市大学&西北大学的研究者用一组皮肤贴片系统,不仅能让你感受到远方亲人的抚摸,也能让你抚摸到远方的亲人。这套装置完全无需复杂的插线供电,仅需无线信号就能驱动,辐射强度也在美国FDA规定的范围内,无需担心安全问题。 区块链仍处于婴儿期,金融业是应用最多的两个领域之一 2018年什么技术比较火,答案中一定会有区块链。它是一个独立技术存在,还是一个技术集群,与云计算、人工智能、物联网、大数据等技术结合在一起,与各个产业线、参与方结合在一起才会发展作用。目前各企业机构都深处数字化转型过程中,需要上云上平台,从端延伸到边缘。大的视角来看一定是整个企业、政府、个人数字化以后,未来的数字化世界才能来临。多位业内专家也指出不能为了区块链而区块链,有的数据适合上链有的并不适合,要基于具体场景来看。 祝贺我的同事王坚当选院士! 中国工程院公布2019院士增选结果,阿里巴巴技术委员会主席王坚当选院士。过去10年,王坚主持研发了中国唯一自研的云操作系统——飞天,突破世界级技术难题,实现中国云计算从0到1的突破。王坚作为民营企业技术带头人的代表当选,这也意味着民营企业科研力量逐渐成为国家科技能力的重要组成部分。 为了让机器人更好,我们要让它怕死。 如何让机器性能更强大?就要让他们知道自己随时会「死亡」。不是为了使它们坚不可摧,而是让它们有脆弱的部分,从而拥有约束和自我保护策略等「思想」。一旦机器人得知自己的行为可能导致它们自己的死亡,就可以在适当的时候学会克制行为,进行自我保护操作,提高自身性能的同时,也能让使用率更加持久。反过来,了解风险和威胁的机器人,也可以在护理等行业应用时做出更好的决策。 【快速入门】一文带你读懂阿里云产品 云服务器ECS入门 个人版快速入门介绍如何使用ECS管理控制台创建、连接以及释放实例。 【场景入门】带你了解阿里云基础场景 数据迁移方案概览

雲計算

那些年,人们问王坚博士的33个问题 | 开发者必读(108期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 那些年,人们问王坚博士的33个问题 11月22日,中国工程院公布2019院士增选结果,阿里巴巴技术委员会主席王坚当选院士。回顾过去10年,王坚主持研发了中国唯一自研的云操作系统——飞天,突破世界级技术难题,实现中国云计算从0到1的突破。王坚是如何看待中国技术的?他对于技术创新和布局又有什么样的思考?开发者社区整理了这十年间关于王坚博士的经典采访Q&A,为你揭晓他作为一名顶尖技术人的思考。 最强干货 不再磨皮换脸,看李安开创的“AI易容术” 电影是以何种方式逼近真实,以及如何利用人工智能打造出“年轻版”的虚拟角色。 手把手带你认识大数据和人工智能 Gruber解释说,“如今,我们想要尽可能多的数据,这不仅是为了更好地洞察我们试图解决的业务问题,而且因为我们通过机器学习模型输入的数据越多,它们得到的结果就越好。” 程序设计的5个底层逻辑,决定你能走多快 肉眼看计算机是由CPU、内存、显示器这些硬件设备组成,但大部分人从事的是软件开发工作。计算机底层原理就是连通硬件和软件的桥梁,理解计算机底层原理才能在程序设计这条路上越走越快,越走越轻松。从操作系统层面去理解高级编程语言的执行过程,会发现好多软件设计都是同一种套路,很多语言特性都依赖于底层机制,今天董鹏为你一一揭秘。 每天读本书 带你读《计算机程序的构造和解释(原书第2版)典藏版》之一:构造过程抽象 《计算机程序的构造和解释(原书第2版)》1984年出版,成型于美国麻省理工学院(MIT)多年使用的一本教材,1996年修订为第2版。在过去的二十多年里,《计算机程序的构造和解释(原书第2版)》对于计算机科学的教育计划产生了深刻的影响。第2版中大部分重要程序设计系统都重新修改并做过测试,包括各种解释器和编译器。作者根据其后十余年的教学实践,还对其他许多细节做了相应的修改。 精品公开课 Green Tea Jug &

雲計算

当搜索推荐遇到广告 – 三位一体的AI·OS技术新体系

本文字数:2280阅读时间:4~7分钟 您将获得:1、阿里云AI·OS技术体系的核心价值2、全面了解阿里云AI·OS技术体系架构3、深度解析支持阿里云AI·OS技术体系的核心组件及业务场景实现方式 以下是正文 (本文内容来阿里巴巴资深技术专家喜德,在云栖大会推荐与搜索工程技术专场上的分享) (喜德_阿里巴巴资深算法专家) AI·OS是由阿里巴巴搜索工程团队负责,集个性化搜索、推荐、广告三位一体的技术平台。本次分享来自该团队资深算法专家喜德,为大家带来这一年里,搜索工程体系在阿里巴巴内网及开源平台上的最新技术成果。 AI·OS所面临的挑战 大家在使用手淘时会有三种页面是大家会经常碰到:1、搜索结果页;2、推荐业面;3、大促业面。如最近中秋节的活动,在中秋节主会场中,搜索与推荐的结果都是个性化的。这样大型的会场页面不仅需要涉及后台选品、广告投放、业面搭建,同时还要负责全流程深度学习训练以及预测体系,如果让你负责搭建这样一个促销页面,需要多少时间完成?有的人会觉得可能需要一个月的时间。实际情况是我们完成这样一个页面,只需要一个不懂技术的运营,最快10分钟,最慢15分钟,就可以搭建完成并上线,让用户看到。 除了淘宝之外阿里巴巴有不同的APP,每个APP都有搜索、推荐、促销、广告。这么多的业务如何让他们能够像手淘一样,拥有最快的算法迭代效率、最佳算法效果、最强性能,且在同一个引擎平台,用最少的人力支持。这就是搜索推荐工程体系要解决的问题。 AI·OS的平台价值及核心能力 这个问题在工业界很常见。现在生活中绝大多数人都有车且种类各异,如果汽车厂商运用垂直化的方式,从头到尾做,则不管是研发周期的长度,投入的人力、技术稳定时间,都是需要消耗大量资源且花费很长时间。而汽车工业界解决这个问题的方法,就是打造一个汽车平台,最有名就是大众的MQB平台,MQB平台对动力系统、操控系统这些汽车共有的部件进行沉淀,同时保留很强的可定制的能力。 那么回到搜索和推荐的业务上来,我们同样需要支持大量的业务端,其中包括阿里内网的业务、云上的业务,比如开放搜索、Elasticsearch、智能推荐;有效的支持这些业务则一定要有基础能力的沉淀,包括在线能力的沉淀,像召回、排序、分布式通信框架,高性能的索引结构,深度学习的训练、预测、数据处理的全流程、大量服务器的管理、离线数据处理能力、运维管控的能力以及给用户提供方便的插件定制能力。这些能力聚集到一起就是AI·OS平台的价值。 AI·OS架构解读 AI·OS底层部件是Hippo,一个兼容Kubernetes api的资源调度系统,在这个系统中,保障阿里内网在搜索推荐体系实现70%峰值利用率的情况下,在线业务不受任何影响。同时我们支持周均55%的平均CPU的利用率,这意味着,如果在线服务有峰谷,在线服务只有10%-20%CPU的使用率的情况下,结合离线混布做到平均55%的CPU利用率,可以节省一倍的机器,成本可以大幅降低。 在资源调度系统之上,我分为在线和离线两部分,而在线这部分我们可以分为五大核心引擎,通过这五个核心引擎可以组成不同的业务能力,比如做一个搜索系统,可以用图引擎做个性化信息的获取,用HA3搜索引擎做搜索召回,用深度学习的预测引擎做相关的算分和排序。而做推荐引擎,只需把搜索引擎换成推荐引擎就可以了,这样就可以组合出一个推荐业务,通过这种底层灵活的组件结合,可以保证快速业务的迭代,并保障非常好的性能。 XDL介绍: 在五大引擎之上,我们针对不同的业务特点,将搜索、推荐、广告运用在不同的运维系统和业务接入系统。离线部分,基于计算平台的四大技术组建构建我们的离线系统,包括深度学习PAI、数据分析处理平台MaxComputer、实时计算平台Blink、交互式分析平台Hologres。因为采用云上、云下一体化的结构,四大平台在阿里云上都可以看到。基于这四大平台,加上搜索、推荐、广告的商品特性,需要由我们自己深度学习的训练平台XDL。XDL主要解决的问题在搜索推荐广告商品的场景中,解决大规模分布式的训练和预测的问题,用XDL平台的核心原因,是因为商品的场景,和语音图象视频翻译之间的深度学习场景有很大不同,而不同点体现在商品场景中,有大量稀疏的特征,这意味着我们会有亿级别的特征,十亿级别的参数,百亿级别的样本,这个量级很大且稀疏,我们需要结合场景,做针对性的调整,这个调优与图像的场景不同的,这就促使我们必须有这样的平台。目前XDL处于开源状态。 我们在支持世界上最大的垂直商业搜索引擎时,数据的量级和业务规模决定了这是一个大规模高频触发处理平台,且支持分钟级实时学习。在深度训练场景中,训练越实时,用户的行为反馈就会越快,这也是商业场景中非常有特点的需求。在看到一个商品的时候,你会同时看到一批商品特性跟一般训练的组合的不同,会有结构性的特点,有利于我们提供针对性优化,对性能和存储带来提升。 Euler介绍:

雲計算

那些年,人们问王坚博士的33个问题

11月22日,中国工程院公布2019院士增选结果,阿里巴巴技术委员会主席王坚当选院士。 回顾过去10年,王坚主持研发了中国唯一自研的云操作系统——飞天,突破世界级技术难题,实现中国云计算从0到1的突破。王坚是如何看待中国技术的?他对于技术创新和布局又有什么样的思考?开发者社区整理了这十年间关于王坚博士的经典采访Q&A,为你揭晓他作为一名顶尖技术人的思考。 技术人的成长之路: Q:请您回顾一下您经历过的这么多事情。有哪些您觉得是对您个人的发展有重大作用的? A:其实我很难讲哪些事情对我个人发展有重大的作用,只能说是我记住了哪些事情。我想,至少发生了那么多事情,这些事情我记住了,没有忘掉。以前我在学校,年轻的时候就评为教授,然后我突然就发现,其实周围有很多人帮助我很多——比我年纪大很多的、大 20 岁 30 岁的。那个时候有很大的感触。后来离开学校,对我来讲也是件很大的事情。在当时只是感觉工作跟以前是不一样的,但说不上来怎么不一样。后来到 2008 年加入阿里巴巴以后,这时候突然就会发现,跟你工作的人都比你年轻 20 岁。我觉得倒真的不是某件特别的事情让我记住,但是我从跟比我大 20 岁的人一起工作,突然变成了跟比我小 20 岁的人一起工作,这让我发现,一个事情不只是工作的问题。就是说:除了自己的工作之外,我还可以做些什么?当时别人替我做了那么多,现在的我能为他们做什么事情? 我觉得这对我有很大的影响。 Q:您如何评价您现在的性格? A:我觉得我比较运气的地方,就是今天想做一件事情的时候,不需要有特别的边界。但我这个结论,我不知道是我的性格?还是我现在所处的环境?还是别人对我的宽容?这是很难讲清楚的。认真想想看,在很多事情上我都是个既得利益者。因为这个时代的发展,你碰巧在这个地方,还可以想一些过去想都不敢想的事情,这其实是件很奢侈的事情。你可以想想,可能今天一家企业的科研经费,就是过去一个国家的科研经费,这样的变化在

雲計算

[转]三维家能否成为阿里撬动大家居市场的那根杠杆?

当衣、食、行都都已经被互联网改造,实现了线上平台与本地服务的打通,只有大家居行业的互联网化程度远远落后。虽然出现了好好住这样的家居灵感、装修经验分享社区,土巴兔这样的互联网家装平台,却离打通大家居产业价值链条相距甚远。 一方面,消费者从网络渠道中获得的灵感,却很难在本地的家居卖场、装修公司中实现。另一方面,家居内容平台远离交易环节,只能作为家装参考,互联网家装平台难以对上下游实现有效把控,只能沦为信息中介。 大家居行业是一条从前端到后端、从门店到工厂,从设计到实施到交付,涉及设计师、家居厂商、装修公司等多个环节的复杂产业链。每一个环节环环相扣却又彼此割裂,相互之间数据无法共享,标准无法统一,服务无法衔接,消费者辗转于不同环节之间,身心俱疲。 互联网平台虽然怀抱着“改变传统家装乱象”的野心,却很难真正打通各个环节,只能沦为导流平台,令用户心动的线上效果图实施起来往往大打折扣,不可能真正反向改造线下产业链条。 阿里大家居版图补上最重要一块 面对这样一个4万亿规模的“蓝海市场”,当然少不了互联网巨头的身影,其中又以阿里布局战线最广。 2015年,阿里开辟了大家居电商平台极有家,向垂直化纵深迈出了一步。2017年,对标网易严选的淘宝心选低调上线。这两个“常规”的电商操作并未在大家居行业掀起多少波澜。 2018年,阿里的新零售版图开始在大家居领域攻城略地,2018年入股居然之家,2019年5月“联姻”红星美凯龙,将线下商场改造成为流量场,探索线上引流+线下体验、成交的新零售模式。 刚刚过去的双十一,红星美凯龙线上线下总销售额突破219.86亿元,居然之家全国门店实现销售额208.81亿,家居新零售的威力已经得到了初步证明。 然而,阿里的野心绝非是改造两大传统家居卖场那么简单,因为家居行业高度分散,头部企业市场占有率仅有0.3%,全国数百万家家居门店的坪效普遍在5000以下,获客成本居高不下。阿里虽然树立了两个新零售标杆,但依然无力撬动一盘散沙的大家居行业。 今年5月,阿里发布场景化导购平台躺平和家装设计平台躺平设计家,在产业布局中再落下两枚棋子,一枚是面向一亿消费者的种草平台,一枚是面向100万设计师的设计平台。然而,阿里如何去连接数百万家本地门店,十万家品牌商家,从而真正实现消费端到生产端的打通? 直到10月底,阿里宣布向三维家战略投资5亿元,才终于补上了缺失的线下产业链条,线上线下一体的新家居行业生态正式浮出水面。 三维家对阿里家居生态意味着什么? 三维家是一家什么样的企业?为什么会成为阿里家居版图中那枚举重轻重的棋子? 如果说阿里近五年来在家居行业的布局主要面向C端市场,那么三维家已经为推动家居行业B端的数字化努力了六年时间。 2012年前后,伴随着全屋定制、整装市场的不断升温,面向家居门店的家居装修效果图软件开始成为创业风口,酷乐家、三维家等公司先后出现。 三维家一开始的目标是为家居企业门店打造虚拟体验空间,让消费者能够身临其境地所见即所得。通过3D云渲染、720度全景图、VR体验魔镜等技术,让消费者直观感受家装效果,自行调整布局家居摆设,在消费中占据主动地位。 当设计软件升级为SaaS云设计平台,海量素材库不仅能大大提高设计师的工作效率,更可以连接起消费者、设计师、工厂,通过一张效果图实现数据的全链路打通。三维家找到了撬动家居产业链的那根杠杆。 正如三维家创始人蔡志森所说“家居行业需要的是不是一个仿真、效果图软件,而是一个工业软件,效果图要能自带生产属性,丢到工厂可以直接生产。” 2016年7月,三维家发布VRhome

雲計算

端智能揭秘|促使双十一GMV大幅提升,手淘用了什么秘密武器?

作者|莫凌、桑杨、明依出品|阿里巴巴新零售淘系技术部 导读:信息流作为手淘的一大流量入口,对手淘的浏览效率转化和流量分发起到至关重要的作用。在探索如何给用户推荐其喜欢的商品这条路上,我们首次将端计算大规模应用在手淘客户端,通过端侧丰富的用户特征数据和触发点,利用机器学习和深度神经网络,在端侧持续感知用户意图,抓住用户转瞬即逝的兴趣点,并给予用户及时的结果反馈。通过大半年的不断改进,手淘信息流端上智能推荐在9月中旬全量,并在双十一当天对信息流的点击量和GMV都带来了大幅的提升。下文将给大家分享我们在探索过程中发现的问题,对其的思考和解决方案。 背景 现状与解决方案 手淘上以列表推荐形式为主的业务场景有不少,以手淘信息流为例,进入猜你喜欢场景的用户,兴趣点常常是不明确的,用户浏览时往往没有明确的商品需求,而是在逛的过程中逐渐去发现想买的商品。而推荐系统在用户逛到买的过程中,往往会下发并呈现不同类型商品让用户从中挑选,推荐系统这个过程中会去捕捉用户的兴趣变化,从而推荐出更符合用户兴趣的商品。然而推荐系统能不能做到用户兴趣变化时立刻给出响应呢? 推荐系统以往的做法都是通过客户端请求后触发云端商品排序,然后将排序好的商品下发给用户,端侧再依此做商品呈现。这样存在下面两个问题: 云端推荐系统对终端用户推荐内容调整机会少,往往都在分页请求时,而简单请求并不能灵活做内容的增删改 云端推荐系统不能及时获取到用户当前时刻的偏好意图,快速给出反馈 我们总结发现,目前推荐系统的弊端是,用户偏好的变化与推荐系统对用户感知和对内容的调整时机并不能匹配,会出现推荐的内容并非用户当前时刻想要的,用户浏览和点击意愿都会下降。那么怎样能够让推荐系统及时感知到用户偏好并及时的给出用户想要的内容呢? 我们先透过现象看本质,以上问题的本质在于推荐系统和用户交互过程中的实时性差,以及决策系统可调整性差。实时性差体现在两个方面,推荐系统对终端用户的感知实时性差以及对用户的干预实时性差。而决策系统可调整性差,体现在决策系统对用户内容的调整时机依赖端侧的固定规则请求,可调整的内容局限于当前次下发的内容。如果我们能够解决实时性问题,推荐系统能够实时感知用户偏好,并在任何时机实时调整用户所见内容,推荐的内容可以更符合用户当前的偏好;如果我们能够解决决策系统可调整性差问题,推荐系统可以决定合适的时机去调整用户内容,可以决定用更优的方式去调整具体的内容。那么解决的方案是什么呢? 我们在手淘信息流中引入机器学习和深度神经网络模型,结合端侧用户特征,在端侧持续感知用户意图,实时决策并实时反馈结果给用户,这样解决了实时性差以及决策系统可调整性差的问题。我们把这个解决方案称之为端智能。 端智能带来的改变 端智能的本质是“端”+“智能”。首先“智能”不是一个新鲜的东西,“智能”不管是在云端或终端,解决的问题是通过机器学习数据的内在机制并推理出最终结论;“端”解决的问题是将”智能“工程化并落地到具体的应用场景,“端”有机的整合端侧数据以及云端下发内容,决定何时触发“智能”做决策,最终决定怎样给用户以反馈。 端智能带来的改变,则是让端上具备了“独立思考”的能力,这让部分决策和计算不再依赖于云端,端侧可以更实时、更有策略的给出结果。说到实时性,5G时代的到来,其低时延特性极大的降低了端和云的交互时间,但这并不影响我们利用端智能实现更低成本的决策和快速响应,反而对于端智能来说,好处是能和云端结合的更紧密。另外由于在端侧能够秒级感知用户意图做出决策,产品和用户贴的更近了,这催生了更多实时性的玩法,产品将不再局限于要到固定的时机如分页请求让云端去给到新的内容反馈,而是思考,当用户表达出来特定的用户意图时,产品应该如何提供与意图相匹配的内容。 端智能与传统差异比较 尽管端智能带来了很多好的改变,但这里依然需要强调一点,并不是说有了端智能就不再需要云智能,怎样做到云&端协同智能才是未来。 端智能的优势在于: 端侧有着丰富的用户特征和触点,有着更多的机会和条件去做决策 实时性高,在端侧处理可节省数据的网络传输时间,节省的时间可用于更快的反馈结果 节省资源,在端侧处理,利用端侧算力和存储空间,可以节省大量的云端计算和存储资源

雲計算

Kaggle钢材表面缺陷检测竞赛的探索与实践

3.1 序言传统的工业生产制造,由于科学技术的限制仍然主要采用人工检测的方法去检测产品表面的缺陷,这种方法由于人工的限制和技术的落后,不仅检测产品的速度慢、效率低下,而且在检测的过程中容易出错,从而导致了检测结果的不精确。通过人工智能算法结合机器视觉技术,利用影像数据,实时对产品的斑点、凹坑、划痕、色差、缺损等缺陷进行检测,并支持工业摄像头、超声、微波、红外及激光全息和X摄像照相机等不同的图像信源,实现精确检测。3.2 研究背景当今社会,随着计算机技术,人工智能等科学技术的出现和发展,以及研究的深入,出现了基于机器视觉技术的表面缺陷检测技术。这种技术的出现,大大提高了生产作业的效率,避免了因作业条件,主观判断等影响检测结果的准确性,实现能更好更精确地进行表面缺陷检测,更加快速的识别产品表面瑕疵缺陷。产品表面缺陷检测属于机器视觉技术的一种,就是利用计算机视觉模拟人类视觉的功能,从具体的实物进行图象的采集处理、计算、最终进行实际检测、控制和应用。产品的表面缺陷检测是机器视觉检测的一个重要部分,其检测的准确程度直接会影响产品最终的质量优劣。由于使用人工检测的方法早已不能满足生产和现代工艺生产制造的需求,而利用机器视觉检测很好地克服了这一点,表面缺陷检测系统的广泛应用促进了企业工厂产品高质量的生产与制造业智能自动化的发展。3.3 研究意义工业产品缺陷检测这块市场空间很大,目前除了传统的机器视觉厂商在做以外,深度学习创业巨头涉及的比较少。缺陷检测可以为工厂带来以下好处:1、优化人力:人工检测易受经验和心里等因素的影响,精度低,稳定性差;解决劳动力短缺的问题;2、非接触处理:避免二次损伤,提高可靠性;3、降低成本:改善产线自动化,提高生产效率;协助作业人员消除生产错误、降低内部生产损失;早期就报废劣质产品,减少浪费节约成本;提高生产的柔性和自动化程度;4、提高品质:产品品质均一,提升品牌竞争力。通过图像分析,可检测各种瑕疵位置、尺寸、形状和类型等;5、高精度检测:某些要求精密度较高的检查领域、在配了合适的相机后,检测精度可达到u级,人眼无法检测可使用机器完成;6、对缺陷进行分类:通过图像分析,检测出图像上各种瑕疵的位置、大小和形状,解析图像,并对其进行分类;7、分析无规律图像、复杂图像:通过深度学习算法,系统可自动学习瑕疵特征,是无规律图像的分析变得可能; 3.4 产品缺陷检测模型介绍Mask R-CNN的方法通过添加一个与现有目标检测框回归并行的,用于预测目标掩码的分支来扩展Faster R-CNN,通过添加一个用于在每个感兴趣区域(RoI)上预测分割掩码的分支来扩展Faster R-CNN,就是在每个感兴趣区域(RoI)进行一个二分类的语义分割,在这个感兴趣区域同时做目标检测和分割,这个分支与用于分类和目标检测框回归的分支并行执行,如下图(图1)所示(用于目标分割的Mask R-CNN框架): 掩码分支是作用于每个RoI的小FCN,以像素到像素的方式预测分割掩码,可是要在ROI区域进行一个mask分割,存在一个问题,Faster R-CNN不是为网络输入和输出之间的像素到像素对齐而设计的,如果直接拿Faster R-CNN得到的ROI进行mask分割,那么像素到像素的分割可能不精确,因为应用到目标检测上的核心操作执行的是粗略的空间量化特征提取,直接分割出来的mask存在错位的情况,所以作者提出了简单的,量化无关的层,称为RoIAlign(ROI对齐),可以保留精确的空间位置,可以将掩码(mask)准确度提高10%至50%。3.5 实验分析3.5.1 产品缺陷数据集Kaggle钢铁表面缺陷检测数据集,数据集中,钢铁表面图像可以不具有缺陷、单个类别的缺陷或多个类别的缺陷,缺陷类别分为4类。 3.5.2 数据集转换方法COCO数据集Json格式{ “info”: info, “licenses”:

雲計算

4 物流集装箱字符识别探索和实践

4.1 集装箱箱号识别项目概述在对集装箱箱号识别进行研究的过程中,使用CTPN来进行字符检测,使用CRNN模型对框选的文本进行识别。最终使用了81张单个集装箱的图片作为测试集,最终CTPN的检测效果:在IoU=0.5的情况下达到0.836,而CRNN模型的识别效果:字符正确率0.821,整图正确率为0.135。进一步计划:(1)CPTN在该场景下,不适用于做目标区域检测,因为存在多个集装箱同时存在的场景,同时单个集装箱也存在多处字符(如企业商标等),因此需要另外训练一个模型去获更完善的目标文本框区域。然后用CPTN或者其他方法将框选的文本区域分割为文本条,然后使用CRNN进行识别。(2)增加后处理环节,通过识别出的数字,算出校验码,用来提高整图正确率。4.2 集装箱箱号识别介绍4.2.1 集装箱箱号 总计十个字符,前三个字符(即上图的“SUD”)为拥有者的代码,对应的是HAMBURG SUD,即汉堡南美航运公司,第四个字符(“U”)代表的是集装箱类型,一般都会为U。第5到第10个字符,即(“307007”)为箱体注册码,是集装箱箱体持有的唯一标识。第11个字符(即“9”)为校验码,有前4位字母和6位数字通过校验规则运算得到,用于识别在校验时是否发生错误。虽然只要识别10个字符,即得到集装箱箱号,但在商用产品中,一般也都会将校验码识别出来,4.2.2 集装箱箱号识别难点(1)箱号位置不统一,字符之间距离间隔不统一(2)箱号的印刷字体不一致4.2.3 集装箱箱号识别流程对于单个集装箱图片而言,从图片中检测到集装箱箱号位置区域,对箱号区域进行分割,然后识别,再进行后处理(校验码检验等),最终输出集装箱的箱号。 4.3 数据整理 4.3.1 数据搜集4.3.1.1 集装箱数据通过google的以图搜图,并通过筛选后,有200张左右的图片。但对于神经网络模型来说,数据量太少。4.3.1.2 字符识别数据相关因搜集到的集装箱图片数据太少,因此,使用图片生成的方法制作数据集。(1)字体通过对上述200张集装箱图片的观察,发现最起码存在四种字体。 当前,通过在线字体搜索,只找到了两种近似字体,另外两种暂未获得。① SaaSeriesBD ② U59 (2) 工具

Scroll to Top