大數據

重庆大学大数据与软件学院阿里云大数据实训总结报告

重庆大学大数据与软件学院阿里云大数据实训总结报告阿里云大学&慧科集团1.实训背景1)符合重庆市8+3计划:“八项行动计划”着眼长远、突出三年,“三大攻坚战”锁定三年、志在必胜;2)符合国家教育部产教融合大背景;3)阿里云+慧科+重庆市政府战略合作在人才培养方面落地探索的第一步;4)重庆大学作为领头羊,在新专业建设上给兄弟学院的示范和引领效应。2.实训创新和特色在互联网技术不断普及、云计算技术高速发展的背景下,大数据(云计算)+移动互联网技术成为推动企业走向成功的重要因素,然而熟练掌握这两个技术领域的高端人才极为稀缺,因此移动互联网时代的大数据专业人才在未来相当长的时间内,将深受各行各业青睐。本实训项目致力于系统的融合大数据学科的前沿技术、阿里云最先进的云上计算实验资源、海量行业实战经验和权威的课程体系,与学校理论知识融合,采用以学生自主学习为核心教学方式,基于“三实”理念设计实训内容,通过短期集中强化训练,帮助学生深入理解所学专业知识的应用场景及应用技巧,同时有力地掌握相关行业的必备技能。(1)独创的三实教学模式,通过实际场景、实践项目、实战检验,将企业真实操作环境搬入课堂,通过真实实践项目来对知识点进行巩固和加强,将零碎的知识揉合在一起,让学生对知识有一个整体性的认识,最后在有足够技能储备的基础上进行实战检验,通过实战学生不仅对项目中用到技术理解进一步加深,在项目中获得的成长和自我探索的过程也是很宝贵的财富。(2)将知识点融进场景中,体现从易到难,循序渐进的方式推进课程的演进,帮助学习者从无意识无能力的学习状态,逐步提升到无意识有能力的无缝学习状态,培养学生发现问题,提出解决方案的假设,并验证可行性的创新思维模式,再通过交互式的教学指导学生的学习方向,通过线上线下相结合的方式将教学目标和思维提升到更高的层次,为教师提供创新路径,完成人才和教师的双重赋能。 (3)依据慧科研究院独创的fast能力矩阵,融入工程教育认证标准毕业要求12条,基于iCome教学设计法以及prefect翻转课堂教学设计理念,并结合重庆大学的学生特点,实现实训效果最大化。3.实训群体 重庆大学大数据与软件学院大三学生。 4.实训收益 本次实训充分体现了教育部“产教融合,协同育人”的思想,为学校、企业、政府以及学生带来不同程度的收获。 (1)通过实训,帮助学校推进协同实践育人新机制,推进科研人员和企业之间双向流动,释放创新活力,通过多措并举,加强师资队伍建设,最终达到强化多方联动,深化校地企合作实现资源共享的目的。(2)通过实训,可加快企业人才储备,将人才培养前置到课堂,让学生在校期间就能感受真实企业生产环境中,毕业入职后,可快速上手,缩短学生和企业间的磨合期,减少企业人力资源成本,达到双赢的局面。(3)通过实训,深化政府、企业、和科研院所合作,发挥人才赋能基地的桥梁和纽带作用,加强政产学研用的深度融合,助力政府战略性新兴产业引智引资。 (4)通过实训,增强学生在大数据方向上的动手及分析能力,同时结合传统软件工程专业的知识体系,使学生在掌握传统信息技术的同时,又掌握大数据等相关技术针对不同场景的应用方法。具体包括但不限于:λ 掌握针对不同场景任务的分析方法与开发逻辑;λ 掌握不同场景下,大数据技术的应用方法及技巧;λ 熟悉掌握大数据开发与分析工具的使用方法,并有效地完成相应实训任务;λ 系统的锻炼学生针对不同项目的团队协作能力、沟通能力、逻辑思维、组织能力及实际动手能力等;λ 能够根据企业的业务需求,制定出基于阿里云的数据类产品设计方案及解决方案; λ 能够开通并使用数据类的产品,包括云数据库 RDS、QuickBI、云服务器ECS、大数据计算服务 MaxCompute、大数据开发套件 DataIDE 等。能力模型图5.实训内容实训内容设计采用全新的人才培养模式,致力于培养云计算大数据技术相关应用领域的“高层次、实用型、国际化”的跨界复合型人才。以互联网大产业背景为基础,采用校企联合的模式,部分应用阿里云全新实验室平台,依托雄厚师资,产学研相结合,力求打造适应新形势,具有最前沿思维和技能的云与大数据人才。实训内容 课程名称项目概述授课时长使用Quick BI 制作企业数据分析报表内容本课程可以帮助学员掌握图形化报表设计、开发的方法,同时还将掌握搭建企业级报表门户。6学时目标本例中使用阿里云的Quick […]

大數據

超强攻略!看完拿 Apache Flink 极客挑战赛全场最佳「MVP」

首届 Apache Flink(以下简称 Flink)极客挑战赛自 7 月 24 日上线以来已有 1000+ 参赛队伍报名。针对极客挑战赛垃圾图片分类与 Flink TPC-DS 性能优化两大赛题涉及的重要知识点及相关工具使用已在每周直播课程中分享,本文将为大家奉上两大赛题超详细攻略,揭秘两大赛题的核心关键。 赛题详细解析 垃圾图片分类及 Flink TPC-DS 性能优化两大赛题所需用到的数据集、开发或性能优化过程的详细说明等已全部更新在官网,以下对赛题重点内容进行说明。 垃圾图片分类赛题说明 垃圾图片分类需要参赛选手使用

大數據

Apache Flink 零基础入门(八): SQL 编程实践

作者:伍翀(云邪) 本文是 Apache Flink 零基础入门系列文章第八篇,将通过五个实例讲解 Flink SQL 的编程实践。 注: 本教程实践基于 Ververica 开源的 sql-training 项目。基于 Flink 1.7.2 。 通过本课你能学到什么? 本文将通过五个实例来贯穿 Flink

大數據

12知识点+20干货案例+110面试题,助你拿offer!| Python工程师面试宝典

如何成为一个合格的Python工程师?你在市场上究竟有多强的竞争力?你现在学的知识够了吗? 或许在你投递你的简历之前,也在犹豫自己是不是真的合乎公司的要求。现在抛下你的杂念吧,无论你觉得不够自信,还是信心满满,这篇文章都能帮你了解一个Python工程师所需要的基础知识,快来次自检吧! Python入门: 基本数据类型 条件控制 循环语句 迭代器和生成器 函数 模块 输入和输出 File方法 OS文件/目录方法 错误和异常 面向对象 正则表达式 干货集锦: Python进阶:设计模式之迭代器模式 Python拼接字符串的七种方式 利用aiohttp制作异步爬虫 深入理解Python字符串的用法

大數據

从大数据到快数据 数据智创未来——2019 CCF大数据与计算智能大赛正式开赛!

8月17日,以“数据驱动,智创未来”为主题的2019 CCF大数据与计算智能大赛(CCF Computing Intelligence Contest,简称CCF BDCI)全球启动仪式,在北京大学正式启幕。 CCF BDCI大赛是由中国计算机学会大数据专家委员会于2013年创办的国际化智能算法、创新应用和大数据系统大型挑战赛事。自创办以来,大赛已成功举办六届,连续获得教育部、工信部、国家基金委等多个国家部委指导,受到北京、青岛、常熟、沈阳、郑州等政府支持,在梅宏院士、李国杰院士等百余位国内外顶尖专家的参与下,共吸引了来自海内外25个国家,1500余所高校及科研院所,1800余所企事业单位的60000余人参加。 据统计,六届大赛中总计产生超过10万次作品提交,85%的优秀决赛作品被企业参考应用至实际业务;超过80%的历届获奖团队入职名企或获得名校深造机会;超过30所一流高校将CCF BDCI作为校赛,利用优质赛题辅助教学实践。 如何有效利用数据,如何使数据在学科发展和人才培养方面发挥更大的作用和价值,已成为大数据时代的重要问题之一。战略指向,人才先行,作为本届赛事的官方赛题合作伙伴,阿里云贡献了大数据相关赛题,并将致力培养高质量数据人才,推动大数据产学研生态发展。在全球启动仪式的专家访谈环节,阿里巴巴集团副总裁、阿里云数据库事业部总裁、达摩院数据库首席科学家李飞飞与来自学术界、企业界的大赛特邀评审专家代表就“数据与智能双引擎驱动的人才观与生态”话题进行了问答探讨。 阿里巴巴集团副总裁、阿里云数据库事业部总裁、达摩院数据库首席科学家李飞飞 李飞飞表示:“万物互联时代,数据驾驭和治理能力已成为企业的核心竞争力。作为中国最大的云计算服务提供商,阿里云始终致力于推动Big Data(大数据)向Fast Data(快数据)演进,培养强大的大数据分析开发者群体。CCF BDCI大赛是国内规模最大、最专业的大数据方案、系统、算法大型挑战赛事。在大赛的促进下,将有越来越多大数据领域的创新型人才获得新的机遇。”李飞飞还强调: “在数据驱动智能的落地过程中,一定要关注系统智能、系统互联的落地,大数据、人工智能和系统将形成三角互动,最终推动科研产业化”。 “CCF 大数据与计算智能大赛”通过“众智、众包、众创”的方式汇聚产学研用多方资源,解决重点应用行业实际需求问题,不仅促进了产业技术升级和行业应用创新,引导传统产业重构并催生新兴业态,也为社会发现和培养了大量高质量人才。今年大赛将在原有的赛制与规则下,增添新的特色: ###

大數據

财报背后的强劲增长 | 揭秘淘宝如何进行目标用户的挖掘【技术人必看!】

作者|王浩(青鼠)出品|阿里巴巴新零售淘系技术部 导读:淘系用户增长算法团队主要定位于业务应用算法,基于对淘系整体用户全方位的理解为各个业务提供高效的用户洞察手段,并通过与运营、产品等团队的配合完成各个业务的用户增长目标。 用户增长平台的目标是希望能构建面向全域运营人员的全维度用户智能洞察分析体系,帮助运营高效触达目标人群。现有运营基于业务经验,将业务需求转化为一系列标签,根据标签筛选出符合条件的目标人群,该方法涉及到的数据链路较长,无法及时支持业务投放。在保证潜在人群与目标人群相似性的前提下,帮助各个垂直业务的运营同学自动化的实现保量提效的投放目标。本文主要介绍在此背景下的相似人群挖掘算法中通用特征体系若干特征处理方法。 1、基本概念和业务难点 种子人群:运营人员在特定业务场景下收集到的,对商品、服务具有相同需求和兴趣的人群称之为种子人群(比如某个场景下的已购买用户、浏览用户等);种子人群通常数量不多,一般在十万以下。 扩展人群/相似人群:与种子人群具有相同特征的人群称之为扩展人群,扩展人群的数量通常为种子人群的数倍。 目标:平衡圈人效率和投放效果,面向不同垂直业务的运营人员达到以人找人的潜客挖掘方式。 难点和问题:由于种子人群来源由运营提供,且不同业务人员的投放目标不同,运营通过各种方式获取到的种子人群成分可能非常复杂,种子人群的特征不明显,如何同时面向各个业务洞察不同种子人群的有效特征成为难点,本文主要介绍基于全域运营的通用特征处理方法。 使用方法:一般进行投放时,先通过种子人群找到扩展人群,其后将扩展人群作为运营触达的目标用户,当有多个种子人群时,可以先找到各个种子人群的扩展人群,然后取各个种子人群的扩展人群的交集作为最终投放的目标用户。 2、特征处理及算法实现 系统的整体框架如下图所示: 2.1 数据准备 提取用户基础属性数据,如性别、年龄、学历、职业、地域、能力标签等; 抽取平台已积累用户标签(Audience label); 提取用户的评论信息等文本内容,进行观点挖掘和倾向性分析; 提取用户之间的关系,比如亲情号相关,分享、转发关系等; 2.2 特征构造

大數據

阿里云携手信息技术新工科产学研联盟、慧科成功举办2019第一期大数据专业负责人高端研修班

由信息技术新工科产学研联盟主办,慧科集团承办,阿里云协办的2019联盟大数据第一期专业负责人高端研修班(以下简称“研修班”)在杭州阿里巴巴总部园区成功举办。本次研修班培训内容主要围绕数据科学与大数据专业建设方案开展,旨在融合行业发展宏观趋势、专业建设经验与方法论,整合产业优势资源,将专业建设与产业应用发展相结合,为高校建设数据科学与大数据专业提供更广阔的思路和发展空间,进一步提升高校大数据专业建设能力,明确大数据人才培养标准,切实帮助已获批数据科学与大数据专业的高校在专业建设中获得更多有益的资源和指导。 教育部计算机类教指委副主任、联盟副理事长、联盟数据科学与大数据专业工作委员会主任、北京大学陈钟教授,联盟大数据教育工委主任、国家“千人计划”特聘专家、中国人民大学信息学院院长文继荣教授,对外经济贸易大学曹淑艳教授,阿里云大学业务总负责人王晓斐,慧科集团合伙人、联盟大数据师资培训基地主任欧岩亮,慧科集团合伙人、高级副总裁管刚等出席本次活动。 本次研修班为期三天,主要面向全国重点高校大数据专业建设负责人,培训内容设置以小组研讨模式为主,配合专家报告、企业参观环节,形成各高校负责人交流学习平台,进一步提升专业负责人专业建设能力。通过权威专家面授课程,着眼分享专业培养定位与特色方向设计、培养方案总体规划与课程模块设计、专业能力培养和实践体系规划、产学合作和支撑条件建设等方面的内容,同时针对“专业方向与模块设计”、“课程体系建设”、“大数据专业能力培养和实践体系设计”等专题进行小组深入讨论,建立数据科学与大数据技术专业负责人交流研究互动网络,助力推进数据科学与大数据技术培养方案的不断发展和成熟。 本次研讨班不仅邀请了高校、企业专家报告,同时打破常规,将大家分组进行讨论,整个培训过程中,安排高校和企业专家指导,每个小组针对特色的专业建设案例展开激烈的讨论,并形成了一个升级版的专业建设方案,提升了老师们积极的参与度,加深了老师们彼此之间的交流。通过这几天的培训交流,老师们相互讨论,专业建设的思路更加明确。 联盟副理事长、教育部计算机类教指委副主任、联盟数据科学与大数据专业工作委员会主任、北京大学陈钟教授 陈钟教授指出,联盟致力于通过探索建立面向产业需求的产学研科技创新体系,打造产学研深度融合的生态环境,创建面向产业需求的人才培养范式。其中,师资是人才培养的重要环节,也是联盟的着力发展方向之一。本次携手阿里云、慧科共同举办研修班不仅是大数据专业系列师资培训的首次实践落地,也为全国各高校大数据专业骨干教师进行精准、深入交流搭建了良好的沟通平台。 阿里云大学业务总负责人王晓斐对参与本次研修班的全体老师表示热烈欢迎,表示本次研修班能够在阿里巴巴园区举办也是联盟对阿里的认可。希望通过开展研修班,能够把阿里云、慧科的技术、理念分享给所有参与的学员,把大数据,以及新工科等其他相关专业的成果、课程、实战类项目带入到高校实战教学中,培养更多复合型人才,激活产业发展的“中枢神经”。 慧科集团合伙人、高级副总裁管刚表示,能够承办本次研修班是联盟对慧科的信任,也是高度认可。作为连接高校和企业的桥梁,慧科自成立以来始终致力于通过产学融合2.0模式,推动教育模式创新和产教深度融合。同时,作为联盟理事单位,慧科亦结合自身优势和资源,为大数据专业师资培训计划提供好服务,创新师资赋能的方式,为培养大数据人才助力。

開發與維運

阿里云造了个“隐身斗篷”,被Gartner点名了 !

熟悉《哈利波特》的同学一定对隐身斗篷如数家珍:它是一件能让人隐形的斗篷,永久有效,持续隐形,无论用什么咒语都不可破解,可谓是顶级安全神器。 你瞧: 如今,阿里云也为用户打造了一件世间罕见的“隐身斗篷”:基于Intel SGX(Software Guard Extensions )的“加密计算”。就在前几天,全球信息技术研究机构Gartner发布了2019年云安全技术成熟度曲线报告(Gartner, Hype Cycle for Cloud Security, 2019, Jay Heiser, SteveRiley, 23 July 2019),首次将机密计算(即加密计算)列入其中。阿里云作为亚太区第一个推出基于加密计算的云服务商,被Gartner认可为机密计算的典型云服务商。 2019年,Gartner首次将”机密计算“列入技术成熟度曲线的先驱者领域,说明了机密计算在整个云安全链路中起到的根本性作用。

開發與維運

既生synchronized,何生volatile

GitHub 6.6k Star 的Java工程师成神之路 ,不来了解一下吗? GitHub 6.6k Star 的Java工程师成神之路 ,真的不来了解一下吗? GitHub 6.6k Star 的Java工程师成神之路 ,真的确定不来了解一下吗? 在我的博客和公众号中,发表过很多篇关于并发编程的文章,之前的文章中我们介绍过了两个在Java并发编程中比较重要的两个关键字:synchronized和volatile 我们简单回顾一下相关内容: 1、Java语言为了解决并发编程中存在的原子性、可见性和有序性问题,提供了一系列和并发处理相关的关键字,比如synchronized、volatile、final、concurren包等。(再有人问你Java内存模型是什么,就把这篇文章发给他) 2、synchronized通过加锁的方式,使得其在需要原子性、可见性和有序性这三种特性的时候都可以作为其中一种解决方案,看起来是“万能”的。的确,大部分并发控制操作都能使用synchronized来完成。再有人问你synchronized是什么,就把这篇文章发给他。 3、volatile通过在volatile变量的操作前后插入内存屏障的方式,保证了变量在并发场景下的可见性和有序性。再有人问你volatile是什么,把这篇文章也发给他

開發與維運

Tengine 如何查找 server 块

概述 本文的目标读者是 Tengine/Nginx 研发或者运维同学,如果自己对这块逻辑非常清楚,那可以略过,如果在配置或者开发 Tengine/Nginx 过程中,有如下疑问的同学,本文或许能解答你多年的疑惑: 请求到达匹配的是哪个 server 块? 为啥明明配置了 server 块,还是没有生效? 没有这个域名的 server 块,请求到底使用了哪个 server 块? 要自己去匹配 server 块的话,该从哪里入手?……

Scroll to Top