大數據

8月17日，以“数据驱动，智创未来”为主题的2019 CCF大数据与计算智能大赛（CCF Computing Intelligence Contest，简称CCF BDCI）全球启动仪式，在北京大学正式启幕。 CCF BDCI大赛是由中国计算机学会大数据专家委员会于2013年创办的国际化智能算法、创新应用和大数据系统大型挑战赛事。自创办以来，大赛已成功举办六届，连续获得教育部、工信部、国家基金委等多个国家部委指导，受到北京、青岛、常熟、沈阳、郑州等政府支持，在梅宏院士、李国杰院士等百余位国内外顶尖专家的参与下，共吸引了来自海内外25个国家，1500余所高校及科研院所，1800余所企事业单位的60000余人参加。 据统计，六届大赛中总计产生超过10万次作品提交，85%的优秀决赛作品被企业参考应用至实际业务；超过80%的历届获奖团队入职名企或获得名校深造机会；超过30所一流高校将CCF BDCI作为校赛，利用优质赛题辅助教学实践。 如何有效利用数据，如何使数据在学科发展和人才培养方面发挥更大的作用和价值，已成为大数据时代的重要问题之一。战略指向，人才先行，作为本届赛事的官方赛题合作伙伴，阿里云贡献了大数据相关赛题，并将致力培养高质量数据人才，推动大数据产学研生态发展。在全球启动仪式的专家访谈环节，阿里巴巴集团副总裁、阿里云数据库事业部总裁、达摩院数据库首席科学家李飞飞与来自学术界、企业界的大赛特邀评审专家代表就“数据与智能双引擎驱动的人才观与生态”话题进行了问答探讨。 阿里巴巴集团副总裁、阿里云数据库事业部总裁、达摩院数据库首席科学家李飞飞 李飞飞表示：“万物互联时代，数据驾驭和治理能力已成为企业的核心竞争力。作为中国最大的云计算服务提供商，阿里云始终致力于推动Big Data（大数据）向Fast Data（快数据）演进，培养强大的大数据分析开发者群体。CCF BDCI大赛是国内规模最大、最专业的大数据方案、系统、算法大型挑战赛事。在大赛的促进下，将有越来越多大数据领域的创新型人才获得新的机遇。”李飞飞还强调: “在数据驱动智能的落地过程中，一定要关注系统智能、系统互联的落地，大数据、人工智能和系统将形成三角互动，最终推动科研产业化”。 “CCF 大数据与计算智能大赛”通过“众智、众包、众创”的方式汇聚产学研用多方资源，解决重点应用行业实际需求问题，不仅促进了产业技术升级和行业应用创新，引导传统产业重构并催生新兴业态，也为社会发现和培养了大量高质量人才。今年大赛将在原有的赛制与规则下，增添新的特色： ###

作者|王浩（青鼠）出品|阿里巴巴新零售淘系技术部 导读：淘系用户增长算法团队主要定位于业务应用算法，基于对淘系整体用户全方位的理解为各个业务提供高效的用户洞察手段，并通过与运营、产品等团队的配合完成各个业务的用户增长目标。 用户增长平台的目标是希望能构建面向全域运营人员的全维度用户智能洞察分析体系，帮助运营高效触达目标人群。现有运营基于业务经验，将业务需求转化为一系列标签，根据标签筛选出符合条件的目标人群，该方法涉及到的数据链路较长，无法及时支持业务投放。在保证潜在人群与目标人群相似性的前提下，帮助各个垂直业务的运营同学自动化的实现保量提效的投放目标。本文主要介绍在此背景下的相似人群挖掘算法中通用特征体系若干特征处理方法。 1、基本概念和业务难点 种子人群：运营人员在特定业务场景下收集到的，对商品、服务具有相同需求和兴趣的人群称之为种子人群（比如某个场景下的已购买用户、浏览用户等）；种子人群通常数量不多，一般在十万以下。 扩展人群/相似人群：与种子人群具有相同特征的人群称之为扩展人群，扩展人群的数量通常为种子人群的数倍。 目标：平衡圈人效率和投放效果，面向不同垂直业务的运营人员达到以人找人的潜客挖掘方式。 难点和问题：由于种子人群来源由运营提供，且不同业务人员的投放目标不同，运营通过各种方式获取到的种子人群成分可能非常复杂，种子人群的特征不明显，如何同时面向各个业务洞察不同种子人群的有效特征成为难点，本文主要介绍基于全域运营的通用特征处理方法。 使用方法：一般进行投放时，先通过种子人群找到扩展人群，其后将扩展人群作为运营触达的目标用户，当有多个种子人群时，可以先找到各个种子人群的扩展人群，然后取各个种子人群的扩展人群的交集作为最终投放的目标用户。 2、特征处理及算法实现 系统的整体框架如下图所示： 2.1 数据准备 提取用户基础属性数据，如性别、年龄、学历、职业、地域、能力标签等； 抽取平台已积累用户标签（Audience label）； 提取用户的评论信息等文本内容，进行观点挖掘和倾向性分析； 提取用户之间的关系，比如亲情号相关，分享、转发关系等； 2.2 特征构造