大數據

12月11日，2019年度CEO峰会暨猎云网创投颁奖盛典在北京望京凯悦酒店隆重举行，近百位知名资本大咖，独角兽创始人、创业风云人物及近千位投资人与创业者共聚“新势力·2019年度CEO峰会暨猎云网创投颁奖盛典”。 峰会上，梅花创投创始合伙人吴世春以《寒冬是机遇的起点》为主题分享了自己的观点。 吴世春认为，每十年是中国经济周期的一个循环，对比发达经济体，未来最好的投资机会就在中国。未来十年，依然是中国创业者的黄金时期。 总结过去的两个大周期，1999-2008年，互联网把中国所有产业重做了一遍，诞生了BAT；2009-2018年，所有产业被移动互联网重做一遍；现在，在市场陷入谷底时，吴世春认为，这恰恰是机遇诞生的机会点，人工智能、5G、智能制造，可以把很多行业再重做一遍。 因此在他看来，每一个周期都给了有梦想、有野心的年轻人来改变运气的机会。“在中国，阶层固化与阶级板结是一个伪命题，中国可以不断出现年轻人向上的通道。” 梅花创投成立于2014年5月，专注在新经济领域的投资，目前管理约30亿人民币基金，投资项目超300个。在创立梅花创投之前，吴世春作为天使投资人，曾投资大掌门，创造了1500倍回报的奇迹，投资趣店也获得了超过1000倍回报。作为资深连续创业者，吴世春被称为“最懂创业者”的天使投资人。 阅人无数，吴世春总结道，优秀的创业者要有比较强的战略能力，不要用战术上的勤奋掩盖战略上的懒惰。具体来看，创业者应当拥有四种战略能力。 第一，战略思维能力。要使用第一性原理去看待事物的本质，使用终局性思维去看待事物的发展。同时，要站在未来看现在，战略不解决当前问题，但能解决未来的问题。“如果一个企业家没有长期的战略，很难走得远，很难支持一家企业做到5-10年。为什么阿里巴巴自己要成为102年的公司，因为生存永远是企业第一要务，不管企业大还是小，最大的命题是生存。” 第二，战略机会把握能力。吴世春认为，战略机会有几种，一种是趋势性的机会，比如消费升级、5G带来的趋势性机会；第二种机会是搭便车能力；第三种机会是价值洼地，创始人应该抓住价值洼地，并投入100%的精力。 第三，战略布局能力。吴世春建议，创始人要动态地看待各种积极因素的内在关联，在人脉和链接上多下功夫。“链接本身就是价值，在对的人身上吃亏，本身就是价值。” 第四，战略耐心能力。“战略大部分都是做取舍，最高的境界是舍九取一。”吴世春认为，创始人应分清楚长期收益和短期收益，在下风期时不要盲动，不要浪费弹药，一旦遇到人生的重大机会，要等待又长又湿的雪坡滚下去，获得最大收益。 此次盛典上，猎云网将通过六个版块分享创业者和投资人在智能制造、文娱、零售、医疗、教育、汽车等领域的启发性的观点和行业前瞻，围绕多个维度，分享科技和产业前沿观点，探讨创新潮流趋势、把握未来新方向。 以下为吴世春分享实录，猎云网整理删改： 吴世春：很高兴来到猎云网新势力的盛典，跟大家做一个分享。 梅花创投成立于2014年5月，宗旨是帮助聪明的年轻人成为伟大的企业家。5年来，梅花创投投资项目超300个，很多的项目已经走到独角兽的级别，明年有8-10家可以上市。 很多人说现在是寒冬，我认为未来最好的机会还是在中国。因为按照过去40年来看，每个十年就是一个周期，每一个周期都会有寒冬，都会有爆发期。在每一个周期，都会诞生很多优秀的企业，像BAT诞生在1998-2001年，后来TMD是诞生在2008-2011年之间。每一个周期，我觉得都是厚积薄发的机遇。对比现在的美日欧，中国还是有很大的发展空间，所以最好的投资机会还是在中国。 从上一个十年来看，从互联网切入到移动互联网，这里面有很多移动互联网的原生性创业者能够做的很好，像头条、美团。但是新的周期，我们又看到可以从原来的ToC市场枯竭，我们逐渐转向2B产业互联网，甚至像5G、人工智能基础性设施完善的话，会带来大规模应用性的创新。 我上一个周期抓住了机会，从一名创业者转变为一个投资人，这个周期我们希望准备好弹药，投入更多在5G、智能制造、人工智能方面。 总结过去两个大周期的每十年一个周期的变化，1999-2008年，互联网把中国所有产业重做了一遍，诞生了BAT这样的公司；2009-2018年，又把所有产业重做一遍；现在又是谷底的时候，恰恰是很多机遇孕育诞生的机会点，像人工智能、5G、智能制造，我觉得又会把很多行业重做一遍。每一个周期都给了有梦想、有野心的年轻人来改变运气的机会。一个公平的社会应该不断地被年轻人创造与再分配，在中国，阶层固化与阶级板结是一个伪命题，中国还是可以不断出现给年轻人向上的通道。 中国的模式，其实除了中国是一个比较垂直化的经济体系，有很多下沉的机会，中国的模式也可以向海外复制。我们其实在海外也投了很多，比如说中国在印度的趣店，还有抖音的模式，我们都投了。 […]

第二章：如何实现海量数据的处理？ 全球5G倡议 全球范围内有很多 5G 的论坛和研究项目组。2011 年欧洲第一个开展了 5G 研究 [23]， 不久之后中国、韩国、日本开始了各自的研究活动。这些活动和时间表归纳在图 1.6 中。 3.1　METIS 和 5G-PPP METIS [24] 是欧盟第一个完整的 5G 项目，并对全球的

随着移动支付的普及，现在的人带着一个手机就可以走遍天下，但如果手机丢了怎么办，他放在支付宝里的钱又会怎样呢？ 在知乎上，也有人问了类似的问题： 对于这个很多人关心的问题，支付宝官方也做了回复，总结就是： 首先支付宝承诺“你敢付我敢赔”，一旦发生盗刷会有保险公司赔付；其次，支付宝的风控系统，可以将盗刷控制在很小范围内。 事实上，支付宝曾经演示过比单纯的丢手机更严重的情景，在今年年初的一场节目上做过这样的演示：黑客获得了一个用户的完整信息，包括手机、身份证、银行卡等，然后试图用支付宝将银行卡里的钱取出。 使用这些信息，黑客成功进入了支付宝并且修改了登录密码，但在最后交易的关头，还是被支付宝成功识别为恶意交易并中断交易。 近几年，网络安全事件层出不穷，黑产行业愈发猖獗，对人们的信息安全和财产造成严重挑战。支付宝作为受人信赖的钱包和支付工具，是黑产们的重点目标，但与此同时，支付宝给人的印象很安全，就是因为支付宝背后有一个风控系统在守护着你的每一笔交易。 2005年，支付宝开始自主研发智能实时风控系统，经过不断的优化，从2017年开始升级到第五代（AlphaRisk）系统。这套系统集风险分析、预警、控制为一体，能通过数据分析、数据挖掘进行机器学习，自动更新完善风险监控策略，日均拦截黑产攻击近十万次，资金损失率小于千万分之一。 那么，这个风控系统为什么这么厉害呢？这就不得不提它背后的团队了。 这个团队就是支付宝安全团队，风险决策就是该团队中负责风险防控的模型团队，团队涉及的风险类型包括，盗用、欺诈、作弊、违规违禁等等。在日常的工作中，团队成员需要从每天百亿级别的交易数据中，抽丝剥茧，发现不法分子的蛛丝马迹，并为支付宝账户和商户提供极致的安全和体验，使他们免受盗用、欺诈、资金风险的侵害。 团队的成员来自五湖四海，人员的组成也是五花八门。由于研究的是利用最前沿的大数据和机器学习技术，不少人来自国内外的知名高校和研究机构，有学习统计、计算机的科班出身，也有学习数学、物理学半道出家的人；团队里既包含工业界的资深专家、学术界的助理教授，也有刚出校门的的新手小白。他们希望，每个人都能在这里找到自己的位置，找到能够为之奉献的终身事业和研究方向。 丰富多样的人员构成使决策科学有足够的能力在不同的领域进行深度拓展。 在人工智能的研究和利用方面，他们涉及的算法包含了知识图谱、时序分析、无监学习、图推理、模型可解释性、NLP、CV、AutoML、运筹优化、强化学习、联邦学习、在线学习等等。 利用这些算法和训练出的模型，他们可以做到对每条交易的风险程度进行评估，并给出对应的解释，然后还可以推荐合适的解决方案；利用图像检测和NLP算法，他们可以对黑产进行主动攻击、挖掘黑产团伙的信息，将犯罪行为暴露并联合执法部分进行打击。 今年还不到30岁的易灿就是团队中的一员，前不久，他刚和团队的几个小伙伴一起，利用业余时间在KDD Cup 2019 Regular ML Track全球竞赛中获得冠军，这项比赛被誉为数据挖掘界的奥林匹克。

大会汇集了国内外知名机构的数据资产管理领军专家，对政务、工业、金融等领域的数据资产管理问题展开深入探讨，并对中国信通院第九批大数据产品能力评测结果进行了公布和证书颁发。 其中阿里云分析型数据库产品 AnalyticDB 获得了分析型数据库基础能力和性能双料认证。尤其在大规模性能认证方面，本次评测采用了全球最大规模的 TPC-DS 100TB 测试标准，阿里云 AnalyticDB 完成了 640 节点的分布式分析型数据库性能测试，是迄今为止通过信通院评测认证的最大规模分布式分析型数据库集群，综合评测结果同领域领先。 随着业务和技术的变化演进，传统数据仓库方案在支撑企业业务上遇到一系列问题。 相比较传统大数据产品 阿里云 AnalyticDB 具有更多优点。 1，扩展能力强，AnalyticDB 是 MPP架构的分布式集群数据库，摆脱单机处理瓶颈。 2，使用简单，

HBase用户福利 新用户9.9元即可使用6个月云数据库HBase，更有低至1元包年的入门规格供广大HBase爱好者学习研究，更多内容请参考链接 背景 互联网应用的一个特点是拥有海量的用户，这些海量的用户会产生海量的行为数据，有些产品还会需要去爬取更多的外部数据。基于海量数据的模型训练最终刻画出用户画像，基于用户画像自动的指导系统决策，在效率和准确度上给行业带来了质变。常见的应用领域包括实时风控、实时推荐、实时广告竞价。 如上图所示，系统一般包括3个部分，数据采集系统、在线系统、离线系统。数据采集后会入库在线系统，同时数据也会归档到离线系统，离线系统周期性的对数据进行训练生成新的用户画像，新的画像回流到在线系统供上层业务查询。一般的查询场景都是通过一个key来查询某一行数据。在线系统中包含了实时和离线画像两个部分的数据，并且实时部分的数据一般只保留最近N天的数据。 大规模数据下的难点 在海量用户数据的场景下，我们总结了实时应用的一些难点或者问题： 上百GB、几十亿模型数据如何快速回流在线系统？如何不影响在线系统的对外服务？一般实时应用全链路的超时时间在200ms或者100ms以内，留给数据库的时间就更少。另一个层面，数据库响应越快意味着单位时间内可以应用的规则越多，业务就有更多的发挥空间。因此对系统的平均延迟、P999毛刺都要非常高的要求。在这样一个前提下，如果将离线计算好的上亿、上百亿条画像数据回流在线系统，就是一次人为的热点，影响在线服务。一般选择在低峰期执行，但随着业务发展数据量猛增，问题只会越来越困难。 如何快速的存储用户行为变化，又保障读取延迟的稳定性？在线系统的一个职责就是存储用户的实时行为，实时画像。因此系统必须支持非常高的并发写入，在万、十万、百万规模上随业务增长。而同时系统也要支持同样甚至更多体量的读，并且读取的延迟既要低又要稳定。我们知道不同客户之间的行为差异是很大的，一些操作频繁的用户产生的数据可能非常多，当读取到这个用户时会消耗更多资源，请求变慢甚至影响其它请求。 如何高效的聚合数据到离线数仓？我们常见的有两种方式：一种是双写，一条写在线系统，一条写离线系统。数据可能先在kafka系统中缓存，缺点是多维护一条链路。另一种是从在线系统拖数据，有些会直接通过API扫描过滤数据，这种对在线系统的影响非常大。 HBase在画像领域的应用 以蚂蚁风控系统为例，使用HBase来作为在线系统，很好的解决了上面三个问题。首先HBase支持Bulkload的写入方式，可以在百毫秒内向系统中加载几十亿行数据，并且不影响系统的读写响应。其次HBase的动态列、稀疏列特性支持真正的部分更新，用户的一次行为变化可能就需要更新1个列，HBase可以只写入这个列。再次HBase的多版本特性可以控制数据规模，比如记录用户的最近登陆信息，大部分人一天登陆不超过10次，但可能有人几百次，为了保证读取时间的稳定性，可以通过HBase设置最多保留100个版本，每个版本记录一次登陆。超过的版本系统自动删除。最后我们开发了一套基于HBase日志的增量归档服务，可以把HBase的增量数据按时间片分区归档到离线系统，由于是基于日志的增量，可以做到不影响在线系统。 下面我们深入解读一下Bulkload和增量归档技术： Bulkload技术 为什么HBase可以直接插入一个文件(HFile)，其它的系统如RDS，MongoDB，ES是否也可以呢？我们以两条数据更新为例来解释。 T1时刻系统写入一行，行键是row1，包含3个列 insert row1，column1=a，column2=b，column3=c T2时刻系统局部更新行row1，把column3更新为x，并增加一个新的列column4 update

随着双12的落幕，2019也接近尾声了。经过了一年的奋（tuō）斗（fà），你是否还有遗憾和未尽的目标呢？ 开发者社区是不会让你带着遗憾跨年的！我们甄选了 2019 全年社区最受欢迎的 27本 电子书 , 它们不仅有全民网红级的 华山版《Java开发手册》 ；有能教你 0代码搭应用 的《宜搭开发手册》 ；带你了解红遍全国的《长安十二时辰》背后令你瞠目结舌的技术解析；还有国民网购节稳定性背后的奥秘 ——《双 11 背后 | 支付宝技术升级战》…… 四大专栏，27本电子书，2019,不留遗憾！ 开发手册类：

关于阿里云Link SOC，点击详情！ 点击！阿里云新品发布会，获取更多前沿发布！阿里云新品发布·周刊第6期：态势感知全新升级为：云安全中心！ Link SOC（Security Operation Center）物联网安全运营中心，SOC的构建结合了阿里云大数据强大的安全情报、风险检测和分析能力及人工智能技术，将安全保护贯穿于物联网设备的开发、测试、生产、接入和运营的整个周期之中，同时提供漏洞修复、异常行为阻断和优化防护策略等响应和处理措施，提供了全生命周期的安全管理能力。 Link SOC具有三大安全特点： 安全发布：对预发设备的全面体检，识别潜在的安全风险。安全策略制定：构建安全基线生成相应的防护策略，针对性的提升安全防护能力。安全威胁感知：修复组件存在的漏洞，识别和阻断基线范围外的异常行为，提升风险识别和处置能力。 Link SOC如何持续为设备提供安全防护？ 首先对设备行为做检测，通过对系统对象、进程行为及网络流量等维度的持续监测，生成设备的安全数字画像。画像生成后，持续性监测设备是否有超出基线的异常行为，是否有新的漏洞在设备上出现。如果发现异常行为或者漏洞，将及时把异常事件、漏洞通知到物联网设备运营人员或物联网平台运营人员。运营人员可以采取相应的行动，对漏洞一键修复，对异常报警的处理，以及对策略整体优化。 Link SOC可以应用到哪些场景？又能解决什么问题？ 随着智能城市的建设，各种各样的传感器和IoT设备信息汇聚到城市平台，大大降低了城市管理者响应突发事件的时间，提升了城市管理质量。但是由于IoT设备的品类繁多，接入地点分散在城市的各个角落，IoT设备安全运营的问题尤其突出。例如空气质量监控设备被侵入，伪造上传的数据有可能造成严重的公共安全事件。Link SOC可以帮助城市运营者管理IoT设备，通过技术手段确认数据来源的合法性，为IoT系统的安全性提供保障，保证了公共安全的同时又为政府的决策提供了可靠的依据。 在新制造领域，借助实时数据流计算模型，帮助企业监控工厂生产的全过程，根据既定的规则给出及时的告警；通过综合的数据分析，提供针对不同业务场景的实时决策能力；辅助工厂生产流程的优化和生产效率的提高。在这些场景中，即使最简单的设备开关机数据落入竞争者手中，都会损害企业的利益。Link SOC安全运营中心规定设备安全行为，任何超出规定的异常行为都会触发告警，运营方可以通过相应的操作降低危害。 各种智能消费品越来越普及，但普遍缺失安全功能的设计，容易造成使用者的个人数据泄露侵害隐私安全。针对这种情况，设备商可以在Link

原文作者：宇珩原文链接：https://developer.aliyun.com/article/738766?spm=a2c6h.12873581.0.0.3a2b115ex69Iht&groupCode=cloudnative更多云原生技术资讯可关注阿里巴巴云原生技术圈 背景 Tablestore 启发自 Google 的 Bigtable 论文，从2009年开始，在阿里云的飞天团队内，开始萌发。经过10年的锤炼，如今在集团内，云上积累了各式各样的客户和场景。这篇文章我们就来介绍下 Tablestore 大数据场景下的架构和用户场景案例。看看自研的分布式存储平台如何通过贴身理解客户场景，带来大数据架构的简化和升级，并助力业务方最终快速落地他们的需求。 大数据系统建设中的痛 数据的产生是多式多样，我们根据需求会选择不同的存储产品来存放这些数据，例如订单数据，用户信息数据我们会选用一款 OLTP 数据库，日志数据会选择 SLS 日志服务，或者自建 ELK 的方案。又有一些数据我们希望做实时的 计算，并且在 ETL

HBase用户福利 新用户9.9元即可使用6个月云数据库HBase，更有低至1元包年的入门规格供广大HBase爱好者学习研究，更多内容请参考链接 前言 在大数据背景下每时每刻都会有大量的用户行为数据被收集、分析、以及应用, 典型的应用场景包括用户推荐、安全风控;这些场景的共同特点是数据量大、可用性要求高、同时对随机读请求的响应时间非常敏感;云HBase作为海量大数据存储天然适合数据量TB、PB级别的业务场景,同时提供高可用方案(详见)满足用户的高可用需求,再此基础上为了满足用户大数据量随机读低毛刺的要求新增追求极致稳定性的双集群并发访问(Dual Service)功能. 适用场景 实时广告竞价 实时广告竞价场景中竞价方会监听广告交易平台发出的竞价请求,然后将请求转交给竞价引擎进行处理,竞价引擎查询数据库中的用户信息数据,利用算法引擎将用户数据和投放需求进行匹配，最终决定是否参与出价以及具体出价多少;竞价过程中需要在大量用户数据中查询,同时对查询耗时稳定性要求极高,超时意味着放弃竞价就少了一次交易机会造成损失; 实时风控 实时安全风控场景也对查询稳定性有着同样的高要求,在用户发起交易之后风控系统需要判断这一次的交易行为是不是安全的,为了判断的更加准确通常需要查询多维度的信息,查询耗时的多少严重影响用户体验,查询超时要么安全降级有可能造成资损,要么就会造成支付失败影响用户体验遭到投诉,所以查询必须稳定; 实时个性化推荐 实时推荐是另外一种对数据查询强依赖业务场景,需要对用户的喜好进行判断从而进行准确的推荐,判断就离不开对海量数据的查询,同时也是一个一定不能慢的场景,慢往往意味着降级无法个性化推荐、无法进一步提升转化率;面对上面的业务场景双集群并发访问能做什么: 同城跨可用区主备冗灾架构,最大程度保证集群可用性; 双集群并发访问,结合SSD存储可以达到数据随机读P999 30ms; 支持混合云部署场景,自建+云实例混合模式自由部署灵活多变; 双集群并发访问(Dual Service) 原理介绍

持续交付领域专家乔梁老师是一个好人，他讲话特别委婉。乔老师说：“你不改变你的工作方式就不能得到 10 倍的效果。”大家听了这个话以后就觉得，他讲的是一个抽象的“人群”。每个人听到这个话以后都有一个自我暗示：乔老师说的是其他人，我不包含在内。因为他是好人，他不肯把话说得太直白。其实乔老师批评业内敏捷现状的话，说直白了就是断水流大师兄的话：“我不是针对你，我是说在座各位……” 当然这个现状不完全是你们造成的。台下的各位大部分还很年轻，这些现状形成的历史因素很可能你们还不了解。我今天分享的就是这些行业历史的故事。 中国 IT 行业的发展不是自然而然的。有人认为，经济自然发展到一定的程度就自然会推动信息科技的发展。不是这样的。有一个反例就摆在面前，香港现在的 IT 行业就非常糟糕，经济的发展并没有自然而然地推动香港 IT 的发展。IT 是一个非常高端的行业，它不是自然就会发展起来，它需要政府有相当大的主导意向。 十八年前，因“18 号文件”而兴起的中国 IT 业大家可以查一下 2000 年 6 月颁布的国务院