大數據

大數據

文言文编程语言来了,可是好像比英文更难写了!| 开发者必读(123期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 文言文编程语言来了,可是好像比英文更难写了! 近日有开发者开源了一门新的编程语言,吸引了大量开发者的目光,短短几天获得了 3k+ star。 最强干货 5位阿里专家解读、871节分段课程,教你学懂Java!| 开发者社区年终礼包 Java 是常居 TIOBE 榜首的编程语言,社区为广大开发者精心准备了一份 “Java 学习宝典” ,一文教你学懂 Java !还不快来收藏? 大前端2020年前瞻:有哪些你不能错过的技术趋势? […]

大數據

3大阶段,30+教程,超全年度 Python 礼包大放送 | 开发者社区年终礼包

要说今年最受欢迎的黑马语言,那莫过于 Python 了! Python简单易懂,功能强大,同时也是大数据、人工智能时代的首选编程语言之一。这两年 Python 如破竹之势一般出现在开发者眼前,甚至有许多非技术人员也会想通过学习 Python 来提高自己的工作效率。这么火的语言,开发者社区当然要为你带来 “Python 学习大礼包” 了! 更多礼包点这里:2019阿里系电子书大合集礼包阿里如何用Java?8位专家讲解,871节课程,带你学Java 从零开始学Python 整理整理思绪开始学习吧!不论你是小白还是已经学习过 Python 的开发者,你都可以从这套教程中找到新知识! 学习更多 Python 课程,请关注 Python

大數據

Serverless 实战——使用 Rendertron 搭建 Headless Chrome 渲染解决方案

为什么需要 Rendertron? 传统的 Web 页面,通常是服务端渲染的,而随着 SPA(Single-Page Application) 尤其是 React、Vue、Angular 为代表的前端框架的流行,越来越多的 Web App 使用的是客户端渲染。 使用客户端渲染有着诸多优势,比如节省后端资源、局部刷新、前后端分离等等,但也带来了一些挑战,比如本文要解决的 SEO 问题。 对于服务端渲染的页面,服务端可以直接将内容通过 HTML 的形式返回,搜索引擎爬虫可以轻易的获取页面内容,而对于客户端渲染的应用,客户端必须执行服务器返回的 Javascript

大數據

阿里腾讯今日头条纷纷翻牌子,ClickHouse到底有什么本事?

ClickHouse是近年来备受关注的开源列式数据库,主要用于数据分析(OLAP)领域。目前国内社区火热,各个大厂纷纷跟进大规模使用: 今日头条 内部用ClickHouse来做用户行为分析,内部一共几千个ClickHouse节点,单集群最大1200节点,总数据量几十PB,日增原始数据300TB左右。 腾讯内部用ClickHouse做游戏数据分析,并且为之建立了一整套监控运维体系。 携程内部从18年7月份开始接入试用,目前80%的业务都跑在ClickHouse上。每天数据增量十多亿,近百万次查询请求。 快手内部也在使用ClickHouse,存储总量大约10PB, 每天新增200TB, 90%查询小于3S。在国外,Yandex内部有数百节点用于做用户点击行为分析,CloudFlare、Spotify等头部公司也在使用。 特别值得一提的是:国内云计算的领导厂商阿里云率先推出了自己的ClickHouse托管产品,产品首页地址为云数据库ClickHouse,可以点击链接申请参加免费公测,一睹为快! 在社区方面,github star数目增速惊人。 在DB-engines排名上,如下图中红色曲线所示。ClickHouse开源时间虽短,但是增势迅猛。 为何ClickHouse获得了如此广泛的关注,得到了社区的青睐,也得到了诸多大厂的应用呢?本文尝试从技术视角进行回答。 1、OLAP场景的特点 读多于写 不同于事务处理(OLTP)的场景,比如电商场景中加购物车、下单、支付等需要在原地进行大量insert、update、delete操作,数据分析(OLAP)场景通常是将数据批量导入后,进行任意维度的灵活探索、BI工具洞察、报表制作等。 数据一次性写入后,分析师需要尝试从各个角度对数据做挖掘、分析,直到发现其中的商业价值、业务变化趋势等信息。这是一个需要反复试错、不断调整、持续优化的过程,其中数据的读取次数远多于写入次数。这就要求底层数据库为这个特点做专门设计,而不是盲目采用传统数据库的技术架构。 大宽表,读大量行但是少量列,结果集较小 在OLAP场景中,通常存在一张或是几张多列的大宽表,列数高达数百甚至数千列。对数据分析处理时,选择其中的少数几列作为维度列、其他少数几列作为指标列,然后对全表或某一个较大范围内的数据做聚合计算。这个过程会扫描大量的行数据,但是只用到了其中的少数列。而聚合计算的结果集相比于动辄数十亿的原始数据,也明显小得多。 数据批量写入,且数据不更新或少更新

大數據

60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践

Facebook 经常使用分析来进行数据驱动的决策。在过去的几年里,用户和产品都得到了增长,使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于 Hive 平台(Apache Hive 是 Facebook 在2009年贡献给社区的)和 Corona( Facebook 内部的 MapReduce 实现)进行的。Facebook 还针对包括 Hive 在内的多个内部数据存储,继续增加了其 Presto 的 ANSI-SQL 查询的覆盖范围。Facebook

大數據

Go语言实战: 编写可维护Go语言代码建议

指导原则如果我要谈论任何编程语言的最佳实践,我需要一些方法来定义“什么是最佳”。 如果你昨天来到我的主题演讲,你会看到Go团队负责人Russ Cox的这句话: Software engineering is what happens to programming when you add time and other programmers. (软件工程就是你和其他程序员花费时间在编程上所发生的事情。) — Russ

大數據

2019年11月Github上最热门的JavaScript项目

来自:开源最前线(ID:OpenSourceTop) 11 月份 GitHub 上最热门的开源项目排行已经出炉啦,在本月的名单中,有很多都是之前从未上榜的新项目哦,赶紧一起来看看详情: 1. algorithm-visualizer https://github.com/algorithm-visualizer/algorithm-visualizer Star 27016 Algorithm Visualizer是一个交互式的在线平台,可以将算法可视化,通过动图的方式学习算法将会变得容易的多。 2. node https://github.com/nodejs/node Star 66138 Node.js 是一个基于 Chrome

大數據

从零开始入门 K8s | etcd 性能优化实践

作者 | 陈星宇(宇慕)  阿里云基础技术中台技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 17 讲。 导读:etcd 是容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色,接受了 双11 大压力的检验。本文作者从

大數據

仅 1 年 GitHub Star 数翻倍,Flink 做了什么?

作者:王峰(莫问) Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上,阿里巴巴资深技术专家,实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进,阿里对 Flink

Scroll to Top