大數據

修改代码150万行!Apache Flink 1.9.0做了这些重大修改!

阿里妹导读:8月22日,Apache Flink 1.9.0 正式发布。早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更,修改代码达150万行,接下来,我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。 Flink 1.9.0是阿里内部版本 Blink 合并入 Flink 后的首次发版,修改代码150万行,此次发版不仅在结构上有重大变更,在功能特性上也更加强大与完善。本文将为大家介绍 Flink 1.9.0 有哪些重大变更与新增功能特性。 在此先简单回顾一下阿里巴巴Blink […]

大數據

为了让网速更快,阿里工程师与顶级数学家有一个大胆猜想 | 开发者必读(049期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 为了让网速更快,阿里工程师与顶级数学家有一个大胆猜想 2008年,当英国数学家Frank Kelly凭借原创性的网络理论拿下运筹优化学的“诺贝尔” — 冯·诺依曼理论奖,可能并不会想到,11年后,他还将亲自参与“重塑”这一心血之作的全过程。邀请他共建新理论的朋友是一群从读博期间就熟读Frank Kelly著作,受其影响的年轻人。同时,他们的另一个身份是阿里巴巴工程师。 近日,他们提出了双方合作的研究成果HPCC,对高性能网络的拥塞控制这一世界级难题提出了一种全新的算法,同时在世界顶级的学术会议SIGCOMM 2019上发表,这也标志着阿里巴巴在基础研究上又一重大突破。 最强干货 修改代码150万行!Apache Flink 1.9.0做了这些重大修改! 8月22日,Apache Flink 1.9.0 正式发布。早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache

開發與維運

实战能耗和环境的实时监测和控制

本次分享实战的能耗和环境的实时监测,首先需要对主要用能设施、设备进行能耗分项计量。通过对空调机组、插座、风机、照明回路等安装分项能耗计量表,可以实时、准确、详细地掌握每个用能终端的能源消耗数据。在此基础上通过有线、串口或无线NB网路,将实时数据传送系统中,后台通过设备消息订阅方式对数据进行分发处理,数据按照能耗数据模型进行分析多个角度进行统计、分析、评判,采用动态曲线、图表的形式,并结合场景模式实现控制具体设备达到节能减排效果。整个方案实战内容比较多,因为硬件环境达不到,本次主要分享光线传感器、温湿度传感器、PM2.5传感器、电表、红外线装置通信采集为实战例子,并且数据展现已可视化方式完成配置实现。 一、整体系统由三级设备、二级通道以及一套系统构成。 1、三级设备指的是电能表,数据采集终端和设备。2、二级通道指的是边缘计算网关(设备数据采集、控制)与电能表、空调、灯等传感器设备的数据下行和上行通道。3、一套系统指的是能耗数据采集系统。 二、建设内容 1、对空调机组、插座、风机、照明回路等安装分项电能表。2、安装数据采集终端,并在数据采集终端与电能表直接进行485总线连接。3、将数据采集终端通过有线以太网/RS485总线或无线通讯方式接入系统。4、在系统设置档案及通讯信息,对上述设备进行联调,对建筑能耗数据进行采集。5、可通过系统进行建筑能耗数据分析并提出节能策略方案和控制指令。 总体流程如下图: 前期准备 硬件(因条件有限本次分享主要如下设备为主) 光线传感器(用于灯光控制策略,数据分析来源) 温湿度传感器(用于空调控制策略,数据分析来源) PM2.5传感器(用于空气质量分析,并且根据策略模型控制排风等设备) 电表(该电表采用的是Modbus协议,目前主流电表品牌都支持,这里做为一个采集实战例子)红外线装置(应用于不支持通信协议的空调设备)海创微联系统数据可视化,底层原理采用canvas矢量图形渲染引擎,失量图绘制数据采用JSON来表达,美工人员图片绘制可以在线绘制完成,并且由配置人员完成迭代开发,整体应用效率大大提高,在性能上比传统的DOM渲染方式更佳明显。 看板整体结构如下图,用户可根据需求编辑看板,自定义添加删除功能模块。这里我们将办公室分为A、B、C 3个区域,每个区域都能对区域内的各种指标进行实时监测,温湿度、光照度、PM2.5、实时电压电流值和能耗,数据可视化,直观,一目了然。绘制一个控制交互效果由设计人员在线绘制可组合N种不规则形态完成绘制效果,传统方式可能是直接采用一张PNG图片,但设计后无法根据业务场景需求进行灵活变化,我们采用矢量图绘制可灵活调整 移动端交互 基于canvas原理,我们同样可以完成移动端的交互效果,并且一次实现多端兼容首页设有设备一键关闭按钮,防止下班楼内无人时设备还在运行的情况,一键远程关闭设备,减少不必要的能耗。同时可以对办公室区域进行选择和自定义增减,实现分区域管理,条理清晰。 手机APP除了能够对数据进行实时显示外,还能对区域内的设备进行远程控制,基本页面如下图。 区域页 区域页中显示当前区域的温度、湿度、光照强度和PM2.5空气值,同时还能对区域内的设备进行添加,显示设备当前的运行状态。 二、数据采集

開發與維運

使用SAP Cloud Platform Leonardo机器学习提取图片的特征向量

这个机器学习服务的文档:https://help.sap.com/viewer/b04a8fe9c04745b98ad8652ccd5d636f/1907B/en-US/d6fee2fd184d48d5b221928a8db4c2fd.html?q=Customizable%20Image%20Feature%20Extraction 测试控制台: 输入是任意一个图片文件,输出是一串特征矩阵,如下图所示: 完整代码: var app = require(‘express’)(); var server = require(‘http’).Server(app); var request = require(‘request’); var defaultPort = 8081;

開發與維運

ABAP Netweaver体内的那些寄生式编程语言

今天这篇文章的主题是:寄生。 Jerry最近看到朋友圈里一位朋友分享的一张寄居蟹的照片,对于Jerry这种在内地长大的又很宅的人来说,没有机会看到寄居蟹,所以觉得很新鲜: 寄居蟹主要以螺壳为寄体,寄居的最大螺体直径可达15厘米以上。其外形介于虾和蟹之间,多数寄居于螺壳内。 另一种比较出名的寄生生物,就是Jerry小时候在电视上看到的《异形》,这种生物通过卵生的方式降生,成为下图这种俗名叫抱脸虫的二阶形态后,通过口器管将异形幼虫注入宿主体内,这样抱脸虫就完成了自己的使命,不多时便会死去。 异形幼虫在宿主体内发育约一天后,会从宿主体内破腔而出,经历如蚕宝宝的几次蜕皮后,成长为完全体。 Jerry距离寄生式生物最近的一次,就是前年全家去西岭雪山泡温泉,当时看到有一个室外游泳池,马上跳下去游起来。 正游得高兴,透过泳镜一看,一只像头发丝一样,长约十余厘米的生物在Jerry斜前方的水里蠕动,其运动轨迹明显是一种生物,而不是普通的头发丝。 见多识广的Jerry一下子就辨认出,这是寄生在螳螂体内的铁线虫。小学时Jerry和小伙伴们曾经捕捉过螳螂来玩,把螳螂踩死后,曾亲眼目睹体内的铁线虫钻出来。 这种生物的防御力和它的名称一样,当时我们用砖头砸都砸不烂。 眼看Jerry马上就要和它亲密接触了,吓的Jerry马上起水,再也不游了。 铁线虫寄生在螳螂等节肢动物体内,到了产卵季节,就会控制着螳螂去一些靠近水源的地方,等宿主淹死之后,铁线虫从宿主体内钻出来,在水里产卵。这些卵或者孵出的幼虫被其他节肢动物吞食后,就开始下一个寄生的循环。 至于铁线虫为什么可以控制宿主的行动,至今科学家们也没研究个所以然出来。Jerry在这里给广大游泳爱好者提个醒,到室外露天游泳池游泳时,如果附近树木茂盛,最好还是提高警惕,可以环顾游泳池四周有无节肢动物的尸体,当然不下水最安全。 铁线虫的图片Jerry就不贴了,非常恶心,好奇的朋友可以看看韩国电影《铁线虫入侵》,一部幻想的灾难片。 平时大家提起SAP的Netweaver,总是习惯称之为“SAP ABAP Netweaver”,然而Netweaver内部也存在一些寄生式的编程语言——绝大多数ABAP编程人员可能从未意识到它们的存在。原因在于,尽管大多数的这些寄生式编程语言的名称早已为大众所熟知,但它们实际上仅仅是ABAP Netweaver内核里用C/C++实现的精简版的语言编译和运行环境,并未直接开发给ABAP开发人员使用,或者已经被标注为obsolete. 下面就跟着Jerry来逐一了解一下吧。 JavaScript 在Netweaver里隐藏了这样一个包:SJAVASCRIPT,光看名字就知道它要干啥了。

十點讀書, 感情

如果你不想上班,就到淩晨3點的街上走走

如果你不想上班,就到街上走走 Your browser does not support the audio element. 前段時間,在微博上看到一個段子,描述了“當代青年五大現象”: 持續性不想上班, 間歇性崩潰, 送命式熬夜, 做夢式想暴富, 習慣性治愈。 不少網友表示紛紛中槍,這不就是現實中的我嗎? 每天早上都要在內心掙紮無數次,才不得不逼自己起來上班; 一到周日的晚上,想到第二天就要上班,就陷入莫名的焦慮….. 網上曾曝光這樣一張淩晨時間表: 1:00:賣水果的婆婆準備收攤了

十點讀書, 感情

“這世上沒有完美的婚姻”,這個男人的話刷爆朋友圈

“這世上沒有完美的婚姻” Your browser does not support the audio element. 前幾天,看了一個街頭采訪視頻。 主持人問一對結婚十年的夫妻:結婚多年,你覺得你們的婚姻完美嗎? 被采訪的丈夫沈思了幾秒鐘說道: 我覺得不算完美吧,我們平常工作都比較忙,有時難免會疏忽了對方的感受,而且我們性格都比較急,經常會因為一點事爭論不休。 這時候旁邊的妻子臉色有點僵硬了。 丈夫卻微笑地看了一眼妻子,話鋒一轉: 雖然不算完美,但是和她在一起之後,我的眼中看不到別人,真的非常感謝這些年她對我的包容與陪伴,未來有再多的困難我們都會一起扛。 看完這段采訪之後,在感動之余,我忽然心底一震,對婚姻有了新的認知。 這世上本就沒有十全十美的婚姻,自己過得幸福,比什麽都重要。 1 前段時間,一支韓國催淚廣告《30天的約定》引起不少人討論。

開發與維運

JVM实战(六) – 通过案例深入学习class文件结构原理

1 什么是JVM的“无关性”? Java具有平台无关性,也就是任何操作系统都能运行Java代码.之所以能实现这一点,是因为Java运行在虚拟机之上,不同的操作系统都拥有各自的Java虚拟机,因此Java能实现”一次编写,处处运行”. 而JVM不仅具有平台无关性,还具有语言无关性. 平台无关性是指不同操作系统都有各自的JVM 语言无关性是指Java虚拟机能运行除Java以外的代码! 这听起来非常惊人,但JVM对能运行的语言是有严格要求的.首先来了解下Java代码的运行过程. Java源代码首先需要使用Javac编译器编译成class文件,然后启动JVM执行class文件,从而程序开始运行. 也就是JVM只认识class文件,它并不管何种语言生成了class文件,只要class文件符合JVM的规范就能运行. 因此目前已经有Scala、JRuby、Jython等语言能够在JVM上运行.它们有各自的语法规则,不过它们的编译器都能将各自的源码编译成符合JVM规范的class文件,从而能够借助JVM运行它们. 2 纵观Class文件结构 class文件包含Java程序执行的字节码 数据严格按照格式紧凑排列在class文件中的二进制流,中间无任何分隔符 文件开头有一个0xcafebabe(16进制)特殊的一个标志 下图展示为16进制 class文件是一组以8位字节为基础单位的二进制流,它的内容具有严格的规范,文件中没有任何分隔符,全是连续的0/1. class文件中的所有内容被分为两种类型:无符号数 和 表。

十點讀書, 感情

2019“網紅一哥”爆火:這個時代,正在狠狠獎勵會說話的人

這個時代,正在狠狠獎勵會說話的人 Your browser does not support the audio element. 2019年,說起靠“會說話”實現人生逆襲的,李佳琦算是頭號人物。 李佳琦是誰? 他是一名90後美妝主播,只要說一句“oh my god”,就有成百上千的女人在他那下單買口紅。 他的戰績,驚人得讓人下巴掉地: 入駐新平臺2個月,就迅速漲粉1400萬; 直播一次試色口紅,就帶貨353萬,讓品牌直接賣斷貨; 和馬雲一起直播賣口紅,5分鐘賣出15000支,業績是馬雲的100倍。 誰能想到,李佳琦幾年前不過是個月薪6000的櫃臺小哥,而如今27歲的他,卻年入千萬,早早實現了階層躍遷。 ▼李佳琦和馬雲一起直播

十點讀書, 感情

在變老的路上,善待自己

在變老的路上,善待自己 Your browser does not support the audio element. 人生不過百年,轉眼也就成空,我們人匆匆來人間一趟,生不帶來,死不帶去,一切邂逅,悲喜皆由心定。 看得透,放得開,則一切如鏡中花,水中月,與其欲望纏身,不如開開心心,坦坦蕩蕩,不讓自己在悲傷中度過。 別讓自己在徘徊中漫步,隨緣起止,隨遇而安,開心生活。 人生一場,不過活一回心境,相信一切都會過去的,該來的會來,該走的會走。 愛過恨過,皆成經過,好事壞事,終成往事,順其自然。 心順了,一切都美了,余生不長,在變老的路上,好好善待自己,對自己好點! 1 余生不長,一定要愛惜身體 加不完的班,忙不完的工作,掙不完的錢,操不完的心,為了生活,腰桿累得挺不直,為了責任,腰酸背痛仍忍耐…… 這些早已成為當代人的生活常態,努力奮鬥是好事,可這些背後也透露著,病癥也趨往年輕化發展,還是該敲醒警鐘。 健康的身體才是本錢,健康才是人生最大的財富。

Scroll to Top