大數據

大數據

到 2050 年,人工智能收入将超过 1000 亿美元

作为当下最热门的技术创新和研究方向之一,人工智能在备受关注的同时,也被炒作和误解,行业出现了很多泡沫。不少人质疑,人工智能凭借概念炒作和出色的营销吸引了资本市场的关注。热潮褪去之后,AI 落地、商业化还有多大的空间? AI 从炒作变成现实 近日,Medium 的一篇文章中提到,到 2050 年,人工智能收入将超过 1000 亿美元。 另据 Tractica 在第一季度发布的报告显示,全球 AI 市场将在 2019 年进入一个新阶段,一个标志性的变化是,其已经从“炒作“转变为”现实“。Tractica 认为,在人工智能开发方面,我们现在终于从天花乱坠的“炒作”转向了现实,并即将看到面部识别、机器人和语音软件等一些真正可行有效的解决方案进入市场。 Tractica 预测,来自使用人工智能软件的收入将从 […]

大數據

欢迎加入DataWorks产品钉钉交流群

DataWorks作为飞天大数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系。从2009年飞天大数据平台写下第一行代码开始,DataWorks历经10年发展,形成一套成熟的产品功能体系,满足企业数据中台搭建需求。在阿里巴巴内部,每天有数万数据/算法开发工程师正在使用DataWorks。 欢迎扫码加入DataWorks钉钉交流群,扫码加入后,您会同时加入组织总群”飞天大数据平台”与部门群”DataWorks 交流群 | 主群” DataWorks产品问题请在部门群”DataWorks 交流群 | 主群”沟通 飞天大数据平台是阿里巴巴10年大数据建设最佳实践的结晶,同时广泛应用于城市大脑、数字政府、电力、金融、新零售、智能制造、智慧农业等各个领域的大数据建设。在飞天大数据平台总群您可以查看群公告了解各个产品信息,加入飞天大数据平台各个产品交流群。

大數據

国务院出台稳就业指导意见,用地、补贴等多层面鼓励返乡创业

国务院近日印发《关于进一步做好稳就业工作的意见》,要求创造更多就业岗位和稳定现有就业岗位并重,全力做好稳就业工作。 在扶持创业带动就业上,《意见》提出一系列新举措,鼓励和支持更多劳动者创业创新。 进一步放开放贷,加大创业担保贷款政策实施力度,建立信用乡村、信用园区、创业孵化示范载体推荐免担保机制;对“双创”平台进一步放权,实施“双创”支撑平台项目,引导“双创”示范基地、专业化众创空间等优质孵化载体承担相关公共服务事务;鼓励支持返乡创业,在用地、孵化载体建设、人才培训、创业补贴方面给予全方位支持。 根据《意见》,年度新增建设用地计划指标优先保障县以下返乡创业用地,支持建设一批农民工返乡创业园、农村创新创业和返乡创业孵化实训基地,建设一批县级农村电商服务中心、物流配送中心和乡镇运输服务站。同时,实施返乡创业能力提升行动,加强返乡创业重点人群、贫困村创业致富带头人、农村电商人才等培训培育。对返乡农民工首次创业且正常经营1年以上的,有条件的地区可给予一次性创业补贴。 《意见》全文如下: 各省、自治区、直辖市人民政府,国务院各部委、各直属机构: 就业是民生之本、财富之源。当前我国就业形势保持总体平稳,但国内外风险挑战增多,稳就业压力加大。为全力做好稳就业工作,现提出以下意见。 一、总体要求 以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中全会精神,坚持把稳就业摆在更加突出位置,强化底线思维,做实就业优先政策,健全有利于更充分更高质量就业的促进机制,坚持创造更多就业岗位和稳定现有就业岗位并重,突出重点、统筹推进、精准施策,全力防范化解规模性失业风险,全力确保就业形势总体稳定。 二、支持企业稳定岗位 (一)加大援企稳岗力度。阶段性降低失业保险费率、工伤保险费率的政策,实施期限延长至2021年4月30日。参保企业面临暂时性生产经营困难且恢复有望、坚持不裁员或少裁员的失业保险稳岗返还政策,以及困难企业开展职工在岗培训的补贴政策,实施期限均延长至2020年12月31日。 (二)加强对企业金融支持。落实普惠金融定向降准政策,释放的资金重点支持民营企业和小微企业融资。鼓励银行完善金融服务民营企业和小微企业的绩效考核激励机制,增加制造业中小微企业中长期贷款和信用贷款。对扩大小微企业融资担保业务规模、降低小微企业融资担保费率等政策性引导较强的地方进行奖补。发挥各级政府中小企业工作领导小组的协调作用,支持中小企业发展,增加就业。发挥各级金融监管机构作用,鼓励银行为重点企业制定专门信贷计划,对遇到暂时困难但符合授信条件的企业,不得盲目抽贷、断贷。 (三)引导企业开拓国内市场。完善省际间信息沟通、收益分享等机制,鼓励中西部和东北地区各类产业园区与东部产业转出地区加强对接,及时掌握有转移意愿的企业清单。推广工业用地长期租赁、先租后让、租让结合和弹性年期供应方式,降低物流和用电用能成本,有条件的地区可加大标准厂房建设力度并提供租金优惠,推动制造业跨区域有序转移。搭建跨部门综合服务平台,加强企业产销融通对接,重点支持相关企业对接国内各大电商平台和各行业、各区域大宗采购项目,支持企业拓展国内市场销售渠道。 (四)规范企业裁员行为。支持企业与职工集体协商,采取协商薪酬、调整工时、轮岗轮休、在岗培训等措施,保留劳动关系。对拟进行经济性裁员的企业,指导其依法依规制定和实施职工安置方案,提前30日向工会或全体职工说明相关情况,依法依规支付经济补偿,偿还拖欠的职工工资,补缴欠缴的社会保险费。 三、开发更多就业岗位 (五)挖掘内需带动就业。实施社区生活服务业发展试点,开展家政服务业提质扩容“领跑者”行动试点工作,深入推进家政培训提升行动和家政服务领域信用建设专项行动。加强旅游公共设施建设,推进区域医疗中心建设,开展支持社会力量发展普惠托育服务专项行动。支持养老服务业发展,通过政府购买服务等方式,支持养老服务机构向重点人群提供服务。鼓励汽车、家电、消费电子产品更新消费,有力有序推进老旧汽车报废更新,鼓励限购城市优化机动车限购管理措施。培育国内服务外包市场,支持行政事业单位、国有企业采购专业服务。 (六)加大投资创造就业。合理扩大有效投资,适当降低部分基础设施等项目资本金比例,加快发行使用地方政府专项债券,确保精准投入补短板重点项目。实施城镇老旧小区改造、棚户区改造、农村危房改造等工程,支持城市停车场设施建设,加快国家物流枢纽网络建设。深入实施新一轮重大技术改造升级工程。 (七)稳定外贸扩大就业。研究适时进一步降低进口关税和制度性成本,扩大出口信用保险覆盖面、合理降低保费,确保审核办理正常退税平均时间在10个工作日以内。发挥行业协会、商会、中介机构等作用,引导企业增强议价能力,鼓励提供公益法律服务。建设国际营销服务体系,加快跨境电子商务综合试验区建设,做大做强外贸综合服务企业。 (八)培育壮大新动能拓展就业空间。加快5G商用发展步伐,深入推进战略性新兴产业集群发展工程,加强人工智能、工业互联网等领域基础设施投资和产业布局。支持科技型企业开展联合技术攻关,完善首台(套)重大技术装备示范应用扶持政策,支持科技型企业到海外投资。加快落实促进平台经济规范健康发展的指导意见,促进新产业新业态新模式快速发展。 四、促进劳动者多渠道就业创业

大數據

第一届阿里云数据可视化峰会圆满落幕

12月23日,2019数据可视化年度峰会在阿里巴巴西溪园区白马山庄举行,峰会以“唤醒数据,看见未来”为主题,邀请著名专家学者及一线行业实践者结合自身实践与感悟,与现场业界来宾分享主题演讲。百余位业界KOL齐聚一堂,深入解读数据可视化研发生态,剖析可视化商业化应用的前景和机会,共同探讨了如何创建创新共赢的数据可视化环境。 (现场的气氛可谓是热火朝天啊!还有站在后面的小伙伴,可谓是一票难求) 没有抢到票的小伙伴看看会上都有哪些看点吧! 前瞻数据可视化学术方向与技术构建 中国科技创新2030“新一代人工智能”和“大数据”专项均将可视化和可视分析列为大数据智能急需突破的关键共性技术,可见国家对可视化领域的重视,以及可视化未来蓬勃的机会。目前数据可视化的产品以轻量级小数据可视化工具为主,产品底层技术特性与国外同类产品存在一定差距,所以目前重视大数据行业中可视化生态系统的培育以及基础理论与方法研究还是非常必要的。 同济大学主任曹楠教授 在《针对事件序列数据的可视化及应用》的演讲中,曹楠教授认为对大规模事件序列数据的可视分析与预测能够清晰的揭示用户行为的内在规律与因果关系,在网络安全、电子商务、智慧交通以及精准医疗等诸多领域拥有广泛的应用价值。 浙江大学博士梅鸿辉 梅鸿辉博士为我们分享了数据可视化的展望与趋势,其中包括中国可视化发展在国际上崛起的历史、可视化学术研发的方向、以及“可视化+”的概念等等。大数据的数据获取、数据清洗、数据模型、数据分析、预测仿真这些环节中都能与可视化融合,形成了可视化+的概念。更提到,数据可视化的研发趋势需要从小数据扩展到大数据,从少数专家扩展到广泛的不特定群体,在实际应用中强调方法的性能、使用的简捷和系统的智能。 阿里云数据可视化团队技术负责人宁朗 宁朗是阿里最早跟随团队将数据可视化真正落地到数据产品,并推动可视化技术能力对外输出的。他在会上中指出大数据可视化不仅仅是数据大屏,强调大数据大屏完成之前的数据收集和清洗非常关键,需要打破数据链融通之间的隔阂。他认为,数据可视化要有行业开发规范、把握创新边界,还要考虑呈现数据对象的感受,而不是盲目的开发。而通过可视化工具,可以响应可视化的快速变动。 洞察可视化生态机会点及DataV规划 随着物联网、云计算、移动互联网等技术的突破,更多的数据得到收集,同时也推动了数据可视化一直不断发展,目前金融、交通运输、生产领域、医疗卫生等行业更是对数据可视化愈发显示刚性需求,正在推进可视化发展的上升拐点。可视化的终极目标是洞悉蕴含在数据中的现象和规律,从而帮助用户高效而准确的进行决策,所以可视化生态发展的机会点也是业界一直所关注的。 ECharts可视分析负责人李德清 在会上详细地介绍了E charts在可视化中的基建,它基于 Javascript 的数据可视化图表库,可提供直观、生动、可交互、可个性化定制的数据可视化图表。 数据城市派的CEO派姐 数据可视化工具可以帮助企业降低数据可视化的成本,使杂乱、大量的数据的可读性得到提高,让企业可以在数据中找到规律,行业上有许多数据可视化案例可以借鉴。目前在实际应用中数据可视化也具有非常广泛的应用场景。作为专业的大数据服务商,派姐对数据可视化的应用场景有深刻的理解,在演讲中以“数据可视化的应用场景”为主题分享了自己的见解。派姐首先回顾了城市规划可视化的发展历程,总结了大数据时代下,城市规划师利用数据可视化的各类场景,包括前期分析、现状分析、辅助设计、辅助决策、辅助服务与管理、数字孪生、感知未来等多种场景。对城市规划圈的数据可视化应用与发展提出了一些希望与建议。

大數據

2019 Flink Forward 大会最全视频来了!(附PPT下载) | 5大专题不容错过

摘要: Flink Forward 2019 于今年11月28日在北京举行,规模2000人。本文收录了5大专场,35个大咖精彩演讲合辑,精彩内容一次性打包给你! 点击pdf下载,收获全套资料 算力制胜,数见未来 Flink Forward Asia 2019 邀请业界极富声望的各行业开拓者组成议题评选委员会,由阿里巴巴集团副总裁贾扬清作为主席,他们分别是: 点击查看大会主会场视频>>> 大会主会场更以顶级嘉宾阵容,与你一起探索强大算力关键技术与数字化转型未来风向。 除主会场的精彩内容外,大会围绕 Apache Flink 及其核心技术开设五大专题,全面分享大数据及其算力的核心内容。 专题一:企业实践 字节跳动、滴滴出行、快手、Bilibili、网易、爱奇艺、中国农业银行、奇虎360、贝壳找房、奇安信等不同行业一线技术专家分享

大數據

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 ODPS,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随着阿里经济体和阿里云业务需求(尤其是双十一)的不断丰富,伏羲的内涵也不断扩大,从单一的资源调度器(对标开源系统的YARN)扩展成大数据的核心调度服务,覆盖数据调度(Data Placement)、资源调度(Resouce Management)、计算调度(Application Manager)、和本地微(自治)调度等多个领域,并在每一个细分领域致力于打造超越业界主流的差异化能力。 过去十年来,伏羲在技术能力上每年都有新的进展和突破,2013年5K,2015年Sortbenchmark世界冠军,2017年超大规模离在/在离线混部能力,2019年的 Yugong 发布并且论文被VLDB2019接受等。随着 Fuxi 2.0 首次亮相2019双11,今年飞天大数据平台在混部侧支持和基线保障2个方面均顺利完成了目标。其中,混部支持了双十一 60%在线交易洪峰的流量,超大规模混部调度符合预期。在基线保障方面,单日数据处理 970PB,较去年增长超过60%。在千万级别的作业上,不需要用户额外调优,基本做到了无人工干预的系统自动化。 新的挑战 随着业务和数据的持续高速增长,MaxCompute 双十一的作业量和计算数据量每年的增速都保持在60%以上 。2019双十一,MaxCompute

大數據

高德网络定位算法的演进

1.导读GPS定位精度高,且早已成为移动设备标配,但GPS也具有一些难以克服的缺陷,包括: 冷启动时间长。GPS启动时,需要进行搜星,锁定卫星信号,然后再进行位置技术,这个过程可能会达到几十秒,即使采用诸如AGPS等技术,仍然有秒级的时间无法定位。 室内或有遮挡的场景。GPS信号弱,无法有效定位。 用户需要持续的有效定位,因此需要另一个技术对GPS进行补充,这就是网络定位技术。 网络定位是将手机设备收到的信号(主要是基站、Wifi、蓝牙)发送到网络服务器,获得位置。之所以要将信号数据发送到网络上,是因为网络定位是利用信号指纹进行定位,需要一个庞大的且持续更新的指纹数据库,这个数据库难以同步到移动设备上。为了进行定位,需要事先建立每个位置的指纹特征,然后在定位时用实时指纹比对每个位置的历史指纹,确定位置。 高德网络定位不仅承担着高德地图用户的定位请求,还面向国内所有主流手机厂商,以及国内30万以上App提供服务,日均处理请求千亿次,峰值QPS百万级。 在过去的几年中,高德网络定位算法经历了从无监督算法向有监督算法的演进,从定位精度、定位能力透出等方面都有了显著的提升。 注:高德网络定位只存在于安卓平台上,在iOS上由于苹果公司未开放任何定位相关的指纹数据(Wifi、基站列表等),定位结果全部来自于iOS自身。 2.基于聚类的无监督算法经典的指纹定位算法是无监督算法,其核心是计算指纹的相似性,用指纹确定位置。下图是一个例子,AP代表手机扫描到的基站和Wifi设备编号,纵轴代表不同的位置,二者交点的数值代表该位置扫描到该AP的信号强度,为空代表该位置没有扫描到该AP。 要对一个新定期请求进行定位(比如AP1:-30,AP2:-50,AP3:-90),一个最简单的方法,是用KNN逐一计算该指纹与历史指纹的相似度(比如用L2距离或者余弦相似度),取相似度最大的历史位置作为用户位置。 这有两个问题,第一是计算量太大(AP是10亿量级,loc是千亿量级),无法满足实时定位的要求,第二是历史指纹在局部可能比较稀疏,对于用户指纹无法精确匹配。 于是需要对历史数据进行预处理,提取出AP和网格的通用指纹,这样在定位时只需要比对一次即可。下图是利用一个AP的历史采集位置进行聚类,获得AP实际位置和覆盖半径的过程,有了每个AP的位置,在定位时将多个AP的位置进行加权平均即可获得最终位置。 这种方法需要解决的一个挑战是当有多个候选位置时如何选择,如下图所示,有两个候选位置。 此时需要设计一个策略进行簇选择,基于每个簇的特征进行打分,找出最有可能的一个簇作为用户位置。 基于加权平均的定位,速度很快,但精度比较差,原因是指纹在空间上的分布并不是连续的,而可能受到建筑、地形、道路的影响,呈现一种不规则的分布,于是在上面定位方式的基础上,发展出一种基于格子排序的算法,可以更精准的定位。 首先将地球划分为25*25的网格,然后统计每个网格内的指纹特征,最后进行格子排序。设候选网格为l,信号向量是S,则定位过程就是计算 根据贝叶斯公式,有 根据1-1,由于所有候选网格的分母相同,只需要计算分子,即: 其中P(l)是某个位置在全量用户位置中出现的概率,可以用定位PV表示,而P(S=S0|l)则需要计算在每个网格内出现某种信号向量的概率,由于向量维数高,概率难以计算,因此对不同维进行独立假设,认为每个信号出现的概率是独立的。有: 这样,可以基于历史指纹对每个网格内的每个AP的信号强度进行直方图统计,即可计算出概率,最后对所有格子的概率进行排序,获得概率最高的那一个,如下图:

大數據

阿里主管通知我试用期延期……

阿里妹导读:接下来的文章是一篇发布在阿里内网里的文章。花木是一位走出体制的博士,讲述自己Landing的经历。今天,她将这段经历分享给大家,告诉我们:脸先着地又怎样,哪有那么多坦途;最美的,是翻山越岭的一路风景;最幸福的,是酣畅淋漓地打拼后见到了更好的自己。 来阿里之前,我在体制内呆了12年,体制内的人,在一个单位呆十几二十年甚至一辈子,非常正常。然而,在阿里很多人曾冒出离开的念头。我也有好几次想过离开,但最终留下来了。今天就来讲一讲,体制内的我,在阿里这几年的经历和感悟。 试用期延期,从P9降到P8 2014年,我踌躇满志的来到了阿里集团法务部,设立法研团队,准备以法学博士的学历、从事法律政策研究12年的工作经历,在阿里大展身手。然而3个月的时候,我却被延长了试用期,6个月的时候,主管和HRG告诉我,希望我留下来,但要从P9降到P8。 来阿里之前,顺风顺水,对于习惯了当学霸,一路顺风顺水的我来讲,真的是遇到了人生中第一个大坎儿。那一刻的第一想法肯定是离开。离开很容易、找个工作也不难,但阿里之旅就这么结束了吗?如果就这么结束,就是认输,就是承认自己跳不出以前的舒适圈,想到这些,心里又有点不甘。就是因为这一丝的不甘心,让我接受了这个管理决定,留了下来。 忘记9or8的层级,先聚焦手头最重要的事情,深入业务、贴地飞行。当时,为了完成对某项意见的反馈,我们跟BU法务对焦之外,又用1个多月的时间和业务团队对接,深入了解业务需求、整理、反馈,结合自己和团队同学的专业优势,形成了质量很高的反馈意见稿。让合作的内部团队和外部的学者、立法机构看到了阿里的专业和认真。以此为契机,集团法务建立了常态化的标准流程,对我而言,是认识了很多业务的同学、理解了很多业务的细节,尽管刚开始对他们满嘴的专业术语并不理解,经常跟不上他们机关枪式的语速,但我开始真正了解阿里巴巴,嗯,这个地方来对了。 “真实的面对自己”这句话是我在一次培训的时候听阿里合伙人戴珊讲的,她说出这句话的时候,我内心一震。这几年看下来,所谓真实的面对自己,是既不妄自尊大、也不妄自菲薄,是一个不断自省、跟自己对话的过程。尽管被降级我还是留下来,一方面是相信以自己过往的经历和经验,一定能在阿里有用武之地,只是自己还没找到怎么样把能力在阿里发挥的路径和方法;另一方面,是各种发自内心的不服气,凭什么村里的高考状元、堂堂博士在一个公司都无立锥之地!?然后,就沉下心来,做好一件事情、两件事情,在过程中不断总结好的、反省不好的,后来发现,最终受益的是自己,让自己变得更强大。 现在脑海中经常出现的一句话是:宠辱不惊,看庭前花开花落;去留无意,望天上云卷云舒。真实的面对自己! 转岗做业务,跳进了“坑”里 2015年冬天我转岗到了钉钉,一支创业团队。 跟钉钉的缘分,一开始,我就作为法务在支持,跟业务走的很近后,发现原来自己的知识和经验越来越有发挥的空间,觉得既然这样了就索性跳进去业务看看。 但是到了钉钉的第一件事情,就是一个巨大的“惊喜”——钉钉的一个爆款产品必须在1个月内下线。印象最深就是那天下午,我和一位同学在办公楼外的马路牙子上呆呆的坐了3个小时,不知道能干点儿啥~~~(想起来就凄凉)。之后的一个月我们进入了疯狂的状态,跑了很多家供应商,在碰了十几次壁后,终于在7月26日开始跟一家合作伙伴开发新业务。当时的状态是:早晨最早一班火车去南京跟合作伙伴讨论,晚上回来,继续画图coding,几乎每周2-3次。每天开发出来的一个功能就找最近的同事、用户共创,连夜修改。用了2个月的时间,到9月18日钉钉3.0发布会,主题是“呼吸”,发布了新的替代产品。那一刻,活过来,深深的吸了一口新鲜的空气。2016年,当时觉得是天大的事情,今天只是写在钉钉历史上的一个故事。 这样的事情,在钉钉并不稀奇,“谁是钉钉、你就是钉钉”这句话是钉钉同学身上的烙印。根据我这三年多在钉钉的体会,一是产品得到了来自用户的认可和期待,变成不管多苦都能持续坚持下去的最大动力,但前提是要贴近用户;二是你坚持,世界就会因你而不同,只要你坚持,运气就会变得很好,关键的时候就会有很多人来帮你;三是我真正了解了产品是怎么做出来的,从以前一个法学学究,变成一个懂产品、懂业务的人,跟以前的同学同事聊天他们都用崇拜的眼光看着我,特有成就感;四是收获了一堆可以把后背交给彼此的战友。 印象最深刻的一件事,2016年得了带状疱疹,全身痛痒所以需要穿宽松的衣服,我开玩笑跟同事说,自己要穿睡衣去上班了……结果第二天我打扮美美的到了项目室,一堆平日里经常穿着公司发的T恤的码农们穿了一堆花花绿绿的睡衣:有戴兔子耳朵的、有印小花的、有毛茸茸的……当时家人是坚决要求我离开杭州回北京的,因为那一屋子的睡衣,我留下来了。 在阿里要“打得开,放得下” 2019年我担任钉钉一个项目的总PM,用一个季度的时间快速的把产品、市场、PR和前线团队协同起来,拿到了不错的结果。但是战役打完,需要把战役积累的经验常态化、数字持续化,发现需要跟原来做这件事情的同事拉通、相互理解,需要引入更多的资源,需要改变原来的生态规则和玩法,需要沟通、说服的人很多,想不通为什么明明已经证明了的事情不能快速复制、明明自己认为正确的事情别人就理解不了,我就变得很焦躁,有一段时间状态很差,看见谁都想吵一架。 这个时候,有一个爱唠叨的老板就变得很重要,我每次跟别人吵完,就会气呼呼的去找大炮(阿里合伙人)吐槽,然后大炮就跟我说**“慢慢来,不着急,每个人都不容易,你要打开、放下,看到别人的长处,学会赞美别人”。** 半年过去了,尽管我还没做到每次都赞美别人,但明显感觉到周围的人更好沟通、更容易达成共识,我自己的耐性也变得更好,真正的开始理解“视人为人”的内涵。 保持“好奇心” 回顾过去这五年,很多人遇到降级,就选择了离开。但对我而言,每次遇到挫折,反而是一个更加真实的认识自己的过程,逼着自己去想清楚为什么、什么是自己真正想要的,如果这样的经历可以让我变成更强大的自己、为未来带来更大的空间,那一时的得失、降级降薪这些事情还有那么重要吗?

大數據

在 Flink 算子中使用多线程如何保证不丢数据?

分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为

大數據

阿里巴巴D2 前端论坛最全视频来了!(附PPT下载) | 6大专题持续更新

摘要:D2 前端技术论坛 (Designer & Developer Frontend Technology Forum, 简称 D2),是由阿里经济体前端委员会主办的面向全球前端领域的技术论坛,立志于建设一个促进业内交流、引领前端领域发展的平台。目前 D2 已经成功地举办了13届,为国内外前端领域的开发者和设计者提供了共同探讨行业发展的机会,以技术会友、一起分享技术的乐趣。 12 月 14 日,第十四届 D2 前端技术论坛在杭州圆满举办。来自全国各地的近千名开发者齐聚杭州,聆听 3 大会场、来自

Scroll to Top