大數據

【在線編程產品介紹】 阿里雲開發者社區在線編程： 免費刷題大神器，助你拿到好offer 周賽月賽不停歇，做題還能領獎品 大賽筆試全真題，常做常新有驚喜 點擊鏈接開始產品體驗：https://developer.aliyun.com/coding 本文為大家介紹的是“109.變化的字符”的解法探究。先來看一下題目內容： 題目詳情 查看題目：109.變化的字符 Tom又碰到了一道字符串的題目。 有一個字符串s(1<=|s|<=3e5，|s|為奇數)，這個字符串只包含0,1和字符’.’，這個’.’字符可以任意變為0或者1。 現在可以通過一些操作來縮短這個字符串，每次操作可以任意選擇連續的三個字符，然後將這個連續的三個字符變成出現數量最多的那個字符(比如001變為0，101變為1，1.0可以變為0也可以變為1)。 通過更改字符’.’，問通過(|s|-1)/2次操作後最終這個字符串只剩下一個1的方案有多少種，答案對1e9+7取模。 輸入一行字符串s 輸出一個數表示方案數。示例1輸入：”1.0.1″輸出：4 解題方法： 操作次數為，1.0.1長度為5就是可以操作2次。 分別可以把字符串變為10001 10011 11001 […]

【在線編程產品介紹】 阿里雲開發者社區在線編程： 免費刷題大神器，助你拿到好offer 周賽月賽不停歇，做題還能領獎品 大賽筆試全真題，常做常新有驚喜 點擊鏈接開始產品體驗：https://developer.aliyun.com/coding 本文為大家介紹的是“124.Codancer的求和”的解法探究。先來看一下題目內容： 題目詳情 查看題目：124.Codancer的求和 現在Codancer有兩個長度均為n的數組a數組和b數組，其中對於a中的每個元素a[i]都有(-10^6<=a[i]<=10^6)，對於b中的每個元素b[i]都有(0<=b[i]<=n)，對於每個i(1<=i<=n)，我們定義區間[L,R]是合法的只有[L,R]滿足下面的條件：1、1<=L<=R<=n2、0<=i-L,R-i<=b[i] 現在對於每個i,Codancer想找到一組合法區間使得(a[L]+a[L+1]+…a[R])最大，並將這個最大值記為s[i]。 現在請計算(s[1]+s[2]+s[3]+…+s[n])。 輸入包含一個n(1<=n<=10^5)和兩個數組b,a。(b在前面，a在後面) 輸出s數組的和。 示例1輸入：5[1,2,3,4,4][-5,1,2,3,-4]輸出：16 注意:s[1]=-4s[2]=6s[3]=6s[4]=6s[5]=2因此最終答案為16 解題思路 S[1]=a[1]+a[2]=-4，此時S[1]最大S[2]=a[2]+a[3]+a[4]=6,此時S[2]最大同理可得S[3]=a[2]+a[3]+a[4]=6, S[4]=a[2]+a[3]+a[4], S[5]=a[2]+a[3]+a[4]+a[5]=2因此答案為S[1]+S[2]+S[3]+S[4]+S[5]=16。考慮對a數組做前綴和數組pre,即pre[i]是(a[1]+a[2]+…+a[i])的值，同時對a做後綴和數組sa,即sa[i]是(a[i]+a[i+1]+…a[n])的值，那麼s[i]可以由兩部分組成，左邊的a[L]+…+a[i]，右邊的a[i]+…+a[R]。

閒魚技術-仝輝 背景        大數據時代，閒魚在實際運營過程中缺乏深入的數據驅動分析能力。我們希望通過引入納米鏡來提供更加全面的數據分析能力，為運營解決業務痛點問題。運營分析存在以下痛點：運營分析存在一些痛點：        1）對於歷史數據缺乏積累，運營A離職，運營B重複做相似實驗，運營B離職，運營C重複做實驗的死循環。        2）缺少對現有活動細緻分析的能力，例如實驗A整體指標效果不明顯，但是對於子切面A1和B2的組合下效果很好，高於整體水平。        針對這些痛點，推出了納米鏡數據分析平臺，針對過去和現在的運營活動做更細緻地分析，輔助運營更好地做出決策分析。        本期主要分享納米鏡的決策分析能力–智能切面分析，功能是找到指標提升效果最顯著的人群切面組合，幫助運營快速找到較合理的子人群，從而做進一步的干預，例如子人群放大投放等。 智能切面分析 智能切面分析包含了兩個部分：   1）活動指標切面分析: 找出活動本身效果最好的切面組合   2）AB桶效果切面分析: 找出實驗桶和對照桶差異最大的切面組合 活動指標切面分析 活動指標切面分析目的是找出活動本身效果最好的切面組合，給出的分析結果：   1) 獲取效果最顯著的人群切面組合，並給出每個人群切面下的指標結果   2) 給出每個切面下最小樣本量，小於最小樣本量則結果有一定的偶然性和不確定性 獲取這些分析結果的具體步驟如下：

60秒售出5萬張票的搶票技術如何構建？電影垂直行業的雲智開放平臺如何煉成？百萬座席的世界賽事票務系統如何支撐？……這本書告訴你阿里文娛技術人眼中《文娛B端核心技術》！ 戳這裡免費下載電子書 精彩試讀 阿里文娛作為阿里巴巴Double H戰略的重要組成部分，需要為文娛B端客戶持續創造價值， 主要為片方、宣發方、影院、場館、IP 版權方等客戶在內容創作、投資、製作、宣傳、發行、 票務運營等環節提供產品解決方案，幫助客戶進行數字化轉型升級，提升多端跨場景運營效率。 在內容創作和製作環節，為製片方提供數字化製片管理軟件“雲尚製片”，為主辦方和片方提供金融服務平臺“娛樂寶”；在宣發環節為主辦方、片方和宣發方提供一站式宣發服務平臺“燈塔”；為場館和院線客戶在演出和電影票務運營環節提供數字化經營管理服務平臺“麥座”和“鳳凰雲智”。 2020 年，文娛 B 端在依託阿里巴巴基礎技術能力之上，在大數據和開放平臺兩個方向重點推進產品建設，推動行業數字化、智能化轉型升級，打造文娛 B 端行業新基礎設施，成為行業 “水電煤” 。 阿里文娛 B 端產品技術中心總監

IoT Studio創建公開API 開發內容 公開API由IoT Studio的服務編排創建，以HTTP請求與HTTP返回的方式提供調用端口。與直接創建的“HTTP請求/返回”對相比，公開API不需要鑑權的AppKey與AppSecret，支持公網訪問。 開發過程 STEP1 使用模板創建 在IoT Studio的項目管理頁面中，選擇從模板新建業務服務，如圖下圖所示。 如下圖所示，右上角單擊展開更多模板，找到最後一個模板：公開API。 業務邏輯名稱隨意，模板信息中可以看到，使用該模板創建的業務服務包含三個節點：HTTP請求、腳本節點和HTTP返回。單擊使用該模板新建。 STEP2 配置節點 創建完成後會自動跳轉到服務編輯器頁面。依次對節點進行配置。 HTTP請求節點： 節點配置如下圖所示，配置Action參數為：public_api Node.js腳本節點： 節點配置如下圖所示，將返回的payload內容修改為：”hello Saxon”

——–點擊屏幕右側或者屏幕底部“+訂閱”，關注我，隨時分享機器智能最新行業動態及技術乾貨———— 2020年的春節，新冠肺炎疫情的發生，給中國經濟帶來很大沖擊。需求和生產驟降，投資、消費、出口均受明顯衝擊。2020年的此時此刻，中國企業面臨著多重危機的疊加，經濟下行壓力、產能過剩、需求短缺、出口不足、疫情引起停產停工。 但是，疫情給予中國企業的不只是應對和挑戰，還帶來了發展機遇和方向。隨著數據與人工智能技術在病毒檢測和藥物研發提速、智能導醫和接診、網格化疫情排查、智能測溫、在線辦公等場景下的應用，越來越多的人看到了數據與人工智能技術的價值。 應對危機，從企業的角度來看，企業家往往希望能夠解決如下問題： 在危機到來前，提前預知； 危機出現後，快速評估疫情對企業生產經營環境、政策環境、交通環境等方面造成的影響； 快速制定完備的應急生產預案，及時評價應急預案是否有效。 這些，藉助數據與人工智能技術，都可以有效實現。 本文從企業的視角，系統性探討數據與人工智能技術在企業防疫應急管理中的應用。也希望這些理念和技術可以提升企業未來在面對危機時的應對能力，未雨綢繆。 建立基於數據和人工智能技術的企業防疫應急管理系統 在企業基本業務流程的基礎上，應用數據分析和人工智能等先進技術，幫助企業及時感知疫情發展狀況、研判發展趨勢、快速制定應急管理方案、儲備應急管理經驗以輔助後續可能發生的應急管理需求。 企業防疫應急管理系統主要由四個子系統組成：實現預警的疫情監控、預警與趨勢研判子系統、增強應對的疫情對企業影響研判子系統、企業應急預案制定與決策支持子系統、疫後損失評估與預案調整分析子系統。後三個系統可以在企業進行數字孿生、數字化建設時提前考慮進去，也就是企業運營操作的仿真和數字化建模。有了這個數字模型之後，通過企業的運營效益、成本、感染風險等指標在外部環境變化下的靈敏度分析，模擬得到不同外部環境下（疫情、戰爭、自然災害等）企業的生產運營狀況、最優應對策略和災害預期影響等，可以有效增強企業的抗風險能力。大企業可以定製化開發，中小企業可以通過改造流程、購買標準化的服務獲得。 圖1 基於數據和人工智能技術的企業防疫應急管理系統 1、疫情監控、預警與趨勢研判子系統 它最大的作用就是對企業進行預警提示，提醒企業及早發現危機、提早準備。比如這次疫情發生時，武漢有一些車企提前聯繫供應商送達了一批零部件，做了事前儲備。 通過每天分析大量的報紙、廣播、電視新聞和門戶網站新聞的關鍵詞與流行疾病、動物疾病、公共衛生等語義的關聯度，挖掘流行病起源信息；通過分析鐵路、公路、航空動態和人口遷徙數據，跟蹤受感染人口的流向，預測流行病的空間流動趨勢；通過天氣、環境和流行病特徵分析，挖掘流行病爆發因素，從而得到實時流行病預警與流行病風險評估。 圖2 疫情監控、預警與趨勢研判子系統 2.

《Apache Flink 十大技術難點實戰》獨家下載來啦！總結生產環境十大常見難點，10篇技術實戰文章幫你完成故障識別、問題定位、性能優化等全鏈路過程，實現從基礎概念的準確理解到上手實操的精準熟練，從容應對生產環境中的技術難題！ 如何下載？ 《Apache Flink 十大技術難點實戰》電子書，移動端及PC端點擊下方鏈接即可馬上下載： https://yq.aliyun.com/download/3925 亮點 由 Apache Flink 核心貢獻者及一線大廠生產環境使用者總結分享 內容全面豐富，涵蓋原理解析、應用實踐、demo演示、Flink 1.10 生態等 集群規劃的科學算法 Flink SQL應用的 demo

隨著企業數據爆發式增長，MySQL分析查詢卡頓問題越來越多，用戶時效性不能保證，精細化運營訴求不能滿足。如何能無縫對接業務庫，實現毫秒級針對萬億級數據進行即時的多維分析透視和業務探索，MySQL分析實例給出完美解決方案。 MySQL分析實例是雲數據庫RDS MySQL與AnalyticDB for MySQL聯合打造，產品級深度融合的OLTP+OLAP解決方案，解決客戶複雜分析查詢卡頓問題，快速構建實時數倉。一鍵購買，權限打通，免費自動數據同步，業務庫毫無感知和影響情況下數據實時同步到分析庫，幫助雲數據庫RDS MySQL客戶快速構建實時數倉平臺。無需自行搭建數倉，無需關注數據如何入庫，更無需擔心數據實時性，用戶只需購買分析實例即可同步創建一個分析性能約為MySQL100倍的分析庫。 1.MySQL分析實例和只讀實例區別 使用場景上，只讀實例主要面向在線應用，而分析實例針對RDS MySQL源實例的複雜報表分析，如下圖所示；產品實現上，只讀實例是隻能接收只讀請求的RDS MySQL，而分析實例是一個AnalyticDB for MySQL集群。 2.分析實例其實是AnalyticDB MySQL分析實例其是一個內置了數據傳輸（DTS）的AnalyticDB for MySQL集群（目前默認為基礎版），購買成功後會自動將雲數據庫RDS MySQL主實例中的全量數據和增量數據實時同步到AnalyticDB for MySQL中，用戶可以登陸AnalyticDB for MySQL控制檯的集群詳情頁查看數據同步進度和延時情況。

这篇文章来自一个读者在面试过程中的一个问题，Hadoop在shuffle过程中使用了一个数据结构-环形缓冲区。 环形队列是在实际编程极为有用的数据结构，它是一个首尾相连的FIFO的数据结构，采用数组的线性空间,数据组织简单。能很快知道队列是否满为空。能以很快速度的来存取数据。 因为有简单高效的原因，甚至在硬件都实现了环形队列。 环形队列广泛用于网络数据收发，和不同程序间数据交换（比如内核与应用程序大量交换数据，从硬件接收大量数据）均使用了环形队列。 环形缓冲区数据结构 Map过程中环形缓冲区是指数据被map处理之后会先放入内存，内存中的这片区域就是环形缓冲区。 环形缓冲区是在MapTask.MapOutputBuffer中定义的，相关的属性如下： // k/v accounting // 存放meta数据的IntBuffer，都是int entry，占4byte private IntBuffer kvmeta; // metadata overlay on

作者：丁来强针对目前全国新冠病毒疫情爆发的情况，阿里云基于日志服务技术搭建开发了新冠病毒疫情实时分析与可视化的免费分析平台，方便公众实时了解病毒疫情的发展状况并进行相关疫情数据的研究。阿里云日志服务专家丁来强介绍了疫情大盘的工作机制并通过大盘数据分析目前疫情的趋势。 新冠病毒疫情数据可视化大盘与分析平台 阿里云于2020年1月20日根据官方已经公开的数据搭建了疫情实时数据可视化大盘与分析大盘。大盘和分析平台的结构如下图所示。公司将较为零散的数据统一整理，并根据多种数据分析绘制了不同的可视化图形。使用者在数据平台上不仅可以根据自身需求查看相关数据内容，还可以基于数据平台进行实时数据集成并定制平台的疫情预警服务。 （免费疫情分析平台） 阿里云日志服务 疫情实时数据分析平台基于阿里云日志服务技术搭建而成。阿里云的日志服务为阿里云所提供针对日志类数据的一站式服务，用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立DT时代海量日志处理能力。下图展示了阿里云日志服务的多种应用场景。 日志分析中台架构 下图所示为日志服务的分析中台架构，该架构由数据采集、数据加工、AI可视化查询分析以及与相关平台的互联模块四个部分组成。日志分析中台架构秒级数据分析速度快、实时分析能力强等优点很好的满足了对疫情实时分析的实际需求，由此基于该架构公司构建了疫情数据实时分析大盘。 大盘访问方式（只读Demo） 已搭建好的疫情实时数据分析大盘对公众开放，使用者可以通过大盘对外链接：https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/slsconsole/?redirect=true&type=2020 对疫情数据大盘进行访问。公司对手机端进行了适配，使用者通过钉钉、微信等多个平台均可实现手机对大盘的访问。大盘提供了丰富的疫情数据供用户抓取分析，每日大盘会在平台管理员审核后更新三至四次全国的最新数据。注意：大盘不需要登陆，但仅仅只读，推荐使用全方位疫情分析平台（免费）。 全方位疫情分析平台访问方式（免费） 使用者需要登录阿里云控制台，进入日志服务，可以通过连接：https://sls.console.aliyun.com/ 在首页应用中点击新冠疫情分析，首次进入配置后，以后数据会自动同步（无需再次配置），即可进行无操作限制的交互式查询分析、可视化、仪表盘构建订阅、告警、二次开发等，此分析平台免费。 大盘细节介绍 大盘核心指标 疫情实时数据分析大盘根据官方公布数据搭建而成。在大盘的核心指标部分，使用者可以看到目前全国病例的六个主要指标：累计确诊人数、累计疑似人数、累计治愈人数、累计死亡人数、治愈率及死亡率。在主要数据右侧大盘用不同颜色的小号字体标识出了数据与昨日对比的新增量。 实时数据地图 在核心指标模块下，大盘使用三张不同的数据地图展示了目前疫情在国际分布、国内分布及国内死亡人员分布的情况。从疫情地图及省份数据统计中可知，目前疫情集中爆发于湖北及其周围河南、安徽、浙江、广东、湖南及江西6个省份，全国其他地区的病例相对较少。地图右侧以饼状统计图的形式展示了目前病例最多的6个省份及不同省份病例在全国所占的比例。 疫情趋势图