大數據

大數據

用於並行圖處理的 C++ 庫libgrape-lite

libgrape-lite是阿里巴巴的一個 C++ 庫,用於並行圖處理。它與先前系統的不同之處在於,它能夠通過遵循GRAPE的PIE編程模型將順序圖算法作為一個整體進行並行化。順序算法可以很容易地“插入” libgrape-lite,只需進行很小的更改,並且可以並行化以有效地處理大圖。除了易於編程之外,libgrape-lite 還被設計為高效和靈活,以應對現實生活中的圖形應用程序的規模、多樣性和複雜性。 構建libgrape-lite 依賴關係 libgrape-lite是在 CentOS 7 上開發和測試的。它也應該適用於其他類 Unix 發行版。構建 libgrape-lite 需要安裝以下軟件作為依賴項。 CMake (>=2.8) 符合 C++-11 標準的現代 […]

大數據

雲鳳蝶低代碼之路

作者: 揚遠 雲鳳蝶是螞蟻的建站平臺,雲鳳蝶中臺應用使用帶自由拖拽功能的 IDE 製作頁面,內置了 Ant Design、AntV、TechUI 等 UI 資產,內建大量最佳實踐等,讓開發者快速開發出高質量中臺應用。 低代碼是什麼? 現在業界低代碼的概念猶如當年的 H5 一樣被炒的火熱,但低代碼平臺到底該具備什麼特質呢?是隻要少些代碼就是低代碼了麼? 本文主要探討我心中的低代碼平臺的特質以及雲鳳蝶平臺在低代碼方面的一些探索。 可視化設計器 可視化設計器在低代碼領域可謂是必備功能,為什麼大家一提到低代碼第一印象就是可視化設計器? 對於程序員來說,程序算法雖然比較抽象,但是是描述機器執行的過程,用流程圖、偽代碼還是可以表達,無非就是算法/工程角度的優劣而已。但 UI 他不講邏輯,如果用代碼來描述將會是 “頁面左上角

大數據

Flink CDC 2.0 正式發佈,詳解核心改進

本文由社區志願者陳政羽整理,內容來源自阿里巴巴高級開發工程師徐榜江 (雪盡) 7 月 10 日在北京站 Flink Meetup 分享的《詳解 Flink-CDC》。深入講解了最新發布的 Flink CDC 2.0.0 版本帶來的核心特性,包括:全量數據的併發讀取、checkpoint、無鎖讀取等重大改進。 GitHub 地址:https://github.com/ververica/flink-cdc-connectors 一、CDC 概述 CDC 的全稱是

大數據

如何給你的代碼祝壽?

**Talk is cheap,Show me the code** 前段時間 alibaba/x-render 突破 3K Star,一直尋思著怎麼給開源社區貢獻的同學做一個小禮物來“祝壽”,然後就想到了之前玩過的 gource 和 avconv 這兩個庫(參數不熟悉可查文檔,此外不多加解釋),前者用於處理提交日誌可視化,後者用於視頻處理。 https://github.com/alibaba/x-render https://github.com/acaudwell/Gource https://libav.org/avconv.html 1、準備工作,安裝 gource、avconv

大數據

業務架構與技術架構方法論

架構本質 架構就在生活中 食堂餐盤迴收區 – 緩衝 雜亂的回收區,人一多就混亂有置物架的回收區,能夠有序緩衝 地鐵安檢入口 – 限流 人一多的地鐵入口會欄杆繞行、分段限流、分批放行 空氣開關 – 熔斷 發生短路、過流空氣開關能為了安全自動斷電 什麼是架構 建築架構、音樂架構、作戰部署、組織架構架構就是一組人為的結構化的設計 TOGAF – The Open

大數據

淺談數據治理

最近兩年一直在做數據治理相關的工作,根據自己的一些理解,記錄一下自己目前針對數據治理的一些理解。 隨著科技的飛速發展,各種信息系統參與到我們的日常生產生活中。各系統間對於數據的私有程度相對較高,不便於企業進行成本控制,最終導致系統間無法共享數據。老舊系統由於技術更新迭代,需要與新系統進行聯合運行的情況逐漸增多。面對這些問題,我們進行了相應的思考,如何處理系統間的數據貫通、新老系統業務聯合運行等問題。 目前的解決方案有:# 數據倉庫、# 數據資源中心、# 數據中臺等形式。要實現這些的前提必須是企業應當先從數據進行著手考慮,做好數據治理相關的工作,才能將最終的系統解決方案進行融合併發揮更大的作用。 1. 什麼是數據? 數據(data)是事實或觀察的結果,是對客觀事物的邏輯歸納,是用於表示客觀事物的未經加工的原始素材。可以是連續的值,比如聲音、圖像,稱為模擬數據;也可以是離散的,如符號、文字,稱為數字數據。 2. 什麼是數據治理? 數據治理(data governance):對數據進行處置、格式化和規範化的過程。 注1:數據治理是數據和數據系統管理的基本要素。 注2:數據治理涉及數據全生存週期管理,無論數據是處於靜態、動態、未完成狀態還是交易狀態。【GB/T 35295-2017,定義2.1.43】 通俗來講,數據治理包括幾個過程,數據分類目錄的確定、數據標準文件的編制、數據模板的制定、數據質量、數據安全等這幾方面。ps:個人已知並接觸的的內容。 3. 如何進行數據治理的實施工作? 依據企業對數據的管控要求和數據管控的範圍,從而制定相應的實施方法和內容。例如:

大數據

docker數據管理

數據卷 創建一個數據卷 使用 -v 創建 docker run -d -p –name 容器別名 -v 本地地址:容器地址 鏡像名字 python app.py docker run -d -P

大數據

springboot後臺下載文件報錯: Could not find acceptable representation

一開始的代碼,Controller返回的是json內容,代碼是這樣的 @ApiOperation(value = “獲取文件”) @GetMapping(value = “/zip”) Result getWorksZip(HttpServletRequest request, HttpServletResponse response, @RequestParam(“wids”) String wids); 後面考慮到是否因為使用的是Result對象導致的錯誤改為String後,可以正常下載.

大數據

開發者社區精選直播合集(十九)|走進開源大數據平臺 EMR

往期精選合集包(戳我前往) 囊括了:AI、架構師、 Serverless 、AIoT、DevOps、容器化、機器學習、雲計算、K8s、微服務、雲原生、視覺AI、大數據、小程序、物聯網等各種主題直播合集。 走進開源大數據平臺 EMR第一講 >>戳我去觀看 直播簡介 主要介紹EMR產品歷史、選擇理由、產品形態介紹 講師介紹 夏俊鸞,花名亦龍,阿里雲智能資深技術專家 王曉平,花名子關,阿里巴巴 EMR 產品專家 EMR 產品入門 >>戳我去觀看 直播簡介 本節主要內容有 EMR

大數據

Python學習筆記

環境配置 版本查看 正常情況下 linux mac os 默認安裝python2環境,使用以下命令查看版本號 python -V python3 -V Python 3.0 於2008年12月3日正式發佈,但python2和python3互不兼容,Python 2.7 於 2020 年 4 月

Scroll to Top