大數據

阿里雲數據中臺產品矩陣是以Dataphin為基座，以Quick系列為業務場景化切入。 舉例來說，如果說數據中臺是一艘航空母艦，那Dataphin就是航母的動力系統，不斷夯實數據基礎提供動能，幫助企業實現“數據資產化”；Quick系列則是艦載機，根據不同的業務場景提供不同的戰力，幫助企業實現“數據價值化”。 阿里CIO學堂出品的零售數據中臺課程實錄公開——《零售數據中臺通關指南》，從數據中臺為什麼成為企業增長的剛需，瞭解數據中臺的前世今生，到實例解讀產品解決方案Quick Audience，教你什麼是消費者運營，再到解讀基於數據智能的貨品運營產品Quick Stock，最後到架構篇：智能數據構建及管理平臺Dataphin，教你玩轉新零售！ 免費下載>>《零售數據中臺通關指南》 數據中臺成為企業增長的剛需 國家已經把數據定義成生產要素，如果數據是生產要素，意味著數據的價值和土地的價值和勞動力的價值和資本的價值就平齊。 全社會、國家、世界經濟運轉已經開始運用數據中臺，如果企業不去做，意味著會被社會逐漸甩出去。做數據是一個剛需，如果企業要再往上一個臺階，對數據的理解、利用和社會的融合等需要思考。 智能數據，大勢所趨 目前政府（國家）對數據的理解水平和應用的深度不亞於企業，政府現在思考的高度、力度以及具體的分類，可參考十四五整體規劃綱要。在技術領域以及數據應用領域上，國家已經想得非常清楚，國家智囊團也講得非常清楚，而且後續的整個資本推動大數據和技術領域指數化升級已經毋庸置疑。 企業社會化分工，在線化運營，垂直化整合，加速數據流動 過去企業CIO是打造以ERP為核心，把商品管理、供應鏈管理、渠道、產品研發等形成一套系統。 但是突然發現我們在周圍這些數據，都是結果數據。原來我們以ERP為核心的所有的軟件的目的是為了結果的業務財務一體化，所謂財務業務一體化是以財務為核心，定義好所有的科目、利潤中心的邏輯，然後讓業務結果變成一個財務科目的每一個分錄。 真正企業在實際運作過程中需要的是什麼？是需要往外生長，所以我們要去增長。 什麼是增長？要更多的市場、更多的夥伴、更多的品牌和供應商、物流玩法、專業服務進一步融合才能增長。並非是多賣點東西就要增長了，要有更多的賽道、更多的品牌出來才能增長。當我們去往外圈思考的時候，突然發現ERP不夠了，更多的要去靠連接過程，協同的過程，跟企業外部的資源進行整合，進行數字化互動。 這個時候外圈的產生的數據遠大於ERP產生的數據。因為ERP只是記錄結果，而外圈的是記錄你所有的過程，要捕捉的是過程中的所有數據。 這個時代，人人在線化辦公，業務團隊的所有工作內容全部都在線。這個時代在線化成本越來越低，在線化交流的越來越順暢，使得我們有機會數字化。 消費者運營是什麼？解讀產品Quick Audience […]

內容簡要： 一、數據倉庫架構升級的背景 二、基於 Iceberg 的湖倉一體架構實踐 三、總結與收益 四、後續規劃 GitHub 地址 https://github.com/apache/flink歡迎大家給 Flink 點贊送 star~ 一、數據倉庫架構升級的背景 1. 基於 Hive 的數據倉庫的痛點 原有的數據倉庫完全基於 Hive

一、淺談雲原生 （一）雲原生，是未來使用雲的標準方式 我認為雲原生是未來使用雲的標準方式，雲計算資源無處不在、取之不盡、用之不竭，不用關心雲資源在哪裡、有多少。就像今天我們使用自來水一樣，沒有⼈會費盡心思考慮水從哪裡來。 （二）阿里雲全面引領雲原生分佈式數據庫發展方向 阿里雲在雲原生數據庫領域做了多年的實踐、嘗試與探索，與開發者一起成長。我們認為接下來雲原生數據庫必須關注和發展的領域有以下五個： 1）雲原生分佈式 將雲原生和分佈式技術深度融合，將Share Nothing、Share Storage、Share Everything架構深度融合。 2）智能化 利用AI、機器學習的技術，讓數據庫系統能夠實現自動駕駛的能力，讓開發者可以更好地管理和使用數據庫的服務，如自動調參、索引推薦、異常檢測等。 3）安全可信 安全可信的能力十分重要，比如說如何確保數據是全鏈路的、加密的、安全的，在存儲、傳輸、計算過程中都能夠提供安全可信的能力。 4）在離線一體化 減少數據鏈路，數據從在線處理、到在線分析、到離線的存儲，能否提供一體化的體驗，讓開發者可以更簡單、更便捷地訪問和處理數據。 5）物聯網多模 面對AIOT、物聯網、車聯網的蓬勃發展，能否打造一個面向開發者與應用的物聯網多模的數據庫。 以上是我們認為接下來非常重要的五個方向，也正因為在這些方向的耕耘，阿里雲在去年獲得了Gartner全球數據庫領導者的突破。 二、阿里雲數據庫

作者：陳健新，來電科技數據倉庫開發工程師，目前專注於負責來電科技大數據平臺離線和實時架構的整合。 GitHub 地址 https://github.com/apache/flink歡迎大家給 Flink 點贊送 star~ 深圳來電科技有限公司（以下簡稱 “來電科技”）是共享充電寶行業開創企業，主要業務覆蓋充電寶自助租賃、定製商場導航機開發、廣告展示設備及廣告傳播等服務。來電科技擁有業內立體化產品線，大中小機櫃以及桌面型，目前全國超過 90% 的城市實現業務服務落地，註冊用戶超 2 億人，實現全場景用戶需求。 一、大數據平臺介紹 1. 發展歷程 來電科技大數據平臺的發展歷程主要分為以下三個階段： 1）離散 0.X Greenplum

5月20日，阿里雲AIoT聯合西安導學教育科技發佈新一代智能作業燈“導學號”。該產品運用AIoT、大數據、AI技術，將護眼燈、教材教輔、物聯網技術結合在一起，是一款先進的具備護眼功能的智能學習機，具備指尖查題、智能輔導等功能，目前已經整合了3600萬+數理化語文等教輔題庫，覆蓋了中小學各個年齡段，滿足學生的多種學習需求。 輔導作業一直以來是困擾家長和學生的難題，由此也產生了不少社會問題。“導學號智能作業燈”具備7英寸高清屏幕，國家AA級照度，集可視雙向視頻通話、遠程作業陪伴、指尖查題、智能輔導等功能於一體，功能非常強大，例如，孩子做題哪裡不懂就可以直接在作業本上點擊，通過作業燈的AI識別技術，可以立即生成對應的題目並解析。而孩子的錯題，也能通過作業燈收集起來，生成提分手冊，加強孩子的錯題理解。通過拍照對作業進行存儲，還能準確掌握學情。 阿里雲AIoT為 “導學號智能作業燈”提供強大的物聯網平臺服務，全面保證設備運行的穩定性。依託阿里巴巴達摩院的AI技術，構建更快識別、更精準搜題極致體驗，植入了天貓精靈語音喚醒能力，為用戶提供更好交互體驗，另外，作業燈提供的海量教輔五步導學題庫，為學生提供海量的學習資源，構建了個性化的錯題集。 據瞭解，此次和阿里雲合作的西安導學教育科技有限公司，多年來一直深耕於教育行業，積累了200名專職教師和2000名兼職老師，打造了3600萬+的同步教學題庫，內容覆蓋多門學科，獨創的“五步導學”核心功能也融入在導學智能作業燈中。 如今，教育行業正在進入一個全新時代，尤其在疫情期間對教育行業帶來了新的可能，“停課不停學”的需求，加快了教育行業數字化進程， “導學號”正是教育行業數字化下的產物，實現以科技賦能教育，智慧照亮教育未來。未來，阿里雲AIoT將聯合在線教育各類優質資源，不斷探索與協作，給教育領域帶來更多豐富的創新力，為合作伙伴、為用戶帶來更多更好的教育產品及服務。（內容來源於大眾證券網） 歡迎掃碼加入阿里雲教育行業學習交流釘釘群 群號：32524092 加入釘釘群可享有以下權益↓

Hologres（中文名交互式分析）是阿里雲自研的一站式實時數倉，這個雲原生系統融合了實時服務和分析大數據的場景，全面兼容PostgreSQL協議並與大數據生態無縫打通，能用同一套數據架構同時支持實時寫入實時查詢以及實時離線聯邦分析。它的出現簡化了業務的架構，與此同時為業務提供實時決策的能力，讓大數據發揮出更大的商業價值。從阿里集團誕生到雲上商業化，隨著業務的發展和技術的演進，Hologres也在持續不斷優化核心技術競爭力，為了讓大家更加了解Hologres，我們計劃持續推出Hologers底層技術原理揭祕系列，從高性能存儲引擎到高效率查詢引擎，高吞吐寫入到高QPS查詢等，全方位解讀Hologers，請大家持續關注！ 往期精彩內容： 2020年VLDB的論文《Alibaba Hologres: A cloud-Native Service for Hybrid Serving/Analytical Processing》 Hologres揭祕：首次公開！阿里巴巴雲原生實時數倉核心技術揭祕 Hologres揭祕：首次揭祕雲原生Hologres存儲引擎 本期我們將帶來Hologers高效率分佈式查詢引擎的技術原理解析。 Hologres作為HSAP服務分析一體化的落地最佳實踐，其查詢引擎是一個完全自研的執行引擎，它的核心設計目標是支持所有類型的分佈式分析和服務查詢，並做到極致查詢性能。為了做到這一點，我們借鑑了各種分佈式查詢系統，包括分析型數據庫，實時數倉等，吸取了各方面的優勢從零開始打造出一個全新的執行引擎。 為什麼要選擇從零開始做一個新的查詢引擎？開源的分佈式分析查詢系統主要有兩大類： 一類是傳統的 Massively Parallel Processing

背景 阿里雲專有網絡（VPC）提供流日誌功能，支持VPC網絡中彈性網卡流量、VPC流量及交換機流量的記錄與存儲。對流日誌分析可以監控訪問控制規則、監控網絡流量和排查網絡故障。 流日誌功能捕獲的流量信息以日誌方式寫入SLS（阿里雲日誌服務）中。每條日誌會捕獲特定捕獲窗口中的特定五元組網絡流，捕獲窗口大約為10分鐘，該段時間內流日誌功能先聚合數據，再發布日誌。 在 SLS 上可以通過關鍵詞搜索對指定目標地址被拒絕的請求： 也可以通過 SLS 的 SQL 進行統計分析，但這裡涉及一個捕獲窗口的問題，例如下面兩條流日誌（字段做了簡化）： Log#1 start: 2021-05-31 00:00:00 end: 2021-05-31 00:08:30 bytes: 9000

一支新的、強大的數據庫力量正式融入開源社區大家庭。 6月1日， 螞蟻集團自研數據庫  OceanBase 宣佈正式開源，併成立 OceanBase 開源社區，社區官網同步上線。 ​ ​ 數據庫是基礎軟件皇冠上的明珠，也是每一家公司業務系統的核心。傳統的開源數據庫從性能、可用性、安全性上與實際的企業級業務應用訴求存在不小的差距。據記者瞭解，開源已經上升為 OceanBase 重要的技術戰略。OceanBase 數據庫創始人陽振坤錶示，螞蟻自研數據庫 OceanBase 致力於打造企業級開源數據庫，同時與合作伙伴一起緊密合作，快速發行商業版本，滿足行業客戶對數據庫高性能、高可靠、融合處理的業務訴求。分佈式關係數據庫 OceanBase 由螞蟻集團自主研發，歷經阿里巴巴和螞蟻大規模業務場景的長時間考驗。從2017年開始，OceanBase 的技術服務對外輸出，覆蓋金融、交通、通信、能源、公共事務等領域。據瞭解，開發者在開源社區能夠完整使用 OceanBase 數據庫內核。此次開源採用業界通用

作者：李欣 前言 表格存儲是一款用於存儲海量非關係型（NoSQL）結構化數據的雲原生表存儲服務，提供 Schemaless 表結構設計、多元化索引以及數據更新實時訂閱通道，支撐 PB 級數據存儲的同時能提供豐富且靈活的數據查詢、檢索和分析能力。對接了各大主流開源計算引擎，能靈活的實現流批一體分析。 通過閱讀本文您將瞭解如何免費開通和使用表格存儲服務，即刻擁有一個完全免運維、彈性、高性能、低成本的表存儲服務。整個操作流程會分為三大部分： 開通服務並創建實例。創建按量計費實例，一定額度下免費使用。 創建表並進行簡單讀寫操作。表格存儲的表為 Bigtable 模型，可提供簡單的單行查詢和範圍查詢，底層分佈式架構設計最大可彈性支撐到千萬級 QPS 服務能力。 高級特性多元索引的使用。多元索引使用搜索引擎技術，以支撐對錶內數據的高效檢索和條件查詢，提供比數據庫二級索引更靈活、更強勁的數據查詢加速體驗。 開通服務並創建實例 開通表格存儲服務 登錄表格存儲產品頁，點擊立即開通。 選中表格存儲（按量付費）服務協議後，單擊立即開通。 創建實例 登錄表格存儲產品頁，點擊管理控制檯。 點擊試用新版本控制檯。若已是新版本控制檯，跳過此步驟。 選擇對應的地域，點擊創建實例。 說明  地域和實例的概念請參考官網文檔地域和實例。 選擇按量模式，填寫實例信息，點擊確定。 說明  按量模式指的是按照業務實際的數據存儲量、讀寫使用量來計算費用，未超過免費額度則不會計費。更多關於預留模式和按量模式的介紹請參考官網文檔預留模式和按量模式。不同的實例規格適應不同的業務場景。更多關於實例規格的介紹請參考官網文檔實例。創建完實例後需等待實例初始化完成。 創建表並讀寫數據 創建數據表

案例背景： 蜜蜂是生態系統中不可或缺的組成部分，但根據聯合國糧農組織、中國養蜂學會多年的研究報告分析，全球蜜蜂生存環境遭到破壞，自然界的蜜蜂數量正在快速下降。蜜蜂生態系統的失衡，將對農業生產和生態平衡將造成巨大影響。為保護蜜蜂，科學養蜂，急需構建養蜂數字化新模式。 業務痛點： 在養蜂過程中，經常因為空氣汙染、化學藥物濫用等因素引起蜂群崩潰失調，導致蜜蜂大面積死亡。同時，因天氣原因，導致蜜源條件變差，果樹蜜源打藥嚴重，引起蜜蜂染病或死亡。 解決方案： AI智能蜂箱4.0，不僅具備傳統蜂箱的功能，還集成智能自控、AI識別、邊緣計算、數據分析的能力，配套IoT蜜蜂大數據平臺和蜂場其他智能裝備，提供異常快速識別、動態監測、異常報警、精準管控、應急調度等功能，實現蜂場智能化，養蜂智能化，生產智能化，消費定製化。 客戶使用價值： 通過接入蜜蜂多維大數據平臺、區塊鏈溯源系統，讓單箱蜂蜜產值提高30%，總體生產效率提升80%。 蜜蜂大數據平臺支持多維數據接入，通過AI計算處理不同的數據，可以根據不同業務需求，提供精準數據服務，同時全面開放相關接口，賦能政府管理部門，科研機構以及合作伙伴。 養蜂過程中，蜂農只要通過手機就可以瞭解蜂群的基本狀況，判斷哪些蜂群出現異常，當出現異常時自動提供語音提醒，同時可以通過手機掌握蜂蜜成熟情況，減少蜂農開箱頻次，降低蜂農的勞動強度，從而減低用工成本。 業務合作、商機合作可以釘釘掃描下方二維碼入群