大數據

數據中臺的智能進化—阿里巴巴十二年數據平臺發展歷程

本文轉自微信公眾號“輕金融”:https://mp.weixin.qq.com/s/DUBo6eJ7msbdA8Cbm3RngQ 分享人:阿里雲智能計算平臺事業部研究員 關濤  從2016年誕生起,“中臺”概念就一路火熱至今,對互聯網與金融行業數字化轉型產生了極為深遠的影響。   作為“中臺”概念的提出者和先行者,阿里巴巴用12年的實踐探索了中臺能力建設和數據應用。在不斷升級和重構的過程中,阿里巴巴的中臺建設經歷了從分散的數據分析到數據中臺化能力整合,再到全局數據智能化的時代。   在當下如火如荼的金融行業中臺建設浪潮中,不少金融機構對於中臺建設仍存諸多迷思,中臺建設將走向何方?數據資產到底該如何管理?阿里巴巴的中臺建設之路應該能為金融機構帶來借鑑。   日前,在阿里雲舉辦的2021阿里雲金融數據智能峰會上,阿里雲智能計算平臺事業部研究員關濤對阿里巴巴如何構建數據中臺核心三要素中的平臺技術部分進行了全盤分享,其中包括數據平臺發展的四個典型階段,支持中臺業務的四大技術挑戰,以及數據平臺的四大技術趨勢等。   在阿里中臺的成功實踐中,方法論、組織、平臺能力是“數據中臺”的核心三要素,而其中平臺能力建設最為關鍵,難度也最大。阿里巴巴在打造強大的數據中臺底座方面已經進行了積極探索,並且還在不斷與時俱進夯實底座,構建面向未來的能力。 阿里巴巴數據平臺發展的四大階段 構建數據中臺,一個強大的數據平臺作為底座必不可少。 阿里巴巴數據平臺發展的四個階段,一定程度上其實也是阿里巴巴數據中臺發展的四個階段。這四個階段裡,你可以看到阿里巴巴對自身數據的商業價值的萃取,對原有分而治之的數據系統的聚合,對計算數據資產化和數據高效應用的新思路以及對數據平臺治理過程中面臨的組織變革等。 階段一:業務百花齊放,發現數據價值 2009年到2012年,阿里巴巴電商業務進入爆發期,湧現出非常多有名的業務團隊,比如淘寶、1688、AliExpresss、一淘等。每個業務都是基於數據驅動的全場景業務,業務方對數據有著強烈的訴求。   那個時候,阿里巴巴技術幾乎都是IOE架構,核心數據系統是Oracle。2年時間內,阿里巴巴建成了全亞洲最大的Oracle集群。但是在2010年,Oracle已經不能滿足計算的要求,有非常多數據延遲和不滿足性,再加上昂貴的成本,沒辦法繼續支撐業務發展。   阿里巴巴開始認真審視建設下一代數據平臺的重要性,同時啟動了兩個並行項目:一個是“雲梯1”,基於開源Hadoop技術體系,多個業務團隊構建多個Hadoop集群,集群規模達到4000臺服務器。 […]

大數據

行業前瞻 | 數字新基建——應時而生 馭勢而行

作者:阿里波特來源:阿里雲研究公眾號 疫情後逆全球化勢頭加劇,產業格局重塑,數字化成為經濟引擎。從國際看,數字化將是實現全球化的重要手段;從國內看,數字化已經滲透政府、企業、社會的運行。在這樣的背景下,應該以什麼角度、觀念,去理解數字新基建? 01.兩次疫情對比,科技抗疫凸顯數字基礎設施強大支撐力 歷史不會簡單的重複,但每次都壓著相同的韻腳——馬克·吐溫 比較一下2003年非典和今年的新冠,很容易可以看到,所謂的數字基礎設施——例如我們日常生活中的雲上課、雲辦公,與17年前有多麼大的不同。相對於我國人均GDP和收入水平,中國老百姓在科技抗疫和疫情中享受的整體生活水準上,應該是全世界排名最靠前的。 回想一下17年前的概念,還是短信時代,搜索引擎剛剛有,甚至直到2005年用短信給超女投票成為一場全民運動的時候,我們都還沒有真正進入移動互聯網的時代。2012年是個關鍵點,2012年中國開始有千元的智能手機進入,2013年有了4G以後,其實只有過去的7年使得中國發生了歷史上最大的一次技術普及運動。中國政府的電子政務互聯網化,在過去2年也產生了重大變化。 今年聯合國給中國的在線政務服務排名是全球第9名,這是一個巨大的躍遷。這種變化很大程度上是來自過去2、3年,阿里、騰訊這樣的平臺互聯網公司在各地,包括在國家的一些政務平臺緊密合作。老百姓不僅可以用智能手機購物、支付,也可以用智能手機辦理出生證、港澳通行證等等這些電子政務。今天,中國老百姓已經有了對於數字化喜聞樂見的文化,中國的官員意識到了數字化和數據化可以協助政府提高治理和服務水平,這是一個重大的變化。 2020年各種劇烈變革指向了一個未來,就是2030年智能社會的到來,我們將通過全面數字化加速。在這樣一個背景下,新基建呼之欲出。新基建可以被視為是一種逆週期調節,但也是一個非常有創建性的舉措,代表了政府導向。今年來官方媒體高頻率報道數字經濟,按照官方數字2019年數字經濟是中國經濟增量的66%,換而言之,2019年中國的數字經濟推動了中國經濟的增量,是推動中國持續發展的一個引擎。 02.疫情倒逼數字化經濟、數字化生活方式普及化 在疫情期間,釘釘的用戶一下子到了3億,有差不多2億多是企業,還有1.2億左右的學生。而這種變化是不可逆的,因為一旦一個習慣超過3個月,就會變成你生活的一部分。這是一個非常重要的普及,從信息化到數字化,端的普及是最重要的,如果每個人都養成了使用習慣,將會倒逼雲上的技術力量、人工智能發展,否則那麼多算法、數據整合不知道給誰用,因為沒有人用。 從抗疫中不斷復產復工,到恢復經濟的過程中,數字化的力量非常重要。“時上”和“秒回”反映了效率的提升,“時上”的意思是應用能不能按小時上線,“秒回“按秒一樣快速回復。像浙江省1萬人的科技抗疫公務員群,按照秒能夠快速的通知和回覆;廣州的一艘遊輪7000多人,下船的時候去用人工智能外呼每一個人,通知他應該隔離還是應該回家。這是人工根本解決不了的,所以數字技術起到了一個強大的支撐作用。 無論是政府推動的數字化還是企業數字化,數字化和市場化意識是完全正相關的,雖然在很多經濟發達的省份和民營企業家原來並沒有數字化意識,但是只要有市場化意識,他是很容易與數字化意識快速疊加的,最可怕的是沒有市場化意識來談數字化,那就變成了一把手工程,其實就只有一把手,然後就變成了一個不斷彙報的工程。 真正的數字化創新就是一個市場化的創新,能夠喚醒市場裡面的力量,喚醒年輕人服務消費者的創造力。 03.“數字新基建”的共性與特性 超前建設性和收益遠期性 所有的基建都有超前建設性和收益遠期性的共性。中國政府驅動經濟的方式一般都是超前的,超前修路、超前修高鐵、超前修機場。中國在疫情裡面實際上享受了超前建設基礎設施的紅利,相較於我們人均GDP相同的那些國家,中國的基礎設施是比發達國家還要好的,基礎設施為我們的企業家、創業者提供了巨大的便利,降低了技術成本,這是非常重要的一個背景。 公共性和關注性 公共性和關注性,所有基建都會關乎社會公共資源配置和經濟持續發展,相關政策的制定往往會成為社會公眾高度關注 的熱點問題 數字新基建和靠大工程、大資本、大水泥去建設的傳統基建有一個非常大的不同,它的本質上其實是圍繞著人的創造力的。數字新基建總體特點是大平臺、大運營、專業化、社會化,知識密度高而分散,所以在未來所謂的產業互聯網,它是一個極為分散的群落。

大數據

數智洞察 | 數字新基建推動消費升級和產業升級

作者:劉鬆編輯:張楠、阿里波特來源:阿里雲研究 導語:中國在2019年成為了全球最大的單一市場,今天消費市場的形態已經不同從前,對於民眾更高水平的消費需求,產業如何迴應,消費互聯網和工業互聯網如何互動?本文將深入淺出解析數字新基建如何推動消費和產業升級。 01.數字化推動消費升級 決策者和消費者的代際鴻溝 中國成為最大單一消費市場 今天中國的主流商業決策者比主流消費者大20歲,這是一個巨大的代際鴻溝。這代年輕人不再“崇洋媚外”,他們關注漢服、國學、新國貨,消費文化的變化是一種巨大的力量,類似於韓國當年崛起時的情形。 中國在2019年成為全球最大的單一消費市場,已經超過了美國。未來10年,中國有可能會藉助“後浪”加上數字化創造的新的文化消費形態,引領一次最大的消費革命。 上一次消費革命是美國的嬰兒潮引起的,今天我們知道的所有商業形態,百貨公司、超市、電影院以及快餐、信用卡等產物,都是美國五六十年代嬰兒潮那一代定義的,變成全世界流行的風潮。現在中國的淘寶、天貓購物包括直播帶貨,則被外媒認為會引領新的未來。 奢侈品不再吃香 技術消費成為新時尚 消費奢侈品的風潮減弱,消費技術、技術日常化成為新時尚。與上一代消費強調滿足需求的目的不同,這一代人更注重消費的過程,刷碼或刷臉買一瓶飲料,這個過程的愉悅感可能比支付行為本身更加重要。 精神引導產品,比特引導消費,智能音箱、智能床墊乃至掃地機器人,可以給人以“至高無上”的感受。每個人都追求告別自我常態的一個體驗,這不能只靠數字技術、低價產品來實現,過去十幾年都是靠這個的。這一代年輕人自己發現他們的潛在文化需求,通過數字化變成一個規模的體驗,會形成一個閉環。 消費升級和內容下沉 未來消費市場的多元化需求和包容性,會帶來巨大的變化。中國消費市場的潛力,除了年輕人是一個巨大的潛力以外,還有兩個詞,一個是消費升級,一個叫內容下沉。 比如酒、茶、咖啡飲品,在品控方面目前有很大的提升空間,人們對高品質產品和服務的需求不斷升級,未來5年、10年,這些領域的數字化探索會比現在更深入,這也是年輕人只會沉浸不會退出的一個地方。比如我們出國旅遊最近肯定受阻了,可能要考慮VR去盧浮宮看一看,更不用提汽車行業等領域。 另外一個機會是內容的下沉,五六線城市的老百姓能不能像一二線城市的人享受同樣的文化生活、教育資源,都可以通過數字化來解決。廣義上,教育是內容,互聯網診療也是內容,消費是內容,娛樂也是內容,這些地方都有巨大的空間,都可能通過數字化去化解。 02.數字新基建推動產業升級 阿里巴巴的數字經濟體 & 阿里巴巴商業操作系統

大數據

阿里數據中臺底座的12年建設實踐

文/阿里雲智能計算平臺事業部研究員 關濤 阿里巴巴數據平臺發展的四大階段 構建數據中臺,一個強大的數據平臺作為底座必不可少。 阿里巴巴數據平臺發展的四個階段,一定程度上其實也是阿里巴巴數據中臺發展的四個階段。這四個階段裡,你可以看到阿里巴巴對自身數據的商業價值的萃取,對原有分而治之的數據系統的聚合,對計算數據資產化和數據高效應用的新思路以及對數據平臺治理過程中面臨的組織變革等。 階段一:業務百花齊放,發現數據價值 2009年到2012年,阿里巴巴電商業務進入爆發期,湧現出非常多有名的業務團隊,比如淘寶、1688、AliExpresss、一淘等。每個業務都是基於數據驅動的全場景業務,業務方對數據有著強烈的訴求。 那個時候,阿里巴巴技術幾乎都是IOE架構,核心數據系統是Oracle。2年時間內,阿里巴巴建成了全亞洲最大的Oracle集群。但是在2010年,Oracle已經不能滿足計算的要求,有非常多數據延遲和不滿足性,再加上昂貴的成本,沒辦法繼續支撐業務發展。 阿里巴巴開始認真審視建設下一代數據平臺的重要性,同時啟動了兩個並行項目:一個是“雲梯1”,基於開源Hadoop技術體系,多個業務團隊構建多個Hadoop集群,集群規模達到4000臺服務器。 一個是“雲梯2”(ODPS,現MaxCompute),作為阿里巴巴自研產品啟動研發,集群規模1200臺左右。螞蟻小微貸款“牧羊犬”業務是第一個吃螃蟹的業務,上線“雲梯2”的過程被稱為“人肉雲計算”與“分步試計算”。王堅院士2018年曾在央視《朗讀者》節目朗讀《進入空氣稀薄地帶》,形容的就是自研數據平臺那時的現狀與信念。 兩個項目在阿里巴巴內部形成競合狀態,並行探索阿里巴巴數據平臺發展的軌跡。這個時期,所有業務方的數據幾乎都是垂直建設,以自己業務形態形成獨立小閉環的形式飛快向前奔跑。 階段二:業務垂直小閉環,數據孤島顯現  2012年到2015年,阿里巴巴電商業務在飛速發展的同時,湧現出更多的新興業務:2013年,創立菜鳥,啟動“all-in 無線”戰略;2014年,投資高德,與銀泰合資,阿里旅行成立;2015年,推出釘釘/零售通、成立口碑、控股阿里健康等等。 這個時期,阿里巴巴業務蓬勃發展,形成了12個業務部門和9套不同的平臺系統,而且每套平臺系統架構都不一樣,用戶數字化流程需要橫跨多個BU的多套數據系統。 數據孤島現象開始日益嚴重,數據成本越來越高,統一的數據平臺建設已經迫在眉睫,這也是阿里巴巴數據中臺的起點。 與此同時,“雲梯1”和“雲梯2”也正在經歷大變革。 2013年3月28日,阿里巴巴集團技術保障部架構師雲錚的郵件直達集團高層:“按照數據增量與未來業務增長的情況,雲梯1和雲梯2兩套系統的存儲和計算能力將在今年6月21日到達瓶頸。”屆時,許多的業務將因為技術的限制而無法展開。 這意味著,數據平臺已經無法再同時並行“雲梯1”與“雲梯2”兩個項目,必須選擇其中1個。如果選擇“雲梯1”,Hadoop的5000節點限制如何突破?涉及到金融業務,開源體系如何保證大數據的安全與可用性?跨機房方案業界無參考如何解決?業務交互頻繁,跨機房如何保證數據穩定交互? 一系列的技術難題都逐漸將數據平臺推向自研道路。

雲計算

產品解讀 | 敏捷版雲原生PaaS場景

據 Gartner 的報告顯示,到 2022 年將有 50% 的應用軟件將容器化,2023 年高可控應用 PaaS 的市場規模將達到 332 億元,年複合增長率約為 18.7%。早在2019年,RightScale數據顯示,在大型企業中 k8s 的使用率已達到了 60%,像 OpenShift、Cloud Foundry 和 Rancher

雲計算

超越軟件:數字時代不容忽視的大主題——車聯網!

阿里波特導讀 | 車聯網,英文叫做 IoV Internet of Vehicles,它屬於物聯網 IoT Internet of Things 的一種。 Vehicle,就是車輛、交通工具。車聯網,就是把車連接在一起的網絡。其實,確切來說,車聯網並不只是把車與車連接在一起,它還把車與行人、車與路、車與基礎設施(信號燈等)、車與網絡、車與雲連接在一起。 車聯網說了那麼多年,一直都不溫不火,其實,問題就在於車輛的對外通訊協同能力。汽車製造商善於造車,車內控制可以搞得很溜,但難以解決車輛與外部的協同響應問題,目前的智能駕駛更多的還在單車智能領域。 所以,在車輛數據廣泛打通之前,車聯網很難有實質性的意義。現在不一樣了,超越軟件藉助阿里雲的技術,有望逐漸打破車輛對外通訊協同的這個瓶頸。車聯網的潛在能力,很有可能徹底釋放出來。車輛數據聯網,所有關於車的運行狀態信息都會傳到雲端。 超越軟件公司通過平臺化、數字化、智能化的轉型,圍繞這些數據,形成了海量的應用場景,成長為全國最大的民營車聯網平臺,它的轉型過程,非常值得深入瞭解。 作者 | 肖劍 阿里雲研究中心高級戰略專家 從2008年創業,超越軟件用10年的時間打造發展成為覆蓋全國所有省份、入網車輛總數超過600萬輛的全國最大民營通用車聯網平臺。  它聯網的600萬輛車包括貨車、出租車、客運大巴、工程機械車輛等等。這些車每30秒上報一次位置、速度、時間、圖像、視頻等信息,後臺通過這些信息實時地瞭解車輛所在的位置、車輛是否超速、車輛內的人員狀況等等,企業利用這些數據可以實時瞭解和管理下屬車輛的運行狀況。 超越軟件的車聯網平臺匯聚的信息數據每天達到450G,這些數據覆蓋了全國所有的省市以及路網,入網車輛每天行駛里程總和超過1億公里,可以繞地球赤道2500圈。數據的集中給了超越軟件轉型的基礎,也是未來可以規模變現的金礦。

雲計算

使用Terraform玩轉SLS日誌審計自動化部署

背景 1. 什麼是Terraform Terraform是一種開源工具,用於安全高效地預覽,配置和管理雲基礎架構和資源。Terraform的命令行接口(CLI)提供一種簡單機制,用於將配置文件部署到阿里雲或其他任意支持的雲上,並對其進行版本控制。 ​ 阿里雲作為國內第一家與 Terraform 集成的雲廠商,terraform-provider-alicloud目前已經提供了超過 163 個 Resource 和 113 個 Data Source,覆蓋計算,存儲,網絡,負載均衡,CDN,容器服務,中間件,訪問控制,數據庫等超過35款產品,已經滿足了大量大客戶的自動化上雲需求。 2. Terraform的優勢 將基礎結構部署到多個雲 Terraform適用於多雲方案,將類似的基礎結構部署到阿里雲、其他雲提供商或者本地數據中心。開發人員能夠使用相同的工具和相似的配置文件同時管理不同雲提供商的資源。 ​ 自動化管理基礎結構 Terraform能夠創建配置文件的模板,以可重複、可預測的方式定義、預配和配置ECS資源,減少因人為因素導致的部署和管理錯誤。能夠多次部署同一模板,創建相同的開發、測試和生產環境。 ​ 基礎架構即代碼(Infrastructure as Code) 可以用代碼來管理維護資源。允許保存基礎設施狀態,從而使您能夠跟蹤對系統(基礎設施即代碼)中不同組件所做的更改,並與其他人共享這些配置 。 ​ 降低開發成本 您通過按需創建開發和部署環境來降低成本。並且,您可以在系統更改之前進行評估。 安裝和配置Terraform 在cloudshell中使用Terraform 在本地安裝和配置Terraform

雲計算

內附報告 | 在互聯網新週期下乘風破浪,一定要抓住這七個“燃點”

報告指出,互聯網的本質是一切以用戶為中心,也是因為一切以用戶為中心,中國的互聯網變得異常複雜。更為重要的是,當中國互聯網進入2020年,“歷史性事件”和每個個體的“選擇”讓持續變化的複雜經濟系統變得更加不可預測。關注“阿雲研究”,對話框回覆“互聯網上雲”,獲取《雲上加速,迎接互聯網新週期》報告全文。 技術即為新的紅利入口 隨著資本紅利、人口紅利和模式紅利的消失,技術紅利被寄予希望,在非資源出口型國家,經濟增長的主要動力是技術進步,技術領先者享有技術紅利,一代人甚至幾代人都能連續享用。 “流量瓶頸”如何突破 從“流量互聯”到“價值互聯”的互聯網從表面上來看,流量貫穿始終,也給人以“流量互聯”的印象,但現在中國互聯網已經從“要麼掙錢、要麼掙流量”的粗放式發展階段,進入 “要掙錢、更要留住核心用戶” 的精細化運營階段,“流量互聯”已經明確要轉向“價值互聯”。 新移動互聯網浪潮即將爆發 車聯網被廣泛認為是物聯網在垂直行業的首要切入領域,5G時代將促進其蓬勃發展,產業鏈主體將更加豐富,5G的超低時延帶來的車路協同以及車車協同場景成為可能,未來的自動駕駛將不再限制在單車智能領域,將延伸到車車、車路之間的智能協同。 互聯網“硬件化”創造新入口 “互聯網硬件化”與“硬件互聯網化”有著本質的區別。在前者的商業模式中,硬件本身的功能和銷售價值都被較大程度上壓縮,消費者購買的並非硬件本身的功能,而是將其作為“入口”或“入場券”,獲得硬件後端的互聯網服務,並且這一服務已經遠遠超過硬件供應商甚至是平臺供應方所直接提供的服務,而是一個龐大的互聯網在線服務生態。 個性化定製“Z一代”的消費需求 “不確定性”催生技術驅動的微粒化運營,和原來的精細化運營的概念不同,微粒化運營首先基於對物理世界不斷地高度解析,內容以及內容的生產、營銷,都被微粒化了,因此, 微粒化運營的關鍵是使用新技術,而不是人工 ,隨著使用新技術對人類及行為不斷地高度解析,我們得到的是微粒化的人,或者說,是微粒化的人的需求、人的行為、人的喜好、人的習慣,而不是簡簡單單地把人作為一個整體歸集起來。 在線短視頻成為每一家互聯網企業的新壓力 在疫情期間,在線(短)視頻成為每一家互聯網企業的新壓力,視頻行業的技術迭代則更進一步加重了這一壓力,面臨了超高清、8K 視頻以及網絡環境的挑戰,傳統數據中心和網絡架構(包括傳統的 CDN 架構)也無法支撐。 互聯網企業向商業長期主義轉型 互聯網企業向商業長期主義轉型並非簡單的設定一個長期的經營目標,或是將業務、產品或服務聚焦在某一個長期項目上,它主要包括組織具備使命感和價值觀、商業長期主義需要改變原有的基礎設施投資模式、數據洞察力和數據決策力三個重要的組成部分。 關注“阿雲研究”,對話框回覆“互聯網上雲”,獲取《雲上加速,迎接互聯網新週期》報告全文。

雲計算

微信也能看賬單——SLS成本管家新增微信訂閱渠道

背景 阿里雲資源具備隨時可用、規模彈性、規格豐富的特徵,保證用戶在任意時刻都有足夠的資源使用。在用戶使用雲資源的同時,成本是個不容忽視的問題。阿里雲的計費方式有按量付費和包年包月。對於按量付費方式,手工對賬單進行統計分析不僅耗費時間和精力,準確性也沒辦法保證。阿里雲日誌服務的成本管家功能很好的解決了這個問題,將用戶從低效的賬單獲取和整理工作中解放出來,提高賬單分析效率。 SLS成本管家 阿里雲日誌服務提供的成本管家功能,一鍵開通後,會自動將賬單從賬單中心導入到日誌庫中。賬單是一種時間序列的數據,而日誌服務的主要功能就是對時間序列數據的採集、存儲和分析,實現與賬單數據的無縫對接,減少了賬單分析人員80%的人力投入。成本管家的特點如下: 近實時採集:賬單產生後一小時內上傳到日誌服務中。 定製報表:提供常見的賬單分析場景,支持自動發送報告。 交互式分析:使用SQL分析賬單數據,分析結果秒級可見。支持將分析規則保存到自定義報表中。 可視化:以圖表的形式展示分析結果,更加直觀。 機器學習算法:智能預測未來費用趨勢,挖掘異常賬單。 自定義告警:支持自定義告警功能,實時瞭解賬單詳情。 免費:賬單分析涉及的數據存儲和分析功能均不收費。 成本管家賬單報表 成本管家提供多種內置的賬單報表,為用戶可視化地展示了不同緯度的賬單分析,該報表擁有和日誌服務儀表盤相同的功能,詳細介紹請參見儀表盤簡介。 目前提供的內置賬單報表包括: 賬單總覽 展示當月及過去三個月的費用組成,並根據當前費用預測未來的費用趨勢,幫助用戶合理的規劃未來預算。 賬單明細 展示每個產品的賬單明細和趨勢,以及異常的賬單信息。 賬單優化 根據產品賬單詳情,對按量付費產品自動推出包年包月的節省額度。

雲計算

“東華水泥”裝上工業大腦,水泥結緣大數據!

山東東華水泥有限公司成立於2004年8月,是世界500強企業山東能源淄礦集團和中國聯合水泥集團投資建設的新型環保現代化大型水泥生產企業,年產熟料、水泥千萬噸。2018年3月,山能淄礦集團決定,在水泥行業裡率先開發建設首家“工業大腦”項目,推動企業從傳統建材業向大數據服務業轉型。2018年7月10日,東華水泥和阿里雲計算簽訂了合作協議。 很多人不相信這個“工業大腦”能比得上人的大腦,工藝工程師們各抒己見。通過大數據的計算,分析了影響原料磨電耗和臺時產量相關的幾個因素,但在循環風門上調節產生爭議,“這個可動不得!這個不需要動!動得太頻繁執行器損壞怎麼辦!”工藝工程們發出了質疑。 但是,只有放開步子走出去才能知道行不行,“在能保證安全的情況下,能試就一定要試試,我們給大數據一個機會!”東華人最終選擇了嘗試。2018年東華水泥開始和阿里雲合作,給水泥裝上“工業大腦”。 每一分能耗成本都是收益 雖說水泥並非淘汰類行業,但現在已經被貼上了高耗能、限制類、去產能的標籤,自動化控制方面遠遠落後於國外水平。東華水泥率先提出了一個大膽的設想:能否通過大數據,建設“水泥工業大腦”解決熟料生產全過程降能耗和提高產品質量,甚至預測設備故障等問題。   此前,阿里雲已經在一些製造行業做了創新嘗試,推出了ET工業大腦,它主要解決製造業的核心問題,通過智能算法和強大的計算能力,分析工業生產中收集的數據,優化機器的產出。 阿里雲的算法工程師們和東華水泥的工藝工程師們一起交流,反覆試驗,在一次又一次的磨合中,雙方達成了共識:大數據的應用,要把原來師傅在傳幫帶中教授的東西,更高效地通過機器傳遞出來,讓機器”學習”哪些數據是有用的,然後自動優化,讓生產環節更精準、快速、省力。 讓機器幫助人類實現最優決策 在水泥行業,阿里雲通過持續匯聚整合水泥行業的技術、經驗與數據的能力,通過輸出“供、研、產、銷”全鏈路智能算法服務,激活水泥企業的數據價值,構建獨特競爭優勢,主要通過2個方面實現: 首先,將水泥生產運營過程中,所產生的原材料數據、生產過程數據、品質數據、銷售數據等進行整合,消除信息孤島,把數據變成資產;其次,在不增加改變現有設備工藝的前提下,通過雲計算、大數據和人工智能技術來改善煤耗和電耗指標,計算最優控制參數,預期煤耗電耗指標至少降低2%。 最終,阿里雲通過助力水泥企業建設“工業大腦”,打通設備、產線、生產和運營系統,通過對數據智能分析建立模型提高生產率降低能源消耗,減少汙染物排放,形成智能工廠。   具體到項目執行層面,整個過程被分為以下四步: 數據採集與清洗: 結合工藝專家經驗,水泥工業大腦首先將智能生產系統、智能控制系統、智能設備管理系統、智慧能源管理系統等異構系統中的海量數據進行提取,包括質檢數據、DCS數據、環境數據等。同時對數據進行清洗,剔除噪音數據或無效數據,補充不完整數據或缺失數據,為下一步模型訓練提供高質量的數據資產。 模型搭建: 採用先進的機器學習算法、神經網絡算法,並結合先進過程控制模型,對所收集到的多維度數據進行建模,包括輸入數據、輸出數據、狀態與環境數據,真實還原水泥產線上的實際生產過程。並通過對大數據模型的參數進行調節,以實現從輸入參數到輸出參數的非線性映射關係。 機器學習: 通過採集6個月的歷史數據,分析多達98個變量之間的耦合關係,基於深度學習技術,構建系統各參數間的關係模型,並對模型的輸出進行預測,使風、煤、料的最佳組合範圍可量化、可視化,達到“同等產量熟料,質量最好;同等質量情況下,產量最高;或是同質同產情況下,生產能耗最低”。

Scroll to Top