物模型技術對於物聯網企業來說是一項非常重要的技術，因為要實現萬物互聯，必須要有物模型體系沉澱，才能夠讓各種硬件產品實現真正的智能化連接。對於阿里雲AIoT來說，物模型技術早已完成了多年的沉澱，目前，阿里雲AIoT物模型技術已成為行業的引領者。   對於行業來說，阿里雲AIoT的物模型技術主要具備了兩大核心優勢——生態優勢和平臺優勢，依託阿里巴巴強大的生態體系、成上千萬的各類合作伙伴和商品，為阿里帶來了獨有的模型沉澱，而阿里作為一個平臺型企業，又不同於垂直領域的企業，能開放的支撐各行各業的客戶，這兩個優勢，堪稱阿里雲AIoT 物模型技術的殺手鐗。目前，阿里雲AIoT物模型支撐設備規模已超億級。 現在，阿里雲AIoT物模型技術專家熊益群，為大家帶來了一份物模型技術全攻略，解析物模型技術為什麼這麼重要？ 物模型技術需要了解的三個問題： 1、為什麼需要物模型？ 海量的物聯網數據、設備、業務，異構的設備和數據描述方式，難以理解，互通困難，首先，產業鏈內部自成體系，模組、芯片、平臺、方案商角色多樣，跨角色協作時，數據標準各異，協作困難；其次，採集數據解析困難，難以結構化，數據利用效率低，數據價值難挖掘；最後，隨著行業應用和設備量增長，新增應用需要針對不同的設備協議重複開發，難以規模化。 2、物模型技術能解決行業的什麼問題？目前物聯網行業普遍存在著設備孤島、軟硬開發強耦合的問題，需要構建模型統一描述語言、面向物理實體的統一建模，物模型作為物的抽象層屏蔽了底層終端差異，標準化了設備的能力表達和交互方式，極大降低了物聯網應用開發和快速複製的成本。 3、物模型可以最終帶來什麼價值？ 低門檻接入：提供設備建模和交互協議基礎能力。這是最基礎的價值，所有設備上雲都需要建模和交互協議。物模型和協議設計是否足夠專業，這其實是絕大多數中小企業的門檻，他們剛開始意識不到，隨意設計，隨著規模和業務變化弊端就會體現出來。 標準化：物模型作為物聯網的抽象層，類似操作系統屏蔽硬件、JVM屏蔽OS的差異性一樣，通過標準化設備的能力表達和交互方式，解決了物聯網嚴重碎片化情況下協議差異、軟硬開發耦合、全鏈路驗證流程長、設備孤島、數據孤島等問題。 生態化：軟、硬件一旦基於物模型標準化開發和交互，圍繞物聯網的多角色，包括ISV，SI，IHV等在設備開發、生產、運維、售賣、集成、運行等環節相互之間能夠解耦，提升了設備的流通性，促進生態化。 深度解析 物模型現在面臨什麼樣的技術挑戰？ 以一個燈泡為例 我們先來看一看一盞普通的智能燈會有哪些能力或特性，比如開關、色調、亮度、過溫告警、恢復出廠設置等能力，其中包含有傳感器採集的狀態、有危險告警、也有控制器可執行的指令。那麼不同行業場景設備複雜度、差異性都不一樣，簡單到消費類設備”燈”、複雜到工業類設備”鍋爐”都需要可表達，定義一套足夠抽象通用面向萬物的物模型還是非常有挑戰的，因此需要遵循一定的設計原則，比如簡單、普適、可擴展、模塊化、易用性。 延展開來說，物模型的技術挑戰具體有這幾項 物模型由於描述所有異構設備完整能力，而且在設備全生命週期都發揮著作用，因此物模型設計過程中存在以下需要解決的難題： 普適性：物模型的定義和設計能夠適應所有設備，需要可覆蓋工業、生活、農業、交通多個不同行業。因此在設計上需要找到設備最本質的共性、抽象出一套模型。 […]

每日精選內容 使用Terraform玩轉SLS日誌審計自動化部署 Terraform是一種開源工具，用於安全高效地預覽，配置和管理雲基礎架構和資源。阿里雲的terraform-provider-alicloud目前已經提供了超過 163 個 Resource 和 113 個 Data Source，覆蓋計算，存儲，網絡，負載均衡，CDN，容器服務，中間件，訪問控制，數據庫等超過35款產品。 本文主要介紹如何使用Terraform自動化部署阿里雲日誌服務下的日誌審計服務。>>深入瞭解快戳我 微信也能看賬單——SLS成本管家新增微信訂閱渠道 阿里雲用戶使用雲資源的同時，成本是個不容忽視的問題。阿里雲的計費方式有按量付費和包年包月。對於按量付費方式，手工對賬單進行統計分析不僅耗費時間和精力，準確性也沒辦法保證。 阿里雲日誌服務的成本管家功能很好的解決了這個問題，將用戶從低效的賬單獲取和整理工作中解放出來，提高賬單分析效率。>>深入瞭解快戳我 SLS數據加工——動態解析與分發日誌實戰 阿里雲日誌服務提供可託管、可擴展、高可用的數據加工服務。數據加工服務可用於數據的規整、富化、流轉、脫敏和過濾。本文為讀者帶來了數據加工動態解析與分發的最佳實踐。>>深入瞭解快戳我 基於ECS實例RAM角色的SLS與Splunk集成方案 阿里雲日誌服務（SLS）通過提供一個Splunk插件（Add-on）實現SLS與Splunk的日誌對接, 以便確保阿里雲上的所有法規、審計、與其他相關日誌能夠導入到客戶的安全運維中心（SOC）中。本文主要介紹如何在該Splunk

作者：閒魚技術——樹城 背景 閒魚作為國內最大的二手交易電商平臺，有著驗貨寶/省心賣/優品等有著閒魚特色的交易鏈路，而作為交易鏈路的閉環，一旦形成有效訂單，就會有對應的訂單詳情頁，訂單詳情頁往往承載著複雜的交易狀態的變化。以驗貨寶為例， 驗貨寶是閒魚推出針對二手商品存在的質量/真偽的不確定性，提出的先驗貨後交易模式。作為交易訂單節點： 就有買家拍下->付款->賣家發貨->鑑定方收貨->鑑定為真->發貨給買家->買家收貨 等多個交易節點,一個訂單詳情頁在不同流轉狀態下可能存在數十種細分狀態，每種狀態之間存在著有著文案/操作按鈕/進度條等視覺交互上的差別, 如下圖所示： 存在問題 訂單詳情頁的不同的狀態視圖流轉，依賴於接口返回的字段的改變，存在和服務端的溝通成本；前端的直接mock的方式，像集團內的山海關,dummy更多是通用的mock數據映射，本質還是要手動修改mock數據的status值；在真機調試時，依賴的Charles的pc代理，單次修改成本高；除了開發同學外，測試同學測試迴歸的成本高. UI同學在視覺走查中難以覆蓋全部，容易帶問題到線上，引起線上輿情。總結來說，面對此類訂單的訂單詳情頁的前端開發測試，我們現有的mock存在著以下問題： 開發聯調週期長，自測難以充分； 測試/視覺迴歸成本高； 線上樣式問題定位還原週期長； 需求分析 針對以上的問題，能否讓訂單狀態頁面的mock方式更為易用，我們通過真實的開發體驗，提出了針對此類頁面的mock方式要達到好用，應該具備以下特點： 調試方便 mock方式應該在本地pc端調試和真機調試都能夠方便使用； 業務語義 不同狀態的切換交互應該帶有業務語義，能夠方便開發和測試快速找到想要的訂單狀態，而不只是簡單的修改接口的某個字段值； 代碼解耦

隨著大量應用湧入市場加入“App內卷之戰”，終端用戶們對應用質量的要求是愈發地挑剔。端上研發同學光關注崩潰類bug解決已無法應對用戶對App體驗的訴求，很多用戶也會反饋與性能有關的問題，比如App啟動時間太長、頁面卡死、閃退等。 隨時線上用戶訴求的提高，很多開發同學也從線下測試性能演變到更關注線上性能問題，以此保障用戶體驗。 友盟+應用性能監控平臺 U-APM從去年底免費上線後，得到行業眾多開發者的接入和支持。友盟+也非常重視開發者面對應能監測的各類問題，在近幾個月，基於原有穩定性功能優化的基礎上，U-APM又新增啟動分析、內存分析、卡頓分析三大性能模塊，全面助力開發者提升用戶體驗。 啟動分析 啟動場景是用戶使用App的第一道關卡，啟動慢、啟動閃退都會直接從源頭阻斷客戶使用，甚至會造成啟動不成功新客戶卸載的情況。很多技術團隊都會以啟動耗時作為重點性能監控指標。U-APM中啟動分析包含啟動趨勢、慢啟動分析和啟動崩潰分析三大功能模塊。 啟動分析支持通過預置採集和個性化自定義兩種方式定義啟動階段，可以分別查詢首次啟動、冷啟動、熱啟動的情況效果，並可以與設備、系統、版本、地域等維度做交叉篩選查詢。 用戶也可以分別對首次啟動、冷啟動和熱啟動設置慢啟動的業務定義。一般情況下，熱啟動的時間要遠低於冷啟動、首次啟動的時間。慢啟動分析可以分別監控三種情況下的慢啟動設備數量，以及設備系統分佈等信息，並且支持單一設備定點查詢啟動時序，精準定位問題。 啟動階段的崩潰應當是日常開發中首要需要解決的問題，避免用戶短時間遇到崩潰無法繼續使用。啟動崩潰分析中篩選出自定義的啟動時限下的崩潰列表，更便於定位啟動問題。 內存分析 U-APM的內存分析提供線上OOM異常的監控與分析，幫助開發者及時發現與定位線上OOM問題。同時，提供App運行階段內存佔用情況，為應用內存優化提供關鍵指標數據。 在Android異常中，並不是所有的OOM問題都是可以簡單查看錯誤摘要是否包含Out of Memory就可以判斷的。 此次內存分析OOM異常的模塊中，將內部沉澱使用多年的智能診斷技術對外透出。可以通過智能讀取錯誤堆棧進行匹配，挖掘到那些不是OOM但實際是由OOM引起的異常問題並加以聚類，OOM異常的判斷率直接提升20%～30%。iOS應用此次也新增了OOM異常的捕獲。 內存佔用模塊中展示了內存關鍵指標信息，並且配以設備情況分佈用作統計參考。還提供了渠道、版本、系統、設備型號的分佈情況。 卡頓分析 U-APM中通過主線程的響應時間，將有卡頓體驗的設備信息、卡頓日誌進行上報。免費提供了iOS全部採集以及Android 雙端卡頓採集，且如此大量的日誌數據不用按流量付費。 除此之外，如果開發者覺得一條條看錯誤堆棧非常麻煩，可以使用U-APM利用聚合算法提供了卡頓模塊的功能，約等於1分鐘看到200條堆棧的內容，有效節省開發者大量挖掘問題的時間。卡頓模塊支持正序、倒序兩種聚合形式：

往期精選合集包（戳我前往） 囊括了：AI、架構師、 Serverless 、AIoT、DevOps、容器化、機器學習、雲計算、K8s、微服務、雲原生、視覺AI、大數據、小程序、物聯網等各種主題直播合集。 如何通過 Serverless 提高 Java 微服務治理效率？ >>戳我去觀看 直播簡介 Serverless 應用引擎實現了 Serverless 架構和微服務架構的完美結合，本次主要介紹 SAE 在 Java 微服務治理方面的能力，並通過企業場景案例，介紹通過 SAE

1.1.           產品亮點 1)    阿里雲支持：使得用戶在阿里雲上使用CDP，獲取CDP的功能和性能，同時實現最大的選擇和靈活性。 2)    多功能分析：解決最苛刻的業務用例 –跨數據分析生命週期集成大數據管理和分析，為大規模地應用實時流處理、數據倉庫、數據科學和迭代機器學習提供跨數據共享，可以隨時隨地的訪問數據。 3)    安全性和治理：通過通用的安全模型來控制任何雲（公有云、私有云和混合雲）上的數據，簡化了各種企業數據的數據隱私和合規性，在所有環境中提供安全性、合規性、數據遷移和元數據管理。 4)    開放：促進開源社區的創新、提供開放存儲和計算架構的選擇性以及促進廣泛的生態系統的信心和靈活性，提供開放集成，可擴展架構以及對多個數據存儲和計算架構開放。  1.2.           產品說明 CDP平臺不但提供企業級的安全性和治理能力，還同時提供多種分析功能用於數據分析，具備在內部和外部部署相同功能的能力，支持主要的公有云和私有云環境、使得用戶獲得彈性的雲體驗，並不再存在數據孤島和單一供應商鎖定的威脅。 CDP不但可以靈活地運行各種企業工作負載（例如：實時攝取和分析、數據工程、交互式SQL、企業搜索、高級分析和機器學習），還滿足企業的要求：與企業現有的系統進行集成，同時提供強大的安全性、數據治理、數據保護和管理能力。CDP是企業數據管理的新興中心。 CDP是Cloudera公司的最新產品，該新產品結合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的優點，並在技術堆棧中增加了新功能和對已有技術提供了增強功能。這種統一的發行是一個可擴展且可自定義的平臺，您可以在其中安全地運行多種類型的工作負載。

可觀測性（ Observability ）主要是指了解程序內部運行情況的能力。我們不希望應用發佈上線後，對應用的內部一無所知。對於我們來說，整個應用就是一個黑盒子。即便應用出現錯誤或者發生崩潰，我們也可以得到崩潰前的所有相關數據，這也是飛機黑匣子（ Flight Recorder ）設計的出發點，如 圖1 所示。 圖1 飛行記錄儀之日誌、度量和追蹤 目前，關於可觀測性的架構設計主要涉及三個部分：日誌（logging）、度量（Metrics）和追蹤（Tracing）。下面就從這三個方面詳細闡述可觀測性架構的設計。 日誌 要想了解系統的運行情況，最簡單的方法就是查看日誌。為此，我們創造了非常多的日誌框架、工具和系統，如日誌文件打印、日誌文件採集工具、日誌分析系統等。但是，在實際運維中，我們不能將所有信息事無鉅細地全部記錄下來，這樣做反而沒有意義。我們需要為日誌設置不同的級別，如 debug、error、info 等，在開發、測試、生產等不同環境下開啟不同的日誌級別，並保證在系統運行時能夠實時調控這些日誌級別。 通常，我們不用考慮日誌處理的問題，畢竟日誌處理技術經過長時間的發展，目前已經非常成熟，幾乎所有的編程語言都有對應的日誌框架。目前，雲廠商基本上都會提供日誌服務，對接非常簡單，或者自行安裝成熟的日誌處理系統，如 ElasticStack 等。 度量 度量不僅包括 CPU

虎撲作為國內最大的體育互聯網平臺，為用戶提供體育新聞、互動社區、電子商務、賽事活動等服務，擁有2.3億的日均訪問量，1.8億的全平臺月均活躍用戶。 隨著業務發展壯大，虎撲經常要面臨諸如歐洲盃、美洲盃、NBA季後賽等熱點賽事流量突增的壓力。尤其今年因為疫情，很多人選擇在線上觀看直播，進一步導致傳統IT基礎設施面臨嚴峻的流量壓力挑戰。 在今年歐洲盃期間，虎撲迎來了超高訪問峰值，併發訪問量是平時的10倍多。受益於阿里雲RDS數據庫的線程池管理能力，在大量併發訪問下，數據庫依然可以穩定運行。基於規則的自動彈性能力，幫助虎撲業務實現了數據庫的自動彈性伸縮，降低運維投入的同時，最大程度降低了資源成本。 虎撲CEO殷學斌表示：“阿里雲RDS 數據庫提供企業級的穩定性和可靠性，搭配智能化運維管理工具，極大降低了運維人力投入，使我們可以專注於業務平臺建設。” 阿里雲數據庫RDS產品負責人姜皓楠表示：“過去十餘年，阿里雲RDS數據庫一直為阿里最複雜、要求最高的應用場景提供堅定支持，這為我們提供了豐富的練兵場，目前RDS企業級自治能力可以讓客戶降低90%的運維成本。未來我們將持續創新，進一步幫助企業客戶解鎖數據價值。” 據瞭解，阿里雲RDS數據庫是國內規模最大、最穩定的雲數據庫，支持MySQL、PostgreSQL、MariaDB和SQL Server四款引擎。基於人工智能和機器學習技術，阿里雲RDS數據庫提供自動升級、自動調優等100%數據庫自動駕駛能力。作為阿里雲最受歡迎的產品之一，RDS數據庫為阿里多條業務線提供最堅實的支撐，歷經多年雙11高併發場景的歷練，還服務了互聯網、金融、電商、企業ERP、物流、酒店、高科技等各個行業的12萬客戶，有超過40萬實例。 相關閱讀： RDS MySQL 雲原生架構實踐 RDS PostgreSQL一鍵大版本升級技術解密 商業化十週年，阿里雲RDS推出企業級自治數據庫

作者：肖劍編輯：張楠來源：阿里雲研究公眾號 今年中央第一次把數據要素和勞動力、資本、土地、技術並列為第五大生產要素，加之疫情加速了零售商業的數字化轉型進程，傳統零售商超行業如何擺脫粗放經營的時代瓶頸？魯商集團攜手阿里雲，打造了區域型商業行業“新零售”未來轉型路徑的典型樣本。 2020年的新冠疫情對社會造成巨大沖擊，疫情之下，所有的行業都失去了運轉慣性。為了有效防控疫情，社區封閉、門店關停、交通管控，這對重點依靠線下消費場景的商超百貨造成了巨大的影響。 魯商集團是山東省最大的商業集團，2019年實現營業收入逾420億元，其業務主要包括零售及電子商務、文旅、健康、教育四大板塊。零售板塊旗下的銀座集團位列全國零售百強20位，零售板塊的百貨、超市、購物中心等業態在山東省內及北京、河北、河南等地擁有零售門店超過180家，便民超市近200家。不誇張地說，魯商集團是山東省內商業領域的標杆燈塔。 魯商集團在這場疫情之下也倍受壓力，與此同時內外部環境發生巨大改變，中央提出新基建和雙循環，這些都將進一步刺激內需、推動傳統行業全面轉型升級。而在山東，疫情也加速了零售商業的數字化轉型進程。魯商集團聯合阿里雲打造“新零售”轉型的典型樣本。 行業困境：行業傳統模式和粗放經營的時代瓶頸 隨著國內居民消費市場的不斷增長，國內商超百貨行業不斷擴張，但由於經營模式過於傳統和粗放，在後疫情時代行業面臨線下消費群體流失、庫存積壓、資金週轉、策略轉型等多重考驗。同時實體門店銷量銳減，客流人群因疫情影響仍未復甦，傳統模式因環境的巨大變化而顯得不適應，零售商業行業急需數字化轉型。 魯商集團領導班子市場意識敏銳，早在2019年就已經感受到數字化轉型的迫切性，同時針對零售商業等板塊過去傳統模式下的歷史遺留痛點進行了梳理。 1.信息孤島現象導致數據價值難以發掘 魯商集團由於各個板塊業務發展較好，每個板塊都有自己的信息系統及ERP系統，雖然各個板塊信息化建設程度高低不同。但20多年發展沉澱的數據資產被分散在各個產業系統中不互通，導致魯商集團數據價值難以被充分發掘 2.ERP系統過於老舊導致經營分析報表需手工處理 由於歷史原因，魯商集團的ERP系統非常老舊，導致經營分析報表生成和經營分析數據的導出費時費力，以至於均需要手工介入處理。且數據維度難以變更，系統可擴展性不足。而在零售商業板塊，使用經營數據輔助決策需要實時化，管理層需要根據經營數據及時掌握商場和品牌的銷售情況，以便及時發現問題和調整問題，經營分析報表的低效在一定程度上影響了經營決策。 3.超市銷售及庫存補貨依靠人工經驗，影響資金佔用成本 魯商集團零售商業板塊之前針對超市業務嘗試過開發補貨系統和庫存系統，並且ERP系統中也有補貨子系統等功能，但由於準確率低以及使用體驗等問題，後期超市貨品銷售及庫存補貨等運營基本仍依靠人工經驗，魯商集團超市門店高達140多家，人工經驗導致庫存週轉率以及資金佔用率難以有效優化。 4.無法知曉門店消費者客流/動線及喜好，購物中心/百貨招商調商難 銀座百貨/購物中心門店眾多，但運營模式較傳統，管理者無法知曉每個門店的消費者客流、動線以及購物喜好，無法及時瞭解是否會員，基本沒有線上針對性營銷。此外購物中心/百貨的招商調商難題一直存在，供應側的優化因為缺乏數據無法和需求側的消費者喜好相關聯。 創新突破：以用戶為中心 攜手阿里依託數據中臺實現數智化運營 隨著新零售時代的到來，線上線下一體化，以用戶為中心、以數據為紐帶的數字化變革正在逐步改變各個行業和企業。阿里巴巴作為新零售的倡導者和實踐者，有著完整的體系化行業理解和相應的解決方案。 2019年魯商集團和阿里巴巴結盟戰略合作，分期實施集團數字化轉型。首先針對集團數據價值進行梳理，建設數據中臺。在不改變原有ERP系統的基礎上，形成新的數據引擎，支撐經營分析數據實時獲取和查詢，之前做一個經營分析報表手工處理至少要2個小時，現在通過數據中臺可以實時呈現，並且數據維度可以定製化組合，可擴展能力也更強。數據中臺上線之後，由於數據效率大幅提升，經營分析功能被集團大量使用，一期使用報表人員超過3000人，基本涵蓋酒店和零售產業各級管理人員。

1.    背景 客戶A是一家運行CDH 5.14.2的金融服務公司。他們擁有運行關鍵工作負載的開發、測試和生產集群，並希望將其集群升級到CDP私有云基礎版。客戶升級有幾個主要原因： 利用現有的硬件資源，避免通過添加新硬件來進行遷移的的昂貴資源、時間和成本。  使用CDP私有云基礎版中提供的新的流傳輸功能，對他們的體系結構進行現代化升級，以實時獲取數據，以便快速將數據提供給用戶。此外，客戶希望使用CDP私有云基礎版7.1.2附帶的新Hive功能。 客戶還希望利用CDP PvC Base中的新功能，例如用於動態策略的Apache Ranger，用於血緣的Apache Atlas，全面的Kafka流服務以及在舊CDH版本中不可用的Hive 3功能。 CDH到CDP的新功能 確定客戶A感興趣的領域 Hive3 Hive-on-Tez提供更好的ETL性能 ACID事務，ANSI 2016 SQL支持主要性能改進 查詢結果緩存 物化視圖