大數據

  在昨天正式結束的2021天貓618消費季，眾多品牌通過阿里雲數據中臺的系列解決方案，從精細化洞察會員需求並提供運營能力、戶外廣告智能投放及曝光迴流、GMV拆解及全鏈路策略指導等三大核心場景切入，實現具體業務問題解決和業績強勢增長。   據悉，目前阿里雲數據中臺已形成包括會員智能運營、全域天攻智投、GMV策略模擬等在內的近10套解決方案，圍繞“人”“貨”“場”三大零售行業要素，逐個擊破品牌業務難點，記者瞭解到，過去一年，悅詩風吟、Benefit、高露潔、三隻松鼠、九陽等多個海內外品牌已經嚐鮮應用，並獲得實效。   全域天攻智投：既要做到廣而告之，也要能洞察為誰所知   儘管短視頻平臺、圖文社交app在近年來發展迅猛，但不可否認的是，戶外廣告依舊能憑藉可融合多種展現形式，且給予一定場景式沉浸體驗，而備受品牌商青睞。   根據央視市場研究（CTR）在今年5月發佈的《CTR媒介智訊》數據顯示，2021年第一季度有約34%的廣告花費投放在電梯等戶外媒介，且投放榜單前20位的品牌，持續保持高增長和高佔比。   數據來源：CTR媒介智訊   然而，在過去的很長一段時間內，戶外廣告投放都還停留在“做曝光”單一層面， “相較於其他媒體，戶外廣告對於特定周邊市場的觸達可以更加集中且高頻次，同時因為視覺影響力大的特性，其對品牌心智的培養有一定作用，”高露潔市場部品牌總監胡懿表示，“但傳統戶外廣告的觸達率大多依賴預估及第三方調查訪問，相對來說，品牌對於實際觸達的情況知之較少。”   今年3月，高露潔首次運用阿里雲數據中臺專門面向戶外廣告投放場景的全域天攻智投解決方案（以下簡稱“全域天攻智投”），跑通“目標市場智能圈選-線下廣告精準投放-曝光數據有效迴流-沉澱數據中長期運營”的數智化全鏈路。   作為阿里雲數據中臺在零售行業率先盤活的解決方案之一，全域天攻智投能夠基於品牌既有市場數據（品牌維度/商品維度/門店維度），通過算法模型放大，計算可用於營銷場景的高潛市場，並以此為依據進行線下廣告位的智能選址，提升廣告投放效率。   […]

一、技術背景 阿里雲-人工智能實驗室致力於提供高精度的空間數字化解決方案，以及數字化內容在AR/VR的應用，目前已經不僅落地了雲上會展、全息店鋪、酒店服務機器人等業務，還在構建大規模室內外AR/VR地圖等方面持續探索。 以上業務和研究均由我們自主研發的硬件支持，我們的自研硬件配備激光雷達、相機、IMU等傳感器，融合多個傳感器的感知能力來提升三維重建算法的精度。為了在AR/VR應用中提供更高精度的地圖，各個傳感器需要在時間和空間上精確的標定，時間標定為了解決各傳感器數據時間不同步問題，空間標定指的是將各個傳感器數據註冊到一個統一的世界座標系。兼顧標定精度和量產可行性這兩方面因素，我們設計並實現了一套多傳感器快速標定方案。本文只介紹多傳感器系統的空間標定即外參標定的方案。 (a) 大規模場景移動掃描設備:揹包 (b) 移動服務機器人: 蟻人 (c) 定點式掃描設備: 萬花筒 圖1 我們自主研發的AR/VR硬件 二、問題定義 我們這裡選取揹包設備為例，介紹多傳感器標定的定義和多傳感器的座標系統。我們自研的揹包掃描設備的傳感器模塊由兩個激光雷達、四個相機、一個慣性導航傳感器(IMU)組成。每一個傳感器都是以自己為中心來感知世界的，也就是說每一個傳感器都會由一個屬於自己的座標系(局部座標系): IMU座標系為, 相機座標系為和激光雷達座標系. 有如此多的座標系是很複雜的，我們需要把這些傳感器的局部座標系統一起來，讓他們都隸屬於一個載體座標系, 這裡我們選取激光雷達為載體座標系。座標系統一之後，每一個傳感器都應該把他們對外界環境的感知測量數據轉換到載體座標系下, 傳感器之間的外參標定指的是各個傳感器座標系之間的變換矩陣。在三維世界中，這個外參變換矩陣包括一個3×3的旋轉矩陣和一個三維平移向量.

近日，一條能發光、會“說話”，極富人性化設計的智慧斑馬線亮相杭州未來科技城，據瞭解，智慧斑馬線是阿里雲AIoT攜手杭州未來科技城管委會以及交警部門聯合攻關的成果，通過物聯網技術及大數據應用，賦予傳統斑馬線人性化的暖心體驗，可雙向提醒來往車輛，提醒行人注意交通安全，增加路口交通安全率，智造交通安全生命線。 智慧斑馬線是未來科技城“智慧城市”子項目，該產品採用物聯網傳感技術，同時結合大數據分析應用，利用語音播報、閃爍道燈、高亮屏顯等方式，當允許行人通行時，智慧斑馬線監測指示杆就會亮起綠燈，並以語音提醒行人通行，同時行人停止線地燈帶變為綠燈，橫道線警示地燈帶白色波浪式閃爍，提升行人正常通過。反之，當禁止行人通行時，監測指示杆亮起紅燈，語音自動警示行人禁行，同時行人停止線地燈帶變為紅燈。如果行人闖紅燈，橫道線警示地燈帶立即“黃色閃爍”警示行人，並提醒過往車輛減速慢行。除此以外，智慧斑馬線後續還將能與路口紅綠燈聯動，通過感知設備感知等候區人流量以及等待時間，優化路口信號燈切換時間。 不僅如此，智慧斑馬線兩邊的智能攝像頭還能檢測沒有遵守交通規則的車輛和行人，並將記錄視頻信息存檔作為事後執法依據。下一步，未來科技城將基於這一功能，擴大斑馬線的應用範圍，在城市管理區域內9個點位設置新型智慧斑馬線，當多條斑馬線網聯後，後臺雲端可精確的分析斑馬線的人、車歷史通行時間、數量等規律，將為交管部門提供數字化的交通治理輔助決策建議。 未來科技城管委會城市發展局副局長王曉晟表示：“根據後臺檢測，這條斑馬線平均每天的人流量在12000人左右。同時，餘杭塘路作為一條交通主幹道，每天車流量較大，平均車速也較高。自智慧斑馬線上線以來，我們能夠明顯感受到行人闖紅燈率下降了，安全性有了顯著提高”。 阿里雲AIoT智慧斑馬線考慮了多方面的安全因素，為路口交通提供人性化服務，比如在夜間、陰雨天、霧霾天等視線受影響的時候，亮光的斑馬線能將交通信息傳遞的更加準確，“請勿闖紅燈、請勿闖紅燈”的聲光提醒以及行人停止線地燈帶能夠清晰提醒低頭族通過馬路時注意安全，同時語音提醒功能還將為過馬路的視力殘障人士提供安全保障。未來，阿里雲AIoT將用物聯網，帶來更加有溫度、有人情味智能化設備，在推動數字化變革的同時，也服務於生活的方方面面。

人體的8種感覺 我們都知道人體神經系統非常複雜，由各個末梢信號後經由脊髓、大腦中樞處理後獲得如下眾所周知的5種感覺： 視覺——眼睛、聽覺——耳朵、觸覺——皮膚、嗅覺——鼻、味覺——口 除此之外，人體其實還有另外3種重要的感覺，分別是： 內臟覺——內臟、本體覺——關節肌肉、前庭覺——前庭神經核 其中內臟覺獲取來內臟壁信號，產生內臟相關的感覺例如飢餓、飽腹、尿急等。本體覺獲取關節肌肉等信號，感知當前身體處於一個什麼樣的姿勢和運動狀態。前庭覺則通過各方信號，獲得平衡方向感，並過濾信號以便集中精神。 不用說，任何一個感覺出了問題，都會造成非常嚴重的後果。人們健康快樂的生活離不開這些神經系統的正常工作。 企業IT系統的感覺系統 企業IT系統同樣存在各種感覺——對計算、網絡、存儲、安全、管控等系統的監控運維。數字化信息化的今天，企業組織能否健康、穩定、持續的發展也離不開其IT系統的神經系統——監控運維繫統（更寬泛的說法叫可觀測性系統）的正常工作。 但不同於人類物種經過幾百萬年的統一演化為基本一致性，企業IT系統的告警監控系統（可觀測性系統），還存在非常大的多樣性，例如如下使用開源方式對容器化部署形態的IT系統的監控存在多種方案組成： 傳統告警系統大量碎片化、無體系的神經孤島，帶來了非常多的痛點，包括重複建設、監控智能差、告警風暴、觸發不人性化、無法閉環等。 SLS告警為企業IT系統提供智能神經中樞 作為新一代的雲原生可觀測平臺，SLS支持多種數據源的一體化接入、一站式的存儲、加工、分析、可視化、監控、投遞、三方對接，為企業IT系統的使用者（包括開發運維、監控人員、商務、安全運營人員等）提供了最快、最高效的觀測體驗。 作為SLS的一個子系統，SLS告警為IT系統重現構建了智能神經中樞。 目前已經大量被阿里雲平臺的企業用戶使用，每天從海量的數據中監控識別產生告警、管理處理並通知與響應，可證明的靈活適配與穩定可靠性。 使用SLS告警可以給企業IT系統的神經中樞提升易用彈性、可靠性以及功能靈活性，並降低成本、告警噪音以及減少損失。 下面從幾個側面瞭解一下SLS告警是如何為企業IT系統提供智能的神經中樞的。 接入三方告警——兼聽則明 類似於人體的多種感覺從多方獲取信號設置告警（例如聽到天氣預報說明天會下大雨，而出門帶好雨傘），SLS告警也支持從其他多種流行監控系統中直接接受告警，並進行智能處理與響應。支持的三方系統包括Promethues告警、Grafana告警、Zabbix告警等。 統一信號分析——智能告警監控

“‘天池·TEENTOP杯’AI少年挑戰賽”航班啟航，Python+數據科學雙賽道承載少年 AI 夢 6月11日，“‘天池·TEENTOP杯’AI少年挑戰賽”正式啟動。本次大賽由阿里雲天池主辦，TEENTOP大賽平臺、釘釘協辦，提供Python+數據科學雙賽道，並配套有免費的線上課程及編程平臺。 強強聯手，發現未來數據科學天才少年 在數字經濟時代，數據是生產資料，算力是生產力。人工智能是當前國際科技競爭的重要領域，AI算法正在改變基礎科學和各個行業領域的創新模式。加強人工智能基礎教育，發現及選拔優秀的青少年人才，儲備優質人才，是應對未來社會發展的必然選擇和要求。 本次大賽主辦方天池為阿里雲旗下的大數據競賽平臺。天池大賽作為國內數據算法類賽事第一品牌，面向社會開放海量脫敏數據集（阿里數據及第三方授權數據）和計算資源，吸引全球高水平人才參與打造優秀解決方案。2014年至今，天池已成功運作200餘場高規格數據類競賽，覆蓋全球98個國家和地區的65萬算法開發者。 本次大賽協辦方TEENTOP國際青少年編程大賽平臺是面向全球青少年的國際性編程類競賽平臺，通過發佈具有高社會價值和學術價值的挑戰任務，旨在全球範圍內尋找編程天才少年，培養時代所需的優秀人才。 “‘天池·TEENTOP杯’AI少年挑戰賽”通過強強聯手，為國內青少年提供數據科學競技平臺，旨在推動國內中小學的人工智能基礎教育，挖掘和展示中國未來科技人才的智慧和能力，支持和鼓勵更多優秀青少年加入數據科學的創新實踐隊伍。 為期半年，大賽玩法一覽 “‘天池·TEENTOP杯’AI少年挑戰賽”賽程為期半年，面向有Python基礎編程能力的在校中小學生，分為Python能力挑戰賽和數據科學選拔賽雙賽道，大賽詳情可點擊下方鏈接或者掃二維碼登錄官網查看：https://tianchi.aliyun.com/s/343757c9f78bcf78081d4a27ae6b2e02 獎金池+免費課，助力選手成長 大賽對於參賽選手、指導老師及學校均設置了賽事榮譽，參賽選手有機會獲得獎金、獎盃、以及榮譽證書，指導老師有機會獲得“優秀指導老師”榮譽證書，學校有機會獲得“先進組織單位”的榮譽證書。 除了賽事榮譽和獎學金以外，大賽組委會為選手及指導老師安排了免費的線上數據科學體系課程，包括Python、數據分析、數據科學、競賽技巧等，同時將在線下為廣大中小學教師安排師資培訓，提供以PAI-DSW為技術底座的AI實訓平臺作為在線編程平臺，讓選手和指導老師充分掌握數據科學核心知識點。 “‘天池·TEENTOP杯’AI少年挑戰賽”航班即將啟航，有夢想的AI少年請帶著這張“機票”登上航班，在賽事中齊聚一堂，強強對決。

簡介 Pandas提供了很多合併Series和Dataframe的強大的功能，通過這些功能可以方便的進行數據分析。本文將會詳細講解如何使用Pandas來合併Series和Dataframe。 使用concat concat是最常用的合併DF的方法，先看下concat的定義： pd.concat(objs, axis=0, join=’outer’, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True) 看一下我們經常會用到的幾個參數： objs是Series或者Series的序列或者映射。 axis指定連接的軸。 join : {‘inner’, ‘outer’},

金融市場L1/L2的報價和交易數據是量化交易研究非常重要的數據，隨著數字業務快速演進，具有時序特徵的交易數據激增，對底層數據庫和量化分析系統提出了更高的要求。傳統的關係數據庫支撐這樣的數據量級，即便分庫分表，查詢性能也遠遠無法達到要求。常用列存NoSQL數據庫可以解決這個數據量級的存儲，但是這類通用的存儲引擎缺乏對時序數據的友好支持，在查詢和計算方面都存在嚴重的不足，且無法支持對量化金融場景實時業務計算、流批一體分析、多源數據融合分析。 阿里雲原生多模數據庫Lindorm聯合浙江智臾DolphinDB發佈金融高頻交易數據量化分析與處理方案，通過雲原生方式整合DolphinDB實時高效的數據處理能力和Lindorm多模海量數據融合存儲分析能力，集成了功能強大的編程語言和高容量高速度的流數據分析系統，為金融場景海量時序數據的量化分析計算提供一站式解決方案。方案操作簡單，可擴展性強，具有良好的容錯能力及優異的多用戶併發訪問能力。 ➣方案優勢能力 數據庫存儲 高吞吐低延遲的列式內存引擎。 列式混合引擎（基於內存和磁盤）為存儲海量數據的數據倉庫提供了優越性能。 靈活的分區方案：支持值分區、範圍分區、列表分區、哈希分區和組合分區。 支持單表百萬級別的分區數，大大縮減對海量數據的檢索響應時間。 庫內分析：可在數據庫中進行復雜的編程和運算，避免數據遷移的耗時。 提供多種SQL功能的擴展，包括非同時連接、窗口連接、透視表、複合列等。 支持同一個分區數據庫內多表快速聯結。 數據壓縮。 支持多用戶併發訪問。每個用戶以給定的權限在獨立的會話中工作。 元數據高可用：多個控制節點使用Raft協議實現強一致性。 分區數據高可用：一個數據庫可以包含上百萬個分區，分區的多副本之間使用改良的二階段提交協議實現分區副本的強一致性。 運維高可用：在線增加服務器節點，在線平衡節點間數據，在線為分區數據表增加字段。 數據庫的增量備份機制：當分區副本數為N的時候，在N-1個節點宕機的情況下，保證系統仍可以持續寫入和讀取。 使用內嵌的分佈式文件系統自動管理分區數據及其副本，為分佈式計算提供負載均衡和容錯能力。 數據庫內數據分析 編程語言功能強大且表達能力豐富。支持命令式編程、函數式編程、向量編程、SQL編程和RPC（遠程函數調用）編程。

前言 在配置告警的過程中，常常需要了解告警的上下文，告警來源，告警嚴重度等，這些都可以叫做告警的屬性。可以對其進行告警的管理，SLS新版告警包括監控和告警管理部分，其中監控部分主要是用來產生告警，既可以使用自定義告警規則來產生告警，也允許用戶使用外部監控系統（如Zabbix, Promethus，Grafana）來產生告警，對於各類的告警，SLS新版告警系統將這些告警的屬性進行了統一和規範，基於這個規範就可以藉助SLS新版告警的管理系統，來對告警進行統一的降噪處理，告警升級，分派通知等功能。 告警屬性介紹 說到告警，人們通常會關心告警來源，嚴重度怎麼樣，告警的一些簡單描述信息，通過這些信息來判斷需要進行哪些操作，在SLS新版告警中，對告警屬性指定了統一的規範，在告警管理的過程中會使用這些標準的告警屬性來進行降噪抑制通知等處理。 SLS新版告警的屬性根據主要包含以下幾部分內容，接下來本文將對告警屬性進行簡單的描述。 監控規則 告警信息 告警規則策略配置信息 開放告警配置 查詢統計結果 監控規則 阿里雲賬號ID：關聯的阿里雲主賬號ID。告警監控規則所在的阿里雲賬號ID或開放告警設置的阿里雲賬號ID。 告警類型：支持如下告警類型 告警監控規則：表示監控告警規則觸發的告警。 開放告警：表示通過開放源接入的告警。 所屬區域：指監控規則所在的項目的區域 所屬項目：SLS新版告警監控規則是在某個項目下創建，這裡指規則所在的項目 規則ID：在每個項目下，監控規則都有唯一的ID，作為告警規則的唯一標識 規則名：監控規則的名字，可由用戶自定義

SLS舊版本告警概述 日誌服務支持為查詢或分析結果設置告警。設置告警後，日誌服務定期檢查查詢或分析結果，當檢查結果滿足預設條件時發送告警通知，實現實時的服務狀態監控。 在舊版本的告警中，告警規則以及通知的配置都很簡單直觀，但是也存在著一些痛點，主要如下： 通知配置無法複用。例如手機號、郵箱、Webhook或者釘釘機器人的地址、通知內容等信息。假如多個告警需要發給相同的人，發送相同的通知內容，就需要將用戶聯繫方式以及通知內容配置多次，帶來了很多額外的配置負擔。 通知功能相對較弱，不支持動態的通知策略。例如： 多人值班 根據是否工作時間選擇不同的通知渠道或者通知給不同的人 根據告警本身屬性（例如嚴重度等）通知到不同的人 容易產生告警風暴。例如某個服務接口掛掉，那麼所有依賴該服務的其它服務都可能報錯觸發告警，此時就會產生大量的通知，但是無法進行聚合和過濾。 缺少一些更高級、更靈活的編排功能。 等等… SLS新版本告警概述 為了解決上述種種存在的痛點，我們對SLS的告警功能進行了升級，提供了更加強大的功能。可以完美解決以上的一些痛點。例如： 高級、靈活的編排機制（告警策略） 告警路由合併：避免告警風暴 告警抑制：處理告警之間的互相影響 告警靜默：預期內告警可以不發通知 通知基礎資源管理 用戶管理：手機號、郵箱的複用 用戶組管理：管理一組用戶

前言 本文翻譯自大數據技術公司 Databricks 針對數據湖 Delta Lake 系列技術文章。眾所周知，Databricks 主導著開源大數據社區 Apache Spark、Delta Lake 以及 ML Flow 等眾多熱門技術，而 Delta Lake 作為數據湖核心存儲引擎方案給企業帶來諸多的優勢。 此外，阿里雲和 Apache