大數據

大數據

HaaS訓練營案例:溫溼度上雲

轉自HaaS技術社區 “HaaS雲端一體物聯網開發訓練營”的活動受到了廣泛開發者的歡迎,原定500人的報名人數,在剛開放報名的前幾天就已全部搶完,後來連續增加了4次報名人數,最終所有的報名名額也一搶而空了。報名的開發者中有學生、上班族、物聯網愛好者、還有大學教授。 訓練營中第一個大的實踐案例就是將HaaS EDU K1的溫溼度數據上雲。具體見下圖,HaaS EDU K1板上自帶了一款溫溼度的傳感器,案例中會先將溫溼度的數據採集了以後顯示在HaaS EDU K1的OLED顯示屏上,然後在將這些數據上傳到物聯網平臺,這樣就可以通過後臺查看的溫溼度的數據。 本文將介紹“溫溼度上雲”案例的實現步驟。 1、燒錄固件 HaaS EDU K1的Python輕應用固件有兩種方法可以獲得:基於源碼編譯燒錄和基於官方固件直接燒錄。如果沒有特殊需求,建議開發者基於官方固件快速搭建 Python 開發環境。如果需要源碼編譯燒錄後面也會有文章來具體講解。 基於官方固件燒錄,請參考文章:HaaS EDU K1 快速搭建Python開發環境 […]

大數據

新一代藍牙5.3到底有哪些新東西

來源 | HaaS技術社區 1 概述 2021年7月,藍牙官方組織SIG釋放了代碼Syndney的5.3版本藍牙核心協議文檔,此版本仍在第5個大版本中,屬於小功能升級,那這個版本帶來了哪些功能升級呢? 1.1 AdvDataInfo in Periodic Advertising 同步廣播是藍牙5.0增加的功能,藍牙5.0開始對藍牙廣播功能有了較大的升級,增加了可選的廣播信道以及可選的廣播類型,單個廣播內容長度也由原本31個字節增加到255個字節。 藍牙5.3中,在Sync廣播類型中,增加了可選的AdvDataInfo(ADI)描述。 下圖是5.3版本中,SYNC_IND廣播支持了可選的ADI描述 而在5.2的版本中,SYNC_IND廣播並不支持ADI。 從修改點看,這是一個小修改,而且目前同步廣播並沒有較多的應用場景,SIG修改此處,不排除後期有應用會使用此功能。 1.2 Host to Controller

大數據

【直播發布】Quick BI V4.0重磅推出即席分析&模板市場,新版數據集交互體驗全面提升

Quick BI升級到新V4.0版本,重磅推出即席分析&模板市場,新版數據集交互體驗全面提升:立即觀看詳細直播講解:https://yqh.aliyun.com/live/detail/262081.儀表板能力持續提升全新推出模版市場提供海量行業、功能級模版,一鍵應用降低分析配置門檻;2.新增即席分析模塊重磅推出即席分析,定位為千萬級別規模數量級的0門檻數據探查及分析;3.移動端應用升級支持無縫對接企業微信,提升移動端交互體驗,類目分類可見範圍靈活配置,實現千人千面的移動端看數體驗;4.數據建模配置全面提升數據集交互體驗全面提升,拖拽式所見即所得模式讓您的數據建模體驗如絲般順滑;5.權限管控安全升級全面升級行列權限,數據行列權限配置精細化,並靈活適配各種權限場景,讓數據管控更安全。立即觀看詳細直播講解:https://yqh.aliyun.com/live/detail/26208

大數據

阿里雲 DataWorks數據集成 的開源版本DataX

DataX DataX 是阿里雲 DataWorks數據集成 的開源版本,在阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺。DataX 實現了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各種異構數據源之間高效的數據同步功能。 DataX 商業版本 阿里雲DataWorks數據集成是DataX團隊在阿里雲上的商業化產品,致力於提供複雜網絡環境下、豐富的異構數據源之間高速穩定的數據移動能力,以及繁雜業務背景下的數據同步解決方案。目前已經支持雲上近3000家客戶,單日同步數據超過3萬億條。DataWorks數據集成目前支持離線50+種數據源,可以進行整庫遷移、批量上雲、增量同步、分庫分表等各類同步解決方案。2020年更新實時同步能力,2020年更新實時同步能力,支持10+種數據源的讀寫任意組合。提供MySQL,Oracle等多種數據源到阿里雲MaxCompute,Hologres等大數據引擎的一鍵全增量同步解決方案。 商業版本參見: https://www.aliyun.com/product/bigdata/ide Features DataX本身作為數據同步框架,將不同數據源的同步抽象為從源頭數據源讀取數據的Reader插件,以及向目標端寫入數據的Writer插件,理論上DataX框架可以支持任意數據源類型的數據同步工作。同時DataX插件體系作為一套生態系統, 每接入一套新數據源該新加入的數據源即可實現和現有的數據源互通。 DataX詳細介紹 請參考:DataX-Introduction Quick Start

大數據

AliOS Things 3.3.0 Wi-Fi連網的那些事

1、AliOS Things Wi-Fi 聯網背景 接入Wi-Fi網絡,是大部分IoT設備聯網的第一步。 接入Wi-Fi一般需要經歷配網和連網兩個階段。 1.1、Netmgr介紹 本文介紹的Netmgr模塊是將Wi-Fi驅動的配網和連網能力抽象提取出來,方便IoT設備快速入網連雲。 Wi-Fi設備需要連接到Wi-Fi熱點(Wi-Fi AP)之後才能與其它設備進行基於IP的通信, 我們將Wi-Fi設備獲取到Wi-Fi熱點的SSID/密碼的步驟稱為Wi-Fi配網。對於手機/電腦/平板而言, 用戶可以通過鍵盤或者觸摸屏輸入Wi-Fi熱點的SSID/密碼。但是對於沒有鍵盤, 沒有觸摸屏的IoT設備而言, 如何獲取Wi-Fi熱點的SSID/密碼是實現設備網絡管理的第一個關鍵步驟。 1.2、配網 簡要介紹下如下的兩種配網方式: 1、零配:不需要用戶輸入熱點信息的配網方案, 它是讓一個已連接到上網熱點的設備將熱點的SSID/密碼發送給待配網的設備。 2、一鍵配網:手機APP把相應信息打包到802.11數據包的特定區域,發送到周圍環境中;智能設備的Wi-Fi模塊處於混雜模式(Promiscuous Model)下,監聽網絡中的所有報文,直到解析出需要的信息(之前雙方約定好數據格式)。

大數據

MaxCompute執行引擎核心技術DAG揭祕

作為業界少有的EB級別數據分佈式平臺,MaxCompute系統每天支撐上千萬個分佈式作業的運行。在這個量級的作業數目上,毫無疑問平臺需要支撐的作業特點也多種多樣:既有在”阿里體量”的大數據生態中獨有的包含數十萬計算節點的超大型作業,也有中小規模的分佈式作業。同時不同用戶對於不同規模/特點的作業,在運行時間,資源使用效率,數據吞吐率等方面,也有著不同的期待。 Fig.1 MaxCompute線上數據分析 基於作業的不同規模,當前MaxCompute平臺提供了兩種不同的運行模式,下表對於這兩種模式做了總結對比: Fig.2 離線(batch)模式 vs 一體化調度準實時(smode)模式 從上圖可以看到,離線作業和一體化調度的準實時作業,在調度方式,數據傳輸,使用資源來源等多個方面,都有非常顯著的區別。可以說,這兩種運行方式分別代表了在海量數據場景上按需申請資源來優化吞吐量和資源利用率,以及在處理中等(少量)數據時通過計算節點的全量預拉起來(以及數據直傳等手段加速)降低執行時延的兩個極端。而這些區別,最終會通過執行時間和作業資源利用率等方面體現出來。很顯然,以高Throughput為主要優化目標的離線模式,和以追求低Latency的準實時模式,在各方面的性能指標會有很大的區別。比如以1TB-TPCH標準benchmark為例,此報告執行時間(性能)和資源消耗兩個維度來做比較。可以看到,準實時的(SMODE)在性能上有著非常明顯的優勢(2.3X),但是這樣的性能提升也並不是沒有代價的。在TPCH這個特定的場景上,一體化執行的SMODE模式,在獲取了2.3X性能提升的同時,也消耗了3.2X的系統資源(cpu * time)。 Fig.3 性能/資源消耗比較:離線(batch)模式 vs 一體化調度準實時(smode)模式 這個觀察結論其實並不意外,或者從某種程度上是by design的。拿下圖一個典型SQL產生的DAG來看,所有計算節點都在作業提交伊始就被拉起,雖然這樣的調度方式允許數據得以(在需要的時候)pipeline起來,從而可能加速數據的處理。但並不是所有的執行計劃裡的所有上下游計算節點都可以有理想化的pipelined dataflow。事實上對於許多作業而言,除了DAG的根節點(下圖中的M節點)以外,下游的計算節點在某種程度上都存在著一定程度的浪費。 Fig.4 一體化調度準實時(smode)模式下,可能的資源使用低效

大數據

5G會給物聯網行業帶來哪些變化?

2019年是5G的商用元年,作為街頭巷議的熱點技術,5G到底是什麼?5G當前的進展怎麼樣? 5G的應用場景有哪些?5G技術的普及又將給物聯網行業帶來哪些變化呢? 本文將和大家聊聊這些有趣的話題。 什麼是5G? 5G即第五代移動通信技術(5th Generation Mobile/Wireless/Cellular System)是繼2G/3G/4G之後的最新一代蜂窩移動通信技術,具備高速率、低時延和大連接的特性。 5G由國際標準化組織ITU(國際電信聯盟)和3GPP推進,在2018年6月的3GPP全會上,批准了第五代移動通信技術5G Release15 獨立組網標準,意味著5G完成第一階段全功能標準化工作,開始商業化使用。5G在國內的進展? 2019年6月6日,工信部向中國移動、中國聯通、中國電信和廣電下發5G牌照,正式開啟5G商用時代。 從2021中國信通院ICT+深度觀察報告會上的信息得知,目前我國已建成全球最大5G網絡,累計建成5G基站71.8萬個,推動共建共享5G基站33萬個,基本覆蓋全國所有的地級以上城市,獨立組網模式(SA)實現規模部署。 5G有哪些應用場景? 5G的應用場景可以參考國際電聯提出的IMT-2020願景,通過把網絡指標抽象、映射成:增強型移動寬帶(eMBB), 高可靠低時延通信(uRLLC)和海量物聯網通信(mMTC)三大場景。5G將給物聯網帶來哪些變化? 從上一節提到的三大應用場景來分析5G在泛物聯網領域的價值及發展趨勢。 增強型移動寬帶(eMBB)5G網絡的數據傳輸速率峰值可達10Gbit/s,比4G LTE蜂窩網絡快100倍。在熱點區域,可實現每平方公里數十Tbps的流量密度。其超大的帶寬傳輸能力,可以滿足4K高清視頻、全景視頻以及VR虛擬現實等數據傳輸的要求。 典型場景:AR/VR、高清視頻、遠程醫療服務等場景。

大數據

基於HaaS100搭建雲端一體RFID讀卡器

1. 案例簡介 無線射頻識別即射頻識別技術(Radio Frequency Identification,RFID)是自動識別技術的一種,通過無線射頻方式進行非接觸雙向數據通信,利用無線射頻方式對電子標籤或射頻卡進行讀寫,從而達到識別目標和數據交換的目的。 RFID技術具有抗干擾性強以及無需人工識別的特點,所以常常被應用在一些需要採集信息的領域上,例如物流,倉儲,防偽,身份識別等領域。 接下來我們學習下怎麼基於HaaS100 搭建RFID讀卡器,讀取卡片信息,並且上傳到阿里雲IOT平臺上。 實驗效果展示: 2. 基礎知識 RFID射頻識別系統的工作原理: 電子標籤進入天線磁場後,若接收到讀寫器發出的特殊射頻信號,就能憑藉感應電流所獲得的能量發送出存儲在芯片中的產品信息(無源標籤),或者主動發送某一頻率的信號(有源標籤),讀寫器讀取信息並解碼後,送至中央信息系統進行有關數據處理。 典型的RFID系統主要由應用系統軟件,RFID讀寫器,電子標籤3部分構成。 3. 物料清單 3.1 HaaS100 硬件 HaaS100

大數據

雲上虛擬最佳實踐案例|阿里雲產品內容精選(二十一)

每日內容推薦 最佳實踐丨雲上虛擬IDC(私有池)如何為客戶業務的確定性、連續性保駕護航 企業業務上雲後,還面臨特定可用區購買雲上特定計算產品實例失敗的困境?雲上私有池pick一下。>>點擊瞭解詳情 最佳實踐丨企業上雲後資源容量如何規劃和實施 企業上雲後,雲上的預算直接影響上雲的優先級、進度、深度。預算投入的多少,與業務發展和資源需求的容量評估緊密相關。精準的容量評估,可以使企業上雲的預算規劃更科學,同時也更貼合業務發展階段的需要。本文分享業務上雲後企業該如何進行容量的規劃和實施。>>點擊瞭解詳情 最佳實踐丨阿里雲ECI如何助力西軟構建酒店行業多租戶高彈性PaaS平臺? 酒店行業24小時營業特徵和季節性突發業務高峰給信息化管理系統帶來了怎樣的挑戰?阿里雲的ECI產品又是如何助力西軟構建酒店行業多租戶高彈性PaaS平臺?讓我們一步步揭開謎底。>>點擊瞭解詳情 最佳實踐丨三種典型場景下的雲上虛擬IDC(私有池)選購指南 業務上雲常態化,業務在雲上資源的選購、彈性交付、自助化成為大趨勢。不同行業的不同客戶,業務發展階段不一樣,雲上資源的成本投入在業務整體成本佔比也不一樣,最小化成本投入、最大化業務收益始終是不同客戶間的共同目標。阿里雲面向全行業的用戶提供了豐富的雲上算力產品服務和靈活多樣的售賣模式,幫助用戶雲上精確的資源容量預估和精細的資源交付管理,非常有利於客戶節約雲上購買資源的成本。本文是雲上私有池系列的第二篇,將集中介紹不同場景下私有池的選購指南。>>點擊瞭解詳情 投稿分享 投稿分享丨輕量應用服務器如何幫助大學生在大數據課程中高效學習 本期的用戶投稿,我們將分享一位大學生的學習實踐,一起看看他是怎樣利用輕量應用服務器讓自己的大數據學習更加炫酷、高效。>>點擊瞭解詳情 投稿分享丨輕量應用服務器助力初創型建站服務企業降本提效 本期分享阿里雲的輕量應用服務器如何助力初創型軟件服務企業降本提效,保障業務穩定運轉。>>點擊瞭解詳情 熱門推薦 乘風者計劃起航——阿里雲開發者社區誠邀千名博主入駐 投稿有禮!前端徵文開始啦! 投稿IoT徵文,搶與技術大牛連線機會! 《我與開源的故事》有獎徵文開始啦! 第二屆雲原生編程挑戰賽-挑戰Serverless創新實踐

大數據

CSIG-VIS 走進阿里,大數據可視分析前沿分享

作者:驛橋 2021 年 05 月 21 日下午,中國圖象圖形學學會可視化與可視分析專委會走進企業活動在杭州阿里巴巴西溪園區成功舉辦。本活動由中國圖象圖形學學會(CSIG)主辦,可視化與可視分析專委會協同阿里巴巴前端委員會可視化小組、阿里雲 DataV 數據可視化團隊、阿里巴巴前端大學聯合承辦。 活動圍繞圖數據、大數據研發、時空數據、低代碼設計等行業場景與技術領域,邀請多名國內可視化和可視分析領域知名學者與行業技術專家一起交流前沿技術,基於阿里巴巴集團對於可視化的實踐場景和需求探索,共同展望行業發展前景,探討產學研深入合作。 活動現場 活動首先由阿里巴巴前端委員會委員長姜凡(展炎)和中國圖象圖形學學會可視化與可視分析專委會主任北京大學袁曉如致辭。姜凡回顧了阿里巴巴前端委員會在可視化領域的發展歷程,對委員會走進阿里表示熱烈歡迎。袁曉如介紹了 CSIG 可視化與可視分析專委會的發展,強調專委會正在進一步推動國內可視化與可視分析學科的發展,加強校企交流,共同推進產學研的合作,建立良好的可視化社區生態。他還表示非常歡迎企業從業者加入中國圖象圖形學學會。 校企雙方代表致辭 在交流環節中,阿里巴巴集團出席本次活動的可視化團隊,包括阿里雲 DataV 數據可視化、螞蟻金服 AntV 企業級數據可視化解決方案、阿里巴巴數據技術及產品部數據中臺、阿里雲智能安全管控、阿里雲

Scroll to Top