大數據

——–點擊屏幕右側或者屏幕底部“+訂閱”，關注我，隨時分享機器智能最新行業動態及技術乾貨———— 人工智能（ AI ）和機器學習（ ML ）可以做些什麼來改善客戶體驗？自從網上購物開始以來，AI 和 ML 已經密切參與整個網上購物流程。如果沒有獲得購物建議，你可能無法享受到淘寶或任何其他購物網站的優質服務，這些建議通常是根據供應商對你的特徵的理解進行個性化匹配，其中包括你的購買歷史記錄，瀏覽歷史記錄以及更多內容。淘寶和其他在線企業都希望發明一個知道你和你的品味的銷售人員的數字版本，並且可以無誤地引導你使用你購買的產品。 一切都始於優質的數據 為了實現這一願景，我們需要從後端的一些繁重工作開始。誰是你的客戶？你真的知道他們是誰嗎？所有客戶都留下了數據路徑，但該數據路徑是一系列碎片，將這些碎片相互關聯起來真的很難。如果一個客戶有多個帳戶，你能查出來嗎？如果客戶有單獨的帳戶用於商業和其他用途，你可以關聯它們嗎？如果一個組織使用了許多不同的名稱，你能發現它們其實就是個單一的組織嗎？客戶體驗始於準確瞭解客戶是誰以及他們如何關聯，擦除客戶列表以消除重複稱為實體解析，它曾經是一些擁有大量數據的公司才能涉足的領域。隨著時間的發展，我們可以看到實體解析的解決方案正在民主化：已經出現了大量提供適合中小型組織的實體解析軟件和服務的初創公司。 一旦你清楚了你的客戶是誰，你就必須問你對它們的瞭解程度到底有多少。全面瞭解客戶的活動對於瞭解客戶的需求至關重要，例如它們有什麼數據，以及如何使用它？ML 和 AI 現在被被廣泛用作數據收集的工具：處理來自傳感器、應用程序和其他來源的數據流。收集客戶數據可能具有侵入性，並且在道德上存在問題，所以當你建立對客戶的理解時，請確保他們同意並且不會損害他們的隱私。 ML 與任何其他類型的計算沒有根本的區別：“進入垃圾，出來垃​​圾”規則仍然適用。如果你的訓練數據質量很差，那你的結果將會很差。隨著數據源數量的增加，潛在數據字段和變量的數量也會增加，並且可能出現錯誤，例如轉錄錯誤，印刷錯誤等等。在過去，我們可以手動糾正和修復數據，但手動更正數據是一項容易出錯且繁瑣的任務，而且佔用大多數數據科學家的時間。與實體解析一樣，數據質量和數據修復已成為最近研究的熱點，並且開始出現了一套用於自動化數據清理的新機器學習工具。 應用 機器學習和 AI […]

點擊訂閱新品發佈會！ 新產品、新版本、新技術、新功能、價格調整，評論在下方，下期更新！關注更多新品發佈會！ 熱門閱讀 1、 宜搭助力蒙牛快速上線“在線招標平臺” 1月31日，蒙牛所有傳播渠道的廣告頁面都換成了一個醫生的背影，主色調為紅色，文案是“致敬全國白衣天使，蒙牛再捐贈6.6億元牛奶”。此前，蒙牛已經累計捐贈了8000萬元。 查看原文 2、全球首個！阿里雲CDN獲IPv6 Enabled CDN Logo國際權威認證 阿里雲通過由全球IPv6 Forum論壇發佈的IPv6 Enabled CDN Logo認證，旗下CDN與全站加速DCDN產品在靜態資源、流媒體、文件下載、全站等加速業務場景上對IPv6支持度獲得全球權威認可，成為全球首家獲得此級別認證的CDN服務提供商。 查看原文 3、最強緩存！阿里雲重磅發佈雲數據庫Redis企業版（Tair）系列及專屬主機組服務 阿里雲數據庫Redis正式上線Redis企業版（Tair）系列產品，提供性能增強和混合存儲兩個系列。性能增強系列提供3倍於社區版的性能，是目前最快的企業級緩存服務，混合存儲系列通過引入 SSD存儲介質，緩存成本降低70%-90%，滿足超大容量低成本緩存需求。同時推出Redis專屬主機組服務，提供用戶級別資源隔離，通過主機組超賣比設置，數據庫綜合成本降低50%。

周公爽如約撥通了客戶的手機，對面傳來了機器的轟鳴。只有在短暫的工休間隙，兩人才有時間，溝通下一步生產線數字化改造的細節。此時是3月3日，疫情尚未完全消退，但從2月25日開始，客戶的生產線已經恢復運轉，只是員工到崗率始終不足50%，公司所有高管已下車間，補位到生產一線。 重新認識數據價值 “如果早一步實現數據協同，或許現在會更從容一些。”疫情之中，用戶開始重新認知數據的價值。其所說的數據協同，包括生產設備的數據協同、工藝流程的數據協同、生產原料的數據協同等諸多方面。 放下電話的周公爽，也在進行著類似的思考，他是博拉科技CEO。其實，早在5年前，其已經意識到，數據不再是製造流程中的“邊角料”，離散製造最大的業務痼疾，則正在於數據的“離散”。 言歸正傳。博拉科技是一家入駐在“雲棲小鎮”的互聯網科技公司，是一家通過數字化、智能化解決方案，滿足智能製造剛需的企業。“雲棲智造”是博拉科技的核心產品，通過SaaS+服務，或企業版本地部署等模式，在4周內即可搭建交付一座智能工廠。 “雲棲智造”可以同時部署在PC端、釘釘端，以及邊緣端。 產品化的博拉科技 “4周，甚至更短即可交付一座智能工廠。”周公爽特別強調，博拉科技是一家產品化、模塊化、配置化的雲原生企業。而以此次疫情為背景，博拉科技的上述能力，就更顯得具有現實意義——其可以幫助機械製造企業快速實現數字化，也可以幫助諸多製造業客戶，從勞動密集型企業，轉型為業務協同的數據密集型企業。 如何理解？時間回到2018年3月，深圳寶安機場候機廳。博拉科技的幾位創始人，抓緊登機前短暫的空隙，急切地交換著意見。他們剛剛結束“雲棲大會·深圳站”的全部日程。此次阿里雲宣佈：物聯網（IoT）將成為繼電商、金融、物流、雲計算之後，阿里巴巴的“第五賽道”。 “此前，博拉科技也信奉工程化、定製化的系統交付模式，但阿里雲此次提出的‘第五賽道’，也恰可成為博拉科技的新機遇。”周公爽是在從技術視角，解釋著即將出現的業務模式和商業模式改變。 其實，博拉科技一直是阿里雲的生態夥伴。此前雙方合作，已經涉及計算、存儲、網絡，以及數據庫、安全等諸多層面。“而獲得阿里雲物聯網平臺的支撐，博拉科技不僅可迅速具備跨行業能力，更可採用SaaS模式，實現從項目定製化到標準產品化的轉變。”周公爽感覺一扇門已經打開，尤其對仍處於創業期的科技公司，產品化始終意味著高昂的技術投入代價，無數充滿理想的創業公司，就曾倒在此扇門前。 “雲棲智造”瞄準四種場景 這又如何理解？在此可先簡述博拉科技的核心產品：“雲棲智造”。其主要解決機械製造領域的4個剛需場景的問題：生產計劃的準確性和實時性、質量正向追溯和反向追溯、設備效能管理、生產過程中的物料週轉。 其中，以制定生產計劃為例，Excel雖然是款偉大的軟件，但靜態的Excel表格，始終不能實時地反映動態的產能波動、物料波動。同時，依靠手工將業務訂單，分解成數十道工序所對應的工單，並分配給數百臺設備執行，更是超出人腦所及。 而“雲棲智造”則涵蓋“人（人員）、機（設備）、料（物料）、法（工藝）、環（環境）、測（質量）”等6個要素的十餘個微服務模塊，並以上述維度完成數據採集、數據協同、數據管控和數據分析。也就是說，該系統可基於算法優化，自動將業務訂單分解成生產工單，並根據設備的空閒狀態，制定生產計劃。 同樣，在質量追溯、設備效能管理、半成品庫存管理等場景中也是如此。不具備“質量正向追溯和反向追溯”能力，中國的製造企業就不可能成為特斯拉、福特、通用等世界500強企業的合作伙伴；缺乏“設備效能管理”能力，就不可能提升生產過程中原料切換、刀具切換、人員切換的效率；而忽視“生產過程中的物料週轉”，則難以照亮ERP系統的死角，半成品庫存成本，或許也會將企業壓得喘不上氣。 我們不一樣 而話題至此，正可迴歸到博拉科技的服務交付模式。目前，博拉科技已服務國內200餘家制造企業，用戶所製造的產品大到生產汽車、家電，小到生產剪刀、螺母，但他們與周公爽的初次見面，都會強調：“我們不一樣，生產設備、工序流程、工藝路線都不一樣。” 的確，“我們不一樣”就是現實問題。僅機械製造領域，就可分為十餘種門類，以及成千上萬的細分品類。即使品類相同的製造企業，其生產設備、工序流程、工藝路線等，也都有“獨家祕笈”。 “只有具備很強配置化能力的SaaS化服務，才能滿足智能製造企業的個性化訴求，而SaaS服務的背後即是產品化和配置化。”周公爽所強調的SaaS服務，是以不同維度的數據採集為基礎，並以阿里雲的“數據中臺”和“業務中臺”為支撐。

作者 | 元乙  阿里雲存儲服務技術專家 導讀：上一篇文章主要介紹 Kubernetes 日誌輸出的一些注意事項，日誌輸出最終的目的還是做統一的採集和分析。在 Kubernetes 中，日誌採集和普通虛擬機的方式有很大不同，相對實現難度和部署代價也略大，但若使用恰當則比傳統方式自動化程度更高、運維代價更低。本文為日誌系列文章的第 4 篇。 第一篇：《6 個 K8s 日誌系統建設中的典型問題，你遇到過幾個？》 第二篇：《一文看懂 K8s 日誌系統設計和實踐》 第三篇：《9 個技巧，解決 K8s

以下是一段用蒙特卡洛法求PAI近似值的python程序 程序每迭代一百萬次打印一下結果。 以下內容來自阿里雲2019杭州雲棲大會《機器學習專場》。說實話，在這個分會場我聽懂的東西並不太多。那我就近似的講一講吧，假如偏差比較大的話，那是因為迭代的次數還不夠多。 開場演講的題目叫做《機器學習平臺的建設和思考》。首先回顧了阿里雲機器學習平臺PAI的建設歷程，最初在阿里巴巴也是各個業務團隊自建機器學習平臺，在2014年阿里雲完成登月計劃統一大數據分析平臺後也開始統一機器學習平臺，當時的叫法是大規模參數服務器。這個平臺在2015年支撐了淘寶的千人前面的推薦，正好在2015年Google開源了TensorFlow，引發了深度學習的熱潮，降低了算法開發的門檻，阿里雲在2016年發佈了PAI1.0，但是很多人還是希望使用深度學習，在2017年PAI 2.0發佈，引入了深度學習，從2018年以來，PAI更加註重平臺化和系統化，更加註重AI的自動化，讓使用者更加關注模型本身，由PAI來完成各種異構硬件的高效優化和執行，加速用戶上線業務模型的速度，通過PAI系統的優化能力來提高效率，降低成本。後面的幾個演講都是圍繞PAI如何進行系統的優化來提高效率的，包括《支持超大規模稀疏數據訓練的深度學習引擎PAI-Tensorflow》、《PAI-Blade 一站式通用推理優化框架》、《EFlops集群：面向大規模AI訓練的硬件基礎設施》。從打磨Tensorflow框架到推理引擎的優化、再到網絡和硬件基礎設施層面的優化，總之阿里巴巴有很多人用圍繞深度學習做了大量的優化工作，比起自己攢機器鼓搗Tensorflow肯定是要事倍功半。 還有兩個演講分別是有關Flink和Spark生態的。《PAI-Alink：基於Flink的通用算法平臺》講的是阿里巴巴基於Flink的在線實時機器學習庫，包含常用的統計分析、機器學習、文本處理、推薦、異常檢測等算法，覆蓋了數據分析、建模和部署的全部流程。這個平臺的關鍵優勢是支持數十種數據源的流/批式讀寫。批式讀寫支持： MaxCompute CSV Mongo MySQL AliHbase TDDL 隨機表/張量 流式讀寫： MaxCompute DataHub CSV Tair MetaQ

2019年阿里雲創新中心發起產業創新創業大賽聚焦垂直領域 尋找優質創企並與阿里生態進行融合本期人物2019南京建鄴智慧城市產業大賽三等獎—菲伽智能創始人 應繼偉 貴州六盤水水城縣特大山體滑坡、上海市長寧區廠房坍塌事故，廣東省河源市源城區紫金橋2孔垮塌，廣東佛山市禪城區佛山地鐵2號線工地突發透水引發隧道及路面坍塌，江蘇省鹽城市響水縣化工廠爆炸事故…… 近些年，邊坡工程事故、房屋工程事故、橋樑工程事故、地鐵隧道事故、基坑工程事故、化工廠事故、危化品倉儲工程事故層出不窮，這也警醒人們目前城市公共設施監控手段仍存在缺陷。 一次次災難性事故不斷霸佔新聞頭條 , 帶來沉痛打擊與教訓 , 也一再觸動公眾的敏感神經 , 引人思考。究竟如何才能守護住人類最基本的底線——安全 ？ 菲伽智能創始人–應繼偉 源於“事故” 終於安全 正是這種種事故，不斷刺激著應繼偉。在2015年天津化工廠的爆炸事件發生後，醫學出身的他開始了他事業的跨界之旅。“這起事件對我的觸動很深。當時，和友人閒聊，我們發現國內城市安全監測技術存在很大的空白，大部分城市使用的公共安全監測設備仍處於人工監測，高精度感知系統全球研發該領域的企業，因為難度較大，也為數不多。” 接二連三的國內外重大公共安全事故發生後，應繼偉和中國科學院安徽光機所的李建國、上海市政工程設計總院的殷建國、普聯技術有限公司的焦迪、梅里埃研究所的汪邦運等5位科學家、工程師走到了一起。 菲伽核心成員：(從左往右)殷建國、李建國、應繼偉、焦迪 他們一起開始思考：城市成為人們賴以生存的主要聚集地，城市結構為滿足激增的人口日趨龐雜，如同一臺精密儀器日夜運作，零部件越來越多，功能逐漸完善，卻再也無法承受住任何一顆螺絲釘的鬆動的時候。我們該如何應對城市的脆弱在於，任何安全隱患都足以讓它癱瘓，讓身在其中的民眾感到不安，似乎缺少一隻“天眼”，實時為城市“把脈體檢”，防患於未然。不久之後，菲伽智能正式成立，專注於城市公共安全領域的研究，希望用團隊所擅長的專業技術為城市量身定製一套“御鎧甲”。

區內各企業： 根據《關於印發實施中國留學人員回國創業啟動支持計劃意見的通知》（人社部發【2009】112號），2020年人力資源和社會保障部將繼續開展“中國留學人員回國創業啟動支持計劃”，現就有關申報事項通知如下： 一、申報條件（需同時具備） 1、申報人應為所創辦企業的法定代表人，具有留學經歷，一般應在國（境）外獲得碩士（含）以上學位； 2、擁有自主知識產權，技術創新性強，具有較強市場潛力； 3、熟悉相關領域和國際規則，有較強的經營管理能力，有海外自主創業經驗者優先考慮； 4、工商稅務統計關係在高新區，註冊時間不早於2017年1月1日； 5、申報人出資額佔企業註冊資本的50%以上； 6、申報人誠信守法，無違法犯罪記錄； 7、已獲得國家“千人計劃”、博士後創新人才支持計劃和中國科協青年人才託舉工程等項目資助的不再納入本計劃資助範圍。本計劃往年入選人員不再重複支持。 2020年，本計劃將聚焦國家重大戰略，重點資助先進裝備製造、人工智能、大數據、區塊鏈、新材料、現代醫學與前沿生物、清潔能源等領域的留學人員創業企業。加大對西部和東北地區留學人員創業創新的支持力度，優先支持貧困地址創業企業和積極吸納貧困人口就業的創業企業，優先支持在本次抗擊新型冠狀病毒肺炎疫情中發揮重要作用或從事與新型冠狀病毒免疫研究有關的企業。 二、企業申報程序 1、計劃申報企業請於2020年3月23日前將電子版材料（包含附件）發送至[email protected]進行初審；（涉密項目請按保密要求專門申報） 2、初審合格企業請於2020年3月27日前將紙質資料報送至西安高新區錦業路69號瞪羚谷G座203室。 三、申報材料要求 申請人應按照《中國留學人員回國創業啟動支持計劃申請表》（見附件）的內容和要求認真填寫，將書面材料申請表一式兩份、附件材料一式兩份分別單獨按順序裝訂。 附件材料包含下列內容： 1、留學人員歸國證明 2、個人資質證明（學歷學位證書、護照、身份證複印件等） 3、企業營業執照

DataWorks支持三種跨週期依賴模式（依賴上一週期）： 一層子節點：依賴當前節點的下游。例如，節點A存在b、c、d三個下游節點，依賴一層子節點是指節點A依賴   b、c、d三個節點的上一週期。 本節點：依賴當前節點的上一週期（即自依賴）。 自定義：手動輸入需要依賴的節點id，多個節點間英文逗號分隔，依賴該id節點的上一週期。 注意：不要重複配置依賴，調度配置中配置了“依賴上一週期”後，在“父節點輸出”那裡，不要重複配置依賴，否則會出現依賴上游“昨天+今天”兩天的實例等情況。 跨週期依賴典型場景 【典型場景一】“一層子節點”應用場景：對本節點的結果表進行清洗，查看是否正常產出最終結果【典型場景二】Q：天任務依賴小時任務，不想等24個小時任務實例跑完才跑天任務，天任務希望儘量按定時時間12:00跑A：上游小時任務配置“依賴上一週期”選“本節點”；下游天任務定時調度時間選12:00，天任務不需要設置跨週期依賴。這樣天任務就會在12點開始跑，且依賴最新跑完的那個小時任務實例的數據（下有圖解）【典型場景三】Q：天任務依賴小時任務昨天的數據A：下游天任務配置“依賴上一週期”選“自定義”，填上游小時任務的id【典型場景四】Q：小時任務依賴天任務，上游天任務跑完，下游小時任務多個週期定時時間已到，導致小時任務多週期併發調起怎麼辦A：下游小時任務配置“依賴上一週期”選“本節點”（下有圖解）【典型場景五】Q：本節點依賴自己的上一週期產出的數據，不知上一週期何時產出A：本節點配置“依賴上一週期”選“本節點” 自依賴應用技巧 自依賴是天然的跨週期依賴。 小時任務依賴天任務（即上述典型場景四） 上游天任務跑完，下游小時任務多個週期定時時間已到，不希望小時任務多週期併發調起。不配置自依賴的話，12點過後a1和a2實例會併發調起。 天任務依賴小時任務（即上述典型場景二） 不想等24個小時任務實例跑完才跑天任務，天任務希望儘量按定時時間12:00跑。配置自依賴後，實例a2跑完，12點一到，實例A就會調起。 DataWorks百問百答歷史記錄請點擊查看 採購季限時！原價2500元現僅需99元，3分鐘入門DataWorks標準版6大場景！點擊查看 更多DataWorks技術和產品信息，歡迎加入【DataWorks釘釘交流群】

——–點擊屏幕右側或者屏幕底部“+訂閱”，關注我，隨時分享機器智能最新行業動態及技術乾貨———— 圖片來源：Kevin M. Alvero, CISA, CFE, SVP, Nielsen Internal Audit 在 Nielsen，我們繼續重度依靠人工智能來掌控數據的力量，但這也僅僅是人工智能幫助我們所在組織的方式之一。隨著公司發掘出利用人工智能的新方式，他們需要確保在人工智能開發過程中管理好任何相關的風險。這就是為什麼我們的內部審計職能已經對人工智能採取了審計流程。組織必須保持警惕，確保自己在正確的地方做了正確的投資，以此來利用好人工智能所代表的那些機會，確保精確地評估人工智能相關的風險，確保人工智能項目與組織使命、價值觀、文化和更大的技術戰略保持一致。 在這方面，內部審計應該是一個有價值的盟友，但是，從審計角度來看，人工智能帶來了許多挑戰。首先，人工智能的定義是有些模糊的。同時，在廣泛的業務活動中，組織正積極地尋求發展或者獲取人工智能能力，人工智能程序和流程可能會非常複雜，並且是高技術性的。最後，對於人工智能是什麼，以及人工智能能夠做什麼，市場上有許多炒作。 對人工智能進行審計的實踐正在發展中。至於先進的人工智能技術，例如機器學習，沒有統一的標準來監管這些人工智能技術。這些標準，以及審計人工智能技術的框架正在編寫中。信息系統審計和控制協會（ISACA：Information Systems Audit and Control Association）已經發布了指引，用於將其已有的 COBIT

大數據極大程度地影響了信息時代的發展，隨著數據對生產、生活的重要性逐漸提高，大數據在各個領域中都發揮著重要的作用，可謂是DT時代的必備技能。 開發者社區為大數據工程師準備了這一款 免費學習資料，包含了從事大數據工作的開發者們必讀的 電子書合集、接近600節課的大數據學習路線、以及那些大數據相關的技術盛會資料 ~ 不論你是入門工程師，還是已深入領域多年，這個合集裡總有你需要的！你值得擁有~ Level 1：大數據入門到精通 5大學習階段 / 27門免費課程 / 592課時教學視頻 / 2個雲上綜合實戰 開發者社區學習中心——大數據學習路線，包含從大數據簡史及概念，到開源大數據分析系統Hadoop基礎及應用，再到雲上實戰應用（離線/實時計算、數據倉庫、BI報表、數據大屏等）的完整的大數據學習路線，而且 完全免費！ 囊括基礎課程與上手實踐過程，即使宅在家中，也能快速入門大數據！ 現在開始學習，能學到什麼知識呢？阿里妹就在這裡為大家就“劇透”一下基礎課程的課程表吧： 大數據簡史（7課時）