大數據

每日集成開發者社區精品內容，你錯過的乾貨補給站 每日精選博文推薦 命令行工具開發：如何快速實現命令行提示？ 於稍微複雜一些的命令行工具，命令行的提示功能必不可少。那麼對於不同語言的開發者，有沒有一種簡單快捷的實現方式呢？本文分享一種快速實現的方法，使用YAML文件定義命令行工具的使用規範，再通過工具自動生成各種shell的命令行提示腳本，最後分享一些至關重要的命令行解析器。>>戳我前往瞭解全文 8條經驗輕鬆上手IDEA插件開發 IDEA作為我們（後端Java開發者）必不可少的IDE，以其智能的代碼提示、多樣的框架支持、簡潔的開發界面等特性，被業界公認為最好的Java開發工具之一。而一款IDE是否強大，最簡單的衡量標準就是查看其插件生態環境的發展情況，多種多樣的插件既豐富了IDE自身的功能，同時大大提高了開發人員的工作效率。本文從IDEA插件的基本概念講起，通過一個簡單的開發實例，介紹IDEA插件開發的過程，並總結了8條實戰經驗。>>點擊瞭解全文 收藏！這些IDE使用技巧，你都知道嗎 欲善其事，先利其器。對於研發同學，在日常的開發工作中，我們與之打交道最多的便是編程的IDE。能否高效和靈活的使用IDE，將對我們的工作效率起著舉足輕重的作用。研發同學在開發中最主要做的兩件事分別是架構設計和編碼，前者主要取決於大量的項目經驗積累和個人的思考深度，也是作為研發的核心競爭力，短時間內很難快速求成；後者主要取決於日常的編碼練習和一定程度的IDE信息差，能夠通過下文中介紹的一系列技巧進行能力的快速補齊和鞏固加強。>>點擊可查看使用技巧 如何使用Arthas提高日常開發效率？ 首先我們應該拋棄面向debug編程的思維，debug不一定是最高效的方法，遇到線上問題不能debug了怎麼辦。本文介紹如何使用Arthas代替debug提高日常開發效率。本篇通過幾個場景來看如何使用Arthas提高日開發常效率。>>點擊閱讀全文 每日精選電子書推薦 《阿里云云效助力企業10倍效能提升案例集》 對企業在研發效能方面遇到的挑戰，雲效團隊打出了一套組合拳，推出雲原生時代的研發新範式——ALPD，並提出研發效能提升的“三板斧”：《阿里云云效助力企業10倍效能提升案例集》全方位幫您答疑解惑！ >>點擊下載，《阿里云云效助力企業10倍效能提升案例集》 《0代碼，搭應用》 宜搭是人人都能使用的0代碼應用搭建平臺。任何一個沒有編碼能力的人，通過宜搭可視化拖拽的方式，都能輕鬆搭建出自己想要的應用。低門檻、高擴展、一站式、多終端，滿足你的職場需求。 >>點擊下載，《0代碼，搭應用》白皮書 熱門活動 阿里雲官方鏡像站全新升級上線 HaaS智能硬件開發訓練營，名師手把手帶你實踐，由端上雲第一步！ […]

作者 | 大向來源 | 阿里技術公眾號 一 前言 FlatBuffers 是一個開源的、跨平臺的、高效的、提供了多種語言接口的序列化工具庫。實現了與 Protocal Buffers 類似的序列化格式。主要由 Wouter van Oortmerssen 編寫，並由 Google 開源。Oortmerssen 最初為 Android

開源大數據社區 & 阿里雲 EMR 系列直播 第十一期 主題：Spark 大數據處理最佳實踐 講師：簡鋒，阿里雲 EMR 數據開發平臺 負責人 內容框架： 大數據概覽 如何擺脫技術小白 Spark SQL 學習框架 EMR Studio

投訴處理的速度變快了——這是7分甜消費者在這個初夏最直觀的感受，藉助釘釘宜搭的低代碼能力實現的數字化管理，過去7分甜的許多管理痛點，現在正被一一攻克。 一方小小的奶茶零售門店，內裡乾坤萬千。7分甜成立於2005年，總部位於蘇州，是杯裝楊枝甘露的創造者，旗下擁有超過1000家零售門店。   伴隨著業務發展進程的加速，7分甜的審批場景也日趨增多，過去單純依賴於紙質文件或者靠各類電子表單管理的流程暴露出來的繁瑣弊端也日趨明顯。 處於高速發展的7分甜，出現了越來越多需要多表單協作的業務。但是，7分甜的客戶和團隊處於不同的應用平臺，往往處理一個問題要切換多個端口，信息不能直通，使得辦公協作成本高企。與此同時，公司每年還要完成許多大型項目，時間緊、任務重，對數字化升級的需求也變得日益迫切。 一場數字化變身一觸即發。 數字化變身的核心：數據互通 7分甜想到的是構建一個低成本的移動辦公平臺。釘釘免費軟件、高性價比的智能硬件產品組合，以及軟硬一體化、快速上線的服務方案率先進入了7分甜的視野。緊接著，7分甜團隊注意到了釘釘旗下的雲釘低代碼應用構建平臺——釘釘宜搭。 企業業務數字化最重要的核心就是數據互通。釘釘宜搭為7分甜帶來了“表單+流程+報表”的一站式解決方案，讓數據和報表真正成為管理者的核心武器。 在從表單到流程再到報表過程中，釘釘宜搭推出的黑科技功能“Excel一鍵轉應用”則在中間幫助7分甜實現應用的快速生成。   “Excel一鍵轉應用”，可以快速地將過去已有的不同表單生成應用，併發布在統一的工作臺上。這讓7分甜從過去Excel填報的錄入數據方式直接變為手機端提交，同時還可以進行權限設置功能，保障數據安全，添加同步審批流程等，讓不同的員工獲得一目瞭然、快速直接的工作體驗。   通過“表單+流程+報表”的一站式解決方案，7分甜快速地感受到了變化。7分甜 CIO Michael表示，“最讓我驚喜的就是聯通組織內外實現業務在線”。   以開店服務為例，過去7分甜的加盟服務小程序在其他平臺，組織架構和業務管理在釘釘，每天做業務管理都需要切換平臺，使用宜搭之後，多個平臺平滑協同，前端平臺提交消息，中間使用宜搭進行數據和業務鏈接，在釘釘內通過APN穿件代辦，代辦內的嵌入審批流程，整個過程十分流暢高效。 圖注：7分甜開店服務工作臺 數字化變身的效果：降本提效

行業背景直播技術飛速發展讓各個行業的用戶體驗呈現多樣化和個性化，不同業務場景下創新實踐滿足大眾對於音視頻互動體驗和參與的高標準要求。歷經2020年初的鉅變之後，以視頻、遊戲、電商、教育為主的互聯網經濟迎來飛速發展，“直播+”已成為一種趨勢，廣泛融入到人們的工作和生活中。在搭建直播系統時，大家會經常聽到兩個高頻詞：RTMP（Real Time Messaging Protocol）和OBS（Open Broadcaster Software）。 RTMP協議是由Adobe公司提出的一種基於TCP的應用層的協議，用來解決多媒體數據傳輸流的多路複用（Multiplexing）和分包（Packetizing）的問題。RTMP已有近20年曆史，廣泛應用於直播行業的主播推流及不同系統間互通。 OBS是一款好用的直播流媒體內容製作軟件，為用戶提供了視頻、文本、圖像等的捕獲錄製功能，OBS界面簡潔並專業，功能強大。OBS程序和其源代碼都是免費提供給大家使用，版本更新一直比較活躍，支持 OS X、Windows、Linux操作系統，適用於多種直播場景，滿足大部分直播行為的操作需求。 升級方案針對主播推流使用RTMP存在的TCP鏈接耗時過長、擁塞控制完全依賴TCP傳輸層、無法提供實時帶寬數據來動態調整視頻編碼碼率等問題引起的推流延遲和卡頓。阿里雲低延時直播RTS（Real-time Streaming）產品在下行UDP改造的基礎上，進行上行UDP底層WebRTC技術優化，通過發佈移動端、PC端推流RTS SDK插件來提升整個行業的主播推流質量，提供低延時、低卡頓、安全可靠的直播觀看體驗。客戶端接入簡單，只需要在OBS端嵌入RTS SDK即可新增一個推流協議，無需改變原有的推流端採集架構。 效果對比 主播端100ms RTT10%丟包 1分鐘 5分鐘 20分鐘

本文案例收錄在 https://github.com/chengxy-nds/Springboot-Notebook 大家好，我是小富~ 前幾天粉絲群有小夥伴問，有啥好用的API文檔工具推薦，無意間發現了一款工具，這裡馬不停蹄的來給大家分享一下。 ShowDoc一個非常適合團隊的在線API文檔工具，也支持用docker自建文檔服務，不過為了方便演示，我直接用了平臺在線服務。官網地址： https://www.showdoc.com.cn/item/index 可以使用markdown語法來寫API文檔、數據字典文檔、技術文檔、在線excel文檔。但像我這種資深的懶人程序員，其實更看重的是showdoc的自動化生成文檔的特性，它可以從代碼註釋中自動生成API文檔，或者搭配RunApi客戶端（類似postman的api調試工具）一邊調試接口、一邊自動生成文檔。 下邊從頭演示下，來瞅瞅這玩意好用在哪？ 初識 ShowDoc ShowDoc新建項目可選常規的API文檔、在線表格、或者單頁文檔（不支持目錄分層），允許對項目文檔設置訪問密碼，自定義域名，這裡並不是真正意義上的“域名”，只是在文檔服務域名後加了一級目錄，例如： www.showdoc.com.cn/程序員內點事 可以複製現有的項目，或直接導入Postman、swagger的API接口配置Json文件。提供的開放API是自動化生成文檔的關鍵，先記住有api_key、api_token這兩個屬性，後邊詳細講。 進入項目後點擊右上角 + 編輯文檔，ShowDoc預置了幾種文檔模板，也可以把自定義的文檔存為模板；支持在線Mock服務，提前定義好接口的數據格式，先提供在線臨時接口，這樣就可以和前端同步開發，後邊無縫切換；還有個簡單的API在線測試功能。 在線表格樣式很簡潔 導出文檔有word、Markdown兩種格式。 支持版本控制，能看到每次修改的記錄，回滾任意一個版本的修改。 在向別人分享在線文檔時，如果不想將整個API目錄都暴漏，可以選擇進行單頁面分享。

行業背景 直播技術飛速發展讓各個行業的用戶體驗呈現多樣化和個性化，不同業務場景下創新實踐滿足大眾對於音視頻互動體驗和參與的高標準要求。歷經2020年初的鉅變之後，以視頻、遊戲、電商、教育為主的互聯網經濟迎來飛速發展，“直播+”已成為一種趨勢，廣泛融入到人們的工作和生活中。在搭建直播系統時，大家會經常聽到兩個高頻詞：RTMP（Real Time Messaging Protocol）和OBS（Open Broadcaster Software）。 RTMP協議是由Adobe公司提出的一種基於TCP的應用層的協議，用來解決多媒體數據傳輸流的多路複用（Multiplexing）和分包（Packetizing）的問題。RTMP已有近20年曆史，廣泛應用於直播行業的主播推流及不同系統間互通。 OBS是一款好用的直播流媒體內容製作軟件，為用戶提供了視頻、文本、圖像等的捕獲錄製功能，OBS界面簡潔並專業，功能強大。OBS程序和其源代碼都是免費提供給大家使用，版本更新一直比較活躍，支持 OS X、Windows、Linux操作系統，適用於多種直播場景，滿足大部分直播行為的操作需求。 升級方案 針對主播推流使用RTMP存在的TCP鏈接耗時過長、擁塞控制完全依賴TCP傳輸層、無法提供實時帶寬數據來動態調整視頻編碼碼率等問題引起的推流延遲和卡頓。阿里雲低延時直播RTS（Real-time Streaming）產品在下行UDP改造的基礎上，進行上行UDP底層WebRTC技術優化，通過發佈移動端、PC端推流RTS SDK插件來提升整個行業的主播推流質量，提供低延時、低卡頓、安全可靠的直播觀看體驗。客戶端接入簡單，只需要在 OBS 端嵌入RTS SDK即可新增一個推流協議，無需改變原有的推流端採集架構。 效果對比 主播端數據出自內部實驗測算。

據統計，2021年全國高考報名人數達到1078萬，再創新高。聖達信旗下產品“掌上志願”系統是專門針對全國高考生提供的志願填報服務平臺，其經歷10年和數億次以上的數據推演運算、研發出來的，是基於數據挖掘技術，快速科學幫助考生和家長填報高考志願，今年累計服務350萬以上的考生和家長，系統穩定、快速，廣受好評。 每年志願填寫的高峰期，對於聖達信而言都是一次“雙十一”，其核心IT系統短時間內訪問量會快速拉昇數十倍，對於數據庫的快速擴容和抗壓能力提出了非常高的技術挑戰。   為了順利解決流量突增的問題，聖達信經過細緻的市場調研之後，決定引入阿里雲PolarDB雲原生關係型數據庫，以渠道分流的方式支撐來自多個主要流量入口的業務訪問。在業務高峰期到來後，根據當前訪問的壓力按需動態調配資源的使用量，快速滿足高併發、快速彈性需求的流量洪峰場景。   聖達信技術負責人譚寶財坦言，通過引入阿里雲的PolarDB雲原生數據庫，PolarDB提供的優異性能和超強彈性，讓業務系統在今年的高考志願填寫季中，非常從容地應對了超平常數十倍的流量洪峰，整體數據庫的成本相比去年優化了近一半。   據瞭解，阿里雲自主研發了PolarDB雲原生數據庫，性能比MySQL高6倍，成本只有傳統商用數據庫的1/10。過去十多年，阿里雲在產品技術領域進展迅猛，獲得市場廣泛認可，並作為中國唯一的科技廠商進入2020年Gartner全球數據庫領導者象限。目前已有超過70萬個數據庫實例遷移到阿里雲上，包含政務、零售、金融、電信、製造、物流等多個領域的龍頭企業。

一、典型推薦場景 （一）場景概念的引入 場景，它是智能推薦裡面設定的一個概念。場景不論是在上傳數據的表上，還是在控制檯上都會有相關的概念，場景可以理解為，是一個用戶流量的入口，一個流量入口代表一定的訪問心智。比如，一個用戶他進入到了一個大促的頁面，他的心智就是去看一看當前有沒有感興趣的商品、有購買慾望的商品在參與大促活動，如果有就去下單，而如果是非大促時期，正常的打開APP進入一個頁面，瀏覽最近是否有新鮮好玩的商品，這時候會帶著不同的心智，這裡就是在用戶流量入口上做了區分。 用戶流量入口一旦確定之後，一個頁面要打造的用戶訪問邏輯，實現目標基本確定，也就意味著從用戶的流量入口到用戶的訪問邏輯，決定了我們在這個頁面的選品邏輯。選品邏輯是我們能夠直觀體驗到的，包括投放上的一些策略，到最終我們會把它綁定到一系列的算法邏輯上，那也就意味著一個場景它代表了唯一的選品邏輯和唯一的算法邏輯的結合。 如果有多個推薦場景，但其中多個推薦場景本質是一套算法策略，這個時候我們可以把它合併為一個場景；但如果存在差異，就可以把它拆分成不同的場景。 （二）新建推薦場景的過程 在不採用雲服務的條件下，新建一個場景，一般的做法是首先圈選物品，從數據庫中圈選出當前場景需要哪些物品用作推薦，接下來要做鏈路打通，比如平臺裡所有的用戶的行為數據，分析出我們給用戶做推薦的時候，如何能夠讓這樣一個新場景頁面它能夠儘量避免從零起步做訓練和預測，而是進行一些數據的複用。 整體過程中，首先是數據對接，然後做數據驗證，如果是基於自建的模式，還需要準備特徵工程，包括去組裝召回排序的鏈路，以及業務編排上所涉及的策略，如此相對來說它的時間線會拉得很長，包括想要去設置一套推薦系統，還要考慮離線近線和在線的這樣的鏈路設計。 （三）快速搭建個性化推薦頁面 我們通過使用智能推薦產品，可以快速搭建個性化推薦頁面。從對接服務開始，完成數據對接，接口調試之後，將自動拉起行業定製算法模板，啟動各種計算邏輯，包括表迴流邏輯任務等。服務拉起後，就可以快速定製場景、發佈場景。 在落地上線之後，需要做場景定製與業務調優，主要通過兩種方法，第一種是通過算法的維度來解決業務上適配的問題。第二種是通過運營策略的維度去解決這個問題，比如說去定製一些選品的規則，投放的規則，比如在扶持策略上做傾斜，以及根據物品的推薦時效性去做整體策略的調整。 場景的調優的路徑，也就是在我們優先完成服務後，再單獨對場景作算法、運營策略的定製和優化。 二、經典算法模型簡介 （一）協同過濾 算法邏輯 智能推薦應用的協同過濾為 itemCF，算法邏輯為，根據輸入的平臺行為數據，結合點擊與否的判斷，產出一個類似PPT中的表格，計算出每個item之間的打分表，點了ID等於1的item之後，點ID為2的概率值，這個概率值代表了這兩個item之間相似程度。 運作方式 首先要先找到左邊的item，找左邊item時需要結合實時的用戶行為，比如說採集到用戶點擊口紅商品，命中唯一的口紅商品ID。在下一刷時，知曉用戶對當前口紅感興趣的狀態下，去推薦更類似的一些口紅，容易得到更多的點擊，隨後進一步轉化為訂單數據，按照圖中的打分情況，ID為2的 item推薦給這個用戶，這就是整個協同過濾，從用戶產生行為到調取這一張我們計算出來的表格，最終給用戶補充到召回鏈路的這樣的一個過程。

作者：閒魚技術——之誠 講講上下文 如果你是公眾號《閒魚技術》的老粉，也許你還記得，在去年的那個春天,我們給大家介紹了閒魚PUSH的前世今生，給大家帶來了Hermes-愛馬仕，它是一個基於PUSH的用戶運營系統。在接下來的一年裡，我們的Hermes也發生了很多改變，它收到了很多很多熱心用戶的建議、吐槽還有寶貴的誇讚，我們也基於這些信息做了很多的優化，還有很多正在陸續上線。今天我想借這個機會和大傢伙嘮嘮我們今年的進展（愛馬仕升級啦！） <img src=”https://gw.alicdn.com/imgextra/i4/O1CN01bPW8ib21AOyF9kgtb_!!6000000006944-0-tps-1024-680.jpg” width=”500″> 過去這一年 作為一個技術同學，我想從三個視角給大家介紹一下目前閒魚的推送還有哪些地方需要加把勁兒： 用戶寶寶們：推送的內容相關性需要再提升，“有些時候推給我的東西感覺還是沒啥興趣”，“有些時候推送是不是發的有點多了，我其實最近不太想看推送，你說我關通知吧，我還想收到私聊或者訂單的通知，不關吧，有些推送我真的不想收到啊” 業務大大們：“現在的閒魚業務這麼豐富，潮品、同城、社區….，但我們和目標用戶連接不穩定啊（因為我們的Hermes系統是選擇最好的內容給用戶，每次推送可能都不一樣，並沒有穩定的通道直接連接用戶和行業），這樣推送帶來的轉化不夠啊；而且我們希望用戶的長留要好，不能光看短期點擊的”。 頭禿的我：作為Hermes平臺的技術owner，我發現系統確實需要升級了，隨著觸達業務不斷複雜，技術架構無法完美支持豐富的業務場景，而且當問題出現時，現有的技術鏈路無法全鏈路復現當時的問題。 So！這些問題怎麼解？ 打仗得有戰略 我們要做的是： To 用戶寶寶：• 只關注自己感興趣的推送，不開心隨時取關，免打擾，刪除，怎麼都可以。• 推送的疲勞度全局管控，你喜歡多看就多發給你，不喜歡就不發給你。 To 業務大大：•