開發與維運

25 億條/秒消息處理!Flink 又雙叒叕被 Apache 官方提名

摘要:Apache Flink 作為公認的新一代開源大數據計算引擎,可以支持流處理、批處理和機器學習等多種計算形態,也是 Apache 軟件基金會和 GitHub 社區最為活躍的項目之一。

3 月 26 日,Apache 官方博客宣佈其成立 21 週年,博客中對 Apache 之道、Apache 大型項目的應用以及 Apache 基金會里程碑事件進行了盤點。其中 Apache Flink 在 2019 年阿里巴巴雙 11 場景中突破實時計算消息處理峰值達到 25 億條/秒的記錄被 Apache 官方博客收錄。

隨著 Flink 1.10 版本的發佈,Blink 合併的正式完成,Flink 作業的整體性能及穩定性有了顯著優化,越來越多的企業開始採用 Flink 用於生產環境。相信 Flink 的整體性能將隨著社區發展、生態的完善不斷取得新突破。

▼ 以下為博客原文翻譯 ▼

2020 年 3 月 26 日,Apache 基金會(ASF)的全部志願者、管理者以及孵化的 350 多個開源項目宣佈其成立 21 週年。

為了履行為公眾提供軟件的使命,ASF 的志願者社區從最初的 21 個負責 Apache HTTP 服務器研發的成員發展到 765 個成員、206 個 Apache 項目管理委員會和 7600 多位負責 300 個項目的提交者管理著 2 億多行 Apache 代碼(價值超過 200 億美元)。

Apache 的突破性技術涉及現代計算的各個方面,為互聯網提供大量支持,管理 EB 級數據,執行數兆次運算,並且幾乎在每個行業中存儲數萬億個對象。Apache 項目都是 100% 免費提供的,並且沒有許可費用。

“在過去的二十年中,Apache 軟件基金會一直是值得信賴的、以供應商為中心,社區主導的協作之家,” Apache 軟件基金會執行副總裁 David Nalley 如是說。“如今,ASF 成為開源的先鋒,孵化大大小小的項目,擁有世界一流的創新模式。”

Apache 之道

作為社區主導的組織,ASF 嚴格保持中立。它的獨立性確保任何組織包括 ASF 發起人和為 Apache 項目貢獻的組織都不能控制項目的方向或擁有任何特殊特權。

ASF 以社區為中心的開發過程稱為“Apache 之道”,它指導現有項目及其社區,並繼續激勵來自世界各地的新一代創新。Apache 之道體現在:

  • 獲得的權力:所有個人都有機會參與社區,比如對社區的貢獻。
  • 同類社區:個人參加 ASF 獲得的榮譽是永久的,並且不受就業情況或僱主的約束。
  • 開放式交流:與代碼和決策制定有關的所有交流都可以公開訪問,以確保 ASF 在全球分佈的社區內可以異步協作。
  • 共識決策:Apache 項目由一支積極參與各自項目的自選志願者組成的團隊進行監督。
  • 負責任的監督:ASF 治理模式基於信任和委託監督。

Apache 之道一直是協作計算的先驅,並直接影響了將源代碼和開放開發原則應用於組織內部的方法。Apache 之道已被無數組織採用,包括 Capital One、Comcast、愛立信、HP、IBM、Google、Microsoft、PayPal、SAP、T-Mobile 和許多其他組織。

ASF 對社區的關注與 Apache 精神息息相關, “社區高於代碼”是堅定不移的宗旨。充滿活力、多樣化的社區可以使代碼保持活力,但是,無論代碼多好,如果沒有社區的支持,代碼就無法蓬勃生長。Apache 社區的成員在即將發行的 ASF 紀錄片中分享了他們對“Why Apache”的看法。

ASF 紀錄片:
https://s.apache.org/Trillions-teaser

Apache 大型項目應用

數十個企業級 Apache 項目定義了行業,並廣泛應用於人工智能、深度學習、大數據、構建管理、雲計算、內容管理、DevOps、IoT 和邊緣計算、移動、服務器和 Web 框架等領域。沒有其他軟件基金會可以為如此廣泛的項目提供服務。“由 Apache 提供支持”的應用程序示例包括:

  • 中國第二大快遞公司 SF Express,在 COVID-19 冠狀病毒期間使用 Apache SkyWalking 在全球範圍內進行運輸;
  • Apache Guacamole 的無客戶端遠程桌面網關可幫助全球成千上萬的個人、企業和大學在家中安全地工作,而無需綁定到特定的設備、VPN 或客戶端;
  • 阿里巴巴使用 Apache Flink 用於實時大屏和實時推薦,每秒消息處理超過 25 億條
  • 歐洲航天局的木星航天器任務控制系統由 Apache Karaf、Apache Maven 和 Apache Groovy 提供支持;
  • 英國政府通信總部(GCHQ)的應用程序 Gaffer 使用 Apache Accumulo、Apache HBase 和 Apache Parquet 存儲和管理 PB 級數據。
  • Netflix 使用 Apache Druid 管理其 1.5 萬億行數據倉庫,以管理用戶跨平臺點擊 Netflix 圖標或從瀏覽器登錄時看到的內容。
  • Uber 使用 Apache Hudi(孵化中)管理超過 100PB 數據的近實時數據湖,支持了從數倉到機器學習的所有功能;
  • 波士頓兒童醫院使用 Apache cTAKES 將電子健康記錄中的表型和基因組數據鏈接起來,以實現精確的健康發現;
  • 亞馬遜、DataStax、IBM、微軟、Neo4j、NBC Universal 和許多其他公司使用 Apache Tinkerpop 圖形數據庫中並編寫複雜的遍歷。
  • 全球生物多樣性信息基金使用 Apache Beam、Hadoop、HBase、Lucene、Spark 等工具整合了近 1600 個機構、一百多萬個生物多樣性數據和近 1.4 億個位置記錄,供研究免費使用;
  • 歐盟委員會使用 Apache Camel 開發了新的 API 網關基礎架構;
  • 中國電信公司翼支付使用 Apache ShardingSphere(孵化中)為分佈在 30 多個應用程序中的移動支付擴展到 100 億個數據集;
  • 蘋果的 Siri 使用 Apache HBase 在 10 秒內完成全環複製;
  • 美國海軍使用 Apache Rya 為智能無人機、自主小型機器人群、載人無人團隊高級戰術通信等提供動力;
  • 全世界數以億計的網站都是由 Apache HTTP 服務器提供支持。

其他里程碑

除了 ASF 的 21 週年紀念,Apache 社區還慶祝以下項目的里程碑紀念日:

  • 25 週年 - Apache HTTP Server
  • 21 週年 - Apache OpenOffice (at the ASF since 2011)
  • 20 週年 - Apache mod_perl, Tcl, APR/Portable Runtime, Subversion (at the ASF since 2009)
  • 18 週年 - Apache DB, Incubator, Ant
  • 17 週年 - Apache Cocoon, James, Web Services, Maven, Logging Services
  • 16 週年 - Apache Gump, Portals, Struts, Geronimo, SpamAssassin, Xalan, XML Graphics
  • 15 週年 - Apache Lucene, Directory, MyFaces, Xerces, Tomcat

Apache 博客原文:
https://blogs.apache.org/foundation/entry/the-apache-software-foundation-celebrates2?from=singlemessage&isappinstalled=0

Leave a Reply

Your email address will not be published. Required fields are marked *