IBM 計劃推出全新容器原生軟件定義存儲解決方案 IBM Spectrum Fusion HCI;新發布的 IBM ESS 3200 提供先前型號 2倍的數據訪問性能。
新時代企業需要敏捷性、多樣性和可擴展性來確保競爭力
根據麥肯錫咨詢,超過 70% 的頂級CEO表示,提升企業整體敏捷性、縮短上市時間有助于提升其市場競爭力,而這些也是他們的當務之急。
當下,企業希望比自己的同業更加敏捷,同樣也希望通過AI技術獲得更好的洞察力。我們聆聽到三種客戶心聲:
- 希望能夠隨處構建多樣化工具和數據,能夠更好地獲得洞察力
- 希望應用和數據能夠動態地擴展,實現最高性能,同時保持安全合規
企業需要具備使其能夠在任何地方開展工作的敏捷性:這意味著能夠使用支持不同開發工具的云環境,能夠進行動態擴展來滿足客戶需求,同時能夠更精細地控制成本。容器應用開發平臺可為企業提供在新時代確保競爭力和成功所需的全部敏捷性、多樣性和可擴展性。
企業對于數據的關注點已經從容器轉變到應用
然而,面向容器化和混合云的轉型并非易事。Gartner《2020 年影響基礎架構和運維的十大趨勢》報告顯示:安全、混合云和容器是完成數據轉型的基礎。58% 的企業認為網絡安全保護是一個非常重要的優先事項,50% 的企業用戶是在數據中心或者是在云端之外創建和處理的,71% 以上的企業認為需要一致的方式,在本地基礎架構和公有云中來部署云原生應用,50% 企業已經部署了容器。
今天,容器應用更加注重數據,有超過一半的企業認為基于容器構建的有狀態應用,容器的持久數據保護已經變得非常普遍。企業對于數據的關注點已經從容器技術的本身轉變到了對應用的關注。5年前,企業更關注的是支持容器的存儲,即如何利用已經投資在數據中心的塊存儲、對象存儲或者文件存儲來支持容器化的應用。從2018年至今,越來越多的企業關注的是容器原生存儲的技術,即能否夠通過統一的容器管理和調度平臺來進行存儲的管理。隨著時間的推移,越來越多的企業在思考,面向存儲的服務,應用如何可以更好地去感知,而不是每次都需要進行大量的調度,調用運維管理人員來管理存儲服務。
企業在構建一個混合云和人工智能的數據基礎的時候,無論來自于邊緣、核心的數據中心,還是混合的云端,都需要專門為人工智能優化而且為各種各樣的應用提供一個單一的數據存儲庫。
構建面向應用(而非容器)的基礎架構,包括必要的存儲底層,例如不可變性與加密、同步多協議訪問、高性能存儲緩存、歸檔到磁帶/云以及數據優化等。在此基礎上,還需要針對 HA/DR、數據保護、容量和性能管理、發現和編排、安全和遷移,優化面向混合云的存儲服務。企業需要構建一個堅實的數據基礎,打通存儲底層、存儲服務和應用運行的管理。
容器原生的 IBM Spectrum Fusion 應運而生
IBM Spectrum Fusion是業界第一個面向 OpenShift 混合云容器的原生數據平臺,計劃于 2021 年下半年上市,其第一個版本采用超融合基礎架構 (HCI) ,將計算、存儲和網絡整合為單一解決方案。配備 Red Hat OpenShift,使企業能夠支持虛擬機和容器環境,并為云端、邊緣和容器化數據中心提供軟件定義存儲。
該平臺專為需要全局混合云數據訪問和企業存儲服務的企業而設計,滿足任務關鍵數據的嚴苛要求,其功能包括:
- 全局數據訪問:創建混合云靈活性,同時通過從核心到邊緣再到公有云的流暢數據和全局訪問消除數據孤島。
- OpenShift 基礎,企業級全局數據服務:通過單個 YB 級可擴展的數據基礎來保護和優化您的數據。
- 簡化 OpenShift 部署:綜合性的計算、網絡和軟件定義存儲平臺,提供集成的管理界面和監控工具。
Spectrum Fusion提供單一的管理門戶,從而簡化管理。企業可以任意構建,隨處運行容器化的應用和服務,同時隨時隨地訪問、保護數據。該平臺面向應用和人工智能,企業可以輕松管理基礎架構(存儲、計算、網絡),輕松管理存儲的服務、輕松構建和運行應用、輕松部署 Red Hat OpenShift 容器平臺,快速敏捷地完成一系列的工作,我們稱之為“交鑰匙”工程。
軟硬一體,專為高性能 AI 和混合云打造的下一代存儲
IBM Elastic Storage Ssystem (ESS) 是一款以現代化方式實施的軟件定義存儲,它結合了IBM Spectrum Scale 軟件,基于 IBM POWER 處理器的I/O 密集型服務器以及強大的雙端口存儲機柜。IBM Spectrum Scale并行文件系統是 IBM ESS的核心,可隨需擴展系統吞吐量,同時提供單個命名空間,有助于消除數據孤島、簡化存儲管理并提供高性能。新發布的 ESS 3200 堪比 AI 時代的數據加速器:
- 業界領先的數據訪問性能 - 兩倍于上一代 ESS 3000
- 單個模塊高達 80GB/s
- 無論是邊緣、數據中心還是云端,可線性擴展到 TB/s 級的性能和 YB 級的容量
從外觀上來看,ESS 3200和上一代的 ESS 3000幾乎是相同的,同樣在一個 2U的空間里面,可支持最多 8 個 InfiniBand HDR-200 或 Ethernet-100 端口,實現了高吞吐量和低延遲;可以為每個 2U 節點提供最多 367TB 的存儲容量,支持12-24個NVMe的高速存儲模塊,同時提供了兩個Active的雙控制器。和上一代的3000相比,3200的最大的一個改進就是都全面了支持了 PCIe 4.0,無論是控制器里面的芯片,還是外部的存儲模塊。
此外,IBM ESS 5000 也做了更新,支持的密度比之前高出了 10%,總存儲容量達到 15.2PB。所有 ESS 系統現在還具備了簡化的容器化部署功能,并借助最新版本的 Red Hat Ansible 實現了自動化。
升級到 ESS 3200可以保護您的現有投資,幫助您構成一個統一的、整合的數據湖。您可以在單個命名空間中整合 ESS 3000、3200、5000 及IBM Spectrum Scale SDS 節點,全局可訪問容量高達 8YB!
Spectrum Scale/COS 增強功能不容錯過
伴隨著 ESS 3200新品發布,我們還發布了 Spectrum Scale 5.1.1 GPUDirect 存儲技術預覽,讓 NVIDIA 開發者能夠實現 GPU 內存與存儲之間的直接內存訪問 (DMA),同時減少延遲并增加帶寬。
Spectrum Scale 在過去數年當中,一直和 NVIDIA 有著非常緊密的合作,無論是基于NVIDIA提供的GPU卡,還是它的 Work Station、DGX 的服務器平臺、SuperPOD 集群的平臺,IBM Spectrum Scale都有非常完善的參考架構。
目前全球的最大的基于NVIDIA的GPU的系統,曾經位列世界第一和第二的超級計算機 Summit和Sierra,都采用了ESS作為數據存儲平臺。在2018、2019年NIVIDIA推出的每一套的SuperPOD的后面支持的存儲也用到基于 SSD 的 ESS。
此外,針對云對象存儲 Cloud Object Storage 的用戶,還發布了一個新的適用于所有的機柜的存儲模塊型號 —— Slicestor 92,可幫助客戶實現相當于之前 4 倍的密度,無需額外的空間來部署超深機架。這有助于客戶降低運營開支,滿足不同物理數據中心條件的用戶來實現一個更高容量、更高存儲密度的一個擴展。
結合新發布的ESS 3200、ESS 5000 或者對象存儲的新功能,用戶可以把現有的一些投資:不同地點、不同架構、不同類型的存儲,通過 Spectrum Scale按照應用的需求組合成一個現代化的數據存儲平臺,滿足數據在收集、組織、分析等階段所需的訪問便捷性、容量、性能、單位容量成本等需求。通過和 Red Hat OpenShift 集成,所有這些能力都可以同時運行在數據中心,也可以運行在混合云環境,從而幫助用戶真正降低復雜性、降低成本,同時通過提升整合度,提升數據使用效率,獲得更高的數據價值。
簡化數據管理,提升存儲價值,加速 AI研發
地平線,一家AI 領域的獨角獸公司,在AI模型訓練中所累積的數據量超過數十PB,且每年以若干PB的增量繼續高速增長,這些數據分散在多中心、多云環境里。起初,地平線使用基于開源GlusterFS、Ceph、以及HDFS所構建的數據基礎架構,面臨著豎井林立,存取性能下降,數據調度困難,管理復雜、數據存放成本高等難題,因此亟需改造和升級,以滿足業務發展。
基于IBM Spectrum Scale,地平線構建了高性能海量數據分布式存儲架構,統一數據平臺,消除豎井,更好地利用資源,讓業務迭代更加快速。具體而言:
第一,統一數據平臺,提升開發效率。利用Spectrum Scale 在多云之間形成統一的全局命名空間,將不同數據訪問接口的數據方便地接入進來統一管理,消除豎井,實現高效開發迭代和系統管理。
第二,數據隨需調度,快速響應需求。Spectrum Scale 讓數據得以統一調度,數據可以自動透明地在多云間自由流動,大大節省了人工成本、降低了誤操作的風險,訪問速度達到毫秒級,加速訓練任務日程。
第三,運維自動完成,提升數據安全。Spectrum Scale 自帶管理功能,提供簡單易用的圖形界面、操作簡便,原有的很多需要人工干預的操作變為自動完成,在降低管理難度的同時,提升了數據安全性。
最后,數據自動分層,降低存儲成本。依托Spectrum Scale 統一管理磁盤和磁帶,實現多樣的擴容方式和數據自動分層,把冷數據如訪問量不高的大文件自動地歸檔到磁帶系統中,形成低成本的長期存儲池,且磁帶數據實時隨機讀取,冷數據存儲降低了大約 80% 的成本,同時滿足合規需求。
“依托于Spectrum Scale 統一管理磁盤和磁帶,透明地把數據從磁盤遷移到磁帶,也可以從磁帶回遷回來,這一過程完全不需要我們干預,也無需應用進行任何訪問方式的改變。一方面,通過靈活的冷熱分層策略,地平線每年可以節省數千萬的存儲成本;另一方面,高效的分布式數據存儲管理,也使得上層的數據管理中臺與前臺業務無需關心存儲本身,而更加專注于業務系統的研發與優化! 地平線的 VP水冰先生說道。
值得一提的是,基于Spectrum Scale存儲,地平線利用端側軟件產品的優勢,開發了一套高效、規;、安全可控的數據驅動閉環迭代系統,打通了端云鏈路,賦能合作伙伴實現從數據篩選、采集標注、模型訓練優化、仿真評測,到模型OTA部署,端到端的數據迭代閉環,幫助合作伙伴充分挖掘利用數據價值,實現智能駕駛軟件自動化迭代,加速產品用戶體驗的提升。