新知一下
海量新知
6 0 7 6 6 9 0

华为存储获全球权威榜单IO500第二,背后意义非凡!

海峰看科技 | 关注通信、手机、IT的科技媒体 2021/11/29 23:32

在IT领域,从来不缺乏各种擂台及排名,但能引起科技圈热议的排名却少之又少。最近,来自数据存储江湖的一项排名,却引起整个科技圈的热议。这便是国际超级计算大会SC21近期公布的全球最新IO500榜单。

我们从排名看到,华为存储HPDA Lab(由华为OceanStor Pacific存储支撑)位列第二,仅次于我国的鹏城云脑II(由华为昇腾AI助力),超越英特尔、联想、DDN等,备受关注。

新知达人, 华为存储获全球权威榜单IO500第二,背后意义非凡!

要知道,I/O(数据输入输出)性能是衡量超级计算机应用效率的重要指标。而IO500是高性能计算领域针对存储性能最权威的世界排行榜之一,针对存储系统进行全系统性能和10节点性能的排名,备受国内外超算领域客户重视(如大学、国家实验室、能源、天文、基因等研究机构)。

可能大家要问,我们研究高性能计算,为何要单独关注存储部分?本次华为HPDA(高效能数据分析)存储能在权威国际排名中取得第二,对存储市场有何意义?华为有何厉害之处,能够在高手如云的计算存储江湖脱颖而出?

HPDA成高性能计算主流,存储作用越发重要

想要回答这几个问题,我们首先需要了解HPC(高性能计算)和HPDA。

当前全球超级大国都在争夺未来科技的主导权,希望借助高精尖的ICT科技力量,带动本国数字经济发展。科技力量中的一个关键是IT基础设施超级计算中心,包含计算、存储、网络等组成部分。

HPC可通过聚合大量的计算与存储单元,对数据进行分析,从而解决科研领域的众多难题,如基因测序。人类最早完成基因测序时,由6个国家花了13年才完成,更是花费了30亿美元。如今,全基因组测序只需要1天便可完成。基因测序时间大幅缩短背后,则是HPC技术发展的结果。

在天气预报方面,如中国工程院院士、中国计算机学会前理事长郑纬民所讲,过去的天气预报受算力限制,只能进行以天为单位的短时预报,预报未来3天的天气状况,而且经常出现偏差,随着算力的提升,现在可以预报15天后的降雨、温度等情况,预报的精准度都大幅提升。

当然,这些只是HPC诸多应用的一角。在如今的科技领域,HPC被广泛用于油气勘探、芯片制造、宇宙探测等诸多领域。可以说,HPC实力的高低,直接决定了一个国家科学发展速度的快慢。

随着HPC、大数据、人工智能技术的不断融合,高性能计算发展也从以计算为核心,向以数据为核心的计算演进。此时,高性能数据分析(HPDA)被视为未来行业发展的主流方向。这也预示着谁掌握了HPDA,谁便掌握了科技发展的未来。

据IDC统计,全球67%的高性能计算中心(HPC)已经在使用AI、大数据相关技术,HPC与AI、大数据加速融合,走向以数据密集型为典型特征的高性能数据分析HPDA时代。

HPDA成为高性能计算主流之时,其对存储设备也提出新要求。随着数据量从PB级向EB级的演进,使得存储成本日益增高;计算量的持续增加,对海量数据的存储能力提出更高要求;应用的多样化对数据分析提出更高要求,需要存储设备能够实现数据的频繁迁移和转换。

此外,企业在数字化转型中,想要挖掘数据价值,离不开高性能的数据存储设备。据ESG实验室调查表明,21%的企业报告称其管理的数据超过10PB,5%的企业管理的数据超过50PB。同时,71%的企业表示,数据存储技术具备战略意义,对其核心应用和业务流程至关重要,可以打造竞争优势。

新知达人, 华为存储获全球权威榜单IO500第二,背后意义非凡!

IO500是存储江湖的“华山论剑”

那么全球诸多IT厂商中,到底谁的计算存储产品方案更具有竞争力?在金庸先生的《射雕英雄传》中,华山论剑可谓是武林盛事。本次的IO500榜单竞争,就是存储领域的“华山论剑”。我们可以从以下几方面,感受到该排名的与众不同之处。

首先,专门针对存储。与TOP500榜单这种侧重全球已安装超级计算机排名不同,IO500榜单是针对超级计算机的存储系统性能进行排名。IO500榜单特别凸显出计算场景存储产品的技术实力和产品水平。

可以简单理解为,不同武功需要在各自的擂台上比试。试想一下,如果练拳的和射箭的同台比试,是不是就失去了排名的意义?在这个IO500擂台上,大家所用“武器”相同。这可以让存储领域的高手,凸显出真正实力,而非综合实力。

其次,全面性能测试套件,测试可信度高。在高性能存储领域,存储性能的测试更是一项极为复杂的任务。因为,并行I/O不仅受CPU延迟及网络影响,还会受到底层存储技术和软件影响。而不同的测试方法及工具,甚至是测试顺序的不同,都能带来较大的差异性。

IO500则定义了更为全面的性能测试套件,通过对高性能存储系统进行标准的测试和比较,为行业提供更为可信的测试结果。据悉,IO500准备了理想状况下,以及更为苛刻的测试流程,用于测试设备性能底线。

再次,必须结合实际,对用户有价值。据悉,IO500在成立之初,不仅要求测试真实系统上观察到的典型工作负载,还要求测试结果对用户具有意义,尽量将测试偏差降低。更重要的是,IO500还要求参加测试的设备,能够在大型计算机及存储系统上运行,需要提供不同版本的软件包和工具。

最后,测试更公平,更能经受各种质疑。从测试人员配置来看,IO500由存储业界的国际知名厂商代表和学者组成委员会,并公平接受全球厂商、研究机构提供的存储系统性能测试数据。

从以上的介绍,我们不难看出,IO500的确是存储领域的“华山论剑”,排名靠前的企业产品,代表全球最尖端的水平。

华为参与擂台勇夺第二,背后意义非凡

从前面介绍,我们了解到IO500这个擂台,绝对算得上存储江湖的顶级擂台。本次华为存储HPDA Lab(OceanStor Pacific存储)获得IO500榜单第二,意义非凡,在科技江湖引起热议也就不难理解了。

那么,华为OceanStor Pacific存储获得第二的强大实力何在?

新知达人, 华为存储获全球权威榜单IO500第二,背后意义非凡!

首先,支持多协议互通。在面对数字化转型中,各种设备之间的数据孤岛成为难点。中科院院士陈国良认为,如果说数据是数字世界的新石油,那么非结构化数据更难处理,就像石油中最难开采的页岩油。如何打破数据间的壁垒?

具备多协议互通能力的外交能力是关键。比如自动驾驶、精密医疗、智能制造等典型行业应用中,需要在文件、对象和大数据等不同阶段,对数据进行调用,需要多协议互通能力支撑。

为此,在多协议支持上,华为OceanStor Pacific存储系统允许应用通过无缝支持NFS、CIFS、HDFS和S3等协议,实现对数据的共享;同时,在无数据迁移的情况下,华为也可通过多个协议进行读取,保证设备在语义无损和高稳定的性能。

据悉,华为OceanStor Pacific存储在此前ESG测试中,单个高性能高可用平台上,保证使用多种协议访问的稳定的数据性能。

其次,很好地支持混合负载。据悉,华为OceanStor Pacific文件系统采用元数据分布、大小 I/O分流、磁盘索引等技术,可同时满足高带宽和高IOPS需求。该能力能够破解传统HPC在面对已处理数据的解释是需要高IOPS的困境。

华为OceanStor Pacific不仅兼顾了由网络、磁盘或内存不足造成的难题,更解决了CPU算力不足或调用堆栈深度等软件问题引起的IOPS瓶颈,可谓能力全面,可轻松应对高性能计算领域面临的挑战。

再次,具备高密设计和出色的TCO。华为OceanStor Pacific采用自研的half-palm NVMe盘,将横截面减少65%,可支持在每个5U机箱中集成2个存储节点,每机箱最多支持120个3.5英寸SATA盘;采用领先的散热材料、创新的风扇布局和全新的结构设计,将整个存储系统的冷却效率提高30%。

据悉,华为OceanStor Pacific的五年TCO,比高密横向扩展NAS系统低61%。同时,华为OceanStor Pacific提供极高密度的平台,可最大节省64%的托管成本,62%的资本支出和32%的供电和冷却成本。

最后,已高效支持多个研究机构研究。据悉,在石油勘探领域,中国石化石油物探技术研究院与华为携手,基于OceanStor海量存储建设融合共享的地震资料资源池,打造更高效和经济的数据分析处理平台;在宇宙探索方面,中国科学院空天信息创新研究所与华为联合,基于华为OceanStor存储,单目录140PB大容量、单节点5GB/s极限带宽能力,实现海量遥感数据应用效率大幅提升;在基因检测方面,华大基因基于华为HPDA解决方案,使得无创产前基因检测业务速度提升1倍。

另据笔者了解,华为此次参评的OceanStor Pacific产品,在软件系统和硬件存储介质方面,实现了最优的匹配,借助算法、架构方面的创新(如OceanFS),且是在具备数据保护的前提下,将硬件SSD介质的潜力发挥到极致。这是许多国外厂商做不到的,也是华为产品的真实性能取得高分的关键。

新知达人, 华为存储获全球权威榜单IO500第二,背后意义非凡!

笔者观察:江湖竞技无止境,中国HPC更可期

记得此前一位行业专家对高性能计算这样讲到:“高性能计算是世界科技竞争的制高点,一个国家的高性能机器做得好不好,对国家有着标志性的意义。”

要知道,传统超算中心建设存在重算力、轻存储的现象。这使得我国高性能计算在大规模数据读写、本地盘存储、跨服务器数据共享访问等方面存在短板。

与此同时,我们看到数据密集型HPDA是未来高性能计算发展必然趋势,是可以匹配HPDA各个场景的高端存储,可以让基因测序、气象海洋、超算中心、能源勘探、科研与工业创新、智能医疗、深度学习、人脸识别等数据密集型HPDA应用场景,在效率、品质、性价比等方面有一个飞跃式提升。

新知达人, 华为存储获全球权威榜单IO500第二,背后意义非凡!

也就是说,谁能在HPDA领域处于领先,谁将掌握科技发展的未来。

对此,华为正在靠强压式投入,打造自己在HPDA领域的深厚积累,实现厚积薄发,让中国高性能计算存储领域未来可期。华为OceanStor Pacific支持的华为HDPA Lab本次在IO500排名中取得第二的成绩,就展现出华为HPDA的领先能力。

发力存储晚一步的华为,为何能超越海外厂商取得出色成绩?

我们或许能从以下这组数据洞悉这种成绩获得的原因:华为OceanStor存储在全球拥有12个研发中心、4000+研发人员、3000+专利,已经在全球150多个国家服务于15000+客户。

总结看,华为OceanStor Pacific本次获得IO500全球排名第二,一定意义上说明,中国企业已经补足了我国高性能计算的存储部分短板,也代表中国的高性能计算能力将稳步提升,可以支持中国乃至全球科技研究的突飞猛进发展。

更多“华为存储”相关内容

更多“华为存储”相关内容

新知精选

更多新知精选