IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 为 GPU 而来,焱融科技推出新一代全闪分布式文件存储产品 -> 正文阅读

[大数据]为 GPU 而来,焱融科技推出新一代全闪分布式文件存储产品

随着“东数西算”工程全面开启,打造全国算力一张网按下了“快进键”,国家、企业都开始关注算力布局中的机遇和挑战。数据中心作为算力的物理承载,是数字化发展的关键基础设施。然而,GPU 集群往往需要处理超大模型和庞大的数据,当前的 GPU 服务器本地硬盘已经无法满足如此大量的数据存储需求。与此同时,目前市场上主流的全闪存储产品形态大多是提供块存储服务,而针对需要分布式文件存储高性能场景的全闪存储产品并不多见。据 Gartner 报告预测,到 2025 年全闪存储市场份额将提升至 57%;同期全球非结构化数据容量的 60% 也将部署为分布式存储。纵观全球存储发展市场后,我们可以预见,未来全闪存储才是存储行业的发展方向。

为了保证算力基础设施的稳步发展和满足市场对全闪分布式文件存储的需求,焱融科技针对高性能计算场景,推出全新的企业级全闪分布式文件存储一体机焱融追光 F8000X 系列(以下简称:追光 F8000X)。追光 F8000X 搭载了第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile ,采用全 NVMe SSD、InfiniBand 高速网络,实现了单存储节点达到 40GBps 以上,2,000,000 IOPS,以极高性能充分释放数据潜力。同时,业内领先的智能数据分层功能,不仅能保障高性能输出,同时还可兼顾数据存储经济性,进一步加速 HPC、人工智能、生信分析、自动驾驶等高性能计算应用场景的存储升级。

卓越性能表现,轻松应对 GPU 高速计算场景下的数据问题

焱融追光 F8000X 采用了分布式架构,从“分布式并行文件系统、网路数据传输、物理存储”三方面提供了全方位的优化升级:

在分布式并行文件系统层面,首先焱融科技针对 AI 和 HPC 场景下的海量小文件问题,提出了横向水平扩展的解决方案,把单点的 MDS 集群化,采用静态子树+目录 Hash 两者结合的方式,实现了元数据的分布存储,从而通过扩展元数据节点,支持百亿级别的文件数量,极大提升了元数据的检索性能。其次,焱融科技极大程度保证了大文件 IO 的吞吐性能,将控制流和数据流(即元数据和数据存储)分离,有效减少对 MDS 更新频率的同时,大幅提高 IO 性能。

同时,为了提高小文件 IO 访问性能,焱融科技采用小文件内联、元数据缓存、文件信息 KV 化等技术手段,保证了 AI 场景中大量只读小文件的训练性能。最后针对目录热点问题,焱融科技通过增加虚拟子目录的方式把热点分摊到集群中所有的元数据节点,不仅解决了元数据热点问题,同时也解决了单目录下文件数量问题。通过增加虚拟子目录使单目录可以支撑 20 亿左右的文件数量,并且可以根据虚拟子目录的数量灵活调整。

在网路数据传输层面,焱融科技在高性能分布式存储里实现了 RDMA 传输的功能,支持通过 InfiniBand、RoCE 或 TCP 来实现客户端到存储服务端的数据交互,以及存储集群服务器之间的数据传输。

在物理存储层面,追光 F8000X 采用了全 NVMe SSD 构建物理存储空间,并基于 NVMe 存储架构做出的深度优化,充分释放了 SSD 性能,不仅降低了延迟,提高了 IOPS 和吞吐量,同时增强了服务器处理并发请求的能力。

多维赋能算力提升,加速企业用户业务落地

据相关机构的预测数据显示,2025 年全球数据圈将增长到 175ZB,而中国的数据圈将以年均 30% 的增速增长至 48.6ZB,届时中国将成为全球最大的数据圈,数据圈规模将占全球数据圈的 27.8%。面对巨量数据,首先要考虑的是数据存储问题,不仅要保证数据不能丢,更要保证访问不能停、访问不能等。

全新一代的追光 F8000X 基于第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile ,采用了全 NVMe SSD、InfiniBand 高速网络、支持 RDMA,充分释放极致性能,完美匹配 GPU 集群对于数据访问的性能需求,并以提供更简洁的部署方式、全生命周期的数据管理服务和灵活便捷的使用体验,解决企业用户的存储难点和痛点。

  • 智能数据分层:根据策略将冷数据自动分层至对象存储,有效平衡数据存储成本。

  • ?分层镜像功能:进一步提升数据可靠性,扩展数据存储空间。

  • 智能数据加载:支持对象存储与文件存储的对接和数据通路,任意加载本地或云端对象存储数据进行训练,以及训练数据可以增量、全量导出至对象存储。

  • 应用便捷灵活:开箱即用,图形化极简部署,在助力业务快速上线的同时,支持私有客户端、NFS、SMB、CSI 灵活访问接口。

作为焱融科技的深度合作伙伴,英伟达网络高级市场开发经理陈龙表示:“焱融科技致力于高性能存储方案不断创新与开发,在最新一代全闪解决方案中,与英伟达紧密合作,以优秀的存储架构设计结合 InfiniBand 出众的网络能力,向业界展示了高端 InfiniBand 网络全闪存储解决方案的魅力。”

当前,追光 F8000X 已经可以在高性能计算 、人工智能、生信分析、自动驾驶、金融量化分析、机器学习等场景中采用。焱融科技随着追光 F8000X 的推出,实现了对 GPU 场景存储的全面革新,精准解决不同企业用户的存储难点和痛点,成为企业打造高性能存储系统的首要选择。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-06 11:06:45  更:2022-05-06 11:07:35 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:16:34-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码