LoongStore 分布式并行存储常见问题(FAQ)
LoongStore 产品常见问题解答
产品核心概念
问:LoongStore 是什么?它的核心定位是什么?
LoongStore 是一款由太阳集团tyc33455科技自主研发的大规模通用集群存储系统。其核心定位是为海量数据存储应用提供全局统一的系统映像和完全与 POSIX 兼容的数据访问接口,满足从几十 TB 到 EB 级别的存储需求,适用于高性能计算、大数据、人工智能、广电非编媒资、影像档案、备份归档等多种数据密集型应用场景。
问:LoongStore 的主要特点是什么?
LoongStore 的主要特点可概括为以下几点:
● 极致弹性扩展:系统容量和性能可随节点增加而近线性增长,支持从 2 节点最小部署在线平滑扩展至数千节点、EB 级容量。
● 高性能:采用前端切片、全局负载均衡、多级缓存(包括 RDMA 支持)等技术,提供高聚合带宽和低延迟,尤其擅长处理海量小文件。
● 高可靠:提供副本和纠删码(N+M)等多种数据冗余策略,无单点故障,具备故障自动检测和数据自恢复能力。
● 统一存储:单一平台同时提供文件、块、对象和大数据(HDFS)存储服务,多协议数据互通,简化架构。
● 高安全性:支持三员管理、精细化访问控制、WORM、数据加密、网络隔离等全方位安全策略。
● 开放兼容:支持X86、ARM、龙芯、飞腾、海光、兆芯、鲲鹏、申威等多种硬件架构,兼容Hadoop、OpenStack、Kubernetes等主流生态。
架构与核心技术
问:LoongStore 的系统架构是怎样的?
LoongStore 采用元数据与数据分离的分布式架构,主要由三部分组成:
● 高性能元数据服务器集群(MDS):管理文件系统的命名空间和元数据,采用偶数互备双活模式,确保高可用和高性能; ● 存储服务器集群(iStore):存储实际数据,构成统一的共享存储池;
● 应用服务器集群:运行客户应用程序,通过专用客户端或标准协议访问存储。
问:LoongStore 如何保证数据可靠性?
LoongStore 通过多层机制保证数据可靠性:
● 数据冗余策略:支持多副本(最高 4 副本)和纠删码(最高支持 N+4,如 16+1 模式下磁盘利用率可达 94%),允许在冗余策略范围内多个节点或磁盘同时故障,而不会丢失数据;
● 快速数据重建:故障发生时,系统自动探测并启动数据恢复流程,所有正常节点参与恢复,恢复速度随集群规模扩大而加快;
● 数据一致性:通过数据片校验和(Checksum)机制,确保数据传输和存储的一致性;
● 冷数据扫描:定期扫描不常访问的数据,修复静默错误,确保长期数据完整性。
问:LoongStore 如何处理海量小文件存储的挑战?
LoongStore 针对海量小文件存储的挑战进行了多项优化:
● 高效的元数据集群:偶数互备双活的元数据集群可线性扩展,支撑单文件系统超 5000 亿文件的元数据管理,提供高并发元数据操作能力;
● 小文件在线聚合:将多个小文件合并成一个数据块进行传输和存储,显著减少网络开销和磁盘 I/O 次数,提高读写效率;
● 多级缓存机制:利用客户端和服务器端内存进行智能缓存,顺序读取海量小文件时内存命中率可达 96% 以上。
功能特性
问:LoongStore 支持哪些数据访问协议?
LoongStore 支持丰富的协议,实现统一存储:
● 文件协议:原生 POSIX 兼容的LeoFS协议(高性能)、NFS、CIFS/SMB、FTP、HTTP;
● 块协议:原生 LeoSAN 协议(支持 Oracle RAC 等)、iSCSI;
● 对象协议:兼容 AWS S3 和 OpenStack Swift 的 LoongKeeper 协议;
● 大数据协议:兼容 HDFS 接口,提供原生 HDFS 协议支持。
所有协议共享同一存储池,数据互通,无需拷贝转换。
问:LoongStore 是否支持快照和克隆功能?
支持。LoongStore 可对文件系统内的任意目录、文件及块设备创建快照和克隆:
● 快照:采用 ROW(Redirect-on-Write)技术,秒级完成,几乎无性能影响,空间占用小。单系统及单目录支持无限数量快照;
● 克隆:基于 ROW 实现快速内部拷贝,秒级完成 TB 级数据克隆,初始不占用额外空间,仅在数据修改时占用新空间,极大节省存储资源,特别适用于虚拟化场景。
问:LoongStore 有哪些数据安全和控制功能?
LoongStore 提供了完善的数据安全和访问控制功能:
● 访问控制:支持基于客户端、用户、用户组的精细化权限控制(读、写、删、重命名等);
● 数据隔离(ESD):可将存储系统的特定子目录导出给指定应用服务器,实现逻辑隔离;
● WORM(一次写多次读):为目录设置保护期,确保数据在指定时间内不可篡改和删除,满足合规要求;
● 配额管理:支持对目录、用户、用户组设置容量、文件数和目录数配额;
● 加密与审计:支持数据传输和存储加密,并提供操作日志和管理日志供审计。
部署与运维
问:LoongStore 的部署要求高吗?最小规模如何?
● 部署灵活,门槛较低。最小规模仅需 2 台通用 x86 服务器即可构建一个可用的集群(可融合部署元数据和存储服务);
● 支持使用标准商用硬件,无需专用设备,极大降低了初始投资成本;
问:LoongStore 系统的管理和运维是否复杂?
不复杂。LoongStore 提供了基于Web的图形化管理界面,涵盖系统监控、配置、告警、运维等所有操作。
● 集中监控:实时展示系统容量、性能、服务器及磁盘健康状态;
● 智能告警:支持界面告警和邮件通知,及时发现系统异常;
● 简化运维:内置管理向导,支持在线扩容、缩容、数据迁移等操作,目标是一名单人管理员即可管理EB级系统。
问:元数据服务器台数和存储服务器台数应该怎么配比?
元数据服务器台数与存储服务器台数之间没有必然联系,需分别确认。元数据台数配置的数量取决于所存文件数量和元数据检索能力,一般情况下,一对配备 7.68TB 盘的元数据服务器能存储 260 亿文件(150 亿对象)。存储服务器数量取决于容量和文件系统整体性能。
问:LoongStore 产品集群版支持的最小规模为几台?
集群版最小规模为 2 台,受限于数量只能选择 EC2+2 冗余模式,可用容量为 50%;再次扩容可平滑扩容至多台。
问:通常项目的容量计算方式是什么?
容量计算公式为:裸容量×冗余比×0.91-本地格式化消耗=可用容量。注意冗余比的计算,EC2+1、4+2 模式的冗余比为66.7%,4+1、8+2 模式的冗余比为 80%。
性能指标
问:LoongStore 的性能指标如何?
LoongStore 的性能指标表 现优异:
● 单节点性能:单全闪存储节点可实现 180GB/s 带宽与 500 万 IOPS 的读写性能;
● 扩展能力:支持数千台存储节点在线横向扩展,性能随节点数量线性增长;
● 容量规模:单文件系统支持超过 5000 亿文件,存储容量可达EB级别;
● 并发访问:支持上万台计算节点客户端并发挂载访问;
● 小文件处理:单日文件创建量突破 170 亿,小文件处理性能显著优于传统存储。
问:LoongStore 在 AI 智算场景下的表现如何?
LoongStore 在AI智算场景下表现卓越。
● 万卡级支持:已成功部署支持 GPU 万卡集群的超大规模智算中心,存储容量达 58PB;
● RDMA 加速:采用 RDMA 技术显著提升存储访问性能,减少数据传输延迟;
● 高带宽保障:聚合带宽随节点增加线性增长,确保 GPU 算力高效利用。
● 海量小文件:针对 AI 训练产生的海量小文件,通过分布式元数据架构和 NEST 小文件聚合技术实现高效管理;
● 智算案例落地:已经成功支持数个万卡、千卡英伟达 N 卡的智算中心,以及成功支持了昇腾、摩尔、沐曦等众多国产算力卡建设的智算中心。
兼容性与生态
问:LoongStore 支持哪些操作系统?
太阳集团tyc33455产品支持多种操作系统:
Linux:CentOS、RHEL、Ubuntu、麒麟软件、统信软件等;
Windows:Windows Server 2016/2019/2022、Windows 10/11;
macOS:macOS 10.15+;
国产操作系统:麒麟软件(银河麒麟)、统信软件(UOS)、欧拉等。
问:LoongStore 对国产化环境的支持情况如何?
LoongStore 对国产化环境支持良好,是重要的核心竞争力之一:
● 硬件兼容:除通用 x86 架构外,全面支持龙芯、申威、飞腾、华为鲲鹏、海光、兆芯等国产 CPU 平台,支持异构混合部署成为一个共享存储池,无需分组;
● 软件生态:兼容主流国产操作系统如欧拉、麒麟、通信、中科方德、移动大云等,并支持国产数据库。
问:LoongStore 能否与云计算平台(如OpenStack)和大数据平台(如Hadoop)集成?
可以完美集成。
● OpenStack:提供 Cinder 驱动,为 Nova 计算服务和Glance镜像服务提供块存储和镜像存储支持;
● Hadoop:原生兼容 HDFS 接口,Yarn、HBase、Hive、Spark 等所有 Hadoop 生态组件均可直接运行在 LoongStore 上,并获得比原生HDFS更高的存储空间利用率(如 EC 模式可达94%);
● Kubernetes:提供标准的 CSI 驱动,支持容器持久化存储。
问:网络协议支持 情 况 如何?
LoongStore 支持 TCP 协议和 ROCE 协议,并支持 TCP 和 ROCE 协议共存。后端软件自适应,配置好驱动后,前端流量无论以哪种协议方式访问后端均可。
应用场景与优势
问:LoongStore 主要应用于哪些行业?
LoongStore 已广泛应用于以下行业:
● 能源;
● 气象;
● 测绘;
● 媒体制作;
● 教育科研:HPC 存储需求;
● 医疗影像;
● 生物医药;
● 自动驾驶;
● 金融量化交易;
● 智算中心。
问:LoongStore 在影视后期制作场景的优势是什么?
在影视后期制作场景,LoongStore 具有以下优势:
● 高并发 IO:满足 3D 建模、渲染、特效制作等环节的高并发数据访问需求;
● 小文件优化:针对分镜文件、音频片段等海量小文件,通过聚合技术显著提升性能,单文件系统支持千亿级文件、单目录存储数千万文件;
● 版本管理:利用秒级快照和克隆技术,快速创建版本副本,方便团队协作;
● 成本优化:相比传统高端 NAS,初期建设成本可降低 50%;
● 独特的驱动级别 Windows 客户端:替代传统的 CIFS 协议,具有性能和可靠性优势,完全兼容覆盖所有常见的 Windows 版本。
公司总部 · 北京
客服电话
400-803-6006
网销电话
400-803-6006
丨 最新动态
太阳集团tyc33455高性能并行存储支持AI人工智能
异构混合存储,提速全国产化进程