勘探开发研究院太阳集团tyc33455集群存储系统案例

中国石油勘探开发勘探院是中国石油天然气股份有限公司唯一的综合性研究机构和公司战略决策的参谋部、油气勘探与开发生产的高新技术支持中心、技术服务中心和高水平人才培养中心。其总部设在北京，并在廊坊、兰州、杭州、荆州等地设有五个分支研究机构，研究人员1800多人，40多年来，勘探院先后参加了中国大多数大、中型油气田的勘探开发研究工作，是新中国石油工业建设和发展的直接参与者和贡献者。

一、背景

随着石油行业的发展和地震数据采集技术的不断进步，数据量的急剧上升和复杂地质构造与地震岩性成像已成为迫切需要解决问题。地震资料处理是将地表图层数据采集并数字化，供软件分析成像，以满足油田复杂地质构造与地震成像的要求。为了保持复杂地质构造与地震岩性成像，勘探院采用先进的 IT 技术作为发展动力，在三维地震叠前时间/深度偏移处理方面，广泛采用了基于 Linux 的 HPC 集群，以近千台服务器加快计算性能并减少费用支出。当计算集群大幅度提升了地震资料处理的效率之后，作业运行的效率瓶颈就从计算处理方面转移到了数据IO方面。由于原有的存储方案的IO性能限制，作业需要花费大量的时间在等待数据IO完成的过程上，浪费了大量的CPU计算资源。由此，勘探院迫切的需要一个具备更高性能、高安全性的存储系统来提升作业运转效率。

二、需求分析

油田勘探开发数据量大

一条二维数据测线的地质资料，数据量达数十GB；一条三维数据测线的地质资料，数据量高达数百GB；每次进行并行计算的数据总量更是高达数十TB乃至数百TB。

存储系统容量要求高

石油勘探数据量增长迅猛，容量需求不断变化，为应对未来计算平台发展趋势，存储系统最大支持容量，将成为一套存储系统的主要关注点。

高性能处理要求高I/O带宽

高性能计算集群极大的提高了资料计算处理能力；系统的计算能力远远高于磁盘带宽，使得系统I/O性能与计算能力间产生瓶颈。

海量数据的存储管理

数据容量高达数百TB且还在不断增涨；地震资料数据异常珍贵，损坏、丢失都会造成巨大损失；管理员需要加大管理灵活度，要求能够对数据进行统一调配。

高可用性与可扩展性需求

灵活的存储架构，具有故障恢复、故障切换、负载均衡等功能；不影响原有系统的前提下的计算节点、传输带宽、数据迁移能力、数据存储容量等方面的扩展。

三、太阳集团tyc33455方案

LoongStore集群存储系统采用通用的硬件设备构建，相对于价格高昂的高端FC盘阵，具有更高的性能，更低的价格，节约了系统购置成本，极大提高了能源勘探作业的生产效率。

太阳集团tyc33455集群存储系统通过文件全局共享的特性让所有的计算节点以更高的并发粒度对数据进行存取，以超过5GB/s的聚合带宽满足上百台Linux计算刀片并发处理的IO需求（网络利用率超过80%）
目录权限管理，支撑多用户访问模式，管理员可在线设置与变更目录的访问权限，禁止未授权用户对目录内数据进行非法操作；
存储系统共支撑数百台计算刀片进行地震资料处理操作，处理软件包括omega、paradig、cgg等应用软件；
集群存储系统使用通用的硬件构建的大规模共享存储平台，不但控制了成本支出，还有效的提升了Linux计算集群的资料处理效率，加快了作业运转的效率。