Top
首页 > IT产品和服务 > 服务器存储 > 存储管理 > 正文

海量数据存储应对之道

首先是极强的扩展能力。因为数据规模是动态增长的,存储系统不但要应对当下的数据规模,未来数据规模呈指数级增长超过现有容量时,还需要能够灵活扩展。所以,海量存储系统应对的除了现时数据本身,还包括对未来数据的增长预期
发布时间:2015-12-30 10:28        来源:赛迪网        作者:赛迪网

在石油、科学研究、医疗等领域,对于海量且高效的存储系统的需求一直有增无减。一次石油勘探作业或者一次粒子对撞实验可能就会有PB级规模的数据产生,而医疗机构使用的HIS、PACS等系统的数据规模也呈快速膨胀趋势。海量数据的存储需要一个容量巨大的存储系统,然而容量大仅是这一系统的基本特征,实际使用中还要关注以下三方面。

首先是极强的扩展能力。因为数据规模是动态增长的,存储系统不但要应对当下的数据规模,未来数据规模呈指数级增长超过现有容量时,还需要能够灵活扩展。所以,海量存储系统应对的除了现时数据本身,还包括对未来数据的增长预期。

其次,高效和高性能。在数据存储过程中,除了数据规模本身巨大,还有备份、归档等操作会进一步增加数据量,这就需要存储系统能够判别数据冗余,实现存储空间的高效利用。除此之外,存储数据的最终目的是挖掘数据价值,所以能否在最短的时间将数据进行处理、分析,是衡量海量存储系统优劣的重要标准。

最后,存储系统平台要好操作、易管理,能够支持标准API接口。愈是复杂的系统,它的管理、操作愈是不便。这导致企业需要投入大量的人力、物力、财力资源对系统进行运维管理和升级。出于节约企业成本的考虑,海量存储系统能够提供统一、简化的管理就变得非常重要。为了实现存储和计算统一自动化的管理,这类存储系统需要支持标准的API接口。

同时满足以上三点要求的难度很大,当下最佳的解决方案是采用分布式集群存储系统。北京同有飞骥科技股份有限公司(以下简称“同有科技”)开发的NCS10000是这类产品的代表。从扩展能力上看,NCS10000可以达到8192个存储节点的扩展,同类产品仅有几百个节点的扩展能力,相较而言NCS10000扩展能力近乎无限。NCS10000不仅能在线扩展至EB级别存储容量,还可同时管理2000亿以上的文件数量,满足多达40000台以上客户端并发访问共享存储系统的需求。

在性能方面,NCS10000表现依然出众。在实际测试中,它在100节点(400片SSD+3200片机械硬盘)的规模时,系统带宽可以达到240GB,并可以提供600万的IOPS性能,这比其他同类产品的最大标称性能还要高20%以上。

此外,同有科技还在NCS10000的核心算法上进行深入研发,其中包括存储冗余算法、智能的故障探测机制、分布式切片以及负载均衡技术等技术。这些技术使NCS10000在存储性能、高效的空间利用率及高可靠性方面表现突出。同时,为简化NCS10000的管理控制,开发了一套功能齐全且易于操作的控制界面,使系统运行状态、各个节点工作负荷、存储空间占用情况、性能曲线变化等信息一目了然。

对于石油及地质勘测数据存储系统、医疗数据分析存储系统、科学大数据分析存储系统、卫星数据处理存储系统,及其它对海量数据高效存储需求较高的企业及组织,同有科技的NCS10000无论从存储能力还是性能、可靠性及操作的简易程度上都是一个绝佳的选择。

合作站点
stat