Top
首页 > 正文

磨砺八年 QingStor升级国产化分布式存储产品

十年前的企业级存储市场,将分布式存储和全闪存储设定为主要发展趋势,而且市场也是非常规律的逐渐发展。也正因为这样,让QingStor存储产品线研发负责人王煜看到了当前存储市场发生的巨大变化
发布时间:2020-09-02 18:07        来源:赛迪网        作者:徐培炎

【赛迪网讯】古有十年磨一剑,今有八年造存储。QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储以及QingStor融合存储四款产品,就是青云QingCloud存储产品线——QingStor历经八年,锻造出来的四大明星产品,并且全部都经过了公有云和私有云的大规模验证,甚至相比开源产品的优势更加凸显。

为云而生的存储

十年前的企业级存储市场,将分布式存储和全闪存储设定为主要发展趋势,而且市场也是非常规律的逐渐发展。也正因为这样,让QingStor存储产品线研发负责人王煜看到了当前存储市场发生的巨大变化。

王煜接受赛迪网采访时表示:"QingStor是'为云设计、为云而生'的一款产品。全线产品都是从零开始,自主设计、自主研发。在当下国内的分布式厂商中,有些是基于开源的分布式存储作为底层做二次封装和二次开发,QingStor有本质的区别,从架构设计阶段,就采用了自己的架构设计理念,完全没有参考当下开源的存储架构。"

为什么要选择自研这条非常艰难的方向来做?主要基于两点,王煜介绍:

第一,企业核心业务上云,对于存储的要求是非常严格的。这个严格不仅仅是像传统存储对性能、稳定性的要求这么简单,更多的是云计算中复杂场景下对于安全性、隔离性、大规模水平扩展能力的要求。市面上很多主流的开源存储,没有一款能够完全满足上述所有要求。

Ceph本身在性能上有很大的弊端,很难承载企业客户关键性的核心业务。HDFS是Google 2006年GFS论文的开源实现,针对互联网大数据的场景,并不是非常通用,它的单点问题、扩展性问题,都是难题。HDFS的底层是一个单机文件系统,并没有做太多的改造。所以单机文件系统本身存在的问题,如海量小文件的问题,HDFS也存在。

第二,希望作为一家中国企业,能够为中国客户提供全栈自研的优质产品,从而消除企业对数据安全的顾虑。

(图1)

据悉,青云QingCloud从2012年开始推出第一个版本的云计算产品,就在存储的底层坚持采用完全自研的方式,因此在过去8年时间里,累了大量在云计算环境下,对于存储的需求和技术的实践。到目前为止,QingStor产品家族里有四款专业存储产品,共同支撑市面上几乎全部主流的云计算产品。如(图1)所示,左边是青云QingCloud自家的产品,包括公有云、私有云等,都是由QingStor作为底层存储来支撑。(图1)右侧是青云QingCloud对接的很多主流的平台,包括VMware虚拟化平台、OpenStack云平台,还包括目前容器领域最火的Kubernetes容器平台。

唯一支持Oracle RAC的全闪软件定义存储产品

提到SAN,首先想到的是"高端",可以跑核心业务,如数据库。青云QingCloud在设计QingStor NeonSAN时,就希望打造一款拥有极致性能的分布式存储产品,采用缩短I/O路径栈,去掉本地文件系统,提高协议转换效率等方法,打造一款拥有极致性能的分布式SAN存储产品。正是因为这样的设计,QingStor NeonSAN能够稳定地支撑企业的核心业务,比如核心数据库Oracle RAC。到目前为止,市面上可以很稳定、快速地跑Oracle RAC的,几乎全都是传统存储。在分布式存储里,QingStor NeonSAN应该是第一款,也是唯一一款能够很好支持Oracle RAC的全闪SDS产品。

QingStor存储产品线产品经理冯相东,接受赛迪网采访时表示:"从1.0版本到现在的3.0版本,QingStor NeonSAN 整个产品迭代都在围绕核心场景打造产品的能力。截至目前,持续赋能云平台/虚拟化场景、大数据场景、业务连续性场景以及最近这两年非常火的容器/云原生的四个主要核心场景。"

KubeSphere KF3000容器一体机,是青云QingCloud帮助企业级用户快速落地容器平台,专门推出的一款新产品,结合了KubeSphere 以及QingStor NeonSAN两款产品本身的企业级能力,可以说是强强联合。冯相东希望,这款产品能够打造成为云原生基础设施的新标杆,加速容器化环境的生产落地。

冯相东强调,目前在市面上,只有青云QingCloud可以为企业级市场提供容器平台商业化能力的同时,又具备国内比较领先的分布式存储能力。因此,在 KubeSphere KF3000一体机上,青云QingCloud做了代码的优化,也做了软硬件一体化的调优工作。KF3000这款一体机绝不是功能模块的简单拼凑,而是通过大量的深层优化而具有整体性的产品,提供整体的商用级服务。另外,这款产品里的核心组件经过规模化的生产验证,可靠性方面没有任何问题。

本次QingStor NeonSAN 3.0版本的功能升级,包含四大新增功能,冯相东介绍:

第一,异构存储池支持。方便用户在一套集群内使用不同硬件配置的节点,给客户更灵活的选择,不同的业务可以放在不同节点的存储池上。

第二,卷粒度的QoS。它不单纯是存储层面的,QoS还可以对接物理机、云平台里的虚拟机、容器里的Pod,和每个卷上面的应用形成更紧密的关联,保证不同存储集群内不同业务对QoS的需求。

第三,在协议层面的全 RDMA 互联。目前不管是在物理机、虚机还是容器平台上,QingStor NeonSAN都可以支持端到端的RDMA的互联。

第四,对于业界最主流的 NVMeoF 协议的支持。QingStor NeonSAN在网络层面,以NVMeoF 通过NVMe协议访问后端存储上NVMe接口的SSD,进一步提高存储的访问效率。

QingStor NF6000的能力——3节点100万IOPS

QingStor NF6000分布式全闪存储一体机也是本次青云QingCloud重磅推出的新品,从(图2)右边的表格可以看到QingStor NF6000的配置是基于标准的x86服务器,看似很平常的硬件配置,通过最小规模的3节点集群,青云QingCloud 可以给到客户3节点100万IOPS的性能指标,并且保证时延在0.5毫秒以下,这是QingStor NF6000分布式全闪存储一体机的能力。

(图2)

冯相东认为,这个指标完全是业界主流的中高端全闪阵列性能指标,青云QingCloud 则基于标准的x86服务器、普通的硬件配置、普通的以太网络,以高性价比的硬件形态提供给用户,这是QingStor NF6000分布式全闪存储一体机最大的价值。

为什么QingStor NF6000分布式全闪存储一体机可以实现一个3节点100万IOPS的性能指标?首先,QingStor NeonSAN是专门为全闪设计的软件栈,软硬件的匹配度非常高,参数都是我们反复测试确定的最优参数。其次,硬件的性能得到充分发挥,特别是NVMe SSD的性能,我们基本可以压榨到90-100%的水平。

除了性能是最大的亮点外,作为一体机,QingStor NF6000分布式全闪存储一体机提供开箱即用的体验,插电后简单地配置就能把存储用起来。在运维层面,针对已选定的硬件,还可以做硬盘点灯的功能,减少运维层面的工作内容。这是QingStor NF6000 分布式全闪存储一体机及其核心价值。

面向未来的对象存储

对象存储是分布式存储领域里一个新晋的派系,它解决非结构化数据存储的问题,如海量图片、音视频、日志、归档备份等。这些数据读取的频率并不是特别高,通常是一次写入、多次读取的模型。但是其数据容量、数据数量都是非常大的。因此QingStor对象存储设计的核心是承载海量的数据。在整个架构设计时,采用了完全Share-Nothing的架构,没有任何单点,每一个组件都是可以无限水平扩展,并且性能不会下降。

QingStor 对象存储产品经理贾斌接受赛迪网采访时表示:"有句成语叫'鱼和熊掌不可兼得',通常认为在一件事物身上,是无法同时拥有两个极致的特性。QingStor 并不这样认为,尤其是在对象存储上。因为对于对象存储来说,如果要想服务好当下和未来的业务场景,势必要解决海量存储和超高性能共存的问题。"

所以, QingStor 对象存储花了很大的精力,在海量数据存储能力、整体超高性能、存储系统开放能力,这三个方向上做重点突破。贾斌认为,这是得益于对技术架构的深度思考和设计,使数据I/O能够做到极致效率。总结下来就是一句话——QingStor 对象存储 3.0 是一款鱼和熊掌兼得的存储服务,兼得存储海量数据和数据存储的超高性能。

如果评价存储技术是整个IT技术的皇冠,文件存储应该是皇冠上的明珠。文件存储在技术架构的实现上是非常复杂和艰难的,目前在世界范围内能把文件存储,尤其是能够做好一款分布式文件存储的厂商很少。

QingStor 文件存储研发负责人黄蒙,接受赛迪网采访时表示:"今天发布的QingStor文件存储2.0版本,是为通用场景设计的。QingStor文件存储的接口协议部分可以完整支持POSIX语义接口,从而帮助企业零成本无缝对接企业内部各种应用系统。"

黄蒙认为,拥有通用的标准文件接口,拥有多层次的扩展性,可以同时适配差异化的文件存储需求是QingStor文件存储2.0版本要具备的三个能力。并且,在设计这款产品时,首先确定的是希望打造一款云计算基础架构下,更加通用的文件存储产品,这与青云QingCloud作为一家云计算科技公司的使命和基因是分不开的。

无论是从产品定位, 还是架构设计原则,青云QingCloud所做的所有的努力, 都是旨在打造一款在云计算基础架构下更加通用的文件存储产品,黄蒙希望能通过这款产品帮助更多类型的应用更平滑上云,享受到更好的云计算基础设施带来的便利。

不为性能妥协的融合存储

融合存储是青云QingCloud 2019年在CIC云计算峰会上发布的一款全新产品。为了满足想一次采购,获得多种存储类型和存储接口,承载各种业务,甚至是还不能预期一些业务需求的客户,而打造的一款产品。与其叫产品,不如叫平台更合适。因为QingStor融合存储跟Ceph有一个非常本质的区别,虽然把QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储,三款专业的存储在部署层面上做了整合,但是在架构层面上依然保持每一个专业存储本身的架构特点,底层存储池融合在QingStor NeonSAN块存储中,使用统一的管理界面进行管理。

QingStor融合存储与Ceph最大的区别,它是一款不为性能妥协的融合存储。青云QingCloud希望给用户提供统一管理体验,提供统一存储池的同时,还能完完整整地享受到QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储,三款专业存储的功能和性能。

Portal 3.0三大升级亮点

值得一提的是,在本次新版本发布里,QingStor全新升级了管理平台Portal 3.0。这次升级的核心改进有三点,王煜介绍:

第一,加入对象存储的管理,这是在去年发布的2.0版本里没有的。加入对象存储管理后,实现存储后台的统一管理,可以用同一个管理后台管理所有存储产品。

第二,在新版本的管理平台里,运用了很多创新的图形元素的方式,增强企业运维人员对存储的理解。

第三,增加了硬盘健康状况预警功能,帮助运维人员在硬盘发生故障之前,提早预测系统内部可能发生的故障。因为硬盘本身有很多指标,我们会把这些指标抓出来做分析,从而提早帮助运维人员发现问题、规避问题。

完全区别于基于开源存储二次开发的商业存储

QingStor在软件架构层面上,不仅仅是自主研发,更是自主设计,完全区别于基于开源存储二次开发的商业存储公司。此次QingStor升级发布最核心的是把存储全栈产品线进行国产化。除了软件架构的部分,底层的芯片和操作系统,也与很多国产化厂商进行合作和互认证,包括鲲鹏、海光、飞腾、OpenPower等,还有操作系统,统信、麒麟等。希望通过国产化适配,能够让QingStor存储产品线实现全栈国产化,从而消除企业客户的顾虑和担忧。(文/ 徐培炎)

合作站点
stat