Top
首页 > 老文章 > 正文

SAN存储备份应用国家基础地理信息中心

  作为国家基础地理信息系统数据库的建设者和管理者,国家基础地理信息中心是国内最早采用SAN系统来解决海量数据存储和管理的单位。其数据网络备份方案的实施对SAN解决方案的广泛应用有抛砖引玉的作用...
发布时间:2002-02-26 09:57        来源:        作者:翟永
  作为国家基础地理信息系统数据库的建设者和管理者,国家基础地理信息中心是国内最早采用SAN系统来解决海量数据存储和管理的单位。其数据网络备份方案的实施对SAN解决方案的广泛应用有抛砖引玉的作用。   海量或巨量数据的存储和管理,对于大型企业、公司和数据中心来说确实是一个棘手的问题。然而却有人“明知山有虎,偏向虎山行”。 国家基础地理信息中心(以下简称“中心”)就采用了SAN(Storage Area Network,存储区域网)系统来解决海量数据的存储和管理问题。值得一提的是,该方案是中国最早付诸实施的基于异构平台(Unix和NT)的SAN备份解决方案之一。   传统的服务器自带存储系统的方式在越来越多的场合已经难以满足用户的要求,如何有效地收集数据、移动数据、管理数据和共享数据,成了最令人伤脑筋的问题之一。SAN(存储区域网络)解决方案的架构就是在这样的背景下提出的。虽然SAN不能解决有关存储的所有问题,然而,SAN却是可以最大限度地满足存储关键需求的解决方案框架。
数据备份当务之急
  “中心”自成立以来,成果数据与日俱增,数据备份工作显得尤为重要,实现海量数据的全自动化备份已是当务之急。   “中心”在一台Sun Sparc1000E和两台Sun Enterprise 5500服务器中共约有2TB的GIS成果数据,在Sun、SGI工作站和PC内的GPS、RS成果及重要的中间成果数据与上述数据量相当。在未来的三年内,随着遥感地面影像数据库的完成,成果数据量约有20TB。   “中心”主要的数据成果,如1:100万和1:25万基本比例尺地形数据库,均采用ARC/INFO的Coverage数据模式存储和管理,每100GB数据,约含600万个文件、20万个目录,而单个文件尺寸最小者仅仅为几个字节,最大者不过20KB。至于遥感影像数据库,特点是整体数据量巨大,但数据数量小。一般情况下,单个文件尺寸较大,约为N×10MB(N为1~10之间的整数)。这两种特征截然不同的数据,对软件选取、备份方式与策略的要求常常是冲突的。   据分析,基础地理信息系统数据库建库过程中,中间过程数据量约是成果数据量的2~3倍。重要的阶段性的中间过程数据需要备份。
SAN备份模型示意图
  由于突发事件较多,数据呈波浪状分布。根据以往的经验,一个中大型项目的实施,常常导致备份数据量的突然增加,甚至增加值较大。如1:5万DRG项目进行过程中,“中心”日备份数据量增加6GB。这要求备份系统具有一定的余量。   目前,“中心”只配备有4mm、8mm、DLT7000和1/4英寸磁带机,备份工作基本上是人工单机单盘手工作业,效率低、安全性差,已不适应对数据备份工作的要求,更不能实现海量数据的全自动备份,具体表现为读写速度慢、故障率高、数据可管理性差。   据实验表明,如果将“中心”现有的2TB数据(仅包括Coverage数据)进行一次全备份,至少耗时3周,约需170盘容量为12GB的DDS-3 4MM磁带,需要两位工作人员每天满负荷工作。这种模式显然不能满足工作要求。因此,当前首要的工作是保障Sun和NT服务器的全自动备份,其次是Client端(如Sun和SGI工作站)的自动化备份。   SAN将如何应对这样繁杂的数据呢?
突破带宽瓶颈
  “中心”依据备份数据量和性质的不同,将备份节点分为主节点、一级节点和二级节点三类。主节点包括1台Sun Sparc1000E,两台Sun Enterprise 5500,以及3台Windows NT等共6台企业级服务器;一级节点包括1∶5万数据库部、遥感部、数据档案部、应用部和空间定位部的NT部门级服务器(5台以上);二级节点包括上述部门和通信部所属的在工作中发挥核心作用的Unix工作站和PC。主节点主要进行成果数据的备份,基本不进行中间过程数据的备份操作;一级节点主要进行本部门和项目重要的中间过程数据的备份,同时也进行部分成果数据的备份(如空间定位部);二级节点主要备份项目重要的中间过程数据,一般不允许进行成果数据的备份操作。   从空间位置上看,这三类节点主要分布在办公楼的2层和4层,其中主节点全部分布在2层通信部和1∶5万数据库部机房内;一级节点除应用部服务器在5层外,其余全部在2和4层;二级节点只存在于1∶5万数据库部和遥感部。   从备份数据量来看,数据风暴将主要来自遥感部和1∶5万数据库部。   从备份方式看,除二级节点可通过LAN进行备份外,其余不得占用LAN资源进行备份操作,而利用SAN(存储区域网)技术来实现相关操作。也就是说,服务器的数据备份采用LANfree方式的SAN备份技术,避免由于备份时数据量巨大导致LAN崩溃的危险,而Client端由于数据量较小则可通过LAN进行备份。   随着光通道技术和大型存储设备技术的发展,基于SAN模式的存储备份系统解决方案日趋完善,尤其是在磁带库备份应用方面已有成熟的解决方案可供选择。“中心”根据实际需要,存储备份系统拟采用SAN技术进行系统集成,并保证其先进性和完整性。   SAN备份解决方案是与现有的传统网络(LAN)备份方案并行发展起来的,它借鉴了LAN的一些技术,网络的构成也与LAN或WAN相似。在备份应用领域,随着用户数据量的不断扩大,网络带宽成为网络备份的瓶颈,用户只能不断升级网络带宽或增加备份磁带机数来解决问题。即使如此,备份时用户的在线应用仍要受到较大影响。我们知道,LAN或者WAN上的TCP/IP协议是用作消息传递而非为大规模数据传输而设计,而数据备份恰恰是一种大规模数据传输需求。如果将2TB Coverage数据在“中心”以太网上备份,其产生的广播风暴将使LAN效率大幅下降甚至崩溃。“中心”采用LANfree备份的SAN解决方案的目的之一,就是解决带宽瓶颈问题。在所采用的解决方案中,多台服务器和磁带库/磁带机由光通道交换机连接在一起,用户的备份数据通过光纤通道直接备份到存储设备/介质上,只有少量的控制命令通过LAN进行交换,对于用户的LAN在线应用几乎没有影响。而大规模的数据传输是在SAN上进行的。由于SAN所采用的协议是光纤通道,一种对大规模数据传输十分有效的协议,加上光纤通道协议本身能够支持很高的带宽,保证了数据备份能够高速、高效地完成。   LANfree的SAN备份解决方案通过光纤通道交换机或集线器使多台主机服务器和存储设备直连,形成专门的大规模数据传输存储网络,将大规模数据传输的负荷由前端的LAN/WAN上解脱出来;同时,多台服务器可以共享多套磁带库和磁带机,减少用户备份磁带库/磁带机的投资。备份磁带库/磁带机与主机服务器的配置非常灵活。由于可以共享备份磁带库/磁带机,数据备份的可靠性和安全性得到大幅提高,自动磁带库的应用大大优化,其大容量、高速度和高智能的特点得以充分发挥。   以光纤通道交换机或光纤通道集线器为核心,通过光纤通道与文件服务器、应用服务器、工作站、磁盘阵列和磁带库连接。本模型与数据传输网络LAN关系十分松散,只利用其传输基本的备份控制信息(数据量很小,通常仅为几十个字节,几乎可以忽略)。本模型的优点是,可以实现动态分配资源,在多个服务器之间复用磁带库/磁带机,缓解LAN传输压力,备份效率高,每一个节点均可获得100MBps带宽,易管理和维护。   “中心”采用的LANfree的SAN备份方案由StorageTek的VISTA实验室和VERITAS公司双向认证通过。
软硬结合安全稳妥
  “中心”备份节点包括1台Sun 1000E,两台Sun Enterprise 5500,1台 HP LHII NT服务器和1台SGI 1400NT服务器。Sun 1000E和一台Sun E5500 运行 Oracle数据库。其它备份节点,如部分Sun和NT工作站,因备份数据量较小,可以通过LAN将数据传送到备份节点进行数据备份和恢复。这是LANfree 的SAN备份为主,局域网备份为辅的模式。   “中心”主要采用LANFree Backup备份模型。“中心”选用了美国StorageTek公司的StorageTek L700磁带库和9840磁带机。L700磁带库拥有的机械手每小时可抓带900次,单位面积的磁带仓位数,即磁带仓位密度很高。StorageTek 9840磁带机采用磁带双向扫描技术,读取速度是DLT7000磁带驱动器的两倍(现在是4倍),达到10MBps(20MBps)。StorageTek L700磁带库是一种支持异构介质混装的自动磁带库,其在磁带读写技术、驱动器最大吞吐量、机械手性能、智能视觉系统等方面均居业界前列。软件选用了VERITAS NetBackup软件作为备份工具。VERITAS NetBackup软件为Windows NT、Unix和NetWare环境提供了完整的数据保护机制,具有保护企业中从工作组到企业级服务器所有数据的能力。   具体看,NT服务器和Sun服务器通过FC Switch 4116与StorageTek L700自动磁带库的磁带机相连。DLT7000磁带机与1台9840磁带机通过SCSI通道串连,然后通过StorageTek光纤通道/SCSI通道桥接器3200与FC Switch 4116相连接。由于该SCSI通道数据传输速率为20MB/s,DLT7000磁带机数据传输速率为5MB/s,9840磁带机数据传输速率为10MB/s,因此1台DLT7000与1台9840磁带机串连总传输速率为15MB/s,SCSI通道完全可以满足这两台磁带机的数据传输需要。如果9840磁带机采用光纤与FC Switch 4116直连,则成本明显提高。   此外,另一台9840磁带机也通过一台StorageTek光纤通道/SCSI通道桥接器3200与FC Switch 4116相连。3台磁带机总数据传输速率为25MB/s,通过3200桥接器与FC Switch 4116的1个GBIC端口相连,由于3200桥接器到FC Switch 4116是通过短波光纤(ShortWave)连接,光纤通道最大数据传输速率可达100MB/s,因此完全满足3台磁带机的数据传输带宽的要求。   机械手控制通路通过SCSI通道与Sun 1000E相连,其它服务器对机械手的操作请求经过LAN发给Sun 1000E服务器,最终经机械手控制通路由磁带库机械手控制器完成操作。   在Sun 1000E服务器上安装VERITAS公司NetBackup备份软件Master Server模块,用于控制备份计划。SSO(Shared Storage Option)模块可以动态分配多台磁带机,以实现多台备份服务器的不同备份策略,Robotics模块用于管理机械手,Oracle Agent用于Oracle数据库的备份。   在1台Sun 5500服务器上也安装Media Server模块,用于与NetBackup Master Server协调控制备份计划。在这台Sun 5500上安装 Oracle Agent用于Oracle数据库的备份。安装Flash Backup模块用于文件系统级的在线备份和恢复。   在另1台Sun 5500服务器上同样安装Media Server模块,与NetBackup Master Server协调控制备份计划。   在3台NT服务器上也安装Media Server for NT模块,与NetBackup Master Server协调控制NT服务器的备份计划。
“中心”备份方案示意图
  由以上模块构成的LANFree解决方案,由于多台服务器可以共享一台磁带库中的多台磁带机,从而减少了用户的设备投资,同时,也减少了用户LAN上的数据阻塞。而采用光纤通道,可减少用户备份窗口,VERITAS备份软件可动态分配磁带机资源。
多层结构集中管理
  “中心” 备份方案采用独一无二的三级层次结构集中管理,适应于多种应用结构。   第一级由NetBackup主服务器组成,它的作用相当于人的大脑,管理制订全网(包括全部备份服务器和客户机)的备份策略和跟踪客户端的备份,能够管理一台或多台磁带库,实现多个客户端数据备份。NetBackup主服务器是集中管理的核心。   第二级由介质服务器组成,介质服务器可以直接连接和管理磁带库或与主服务器或者其他介质服务器共享一个磁带库。介质服务器与主服务器的不同在于,全网的备份策略和控制通路均由主服务器集中管理,而介质服务器仅提供数据通路。如果拥有诸如数据仓库的海量数据,介质服务器可以进行大量的本地备份,同时对其他客户机进行备份。介质服务器能够和主服务器或者其他介质服务器共享磁带库。   第三级是客户端。通常,这一级的机器较多但数据量不是最大。   一个NetBackup存储域是由NetBackup主服务器和一个或多个NetBackup介质服务器组成。   NetBackup提供了快闪备份(Flash Backup)功能,允许管理员执行快闪备份Sun等Unix环境下的UFS和VERITAS文件系统的数据,实际上是对磁盘物理扇区级的整体备份,废弃了传统备份操作对每个文件进行的索引过程。快闪备份进行统一的物理时间点备份,不会产生与逻辑备份有关的溢出。管理员也可以通过快闪备份进行逻辑恢复。就目前来看,在不可能大量配置磁带驱动器的情形下,快闪备份是快速备份ARC/INFO Coverage数据的有效手段,备份速率可大幅度提高。   NetBackup能够自动创建主要备份的拷贝,这个拷贝磁带既可以存放在异地磁带库,也可以是作为库外管理的本地磁带。NetBackup库外管理体现在,NetBackup可以记录介质的有效存放点,无须人工记录。   本方案可以实现多磁带机并行操作,因此可以有效地增加带宽。如果数据被并行定位(co-located)到多盘磁带上,执行选择性恢复的过程将会很快。   同时,也可以通过策略共享实现多作业复用(Multiplex)磁带,从而大大加快了备份进度,减少了磁带操作过程的开销。   本方案中,备份到磁带上的文件格式是标准TAR格式,NetBackup在按它的方式向磁带读写数据并确保可靠性的同时,也提供了磁带上的数据能够被Unix工具(如TAR命令)读出的能力。   备份和恢复的方便与否,对于不同的人有不同的解释。某些系统管理员喜欢用命令行方式,而有些则喜欢用100%图形界面方式,有些数据库管理员喜欢采用与系统管理员相同的接口,管理数据库的备份和恢复,本方案所采用的NetBackup软件考虑到了上述这些方面。NetBackup在管理方面提供了多项选择,如命令行、Motif、Java方式以及NT Explore风格的接口。   NetBackup是较早在Unix和Windows NT环境下实现服务器端相同功能,并具有直观图形界面的解决方案。用户在不牺牲可扩展性或易用性的前提下,可以选择Unix、NT作服务器,或者两者的组合作为他们的备份服务器。客户端则可为Windows 9x/NT/2000或Unix。   基于上述环境,“中心”目前正在进行分级存储和数据归档解决方案的实施。此解决方案硬件部分包括StorageTek 9176高性能全光纤通道磁盘阵列、StorageTek L700磁带库、StorageTek 9840高性能磁带机,归档软件为StorageTek ASM高性能分级存储和归档软件。此解决方案的目标为,向前端用户提供无限大的虚拟磁盘空间,利用磁带库作为磁盘的二级存储,利用ASM软件将磁带库存储空间虚拟为磁盘存储空间,从而实现利用磁带作为存储空间的无限扩展,且可同时支持多个文件系统,并同时产生多个磁带拷贝。整个系统的用户响应时间在20秒以内,包括对存储在磁带上的数据的访问时间,真正实现“近线”存储。
用户评价
  国家基础地理信息中心所处理的数据量巨大,往往是TB数量级,以前采用的局域网备份对局域网的速度影响很大。采用了SAN解决方案,在保证备份速度的同时,又不会影响局域网的速度。采用SAN,使得网络与存储分开,对于系统管理员来说,维护更方便。国家基础地理信息中心不是以数据的计算为中心,而是以数据的存储为中心,采用SAN也符合其发展需求。   国家基础地理信息中心采用SAN备份解决方案已经有一年多时间了,应用情况良好,其下属的省级信息中心也开始采用了SAN。目前,“中心”正准备进行分级存储,最终要实现“离线”存储到“近线”存储的升级。
请进入“网络存储”专区查看更多文章
请进入“成功案例”栏目查看更多文章
(责任编辑 Sunny huangxf@staff.ccidnet.com
加载更多

专题访谈

合作站点
stat