异地备份容灾方案

2023-07-03 版权声明 我要投稿

方案具有明确的格式和内容规范,要求其具有很强的实践性和可操作性,避免抽象和假大空的内容,那么具体如何制定方案呢?下面是小编为大家整理的《异地备份容灾方案》仅供参考,希望能够帮助到大家。

第1篇:异地备份容灾方案

容灾备份解决方案

2010-8-11

1 容灾备份系统简介

一、 项目背景

随着计算机技术的快速发展,每个企业都在大量的使用计算机处理自己的核心数据,这些数据往往是企业生产经营必不可少的部分。依赖这些数据的计算机系统的停机往往会造成企业生产经营活动的停顿,给企业造成巨大的损失。所以,可以说,这些数据是企业的生命核心。企业的IT管理员为了保证生产经营活动的持续运行,不断的加强对系统和数据的保护,如使用基于双机的高可用技术,磁盘阵列系统的RAID技术等。然而,人们依然无法回避由于磁盘故障,人为失误,应用程序的逻辑错误,自然灾害等原因带来的系统停机或者数据丢失。所以,数据备份作为数据保护的最后一道屏障,必不可少。

二、功能介绍

实时保护:连续捕获、实时备份数据变化,全过程保护数据安全。实现真正的持续性数据保护(CDP),无需设置任何备份时间点,居国内外同类产品领先地位。

完善备份:同一软件可实现“数据库双机热备+接管”、“本地实时灾备” 、“异地实时灾备”,全方位保证数据库安全。

任意回退:可按任意操作步数或时间点进行数据回退。主数据库遭到破坏时,备份数据库可将主数据库回退到损坏前最后时刻的状态,且能保证事件的完整性。 快速恢复:主数据库或表损坏,从站自动检测,提示回退的步数。恢复1个G数据库在3-5分钟。

增量备份:只备份变化部分,在保障备份数据安全的同时减少备份的工作量。

错峰机制: 在系统负荷极大时暂停备份以免系统瘫痪,当系统负荷下降时备份暂停期间的数据,并重新开始实时备份。

低耗资源:对主数据库压力小,系统采用消息机制,只有灾数据库发生变化时才触发,只传数据库的变化部分,不同于文件拷贝,和数据表的轮询。

操作简单:自主开发设计,着重考虑国内用户使用习惯,安装、设置非常简单。

维护方便:启动或连接中断后重连时,自动校验主从站数据,保证数据准确。

加密传输:底层通讯采用自主研发的通讯平台,所有数据都是用加密数据包进行数据交换,充分保证数据安全。

高性价比:在各项性能领先的同时,价格远远优于国外软件。当选择不接管的热容灾备份方式时,从站可采用低档Server或高稳定性的PC(有足够的存储空间即 2

可),从而实现极低的总体成本。

通用性好:不对数据库中的应用做任何修改。与数据库中表的结构无关,且无任何限制。对数据库备份完整:如TABLES(表)、DIAGRAMS(关系图)、VIEWS(视图)、USERS(用户)、ROLES、RULES等。

三、解决方案优点

能够实现双数据库的实时同步,能够保证双份数据库的实时一致性,如果主生产数据库失败,备数据库库服务器随时可启用为主数据库服务器。不再需要介质恢复的过程。

多节点存储冗余体系

热备方案要求最少有双份数据库,不但心生产数据库崩溃,磁盘硬件崩溃,而造成数据库不可用问题.多份数据源才是真正的冗余体系,真正消除了数据库系统管理人员为存储单点故障的后顾之忧! 不存在物理介质恢复时间问题

因为双数据库的实时同步,保证双份数据库的一致性,如果主生产数据库失败,备数据库库服务器随时可启用为主数据库服务器.不存在介质恢复时间.这与双机热备比较,完全消除掉备份恢复这一个过程。

同步时间完全实时

主数据库与从数据库可以做到实时同步,消除了备份软件中的间隔备份丢失数问题.同时提供了完全不丢失数据模式和丢失秒内业务数据校正方式。

解决了数据误删除恢复问题

与HA,CDP软件比较,当数据库管理人员遇到意外误删除求助,热备系统可以提供事务级别的按步数或者时间点的回退动作,确定记录,恢复记录.不需要像传统备份软件为了一个记录而恢复整个数据库。

数据库异地容灾问题

完全支持异地数据同步,支持断点续传,数据一致性校验。

四、解决方案

(一)

1、备份方案

(一)示意图:容灾标准版(一主一从)

备份方案:

说明:

1:在1号Server系统中安装,设置成主站。 2:在2号Server上安装,设置成从站

3:正常运行后,2号Server能够实时备份1号Serve中的数据库的数据 4:在1号Server宕机的情况下,2号Serve能接管主服务器的IP和机器名,对外提供所有的服务,保证业务不间断

5:当1号Server修复后,能快速将2号Server上数据恢复到1号Server中。

能实现的效果及主要功能:

1) 将主服务器上的数据实时智能的备份到从站备份服务器里

2) 如果数据库遭到病毒破坏或者误删除可用数据回退进行解决;回复的任意时间点的数据

3)主站宕机或者磁盘柜损坏,备份服务器可接管主站服务器对外服务,保证客户端的正常运行

2、备份方案

(二)示意图:容灾(一主两从)版本

S2备份服务器S1主数据库服务器 终端 S3备份服务器办公楼 XX楼

说明:

1) 2) 3) 4) 主站服务器(S1)安装标准版软件设置成主站;

从站备份服务器(S2)安装标准版软件设置成从站1,作为备份服务器1; 从站备份服务器(S3)安装M标准版软件设置成从站2,作为备份服务器2; 正常运行后,从S1能够同时实时备份主站或磁盘柜中的数据库数据到S

2、S3;

能实现的效果及主要功能: 5) 在S1或磁盘柜损坏的情况下,S2能接管S1对外提供服务,保证客户端的正常运行,当S2亦出现意外事故时,S3能接管S2对外提供服务,保证客户端的正常运行;

6) 当主机房损坏设备完全修复后,能快速将S2或者S3上数据恢复到S1存储中。 3) 将数据中心的SQL数据库中的数据实时的备份到从站服务器中; 4) 如果数据库遭到病毒破坏或者误删除可用数据回退进行解决; 5) 如果主站宕机或者磁盘柜损坏,备份服务器可接管主站服务器对外服务,保证客户端的正常运行。

3. 方案

(三)方案示意图:集群版(两主一丛)

针对双机磁盘柜的异地容灾:

主数据服务器双机环境 磁盘柜 终端 双机 集群 备份服务器1号2号 实时备份 数据回退 接管 异地容灾 3号server

说明:

1、 在

1、2号server组成的集群系统中安装 FOR CLUSTER版设置成主站;

2、 在3号server上安装 FOR CLUSTER版设置成从站;

3、 正常运行后,3号server能够实时备份集群磁盘柜中的数据库数据;

4、 在集群中的

1、2号机器同时宕机或磁盘柜损坏的情况下,3号server能接管集群对外提供服务,保证客户端的正常运行;

5、 当主数据服务器被损坏设备修复后,能快速将3号server上数据恢复到集群存储中。

能实现的效果及主要功能:

1) 避免了双机集群的磁盘柜的单点故障,有双份数据安全。 2)数据库遭到病毒破坏或者误删除可用数据回退进行解决;

3)主站同时或者磁盘柜损坏,备份服务器可接管主站服务器对外服务,保证客户端的正常运行。

4. 方案

(四)方案示意图:集中备份(多对一)

数据服务器 业务数据 办公server备份中心 办公数据 业务server1号2号财务server实时热备接管回退管理server异地备份集中备份XX server 管理数据 3号X号 XX数据

说明:

1、 在各个主数据服务器系统中安装,设置成主站;

2、 在备份中心的备份服务器上安装,设置成从站;

3、 正常运行后,备份中心能实时备份数据服务器的数据库数据;

4. 任一主服务器的数据丢失后,都可以从备份服务器迅速的给主服务器恢复数据。

能实现的效果及主要功能:

1. 可以把各个业务服务器数据库的数据实时智能的备份到数据中心的服务器里,当任何一个主业务服务器的数据丢失时,都可以从数据中心的服务器里进行快速的恢复。

5. 方案

(五)方案示意图:集中备份(本地做一对一,异地做多对一)

说明:

1:在各主服务器SERVER 1-N中安装设置成主站,在SERVER1’ –SERVERN’中安装设置从站,主从站通过数据库保镖进行实时备份,当本SERVER 1-N出现问题后,对应的SERVER1’ –SERVERN’可以进行接管或恢复。

2:SERVER作为集中备份服务器,将SERVER 1-N中的数据实时集中备份到SERVER内,即使本地数据丢失,也可以从数据中心取回。

能实现的效果及主要功能:

1. 可以实现本地的数据实时备份和接管,当主服务器出现宕机时,可以迅速的用备份服务器接管主机提供对外的服务,保证业务不间断。

2. 当主服务器本地出现意外灾难,数据全部丢失后,可以通过远程的中心服务器恢复数据,保证了数据的安全。

五、容灾容灾备份系统能实现的效果和功能

1.能实现对主服务器上的数据库里的数据进行实时智能的备份,保证了数据的安全,一旦出现数据丢失或破坏,可以迅速的从备份机上把数据恢复回来。第一次做个全备份,把数据全部备份到备份机上,以后每次只做增量备份,把变化的数据做实时的备份,节省了备份空间,提高了备份效率。在备份时对服务器的性能没有影响。

2.当主服务器出现意外宕机时,备份机可以立刻接管主服务器的IP,提供对外的所有服务,保证了核心业务连续性,可以提供365天7*24小时的业务不间断的保护。

3.整个备份系统具有高容灾性和可扩展性,以后随着数据量的增加也可以增加磁盘阵列等。

4.可以做到异地备份,真正的做到了有备无患。

第2篇:数据容灾备份设计方案

1.1数据备份的主要方式

目前比较实用的的数据备份方式可分为本地备份异地保存、远程磁带库与光盘库、远程关键数据+定期备份、远程数据库复制、网络数据镜像、远程镜像磁盘等六种。

(1) 本地备份异地保存

是指按一定的时间间隔(如一天)将系统某一时刻的数据备份到磁带、磁盘、光盘等介质上,然后及时地传递到远离运行中心的、安全的地方保存起来。

(2) 远程磁带库、光盘库

是指通过网络将数据传送到远离生产中心的磁带库或光盘库系统。本方式要求在生产系统与磁带库或光盘库系统之间建立通信线路。 (3) 远程关键数据+定期备份

本方式定期备份全部数据,同时生产系统实时向备份系统传送数据库日志或应用系统交易流水等关键数据。 (4) 远程数据库复制

生产系统相分离的备份系统上建立生产系统上重要数据库的一个镜像拷贝,通过通信线路将生产系统的数据库日志传送到备份系统,使备份系统的数据库与生产系统的数据库数据变化保持同步。 (5) 网络数据镜像

是指对生产系统的数据库数据和重要的数据与目标文件进行监控与跟踪,并将对这些数据及目标文件的操作日志通过网络实时传送到备份系统,备份系统则根据操作日志对磁盘中数据进行更新,以保证生产系统与备份系统数据同步。 (6) 远程镜像磁盘

利用高速光纤通信线路和特殊的磁盘控制技术将镜像磁盘安放到远离生产系统的地方,镜像磁盘的数据与主磁盘数据以实时同步或实时异步方式保持一致。磁盘镜像可备份所有类型的数据。

1.2备份拓扑网络结构

广州市第八人民医院具有两个不同地点的中心机房(即东风东路院区中心机房和嘉禾院区中心机房),在这基础上是可以构建一个异地容灾的数据备份系统,以确保本单位的系统正常运营及对关键业务数据进行有效地保护,以下设计方案仅提供参考。

东风东院区数据中心

windows

windows

linux

linux

嘉禾院区数据中心

Windows

linux

本方案中,我们采用EMC的CDP保护技术来实现数据的连续保护和容灾系统。 1. 在东风东院区数据中心部署一台EMC 480统一存储平台,配置一个大容量光纤磁盘存储设备,作为整个系统数据集中存储平台。

2. 在嘉禾院区数据中心部署一台EMC 480统一存储系统,配置一个大容量光纤磁盘存储设备,作为整个平台的灾备存储平台。

3. 两地各部署两台EMC RecoverPoint/SE RPA,采用CLR技术,即CDP(持续数据保护)+CRR(持续远程复制),实现并发的本地和远程数据保护。

4. 在东风东院区数据中心本地采用EMC RecoverPoint/SE CDP(持续数据保护)技术实现本地的数据保护。 5. 两地采用EMC RecoverPoint/SE CRR(持续远程复制)技术,实现远程的数据保护。由于两地之间专线的带宽有限,可以采用EMC Recoverpoint/SE异步复制技术,将东风东院区数据中心EMC480上的数据定时复制到嘉禾院区数据中心。根据带宽的大小,如果后期专线带宽有所增加,RecoverPoint会自动切换同步、异步、快照时间点三种复制方式,尽最大可能保证数据的零丢失。

1.3本地数据数据保护(CDP)设计

如上图所示,当服务器对生产卷有写命令操作时,存储系统将需要写入的数据写入到存储的同时,利用CLARIION拆分器(Spliter)将写命令同时传送一份到RPA上,RPA收到写命令返回写成功给服务器,同时将数据连同时间戳、应用事件、或标签等一并写入日志卷,RPA再根据日志卷信息分布地将数据写入复制卷。 1.4远程数据复制过程(CRR)设计

如上图所示,当服务器对生产卷有写命令操作时,存储系统将需要写入的数据写入到存储的同时,利用CLARIION拆分器(Spliter)将写命令同时传送一份到RPA上,RPA收到写命令返回写成功给服务器, 经过RPA处理(对数据进行压缩,压缩率可以达到15倍左右),通过专线网络将数据传送到嘉禾院区数据中心的RecoverPoint设备处,形成历史快照后,再写入到嘉禾院区中心的的EMC 480磁盘阵列系统中,保持与东风东院区数据中心EMC 480阵列上的数据一致性。

1.5数据恢复过程设计

本地恢复:在本地如发生服务器故障、数据损坏、软件错误、病毒和最终用户错误等常见问题造成的数据丢失,利用本地的CDP即可快速恢复到任意时间点的数据。

异地恢复:我们建议在嘉禾院区数据中心配置与东风东院区本地系统相同的应用服务器做为备用,一旦东风东院区本地数据中心灾难发生,由于数据已经传送到嘉禾院区数据中心,我们直接将数据附加到已配置好的灾备服务器上,配置好网络路由等细节,即可启动应用,恢复原业务系统。

RecoverPoint/SE不经过主机不影响主机性能,无须安装任何软件,完全完全独立的运行。通过IP 网络,搭建数据容灾架构,延长了容灾的距离,充分利用现有资源,完成数据的容灾保护,为保障数据的高安全性和可靠性打下良好基础。 1.6 RecoverPoint/SE容灾方案技术优势

RecoverPoint/SE采用了独创的领先技术,是一个先进的企业级灾难恢复解决方案。该方案以相对低廉的造价提供完善的数据保护,RecoverPoint的结构是基于SAN和IP之间的支持双向数据复制的智能化独立设备,并可以在任意距离上为异构服务器环境提供数据复制。该方案具有以下特点:

1. 带宽节约和数据压缩 2. 利用IP网络进行数据复制 3. 支持超长距离的数据复制 4. 支持基于策略的数据复制 5. 能够恢复到任意时间点 6. 支持双向的数据复制

7. 支持灵活的容灾数据中心的检查和批处理 8. 长距离的“同步”解决方案

9. 通过综合的手段,降低总体拥有成本

具体技术优势如下描述: 带宽节约和数据压缩

RecoverPoint/SE采用了智慧型的“带宽约减”技术,使得系统对带宽的需求达到了空前降低。这就可以在现有的网络带宽环境下提供最高程度的数据复制,这一点最大幅度地降低了对WAN需求的成本,尤其是基于远距离的数据复制。通过storage-aware和application-aware算法技术,可以达到高效的数据压缩能力(可达到15:1的压缩比),从而降低对传输带宽的需求,这一点是传统的数据压缩技术所无法比拟的。

任意时间点的应用程序数据保护

RecoverPoint/SE 允许通过选择特定于时间或特定于应用程序的智能书签将应用程序数据恢复到任意时间点。选定时间点的应用程序数据可以进行即时访问,并且立即可供主机读取和写入。还可以在设定数量的已分配存储中使用快照整合来实现更长的保留期,使客户能够在线维护更多数据以便恢复,而不引入额外的存储成本。 RecoverPoint/SE 还允许在不中断复制过程的情况下对复制的数据进行读/ 写访问。在恢复时,该功能允许测试几个时间点的数据,以便确定最佳恢复点。该功能也可用于减轻备份负担、允许进行实时应用程序开发和测试、支持按需恢复、迁移数据及其他许多有价值的数据处理。

RecoverPoint/SE 可保护来自 Microsoft、Oracle、SAP®、VMware® 等的常见应用程序。它还支持应用程序一致性恢复点(使用 Virtual Data Interface for SQL Server 或 Volume Shadow CopyService for Exchange 等 Microsoft 要求的 API),从而让这些环境实现供应商支持的恢复。

确保数据的一致性

RecoverPoint保证在任何可能的故障或灾难中对企业数据进行一致性的复制。当前的许多产品无法确保数据在“多次同步”或“重复性灾难”发生的情况下保持数据的一致性。RecoverPoint可以确保在任何时间,甚至在异构存储和服务器的环境下仍然保持数据一致性。

策略化的数据复制

RecoverPoint提供了全面的数据复制机制,同时提供同步、异步以及时间点复制。复制过程按照用户的策略自动管理,并动态调整复制过程,按照可用带宽、每个应用的工作量来为每个应用达到一定的数据复制要求,从而在复杂或异构环境中极大地简化了数据和灾难恢复的管理难度。

比如,针对数据保护要求比较苛刻的应用,我们可以为其定义一种“最小延迟”的复制策略。这样,系统会利用所有可用的带宽资源来实现主从节点之间数据复制。另外,我们也可以为非关键业务定制“最小带宽”的复制策略,使得系统利用尽可能少的带宽资源,实现关键数据和相对非关键数据的不同策略处理。

远距离的同步保护

RecoverPoint提供了数据的同步保护级别,对应用性能无影响,距离无限,同时对存储设备无需额外的花费。 该特有功能解决了当前方案对距离限制的问题,并实现了对区域性灾难的完整的实时数据保护,同时不会降低应用性能。

双向的数据复制能力

RecoverPoint提供了双向的数据复制能力,因此能够使主数据中心和容灾中心互为保护。例如,大型公司在不同的地方拥有分公司,各分公司都具有数据中心,都有应用数据需要保护,此时,可以互相将自己的数据复制到对方的数据中心,而共同使用同一套容灾基础设施和软件。

从节点的数据处理

RecoverPoint支持从节点数据的直接读取和写入操作,而无需预先从主节点产生拷贝。系统支持故障切换和数据回滚的能力,降低管理和操作成本。

始终可用和无限扩展性

RecoverPoint支持高可用集群技术,是Active-Active模式的独立体系,这样可以保持系统始终可用,并可以无限扩展。

整体成本优势

RecoverPoint提供了强大的数据保护功能,但是在整体成本上远远低于当前方案。同时,异构存储的支持、带宽的降低、软件、结构及操作维护等等都为用户提供了更为节约的解决之道。

便于管理

RecoverPoint支持NDMP管理协议,便于在其他应用或再开发中加以集成。同时RecoverPoint具有丰富的故障报告机制,图形化的界面使得管理更加便利。

日常管理界面如下图所示:简洁明了,便于管理

第3篇:数据中心容灾备份方案

数据保护系统

医院备份、容灾及归档数据容灾

解决方案

1、前言

在医院信息化建设中,HIS、PACS、RIS、LIS 等临床信息系统得到广泛应用。医院信息化 HIS、LIS 和 PACS 等系统是目前各个医院的核心业务系统,承担了病人诊疗信息、行政管理信息、检验信息的录入、查询及监控等工作,任何的系统停机或数据丢失轻则降低患者的满意度、医院的信誉丢失,重则引起医患纠纷、法律问题或社会问题。为了保证各业务系统的高可用性,必须针对核心系统建立数据安全保护,做到“不停、不丢、可追查”,以确保核心业务系统得到全面保护。

随着电子病历新规在 4 月 1 日的正式施行,《电子病历应用管理规范(试行)》要求电子病历的书写、存储、使用和封存等均需按相关规定进行,根据规范,门(急)诊电子病历由医疗机构保管的,保存时间自患者最后一次就诊之日起不少于 15 年;住院电子病历保存时间自患者最后一次出院之日起不少于 30 年。

2、医院备份、容灾及归档解决方案

针对医疗卫生行业的特点和医院信息化建设中的主要应用,包括:HIS、PACS、RIS、LIS 等,本公司推出基于数据保护系统的多种解决方案,以达到对医院信息化系统提供全面的保护以及核心应用系统的异地备份容灾

2.1 数据备份解决方案

针对于医院的 HIS、PACS、LIS 等服务器进行数据备份时,数据保护系统的备份架构采用三层构架。

备份软件主控层(内置一体机):负责管理制定全域内的备份策略和跟踪客户端的备份,能够管理磁盘空间和磁带库库及光盘库,实现多个客户端的数据备份。备份软件主服务器是备份域内集中管理的核心。

客户端层(数据库和操作系统客户端):其他应用服务器和数据库服务器安装备份软件 标准客户端,通过这个客户端完成每台服务器的 LAN 或 LAN-FREE 备份工作。另外,为包含数据库的客户端安装数据库代理程序,从而保证数据库的在线热备份。 备份介质层(内置虚拟带库):主流备份介质有备份存储或虚拟带库等磁盘介质、物理磁带库等,一般建议将备份存储或虚拟带库等磁盘介质作为一级备份介质,用于近期的备份数据存放,将物理磁带库或者光盘库作为二级备份介质,用于长期的备份数据存放。

2.2 应用级容灾解决方案

实时保护,可实现对医院信息系统中核心业务系统的持续数据保护。在核心业务系统应用数据写入被保护服务器自身存储的同时,写入存储设备中,颗粒度到秒级,最佳情况下可实现零数据丢失,通过镜像功能保证连接的磁盘阵列中的数据与被保护的数据完全一致。同时,利用截获每个写I/O 功能并进行记录,并且可基于时间点的快照进行回滚,此功能能够在被保护服务器发生逻辑错误时,快速有效地进行每 I/O 节点或快照点的挂载,避免逻辑错误造成的数据损坏。当存储系统宕机等灾难发生时,采用快速挂载功能,可以最快在分钟级别内迅速恢复前端应用或数据库服数据功能,保证业务的连续性。

分流器:截取主机写操作 ( 块级别 ), 主机每次对被保护磁盘的写操作均被镜像写入到镜像数据写入过程在主机的主存储读写路径之外。

数据卷:保存主机分流器写入的所有数据。

记录卷和一致性代理:保存主机分流器写入的 I/O 记录根据应用特点 , 通过技术中的一致性代理实现对 ORACLE、MS SQL 等数据库在保存应用数据一致性快照使数据能够快速恢复到任意 I/O 记录。 2.3数据系统长期归档解决方案

可通过高级备份功能,把电子病历、PACS 影像等数据备份到内置空间后,归档一份到光存储中,通过光存储的可长期保留特性,实现数据的长期保留(最长可到 100 年以上),满足法规要求。

2.4数据系统容灾解决方案

数据保护系统内置灾备功能,可实现数据及应用级别的容灾,可支持一对一,多对一等多种拓朴架构,系统可互为源端及目标端,完成异地备份、恢复功能。

1) 数据级容灾:

备份数据保存在设备中,各备份点的数据可独立管理,可实现异机恢复,提高数据的安全性。

2) 应用级容灾:

数据保护系统的 CDP 功能把数据持续保护在本地设备时,并可把本地CDP 数据复制一份到异地,CDP 的卷可以直接在异地直接挂载使用,结合虚拟机功能实现应用级容灾。

3、方案优势

数据保护系统提供的数据备份、CDP 及归档功能一体解决方案,满足医院信息系统的数据安全、应用级容灾及法规要求(电子病历数据长期保存的要求)的业务需求,解决方案优势如下:

1) 软硬一体化结构,数据保护系统是多功能于一体的数据保护设备。包含了备份、CDP、存储(FC、ISCSI 及 NAS)及数据归档等多种功能,更加经济实用。并且部署简单,插入网线后进行简单配置后即可开始使用。

2) 支持 FC、千兆及万兆网络等链路,灵活部署。

3) 在同一台设备支持部署定时备份、CDP 功能,针对不同应用级别提供不同的保护方式。

4) 具备远程复制功能,两台以上的设备可以实现远程复制,任意两台设备都可以作为发送端与接收端进行相互的远程复制,实现异地容灾,使数据更加安全。

5) 具有高级备份功能,能实现 PACS 等大量的非结构化数据的不打包备份,可实现 100TB 级别以上的非结构化数据的光盘库出库归档,同时采用高级备份时光盘库恢复可通过备份系统和光盘库直接恢复等多种方式恢复方式,更加安全可靠。

6) 运维简单,本方案采用一体化部署,提供统一的运维界面,用户操作简单,备份归档自动化完成。同时也提供完善的系统报告,方便客户使用。

第4篇:分布式存储系统设计方案——备份容灾

在分布式存储系统中,系统可用性是最重要的指标之一,需要保证在机器发生故障时,系统可用性不受影响,为了做到这点,数据就需要保存多个副本,并且 多个副本要分布在不同的机器上,只要多个副本的数据是一致的,在机器故障引起某些副本失效时,其它副本仍然能提供服务。本文主要介绍数据备份的方式,以及 如何保证多个数据副本的一致性,在系统出现机器或网络故障时,如何保持系统的高可用性。 数据备份

数据备份是指存储数据的多个副本,备份方式可以分为热备和冷备,热备是指直接提供服务的备副本,或者在主副本失效时能立即提供服务的备副本,冷备是用于恢复数据的副本,一般通过Dump的方式生成。

数据热备按副本的分布方式可分为同构系统和异步系统。同构系统是把存储节点分成若干组,每组节点存储相同的数据,其中一个主节点,其他为备节点;异 构系统是把数据划分成很多分片,每个分片的多个副本分布在不同的存储节点,存储节点之间是异构的,即每个节点存储的数据分片集合都不相同。在同构系统中, 只有主节点提供写服务,备节点只提供读服务,每个主节点的备节点数可以不一样,这样在部署上会有更大的灵活性。在异构系统中,所有节点都是可以提供写服务 的,并且在某个节点发生故障时,会有多个节点参与故障节点的数据恢复,但这种方式需要比较多的元数据来确定各个分片的主副本所在的节点,数据同步机制也会 比较复杂。相比较而言,异构系统能提供更好的写性能,但实现比较复杂,而同构系统架构更简单,部署上也更灵活。鉴于互联网大部分业务场景具有写少读多的特 性,我们选择了更易于实现的同构系统的设计。

系统数据备份的架构如下图所示,每个节点代表一台物理机器,所有节点按数据分布划分为多个组,每一组的主备节点存储相同的数据,只有主节点能提供写 服务,主节点负责把数据变更同步到所有的备节点,所有节点都能提供读服务。主节点上会分布全量的数据,所以主节点的数量决定了系统能存储的数据量,在系统 容量不足时,就需要扩容主节点数量。在系统的处理能力上,如果是写能力不足,只能通过扩容主节点数来解决;而在写能力不足时,则可以通过增加备节点来提 升。每个主节点拥有的备节点数量可以不一样,这在各个节点的数据热度不一样时特别有用,可以通过给比较热的节点增加更多的备节点实现用更少的资源来提升系 统的处理能力。

同步机制

在上面的备份架构中,每个分组只有主节点接收写请求,然后由主节点负责把数据同步到所有的备节点,如下图所示,主节点采用一对多的方式进行同步,相 对于级联的方式,这种方式在某个备节点故障时,不会影响其它备节点的同步。在CAP理论中,可用性和一致性是一对矛盾体,在这里主节点执行写操作后会立即 回复客户端,然后再异步同步数据到备节点,这样并不能保证主备节点的数据强一致性,主备数据会有短暂的不一致,通过牺牲一定的一致性来保证系统的可用性。 在这种机制下,客户端可能在备节点读到老数据,如果业务要求数据强一致性,则可以在读请求中设置只读主选项,这样读请求就会被接口层转发到主节点,这种情 况下备节点只用于容灾,不提供服务。

为了保证主备节点的数据一致性,需要一种高效可靠的数据同步机制。同步分为增量同步和全量同步,增量同步是主节点把写请求直接转发到备节点执行,全量同步是主节点把本地的数据发到备节点进行覆盖。接下来详细介绍同步机制的实现,同步的整体流程如下图所示。

系统中数据分片的单位是一致性哈希环中的VNode(虚拟节点),每个VNode有一个自增的同步序列号SyncSeq,VNode中所包含的数据 的每一个写操作都会触发它的SyncSeq进行自增,这样在每个VNode内SyncSeq就标识了每一次写操作,并且SyncSeq的大小也反映了写操 作的执行顺序。数据的每次写操作除了修改数据,还会保存写操作对应的SyncSeq,后面可以看到,SyncSeq是同步机制可靠性的基础。

主节点的写进程收到写请求后,先修改数据,把当前VNode的SyncSeq加1并更新到数据中。接下来会记录Binlog,Binlog是一个三元组

主备节点的数据同步由主节点上的同步进程异步进行,通过扫描上图的同步进度表中主备节点的SyncSeq差异就可知备节点需要同步哪些数据。同步进程通过同步进度表确定需要同步的二元组

接下来介绍一下同步协议如何保证同步的高效和可靠。为了让同步包严格按照主节点的发送顺序到达备节点,采用TCP协议进行同步,在主节点的每个 VNode上到每一个备节点建立一个TCP连接,记为一个同步连接。在每一个同步连接上,主节点会一次性批量发送多个同步包,备节点也会记录已同步的 SyncSeq,对每一个同步包会检查携带的SyncSeq是否符合预期,如果符合预期,则执行同步写操作,执行成功是更新已同步的SyncSeq,在这 种情况写备节点也不需要回应主节点,主节点在未收到备节点的回应时,会认为同步一切正常。只有以下异常情况下,备节点才会回应主节点:

在正常同步后第一次收到错误的SyncSeq,回应主节点自己所期望的SyncSeq,主节点收到回应后,会从备节点所期望的SyncSeq开始同步,需要注意的是,备节点在连续收到错误SyncSeq时,只需对第一个错误回应,否则主节点会出现重复同步的情况; 同步连接在断连后重新连接时,备节点告知主节点自己所期望开始同步的SyncSeq,主节点从该SyncSeq开始同步; SyncSeq符合期望但执行出错,一般是增量同步才可能出现,备节点回应主节点同步出错,主节点收到回应后,把出错的同步包改为全量同步。

在增量同步和全量同步交叉进行的情况下,如果某次全量同步已同步了最新的数据,后续的增量同步可能导致写操作重复执行,为了避免这种情况,备节点会 校验同步包中的SyncSeq和数据中的SyncSeq,如果前者不大于后者,说明数据已执行了这次写操作,直接跳过不执行,也不需要回应主节点,这就是 为什么需要在数据中保存SyncSeq的原因。

通过上面介绍和分析,可以看出采用同步连接、批量同步的方法,正常情况下只有单向的同步流量,是非常高效的;而在异常情况下,通过出错回应、SyncSeq校验等机制,保证了同步的可靠性。 容灾机制

如果系统需要具有容灾能力,即在机器发生故障时,系统的可用性基本不受影响,那么系统中所有数据至少需要有两个以上的副本,并且系统的处理能力要有 一定的冗余,需要保证在故障机器不能提供服务时,系统不会过载。一般来说,数据的副本数量越多,系统的处理能力越冗余,系统的容灾能力越强。更进一步,还 需要考虑物理部署,通过把数据的不同副本分布在不同机架、不同机房、甚至是不同城市,来把系统的容灾能力提升到不同的级别。

配置运维中心会监控系统存储层所有节点的状态,存储节点会定时上报心跳,如果配置运维中心在一段时间未收到某个存储节点的心跳,则把该节点的状态标 记为故障,并进行故障处理流程。首先需要禁止故障节点继续提供服务,即通知接口层不再把客户端请求转发的故障节点,如果故障节点是主节点,配置运维中心会 查询并对比所有备节点的同步进度,选择数据最新的备节点,将其切换为主节点。由于所有备节点也会记录Binlog,所以在切换为主节点之后,可以直接向其 它备节点进行同步。这里的主备切换可能会导致少量的数据丢失,如果业务不能容忍这样的数据丢失,则需要使用其它强一致性的方案。

在容灾切换之后,还需要进行故障节点的恢复,以便系统恢复到正常的状态。故障机器恢复后,就会进入死机恢复流程,无论故障节点在故障前是主节点还是 备节点,故障恢复后的角色都是备节点。首先待恢复节点需要把机器上所有的数据清空;接着主节点会把当前所有VNode的SyncSeq复制到待恢复节点, 并且全量复制所有数据;在全量复制完成之后,开始进行数据同步,由前面的同步机制可知,同步的SyncSeq会从之前复制到待恢复节点的状态开始追赶;在 主节点和待恢复节点之间的SyncSeq差异缩小到正常范围时,待恢复节点的角色就变为备节点,开始提供服务。

配置运维中心会监控主备节点之间的SyncSeq差异,如果某个备节点差异达到一定的阈值,则禁止该备节点提供服务,如果差异在比较长的时间之后仍然无法恢复,则会触发死机恢复流程。 数据回档

最后再简单介绍下数据冷备和回档,主要是由备份系统负责。备份任务一般是手动或定时发起,属于业务级别的,备份系统收到一个业务的备份任务后,会远 程备份业务的所有数据,过程比较简单,就是遍历所有的存储节点,把属于该业务的所有数据写入到远程文件系统中,每次备份都需要记录开始时间和结束时间,作 为数据回档的基准。

系统中所有的写操作都会记录一份远程的流水,每条流水都记录了写操作的时间戳,由流水中心统一存储。结合数据冷备和流水,可以恢复到冷备完成后任意 时刻的数据。备份系统收到一个业务回档任务后,首先停止该业务的服务,然后清空业务的所有数据,接着从冷备做一次全量的恢复,然后再重放流水到指定时间 点,即可完成数据回档。需要注意的是这里的冷备并不是快照,在进行冷备的时候,写操作也正常执行,所以从冷备开始时间重放流水会导致很多的写操作重复执 行,这里通过数据版本校验来避免这个问题,在数据中保存了版本信息,在写操作流水中也记录了对应的写操作完成后的数据版本,重放流水的时候,如果流水中记 录的版本不比数据中的版本新,则直接跳过这条流水,这样就保证了数据回档的准确性。

第5篇:异地容灾方案

某金融机构数据级 异地容灾案例

一、概述

备份与容灾是存储领域两个极其重要的部分,二者有着紧密的联系。一般来说,备份是指用户为应用系统产生的重要数据制作一份或者多份拷贝,以增强数据的安全性;容灾是用户为业务系统建立一个或多个冗余站点,达到业务不间断的目的。因此,我们可以把备份称作是“数据保护”,而容灾称作“业务应用保护”。备份与容灾中都有数据保护工作,备份大多采用近端方式,成本低;容灾则采用远程方式进行数据保护,成本较高。

大体上讲,容灾可以分为3个级别:数据级别、应用级别以及业务级别。数据级别容灾的关注点在于数据,即灾难发生后可以确保用户原有的数据不会丢失或者遭到破坏。数据级容灾较为基础,其中,较低级别的数据容灾方案仅需利用磁带库和管理软件就能实现数据异地备份,达到容灾的功效;而较高级的数据容灾方案则是依靠数据复制工具,例如卷复制软件,或者存储系统的硬件控制器,实现数据的远程复制。数据级别容灾是保障数据可用的基础,当数据丢失时能够保证应用系统可以重新得到所有数据。 本案例容灾级别为数据级容灾,日后在此基础上可以进一步部署更高级别的容灾方式。

二、实施前状况及需求分析

本案例实施单位为某全国性金融机构的分支单位,在此简称A分支。该金融机构已经实现了全国性的数据集中管理(数据大集中),重要的生产数据已经集中在总部统一存储管理。而且A分支对于重要的业务中间数据在本地也有IBM 3584大型带库进行存储备份。所以说A分支针对于生产数据的备份和冗灾都有了较高级别的保障。

但对于A分支内部一些前置机数据虽然在本地也进行了备份,对于数据安全有一定的保护,但在数据容灾方面较为薄弱,由于备份数据与生产环境在同一楼内,数据较为集中,一旦发生火灾等大型灾难则对数据影响较为严重。

因此用户考虑针对于这些前置机数据部署远程的数据容灾系统。容灾地点定在25公里以外,线路采用租赁长波裸光纤,每天的数据量约为(110G),容灾级别为数据级容灾。

三、系统方案

系统结构示意图如下:

前置机IBM X3650 备份管理服务器p5TSM备份软件lanp5前置机光纤链路IBM SAN 交换机IBM SAN 交换机p5lanIBM T3200 磁带库IBM DS3400 存储DS4100前置机TotalStoragep51011121314SAN存储备份区域A分支异地容灾区域A分支机构区域A分支异地数据容灾系统结构示意图A分支异地容灾系统线路采用长波裸光纤,带宽可根据需要在线路两端架设网络设备的速率而定,根据A分支每日数据备份量(约为110G),若按100M网络线路负载80%计算,每天传输时间约为3小时。所以A分支的数据容灾系统可以采用直接将存储备份设备及备份管理服务器放置在远端的方式进行数据备份和管理。

硬件方案:在备份服务器上,本案例选用的是IBM X3650服务器,针对于备份管理服务器对运算方面要求不高,所以服务器配置单个4核2.0 CPU,为了增加本地数据存储量服务器配置了6块300G热插拔硬盘,另外服务器配置了IBM RAS II远程管理卡可以方便的进行远程控制管理,解决了服务器远程管理维护的问题。

存储及备份设备选用IBM DS3400(光纤通道)磁盘存储和TS3200(光纤通道)磁带库建立了SAN存储区域。这样为日后存储系统的扩展和备份系统实现统一管理建立了良好的平台。

备份管理软件选用IBM Tivoli Storage Manager,由于A分支的远程容灾数据为本地已经的打包好的数据不涉及数据库,所以在备份模块上只使用了最基础的文件备份模块,而且将服务器端和客户端同时装在X3650服务器上进行备份操作。

如上图所示,需要备份数据的前置机先将数据在本地打包,然后发送到远端的IBM DS3400存储上,然后再根据策略将需要永久保留的数据备份到磁带库中的归档存储池中,将只需要保存一份最新版本的数据循环保存到磁带库的循环备份存储池中。在DS3400存储上也保留了数据的最新2到3个版本,用脚本按时间对存储上备份的数据进行清理。

在远程管理方面,在远程服务器上安装远程监控软件(LINUX 系统采用VNC远程管理软件,WINDOWS系统采用远程桌面即可),再安装上IBM ServeRAID 管理软件就可以对本机和IBM DS3400存储的阵列和磁盘进行远程管理了。同时也可以使用IBM TSM备份管理软件和磁带库的管理软件对磁带库进行远程管理。这样整个系统基本上都可以在远程监管的范围内了。结合IBM RAS II远程管理卡可以进一步对服务器进行远程开关机及设置BIOS信息等操作,使远程管理更为方便。

用户使用评价:

项目使用了TSM软件结合LINUX 脚本实现了自动备份,达到了远程数据级容灾的目的,使得数据更可靠,同时也减轻了系统管理员的工作量。系统实施后达到了预先期望要求,对工程很满意。

第6篇:异地服务器备份解决方案

-------北京睿云翰林技术专员提供

随着科技的不断发展,现在我们是处在信息的时代,信息数据对我们的重要性是不言而喻的,像很多的大型企业或者公司因为丢失了数据而造成无法估量的损失,所以数据备份对于很多的企业是相当的重要的,而很多人对于服务器的备份不是很了解,导致遇到了类似的情况,不知道如何进行,下面就看看异地服务器备份时怎么进行的。

一、 需求分析

用户现有2台服务器,其中1台作为主营业务服务器正常运行,里面存放着关键数据,另1台服务器在异地作为备份服务器,考虑到各种因素而遭到毁坏,如地震、火灾、丢失等,进一步提高数据抵抗各种可能安全因素的容灾能力。保障在主营服务器出现故障时,在异地的备用服务器中能有宕机服务器中的所有数据,保证业务的正常运行。

二、 方案设计

根据用户需求,主营服务器上运行的应用程序和数据十分关键,因此我们设计将主服务器的数据ReYun DBOS服务器异地备份软件备份到异地的另一台服务器中,ReYun DBOS灵活多样的备份策略使得备份服务器中同样有主服务器的数据,这样就实现了即便主营服务器出现故障,用户可以在备份服务器中找回数据,保障了业务的正常运行和数据的安全。

三、 方案必要性

如果按照传统的标准应用部署备份方式,要想保证数据不丢失,需要工作人员手动将数据导出并保存在其他硬件存储中,而且必须在服务器不工作的情况下,通常是在凌晨或占用周末时间,给工作人员带来极大的麻烦,作为企业,也需要投入大量人力资源完成备份工作,既耗费时间和金钱,又要冒着误操作导致数据丢失的风险。

四、 方案拓扑图:

五、 睿芸异地备份产品介绍:

ReYun推出DBOS云备份产品,能够实现用户跨地区备份,可以在不同网关下实现企 业数据迁移及备份,从而真正实现信息技术领域中搭建云备份平台的理想。

如果您还有有技术上的问题或者其他的问题可以随时找我们的技术专员,北京睿云翰林的技术专员为您解答疑惑。

上一篇:院感科工作人员职责下一篇:稿件等级