idc机房应急预案

第1篇：idc机房应急预案

IDC机房维保预防措施及应急预案

IDC数据中心机房的安全无疑是整个计算机信息系统安全的前提，如果数据中心机房存在这样那样的不安全因素，从而导致发生数据中心机房事故，则整个信息系统的安全也就不可能实现。

随着网络信息化建设的不断深入，加强机房各类设备、系统以及信息与网络安全等方面应对突发事件的处理能力将是我们目前面临的一项重要任务。为确保系统及机房安全与稳定，以保证正常运行为宗旨，按照“预防为主，积极处置”的原则，本着建立一个有效处置突发事件，建立统一指挥、职责明确运转有序、反应迅速处置有力的机房安全体系的目标，将正在发生或已发生事故的损害程度减轻到最低。

1、维保预防措施

1、建立健全机房维保技术人员管理制度

1.1在正常工作日内，信息技术人员负责对机房进行监控，主要职责是：巡视网络设备及系统的运行情况，发生异常情况及时处理，消除故障隐患。

1.2周末、节假日及重大会议期间技术人员轮流值班，负责处理有关异常情况。

2、应提高对机房可靠性、可用性、安全性等方面的认识，既要重视信息系统安全，又要重视机房的运行维护管理，重视对计算机硬件、软件及网络设备的维护。要树立大局意识和忧患意识，对机房设施安全的重要性给予足够的重视。

3、应重点加强管理制度的执行。管理制度包括预防维护流程和紧急情况处理预案两个方面。要制定相应的管理制度，包括机房管理岗位制度、机房操作规程等，以明确岗位职责。为应对机房中可能会发生的紧急情况，如火灾、断电、数据丢失、设备失灵等，应按各种紧急情况分列处置措施，还要对预案进行演练。

4、应不断提高机房管理人员的技术水平。机房设施非常复杂，涉及很多专业和系统，维护人员只有通过不断的总结以往出现的各种问题进行后续学习和培训，提高技术水平，才能避免更多的相同的问题及异常情况甚至事故的发生。

5.应加强供配电、照明等电源子系统的监测。同时应重点对温度、湿度、灰尘、有害气体等进行评估和监测。还要加强静电防护、干扰源分析及保护、雷击

防护、电磁干扰、振动控制，防火、防水等工作。

5、应加强对进入机房人员的管理。工作人员行为、素质等因素均可能对机房安全造成影响，因此，除管理制度约束外，门禁和视频监视等物理安全策略均可有效提高机房安全水平。

7、应定期对机房设施进行安全评估。最好每年聘请第三方机构进行安全评估，专业评估机构拥有专家力量，能够比较安全地对所有的设备进行操作，不会因为误操作引起机房故障。

8、机房内严格采取防雷、防火、防尘、防静电等措施以及机房24小时监控等措施。

9、认真做好数据备份工作，定期做一次数据库完全备份，每月检查服务器运行和备份情况。

10、对机房的主要网络设备(路由器、主干交换机等)进行工作时间内全程监控，发现异常情况应及时进行处理，确保整个网络的正常运行。

2、应急处置措施

2.1 机房漏水应急预案

(1)发生机房漏水时，第一目击者应立即通知运维服务小组，并及时报告监控系统突发故障应急领导小组。

(2)若空调系统出现渗漏水，运维服务小组负责人应立即安排停用故障空调，清除机房积水，并及时联系设备供应方处理，同时启动备用空调，必要情况下可临时用备用空调对服务器进行降温。

(3)若为墙体或机房门渗漏水，运维服务小组负责人应立即采取有效措施确保机房安全，及时清除积水，维修墙体或门窗，消除渗漏水隐患。 2.2 设备发生被盗或人为损害事件应急预案

(1)发生设备被盗或人为损害设备情况时，使用者或管理者应立即报告系统突发故障应急领导小组，同时保护好现场。

(2)系统突发故障应急领导小组接报后，通知用户保卫部门、相关领导，一同核实审定现场情况，清点被盗物资或盘查人为损害情况，做好必要的影像记录和文字记录。

(3)事发单位和当事人应当积极配合公安部门进行调查， 并将有关情况向系统突发故障应急领导小组汇报。

(4)系统突发故障应急领导小组安排运维服务小组、事发单位及时恢复系统正常运行，并对事件进行调查。运维服务小组和事发单位应在调查结束后一日内书面报告系统突发故障应急领导小组。事态或后果严重的，应向相关领导汇报。 2.3 机房长时间停电应急预案

(1)定期检查机房供电设备的运行状况和电路线缆器材情况，当发生下列突发事件时，按照以下方案进行处置：

(2)当机房发生市电供电突然停电或是电源异常时。首先应和后勤部门联系确认正常停电以及预计停电时间。检查不间断电源的电池可供电时间，确保设备正常运行，如遇到突然断电，应及时将空调等不在UPS电源供电范围内的设备及时断电，预防突然来电时瞬间电流过大导致设备损坏等现象。

(3)当确定停电时间超出机房UPS承载范围后，首先确定停电的范围以及受影响的设备范围。并及时通知各部门做好停电应急准备。然后通知机房电源维护人和设备的负责人到达现场，做好各设备的电源停电准备。在UPS供电电量仅剩10%之后，严格按操作手册停掉各服务器的电源，最后停核心交换机和路由器，等待电力恢复。

(4)当确定停电原因是在本身供电系统范围内，立即汇报给负责领导，并及时联系相关维护人员达到现场检修。对于恢复时间无法预计的，要通知后勤部门做好柴油机发电及移动电源车供电准备

(5)恢复供电后，严格按照操作程序逐步恢复机房设备和UPS的供电，以防瞬间电流过大造成设备损坏。

2.4 通信网络故障应急预案

(1)发生通信线路中断、路由故障、流量异常、域名系统故障后，操作员应及时通知本单位信息系统管理员，经初步判断后及时上报运维服务小组和系统突发故障应急领导小组。

(2) 运维服务小组接报告后，应及时查清通信网络故障位置，隔离故障区

域，并将事态及时报告系统突发故障应急领导小组，通知相关通信网络运营商查清原因;同时及时组织相关技术人员检测故障区域，逐步恢复故障区与服务器的网络联接，恢复通信网络，保证正常运转。

(3) 事态或后果严重的，应向应急指挥办公室和相关领导汇报。 (4) 应急处置结束后，运维服务小组应将故障分析报告，在调查结束后一日内书面报告系统突发故障应急领导小组。 2.5网络病毒事件应急预案

(1)发现不良信息或网络病毒时，信息系统管理员应立即断开网线，终止不良信息或网络病毒传播，并报告指挥调度中心运维服务小组和系统突发故障应急领导小组。

(2)运维服务小组应根据系统突发故障应急领导小组指令，采取隔离网络等措施，及时杀毒或清除不良信息，并追查不良信息来源。

(3)事态或后果严重的，应向监控中心办公室和相关领导汇报。 (4)处置结束后 ,运维服务小组应将事发经过、造成影响、处置结果在调查工作结束后一日内书面报告系统突发故障应急领导小组。 2.6 服务器软件系统故障应急预案

(1)发生服务器软件系统故障后，运维服务小组负责人应立即组织启动备份服务器系统，由备份服务器接管业务应用，并及时报告系统突发故障应急领导小组;同时安排相关责任人将故障服务器脱离网络，保存系统状态不变，取出系统镜像备份磁盘，保持原始数据。

(2)运维服务小组应根据系统突发故障应急领导小组的指令，在确认安全的情况下，重新启动故障服务器系统;重启系统成功，则检查数据丢失情况，利用备份数据恢复;若重启失败，立即联系相关厂商和上级单位，请求技术支援，作好技术处理。

(3)事态或后果严重的，应向监控中心应急指挥办公室和相关领导汇报。 (4)处置结束后,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。

2.7 黑客攻击事件应急预案

(1)当发现网络被非法入侵、网页内容被篡改，应用服务器上的数据被非法拷贝、修改、删除，或通过入侵检测系统发现有黑客正在进行攻击时，使用者或管理者应断开网络，并立即报告系统突发故障应急领导小组。

(2)接报告后，系统突发故障应急领导小组应立即指令运维服务小组核实情况，关闭服务器或系统，修改防火墙和路由器的过滤规则，封锁或删除被攻破的登陆帐号，阻断可疑用户进入网络的通道。

(3)运维服务小组应及时清理系统，恢复数据、程序，恢复系统和网络正常;情况严重的，应向监控中心应急指挥办公室和相关领导汇报，并请求支援。

(4)处置结束后 ,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。 2.8 核心设备硬件故障应急预案

(1)发生核心设备硬件故障后，运维服务小组应及时报告系统突发故障应急领导小组，并组织查找、确定故障设备及故障原因，进行先期处置。

(2)若故障设备在短时间内无法修复运维服务小组应启动备份设备，保持系统正常运行;将故障设备脱离网络，进行故障排除工作。

(3)运维服务小组故障排除后，在网络空闲时期，替换备用设备;若故障仍然存在，立即联系相关厂商，认真填写设备故障报告单备查。

(4)事态或后果严重的，应向监控中心应急指挥办公室和相关领导汇报。 2.9 业务数据损坏应急预案

(1)发生业务数据损坏 时，运维服务小组应及时报告系统突发故障应急领导小组，检查、备份业务系统当前数据。

(2)运维服务小组负责调用备份服务器备份数据，若备份数据损坏，则调用磁带机中历史备份数据，若磁带机数据仍不可用，则调用异地备份数据。

(3)业务数据损坏事件超过 2小时后，运维服务小组应及时报告系统突发故障应急领导小组，及时通知业务部门以手工方式开展业务。

(4)运维服务小组应待业务数据系统恢复后，检查历史数据和当前数据的

差别，由相关系统业务员补录数据;重新备份数据，并在工作结束后一日内报告系统突发故障应急领导小组。 2.10 雷击事故应急预案

(1)遇雷暴天气或接上级部门雷暴气象预警，运维服务小组应及时报告系统突发故障应急领导小组，经请示同意后关闭部分服务器，切断电源，暂停内部计算机部分网络工作。

(2)雷暴天气结束后，运维服务小组报经系统突发故障应急领导小组同意，及时开通服务器，恢复内部计算机网络工作，对设备和数据进行检查。

(3)因雷击造成损失的，运维服务小组应会同相关部门进行核实、报损，并在调查工作结束后一日内书面报告系统突发故障应急领导小组。必要时，应向监控中心应急指挥办公室和相关领导汇报。 2.11 空调设备故障应急预案

若机房专用空调损坏，应第一时间启用机房备用空调，并通知厂家上门进行维修，并及时报告相关领导请示，获得授权后按机房设备关闭顺序关闭各类设备。 2.12 火灾事故应急预案

(1)一旦机房发生火灾，应遵照下列原则：首先确保人员安全;其次保护关键设备、数据安全;三是保护一般设备安全;

(2)人员疏散的程序是：机房工作人员立即按响火警警报，并通过119电话向公安消防请求支援，所有人员戴上防毒面具，所有不参与灭火的人员按照预先确定的线路，迅速从机房中撤出;

(3)人员灭火的程序是：首先切断所有电源，启动自动喷淋系统或使用灭火器，灭火值班人员戴好防毒面具，从指定位置取出泡沫灭火器进行灭火。 2.13 电源设备故障应急预案

机房目前使用UPS系统，在紧急情况发生时，应按如下步骤进行关机： (1)确认所有负载均已安全关机。

(2)关闭UPS负载电源。

(3)将UPS的系统启用开关切换到off 的状态。 (4)将电池连接断路器切换到off的位置。

第2篇：机房应急预案

主机运维应急预案简介

. 崔志昂 上海超级计算中心 上海 201203 zacui@ssc.net.cn . 魏玉琪 上海超级计算中心 上海 201203 yqwei@ssc.net.cn 引言：

高性能计算技术及应用水平已成为显示综合国力的一种标志。高性能计算机持续不间断地 为用户提供高性能计算服务，而运维应急预案是主机运行中处理突发事件的依据和方法，是主

机系统稳定运行的保障。本文简要介绍上海超级计算中心主机运维应急预案，供同行参考。

1. 主机和运维管理制度简介

超级计算机是功能最强、运算速度最快、存

储容量最大的一类计算机。目前只有少数国家掌握 研发技术，系统造价非常昂贵，多用于国家高科技 领域和尖端技术研究，是国家科技发展水平和综合 国力的重要标志。上海超级计算中心作为上海信息 港主体工程之一，国家和上海市政府投资先后引 进神威-I超级计算机、神威-64P集群计算机、曙光 4000A超级计算机系统并投入商业化运行。

上海超级计算中心自2001年正式开通至今，

这些高性能计算机系统已安全、稳定运行七年多时 间，上机用户取得了丰硕的科研成果和社会效益。 在这七年中，为保障这些高性能计算机系统安全、 稳定、不间断地运行，技术支持部在中心引进第一 台高性能计算机--神威-I超级计算机系统的同时，建 立了机房应急预案、运行记录、设备运行参数等基 础运维制度，在二期引进曙光4000A超级计算机系统 过程中，不断完善原有运维制度，并针对该主机系 统特点编写了大量操作方法和应急预案。

中心自2006年获得ISO27001(BS7799)信息安 全认证以来，技术支持部根据其要求规范了文档体 系建设，形成了机房管理制度、应急预案、操作方 法、运行情况记录的四大类运维文档。

正是这些运维管理制度的不断完善和有效执 行，才确保了资产价值高、服务对象广、社会影 响大的中心主机系统安全、稳定运行，保障重点项 目、用户服务的连续性。

2. 应急预案重要性

上海超级计算中心机房运维管理文档划分为机 房管理制度、应急预案、操作方法、运行记录共四 大类(如图1所示)。

图1 应急预案分类

应急预案在应急系统中起着关键作用，它明确 了在突发紧急情况发生之前、发生过程中以及刚刚 结束之后，谁负责做什么、何时做，以及相应的策 略和资源准备等。它是针对可能发生的重大事故， 按照其影响和后果严重程度，在应急准备、响应、 操作各个方面预先做出的详细安排，是开展及时、 有序和有效事故应急工作的行动指南。因此，应急 预案在这四类运维管理文档中处于最为重要的地位。

3. 应急预案分类

应急预案按重要性和事件种类，可以划分为消

防预案、断电预案、空调预案、其他预案共4种，预 案各文档之间彼此独立又互为关联，具有非常强的 可操作性。制定预案的指导原则是尽一切可能，最 大限度地确保向用户提供的服务不中断。在紧急事 件发生的情况下，保证核心设备连续运行，避免存 储数据丢失。在事件处置完成后，能快速恢复高性 能计算服务。

3.1 消防预案

消防预案是主机房最重要的应急预案。该类预 案根据《上海超级计算中心灭火和应急疏散预案》 的原则并结合主机房主机设备和消防设备的运行特 性而制定。主要由《主机房消防应急预案》和《主 机房气体喷淋消防系统启动撤离及处置应急预案》 2个文档组成。

消防应急预案：该预案着重规范了火警事件发 生后，所有主机维护人员如何根据所属区域和现场 情况，判断和选择正确的处理方法，同时配合中心 物业人员处置，降低事件带来的影响。

对于设备发生烟雾，主机维护人员协同物业人 员寻找烟雾点予以切断相关区域电源;当设备发生 可以控制火情，协同物业人员灭火;当主机房发生 火灾而无法控制，应采取施救方法等措施。

气体喷淋预案：该预案描述主机房气体喷淋系统启

动的响应和确认并具体规定了撤离机房路线、善后处置。

这两个预案中，消防应急预案作为消防预案

的主体，涉及到如何处理与消防有关情况的各个方 面。气体喷淋预案是主机房发生重大火灾时应对的 最终灭火手段和人员撤离引导方法。

3.2 断电预案

断电预案的重要性仅次于消防预案。该类预

案根据中心供配电系统实际情况和各种断电影响范 围下对主机运行的最小保障要求而制定的。主要由

《主机房断电应急预案》、《曙光4000A超级计算机 系统紧急关机操作方法》、《曙光4000A超级计算机 系统双路断电关机操作方法》等多个文档组成。

主机房断电应急预案：该预案用于断电情况

下，主机维护人员如何与中心物业部门联系控制主 机房供电情况，并且负责对主机系统运行受断电影 响程度做出正确判断。指导维护人员按影响程度， 分别选用预案中对应的操作方法。本预案在所有断 电预案中起指导思想作用。 紧急关机操作方法：该预案制定了主机系统在 紧急情况下，最快速度关机的操作步骤。主要用于 发生烟雾、明火或消防、断电预案需在数分钟内关 机断电的事件。

双路断电关机操作方法：该紧急操作预案主要 用于在外界双路供电全部中断情况下的操作。

该预案的关机原则是：根据实际电力供应考虑 操作步骤，宁慢勿快，在时间允许的情况下，最大 程度保证存储节点、SAN和SCSI存储设备、工程用户 的计算节点的运行，尽可能减少关闭范围，以确保 能在恢复供电的情况下，主机尽快恢复正常运行状 态，减少影响范围。

3.3 空调预案

超级计算机系统在运行中消耗大量电能，在

提供高性能的计算能力同时产生大量的热量，必须 采用专用空调系统，以保持主机系统适当的温、湿 度、空气洁净度等运行环境需求。因此，专用空调 系统与主机系统密切相关，空调预案是主机房必备 的应急预案。

制定该预案的原因在于，断电情况下，空调与 主机系统存在互相牵制的现状。主机和空调系统均 为外界双路供电，主机系统配有UPS不间断电源系 统，而空调系统无UPS支持。在双路停电情况下，主 机系统可获得UPS电池组支持运行若干分钟，空调系 统无UPS支持只能停机。由于在无空调冷却情况下， 主机系统会在短时间内积聚大量热量导致超过运行 警戒温度，主机系统在有可供电余量的情况下，仍 将被迫关机。因此，确保空调中断情况下的主机运 行环境是该预案的制定原则。

预案根据各台主机配备的空调系统特点制定， 由《曙光机房空调系统故障应急预案》和《神威机 房空调系统应急预案》2个文档组成，这里仅介绍曙 光机房空调系统应急预案。

该预案的第一步：考虑增强主机系统散热效

果，采用打开主机机柜前后门，和机房周边木门， 在通风道上布置有UPS支持的应急风扇，形成空气对 流，带走热空气，从而增强主机系统散热效果，降 低升温速度。

该预案的第二步：在采取上述措施并持续升温 到一定温度之上的情况下，考虑紧急关闭部分或全 部计算节点，减少热量生成，确保主机系统的核心 存储和网络系统不受影响，确保空调系统修复后， 主机系统能快速恢复运行。

3.4 其他预案

除了固定的三类预案之外，技术支持部还根据 主机系统实际运行中出现的各种意外情况，随时制 定具有针对性的预案。

如《大楼顶棚坍塌应急操作方法》的制定，就

是由于2008年1月连续发生雨雪等灾害性天气，中心 大楼顶棚大量积雪且难融化，物业预计存在情况继 续恶化，有发生顶棚坍塌事故的可能，一旦发生将 影响一楼主机运行。

针对该突发的隐患，中心技术支持部制定应急 操作方法，对维护巡查频度范围、漏水可能发生位 置、如何处理受漏水影响的主机设备等操作步骤进 行严格界定。即使在最后，中心大楼顶棚经受住灾 害性天气的考验，该预案并未发挥作用，这正体现 了应急预案的备而不用的特点。而且通过各种意外

情况的迅速分析、应对和实践操练，不断锻炼主机 维护队伍，使之走向成熟。

4. 在实际案例中，应急预案的作用

在主机系统年复一年的运行中，我们希望这些 设备正常稳定运行，应急预案永远不会被使用，然 而在实际运行中，总免不了因突发事件执行应急预 案。

而每次突发事件是检验应急预案制定是否科 学、有效的最好证明。

4.1 双路断电，UPS正常运行案例

2006年8月某天，因打雷导致供电一路跳闸自动 换至另一路供电，曙光机房2台空调掉电。

主机维护人员立即按应急预案操作，电话通知 物业人员恢复空调运行，恢复过程中所有空调相继 出现高温报警，机柜液晶屏平均温度35度，开启全 部曙光机柜前后门，打开神威-曙光玻璃门并调集应 急电扇，于12:45恢复正常。

12:50再次出现双路供电中断，曙光空调因无

UPS支撑全部断电，启动断电应急预案，开启

5、6号 木门，开启神威机房全部空调，布置电扇，将冷气 导入曙光机房，热量从6号木门的外部通道排出，选 择性杀除部分作业，至13:05供电恢复，曙光空调开 始工作，13:20环境恢复正常。全机在此过程中，正 常运行未停机，只损失了部分不重要的作业。

4.2 单路断电，UPS失效案例

2007年8月某天，因低压配电柜开关至UPS房间 X-JM柜电缆发生相对地短路，造成UPS机组逆变器 自身保护动作，关闭UPS机组，导致曙光主机系统失 电。

全机掉电后，主机维护人员迅速按应急预案

手 工 关 闭 所 有 电 源 开 关 。1 0 : 3 0恢 复 供 电 ，温湿度恢复正常后，全机加电，恢复过程中修复

storage00

1、00

5、010三个盘阵的9个用户文件系统， 修复15个节点加电故障，除cnode00

9、anode029电源

环 境 模块故障，于当日15:10全机系统恢复正常。

由于处置及时，主机受影响范围很小，在恢复 供电后数小时即成功开启全系统。

5. 随时保持应急预案的适用性

主机长年累月的运行，故障和问题的发生，往 往是必然的，也是客观、无法回避的。因此，要求 在维护工作中，预先考虑到可能的问题和故障，制 定完善的应急预案。应急预案不可能包含所有的故 障和问题，但应根据维护经验，尽可能地设想各种 危机情况下的处置措施。做到预想到各种可能的问 题。

而在形成应急预案后，更重要的是持续地在

运行中加以完善、测试和演练，尽可能模拟实际情 况，做到即使只有1名维护人员在场，也能在真正发 生危机时，以最短时间独立处置故障。

以目前中心的主机运维工作为例，三年内，仅 断电预案就已根据实际运行情况的变化，制定并更 新了5~6个版本，针对夏季突发断电也有专用预案。 这样的措施，直接保障了2006年8月突发断电事件中 的主机连续运行。而2007年8月的突发断电事件中， 由于预案在之前刚根据实际情况进行过演练和修 改，主机维护人员仅用半小时就完成所有应急操作 动作，整机仅有个别设备故障，确保了主机设备未 因突发断电而发生大范围损坏现象，恢复供电后直 接完成开机。

实践证明，完善而适用的应急预案能保障向用 户提供稳定的高性能计算服务。

6. 结束语

完备而适用的应急预案能有效降低主机系统因 意外事件发生带来的运行风险，对可能发生的意外 来说，是一种事前防范措施。但对整个主机系统产 品而言，是一种事后防范措施。如果主机系统生产 厂商能把这些防范措施纳入整个系统设计过程中， 使操作方法更加简便、更趋于人性化，这将帮助主 机维护人员更为妥善处理意外事件，用户得到更为 稳定的高性能计算服务。我们相信未来国产的高性 能计算机能做到这一点，期待着这一天早日到来。

(为帮助了解，特在附录中节选部分双路断电关机预案内容)

附录：《曙光4000A超级计算机系统双路断电关机操作方法》(省略具体操作步骤)

曙光4000A超级计算机系统双路断电关机操作方法

注意：

1、本方法专用于主机房发生双路同时断电紧急操作使用。(包括单线断电切换失败)。

2、本方法作为《曙光-4000A超级计算机系统紧急关机操作方法》(SSCS(TS)-XXXX-XXXX-XXXX)的附件。

1. 断电确认及操作：

主机房内一旦发现断电，并接物业明确通知为双路断电，首先执行如下操作(即确保节点温度)：

1.1 打开机房门便于散热，..

1.2 机房通道上布置应急风扇加强冷热空气对流，夏季：应急风扇布置..;冬季：应急风扇布置..，使曙光

机房的温度尽量降低。

1.3 打开所有机柜前、后门。

1.4 密切注意机房节点平均温度(专指各机柜液晶面板所示之环境温度值)。

2. 紧急关机条件确认：

在完成上述操作后，密切观察主机房环境。一旦有如下任何一个条件满足：

2.1 自断电发生起，已达到XX分钟仍未恢复供电;

2.2 采取上述紧急通风措施，节点温度持续上升，超过XX℃;

可认定为紧急断电事件，即刻按下列紧急关机操作方法进行操作。

3. 紧急关机操作步骤：

注意事项：

3.1 ..

3.2 关机操作的全过程中，注意随时保持和物业的通讯联系。除根据情况随时联络外，应严格保证每XX分钟与物

业联系一次，询问UPS可支撑时间及恢复供电可能。(分机、手机、对讲机等)

3.3 应理解关机原则为：根据实际电力供应考虑操作步骤，宁慢勿快，在时间允许的情况下，最大程度保证X排节

点、存储节点、SAN和SCSI存储设备的运行，尽可能减少关闭范围，以确保恢复。

第一级操作：(首先执行) 关闭主机系统外围设备..

第二级操作：(完成上述操作后，当再次发现UPS电池低于XX分钟或节点平均温度超过XX℃，任一条件满足， 执行如下操作)

关闭非重要用户计算节点(ABC组)..

第三级操作：(完成上述操作后，当再次发现UPS电池低于XX分钟或节点平均温度超过XX℃，任一条件满足， 执行如下操作)

关闭所有用户计算节点(D组)..

第四级操作：(完成上述操作后，当再次发现UPS电池低于XX分钟或节点平均温度超过XX℃，任一条件满足， 执行如下操作)

关闭SAN存储设备和LSF数据库服务器..

第五级操作：(完成上述操作后，当再次发现UPS电池低于XX分钟或节点平均温度超过XX℃，任一条件满足， 完成关机操作)

关闭SCSI磁盘阵列和所有存储节点..

特别关注：

1. 如时间非常紧急，UPS电池低于XX分钟：

直接执行关机脚本：..

此脚本可分别将计算节点、接入节点、存储节点进行关闭。

2. 如时间极其紧急，UPS电池低于XX分钟，可按《曙光-4000A超级计算机系统紧急关机操作方法》(SSCS(TS)- XXXX-XXXX-XXXX)，直接拉闸操作。

(上述二个方法仅用于突发情况，非极其必要情况下严禁使用，应使用前列方法操作)

3. 如遇主机失电(如关机操作不及已掉电或突发自动掉电)应关闭所涉范围所有设备电闸开关。..

第3篇：机房应急预案

中心机房突发事件应急预案

第一条

机房突发事件包括网络设备或服务器故障、自然灾害(水、火、电等)造成的 物理破坏、人为失误造成的安全事件等等。 针对突发事件的预防措施如下：

1.建立安全、可靠、稳定运行的机房环境，防火、防盗、防雷电、防水、防静电、防尘; 建立备份电源系统;加强所有人员防火、防盗等基本技能培训。

2.服务器采用可靠、稳定的硬件设备，落实数据备份机制，安装有效的防病毒软件，及时 更新升级扫描引擎;加强对局域网内所有用户和信息系统管理员的安全技术培训。

第二条

机房漏水应急预案如下：

1.发生机房漏水时，第一目击者应立即通知机房管理人员。

2.若空调系统出现渗漏水，机房管理人员应立即安排停用故障空调，清除机房积水，并及 时联系设备供应方处理，同时启动备用空调，必要情况下可临时用电扇对服务器进行降温。 3.若为墙体或窗户渗漏水，机房管理人员应立即采取有效措施确保机房安全，同时安排通 知办公室，及时清除积水，维修墙体或窗户，消除渗漏水隐患。

第三条

机房火灾应急预案如下：

1.完善机房环境，确保机房具备二氧化碳灭火器;禁止携带易燃易爆物品进入机房。 2.机房管理人员应熟悉机房内部消防安全操作和规则，了解消防设备操作原理，掌握消防 应急处理步骤、措施和要领，懂得灭火的方法，会扑救初起火灾，并定期组织灭火演习。 3.一旦发生火灾，迅速切断机房电源，避免灾情的扩散，并迅速拨打物业管理和119火警电话。

4.等待消防车到来期间,应组织物业保安或工作人员在保证安全的前提下灭火,应急领导小组应在第一时间内集中所有二氧化碳灭火器,抓住时机,尽可能的把火扑灭。

5.配合消防部门调查事故原因，对造成的损失和起火原因做好记录，以便进行灾后总结。

第四条

雷击事故应急预案如下：

1.遇雷暴天气，机房管理人员在下班后应及时关闭所有服务器，切断电源，暂停内部计算 机网络工作。

2.雷暴天气结束后，机房管理人员应及时开通服务器，恢复内部计算机网络工作，对设备 和数据进行检查。出现故障的，事发部门应将故障情况及时报告机房管理人员。

3.因雷击造成损失的，机房管理人员应会同相关部门进行核实、报损，并在调查工作结束 后一日内书面报告领导。

第五条

设备防盗被盗或人为损害应急预案如下：

1.机房管理人员每日查看、清点设备并锁好机房大门。

2.机房管理人员每日检查录像监控服务器状态，确保监控画面正常，并检查每日录像正常性、完整性。

3.发生设备被盗或人为损害设备情况时，使用者或管理者应立即报告相关负责人，同时保护好现场。

4.机房维护人员接报后，通知保安及公安部门，一同核实审定现场情况，清点被盗物资或盘查人为损害情况，做好必要的影像记录和文字记录。

5.事发单位和当事人应积极配合公安部门进行调查，并将有关情况向机房管理人员汇报。

第六条

机房停电应急预案如下：

1.接到停电通知后，机房管理人员应及时通过办公系统 、电话等发布相关信息，部署应对具体措施，要求用户在停电前停止业务、保存数据。

2.机房管理人员每日检查UPS电源的状态,确保在突发停电时,UPS电源能自动供应服务器正常工作半个小时,保证员工工作的数据及时保存。

第七条

通信网络故障应急预案如下：

1.发生通信线路中断、流量异常等故障后，员工应及时通知机房管理人员。

2.机房管理人员在接到报告后，迅速组织相关技术人员检测故障区域，并作相关故障处理，必要时通知通信网络运营商查清原因;逐步恢复故障区与服务器的网络联接，恢复通信网络，保证正常运转。

3.应急处理结束后，机房管理人员应在一日之内提交故障分析报告，以便备案。

第八条

服务器故障应急预案如下：

1.机房管理人员每日检查服务器状态，检查邮箱服务器状态，确保系统运行的完善。

2.机房管理人员定期备份服务器数据，并将备份资料刻录成光盘或拷贝到移动硬盘。

第九条

1.发生机房突发事件后，机房管理人员应采取有效措施开展先期处置，恢复信息网络正常状态。应急处置工作结束后，机房管理人员对事件发生原因、性质、影响、后果、责任及应急处置能力、恢复重建等问题进行全面调查评估，根据应急处置中暴露出的管理、协调和技术问题，改进和完善预案，实施针对性演练，总结经验教训，整改存在隐患，组织恢复正常工作秩序。

第4篇：机房消防应急预案

为使信息机房发生火灾事故时,当班人员能镇静有序地处置事件，特制订本预案，请各成员认真学习，熟悉应急处置程序，提高全员的应急能力，一旦发生突发事件，尽最大努力保证员工人身安全和减少损失。

起火原因一般有明火管理不慎;电气设备管理、使用不当;纵火等原因。

预案一：当闻到烧焦气味时

当班人员发现信息机房内有冒烟现象或闻到烧焦气味时，可能是某处阴燃处于起火阶段或电源超负荷发热引起，容易引发火灾，当班人员要立即查明原因和地点，针对不同情况，采取迅速将火源扑灭或关闭电源总开关、隔离火源附近易燃物、关闭窗等措施，消除起火隐患，防止引了火灾。事后立即向安保部门报告，并做好现场保护工作和防止起火点复燃，不得随意离开现场和将事故隐瞒不报。 预案二：当班时发现起火或冒出浓烟

由于起火源隐蔽或其他突发原因未能及时发现和消除起火隐患，酿成明火和冒出浓烟，燃烧面积不大，就是火灾的初起阶段，当班人员发现起火或冒出浓烟时，切忌惊惶失措，要沉着、果断，会同其他当班人员分工协作，迅速查明原因组织扑救，当火执已无法控制时处置办法：

一是指定专人立即拔打“119”火警电话报警和向上级保卫部门报告，并向本部门和周围的人及群众喊叫报警; 二是组织本单位、部门在场的人员有序地投入扑救工作，充分利用消防栓、灭火器、水桶等器材灭火，不能消极等待消防队到来，而错过灭火良机，力求将火扑灭或控制火势蔓延，不能只顾个人安危而逃离火场

三是大声呼喊请求邻近单位及群众的支援。

四是在组织灭火同时，要立即组织人员疏散和转移物品中，特别昌易燃、易爆物品和易受到火舌威胁的现金、重要凭证要及时转移到安全地点，并派人员守护，确保安全。

五是灭火后要注意保护现场，维护好秩序，以利于消防部门调查分析火灾原因。 注意事项：

报警人员报警时要向消防部门讲清楚起火地点、单位、起火的种类和火势大小，报警后即到街道或十字路口迎接、引导消防车辆的到来;扑救人员在消防人员到来后，要立即向消防指挥人员讲清火场内存放有何种物资和贵重物品，火场内是否有爆炸、剧毒物品，并协助消防部门维护好现场秩序。自行扑救火灾时要留心观察火势和环境，防止被火围困、烟气中毒、坠物砸伤等，在确保自身安全的情况下扑救火灾。

第5篇：中心机房应急预案

一、系统故障应急流程

1.1 系统故障应急流程说明

一、故障发生

值班人员可从以下途径得知故障的发生： 1)值班人员通过报警系统告警发现故障 2)值班人员通过远程数据监测发现故障 3)值班人员通过维护巡检发现故障 4)系统用户发现故障，报给呼叫值班人员

二、报障受理

值班人员发现系统故障发生后，立即响应，根据级别进行应急处理，并向相关领导报告系统故障情况。

三、信息研判

值班人员根据了解到的系统故障情况进行分析判断，以确定采用一般故障处理流程还是立即启动系统突发故障应急处理预案。

四、预案启动

如需启动应急预案，则立刻通知相关领导小组，由相关领导小组启动应急预案，对系统突发故障应急事件进行全面管控处理。

五、资源确认

系统突发故障应急预案启动后，首先是根据现场突发故障实际状况、紧急程度、技术难度、备品备件等情况对相关资源(主要是参与人员)依据经验进行调度和确认，主要有以下资源：

本单位相关技术支持人员 授权第三方公司技术支持人员; 故障设备相关厂家技术支持人员; 聘请的技术专家

六、预案执行

按照既定的预案进行突发事件处理和故障抢修，如遇到问题及时向相关领导小组汇报。

七、预案终止

预案的终止时间由故障现场技术人员根据现场的实际进展情况，在与用户单位有关部门协调后相关领导小组决定。

八、结果上报

预案中止后，相关预案参与人员将整个事件过程中所有收发信息、领导批示、事故调查报告、现场录像、图片等材料及时整理归档，并总结事件处理过程中的经验和教训，修改、完善事件应急预案。然后集中上报至相关领导小组。

1.2 系统故障应急处理流程图

机房应急预案

3.1 机房漏水应急预案

(1)发生机房漏水时，第一目击者应立即检测漏水影响范围，并及时报告相关领导小组。

(2)若空调系统出现渗漏水，值班人员应立即安排停用故障空调，清除机房积水，并及时联系设备供应方处理，同时启动备用空调，必要情况下可其它方式(通风、冰块降温等)对服务器进行降温。

(3)若为墙体或窗户渗漏水，值班人员应立即采取有效措施确保机房安全，同时安排通知房屋产权方 ，及时清除积水，维修墙体或窗户，消除 渗漏水隐患。

3.2 设备发生被盗或人为损害事件应急预案

(1)发生设备被盗或人为损害设备情况时，使用者或管理者应立即报告相关领导小组，同时保护好现场。

(2)相关领导小组接报后，通知用户保卫部门、相关领导，一同核实审定现场情况，清点被盗物资或盘查人为损害情况，做好必要的影像记录和文字记录。

(3)值班人员应当积极配合公安部门进行调查， 并将有关情况向相关领导小组汇报。 (4)相关领导小组安排相关技术人员及时恢复系统正常运行，并对事件进行调查。值班人员应在调查结束后三日内书面报告相关领导小组。

3.3 机房长时间停电应急预案

(1)接到长时间停电通知后，值班人员应及时通过办公系统、电话等发布相关信息，部署应对具体措施，要求相关保障人员在停电前及时就位，检查业务系统、保存数据。

(2)停电时间过长的，应准备充足燃油，并准备租用电力公司发电车协助，保证系统正常运转。 3.4 通信网络故障应急预案

(1)发生通信线路中断、路由故障、流量异常、业务系统故障后，操作员应及时通知本单位相关系统管理员，经初步判断后及时上报值班人员和相关领导小组。

(2) 值班人员接报告后，应及时查清通信网络故障位置，隔离故障区域，并将事态及时报告相关领导小组，通知相关通信网络运营商查清原因;同时及时组织相关技术人员检测故障区域，逐步恢复故障区与服务器的网络联接，恢复通信网络，保证正常运转。

(3) 事态或后果严重的，应及时向相关领导汇报。

(4)应急处置结束后，值班人员应将故障分析报告，在调查结束后三日内书面报告相关领导小组。

3.5 不良信息和网络病毒事件应急预案

(1)发现不良信息或网络病毒时，信息系统管理员应立即断开网线，终止不良信息或网络病毒传播，并报告相关系统维护人员和相关领导小组。

(2)值班人员应根据相关领导小组指令，采取隔离网络等措施，及时杀毒或清除不良信息，并追查不良信息来源。

(3)事态或后果严重的，应向总公司相关领导汇报。

(4)处置结束后 ,值班人员应将事发经过、造成影响、处置结果在调查工作结束后三日内书面报告相关领导小组。

3.6 服务器软件系统故障应急预案

(1)发生服务器软件系统故障后，值班人员应立即组织启动备份服务器系统，由备份服务器接管业务应用，并及时报告相关领导小组;同时安排相关责任人将故障服务器脱离网络，保存系统状态不变，取出系统镜像备份磁盘，保持原始数据。

(2)值班人员应根据相关领导小组的指令，在确认安全的情况下，重新启动故障服务器系统;重启系统成功，则检查数据丢失情况，利用备份数据恢复;若重启失败，立即联系相关厂商和上级单位，请求技术支援，作好技术处理。 (3)事态或后果严重的，总公司相关领导汇报。

(4)处置结束后,值班人员应将事发经过、处置结果等在调查工作结束后三日内报告相关领导小组。

3.7 黑客攻击事件应急预案

(1)当发现网络被非法入侵、业务内容被篡改，应用服务器上的数据被非法拷贝、修改、删除，或通过入侵检测系统发现有黑客正在进行攻击时，使用者或管理者应断开网络，并立即报告相关领导小组。

(2)接报告后，相关领导小组应立即指令相关技术人员核实情况，关闭服务器或系统，修改防火墙和路由器的过滤规则，封锁或删除被攻破的登陆帐号，阻断可疑用户进入网络的通道。

(3)值班人员应及时清理系统，恢复数据、程序，恢复系统和网络正常;情况严重的，应向总公司相关领导汇报，并请求支援。

(4)处置结束后 ,值班人员应将事发经过、处置结果等在调查工作结束后三日内报告相关领导小组。

3.8 核心设备硬件故障应急预案

(1)发生核心设备硬件故障后，值班人员应及时报告相关领导小组，并组织查找、确定故障设备及故障原因，进行先期处置。

(2)若故障设备在短时间内无法修复值班人员应启动备份设备，保持系统正常运行;将故障设备脱离网络，进行故障排除工作。

(3)值班人员故障排除后，在网络空闲时期，替换备用设备;若故障仍然存在，立即联系相关厂商，认真填写设备故障报告单备查。

(4)事态或后果严重的，应向总公司相关领导汇报。

3.9 业务数据损坏应急预案

(1) 发生业务数据损坏时，值班人员应及时报告相关领导小组，检查、备份业务系统当前数据。 (2)值班人员负责调用备份服务器备份数据，若备份数据损坏，则调用磁带机中历史备份数据，若磁带机数据仍不可用，则调用异地备份数据。

(3)业务数据损坏事件超过 X小时后，维护小组应及时报告相关领导，及时通知业务部门以其它方式开展业务。

(4)值班人员应待业务数据系统恢复后，检查历史数据和当前数据的差别，由相关系统业务员补录数据;重新备份数据，并写出故障分析报告，在调查工作结束后三日内报告相关领导。

3.10 雷击事故应急预案

(1) 遇雷暴天气或接上级部门雷暴气象预警，值班人员应及时报告相关领导，经请示同意后关闭部分服务器，切断电源，暂停内部计算机部分网络工作。

(2) 雷暴天气结束后，值班人员报经相关领导小组同意，及时开通服务器，恢复停用的计算机网络工作，对设备和数据进行检查。

(3) 因雷击造成损失的，值班人员应会同相关部门进行核实、报损，并在调查工作结束后三日内书面报告相关领导小组。必要时，应向总公司相关领导汇报。

四、机房动力系统应急处理方案

在机房动力发生异常情况时，动力系统通常可自动切换由备用电池提供机房设备的动力，在发生重大事故或自然灾害而无法短时间内正常恢复机房动力的情况下，启动机房动力系统应急处理流程，采用应急油机发电，确保用户单位网点通信网络能够安全、高效和可靠地运行。具体流程见下图： 监控到机房动力异常告警 通知维护站赴现场，监视动力系统电压下降情况 停电时间超过备用电池的合适支撑时间? 否 是 通知相关部门协助排查动力系统故障 超过蓄电池允许放电电压，立即启动油机发电 动力恢复 关闭油机供电开关 关闭电源柜油机开关 关闭/拆除油机 市电供电/蓄电池充电正常 消障

当发生长时间停电的动力系统故障时，抢修人员在机房现场实时测试记录备用电池的放电情况，电池放电容量超过40%时，如果动力系统还没有恢复正常供电，就用油机发电为机房提供动力。

动力系统恢复后立即对电池进行均充。一天内发生多次停电，放电容量在50%以下，均充转浮充后，浮充时间不少于24小时。一次停电放电容量在50%~80%时，均充转浮充后，浮充时间不少于48小时。

第6篇：机房火灾应急预案

机房消防安全工作对于公司运营极为重要，一旦发生火灾，将直接导致公 司业务中断，严重影响公司的安全稳定，并造成巨大的经济财产损失。下面小编为大家带来了机房火灾应急预案，欢迎阅读借鉴。

为认真贯彻落实《国务院关于特大安全事故行政责任追究的规定》，积极提高我公司重点要害部位特大安全事故应急处理能力，努力减少各类特大安全事故所造成的损失，消除火灾事故的隐患，保障公司财产和员工的生命安全，特制定本预案。

本预案针对我公司通信机房的火灾而制定。

移动通信机房灭火流程如下：

(一)值班人员发现机房火情(包括监控中心人员)要立即到现场查看。

(二)如果是个别电路盘着火，应拔出着火的电路盘，用1211或二氧化碳灭火器将火扑灭。

(三)某机柜几块电路盘及电缆着火，应立即拔出着火的电路盘，用1211或二氧化碳灭火器喷射灭火剂将火扑灭。

(四)如果机房的机架机柜着火，值班人员无力自灭自救时，监控中心应切断机架机柜电源或楼层电源，关闭空调，严禁开窗,及时向公司安全生产管理领导小组报告。

(五)公司安全生产管理领导小组指挥机关义务消防队队员进行灭火,组织值班人员立即撤离现场，封闭门窗，按下区域自动灭火按钮灭火，同时拨打119报警，大声呼救，报告公司主管领导或安保值班室，监控室广播火警。

(六)在消防队到达后，应积极配合，简明扼要说明着火位置，火势情况和已采取的补救措施。

(七)用1211或二氧化碳灭火器喷射灭火剂能把火扑灭的，应配合消防队保护现场和消除隐患，防止再次着火。

(八)用1211或二氧化碳灭火器不能把火扑灭时，为防止烟熏引起人员中毒，应组织人员有序疏散，使用相应的灭火器材灭火，尽快将火扑灭。

(九)应保护好现场，按照事故调查处理办法执行。

(十)火灾报警电话： 119

本预案应注意的特别事项

1、当发生火灾情况，进行处理并保证人身安全的同时，

根据设备的重要性进行相应的抢救措施，保证重要设备，特别是直通电话，以及与冀北、华北相应数据的上传，保证通道畅通。

2、抢救完主要设备，在进行次要的设备抢修，待事故处理完毕后，进行相应的实验，保证设备的运行性，并进行设备的可行性分析。