1、通讯故障处置不当,网络阻塞全厂停电2013 年 12 月 4 日,某燃机电厂西门子监控系统网络故障导致单台机组跳闸,在网络恢复过程中产生网络阻塞引发另外两台机组同时跳闸,造成全厂对外全停的电力安全事件。【事故经过】该电厂装有 3 台 400MWF 级的燃气一蒸汽联合循环机组, 各台机组监控系统均采用西门子 TELEPERMXP 系统(简称“TXP 系统”) 。此外,三台机组共设有公用系统一套。各机组 TXP 系统间数据通讯是由 SINECNET 总线承担,其中 SINECNET 总线系统分为工厂总线和终端总线两部分。各机组 TXP 系统的工厂总线、终端总线分别与公用系统公用总线、终端总线连接。
2、各机组 TXP 系统工厂总线共有 9 个网络交换器(ESM), 由光纤或电缆串接, 正常运行状态下呈“C”型网运行状态。其中任一网络交换器(ESM)具有冗余配置功能,通过相应配置可以具有网络断点监测功能。即当网络交换器(ESM)人工设置冗余配置功能后,如“C型网中出现一个断点时,则冗余配置功能生效,以保证网络始终保持“C”型网运行;如“C”型网中出现两个及以上断点时,则网络将会异常。2013 年 12 月 4 日 14 时 25 分,#3 机组跳闸,厂方工作人员通过查看 SOE事件记录,查明机组跳闸原因是工厂总线通讯故障。经厂方工作人员对机组监控系统的网络及通讯设备检查发现,其中一个网络交换器
3、(ESM,编号为 5P)故障报警,随即厂方工作人员对其进行了复位重置,但是故障未消除,报警仍然存在。经厂方内部协商后,对该网络交换器利用厂内备品备件进行了在线更换,更换后,报警消失。在对#3 机组监控系统中网络交换器(ESM,编号为 5P)更换后数分钟内,15 时 36 分,#1、#2 机组同时跳闸,相关监视界面也同时异常。三台机组跳闸后,按照 SPPA 工程师建议,将#3 机组 TXP 系统与公用系统之间网络断开后, 随后#1、 #2 机组监控界面及监控系统通讯网络恢复正常。厂方工作人员在对该机组 TXP 系统所属网络交换器、 连接线等逐一排查后,发现其中一个网络交换器(ESM,编号为 4P
4、)所连接的连接线接头(RJ45接头)有松动现象;同时厂方工作人员通过查阅历年维护记录并根据 SPPA工程师建议,利用备件网络交换器(ESM,原编号为 5P,前日更换下来的)对网络交换器(ESM,编号为 7P)进行了更替,经测试后,网络恢复正常。并于 2013 年 12 月 5 日申请依次并网。【原因分析】1、西门子监控系统的网络设备故障导致单台机组跳闸。#3 机组 TXP 监控系统网络交换器(ESM,编号为 4P)的连接接口(RJ45 接头)松动,同时由于网络交换器(ESM,编号为 7P)设备故障,造成两个断点,破坏了“C”型网运行结构,造成#3 机组 TXP 系统通讯中断,引发#3 机组工厂
5、总线通讯故障保护跳闸。2、更换功能相异的网络设备导致其他两台机组跳闸。在#3 机组 TXP 监控系统网络交换器(ESM)存在异常信号下, 厂方工作人员采取了更换措施。由于日常维护均由其生产厂商西门子承担,而西门子对电厂工作人员并未进行相关设备技术交底,致使厂方工作人员更换#3 机组网络交换器时,由于外观相同难以辨别功能差异,使#3 机组 TXP 系统网络形成“O型,导致通讯网络阻塞,进而引发#1、#2 机组因通讯故障保护跳闸。3、西门子机组监控系统网络设备重要故障告警功能不足。西门子机组监控系统对#3 机组网络交换器连接接口(RJ45 接头)松动和另一网络交换器未能及时有效地告警提示运行人员,
6、导致设备异常同时出现时,#3 机组通讯网络形成断点,监控系统故障,致使#3 机组保护跳闸。4、西门子机组监控系统对网络通讯故障隔离措施不到位。西门子机组监控系统对网络通讯故障缺乏有效防护手段和隔离措施,由于#3 机组与#1、#2 机组网络相连接,在对#3 机组更换网络交换器不当致使机组通讯网络阻塞后,引发#1、#2 机组通讯网络阻塞,进而导致两台机组保护跳闸。【防范措施】1、重视生产监控系统厂商技术交底。要求机组监控系统制造厂商对系统原理、网络设计、通讯原理、设备配置等方面进行详细彻底的技术交底,做好相关技术培训。2、提高机组监控系统自主运行维护能力,减少对制造厂商的依赖,使运行管理人员逐步全面了解掌握机组运行状况。3、增强电厂网络与信息安全专业技术力量。对相关岗位维护人员进行专业能力培训考核,增强其对网络设备配置、系统网络原理、网络与信息安全等专业技术水平。4、对机组生产监控系统进行排查,对国外电力生产监控系统信息安全状况开展专题研究,提出切实可行的风险防控及安全防护措施,避免类似事件(事故)的发生。5、强化电力二次系统安全防护和等级保护相关工作。按照电力二次系统安全防护规定及相关网