一起与伪线双归保护相关的td业务中断案例分析

一起与伪线双归保护相关的 TD 业务中断案例分析关键字：伪线双归保护、GIPI3 板、伪线倒换故障描述2012.12.01 06:05 新余无线侧反映分宜县城大量 TD 同时中断，监控人员反映 PTN 网管和 RNC 网管上无告警，另外这些中断的基站市电及电池电压均无异常。现网 PTN 与 RNC 对接层面部署了伪线双归保护，每台 RNC 引出两个物理光口绑定成聚合口，此两个物理接口直接与两台传输 9008 对接，如下图所示；业务由传输 9008 和RNC 各自分摊到两个接口，一旦某台 9008 或某个光口发生损坏，业务即切换到另一个接口，以此形成保护。本文主要是从传输侧的角度分析这次故障处理步骤（当时无线侧人员未到场） 。故障诊断1、 首先怀疑是传输内故障，县公司的 2 个汇聚点到新余枢纽楼的所有业务都是通过 2 条10GE 链路上行，并通过 OLP 保护分布在 4 条不同的实际光缆承载，而且前期也进行过路由分离排查、在上月刚进行过例行断纤倒换测试无异常。通过查看这 2 个上行 10GE端口光功率及 LLDP 邻居正常，并抽查了几条中断基站的工作、保护隧道环回都正常，登录到网元查看无告警也无倒换事件，可以排除光缆故障及中间节点、网管漏报等故障；2、 抽查了几条中断基站的业务及伪线配置，网管上以及网元上都正常，排除配置属性丢失或异常的可能；3、 问题最大可能还是出在业务经过路径的最末端，再次让监控人员把中断 TD 站数量统计出来，共 22 个且全部归属在 RNC4 上，通过比对传输侧建立的电路维护资料，分宜县城共有 44 条 TD 业务，全部都是通过核心 9008-3 和 9008-4 与 RNC 对接，且这 2 台PTN 设备同一单板上与其他 RNC 对接的 TD 站没有中断，同时县城 TD 站也没有全部中断，可以排除单板故障，那接下来就是分析特定的端口；4、 通过比对电路维护资料发现中断的 22 个站都在 RNC4 的聚合口 3(物理端口 4/7/1 和4/8/1)和聚合口 4(物理端口 4/7/2 和 4/8/2)，分别登录到核心 9008-3 以及核心 9008-4上查看对应端口状态及收发包情况，显示均为 UP，但是与 RNC4 物理端口4/7/1、4/7/2 对应的两个端口只有发包却没有收包增长，初步怀疑对端单板故障（当前 RNC 一块单板只有 2 个光口） ；5、 联想到伪线双归保护的几个特点：第一、单发双收，对 PTN 而言，收发可能不同路径，传输侧只能决定发路径而收路径则由 RNC 侧决定，新余现网 RNC 侧的聚合口是负荷分担模式，RNC 发送时会按特定规则（二层或三次报文头）将某条业务从固定的端口发出；第二、传输侧伪线倒换的条件是必须感知到收无光，光口状态 down，否则，即使单板运行故障，倘若并未造成光口 down，则业务也不会倒换；第三、PTN 伪线倒换只能改变本端的发路径，同理返回式也是针对本端发路径。通过以上分析可以基本判定RNC4 的 4/7 单板故障，简而言之就是 RNC 倒换了但 PTN 没有倒换，RNC 能正常发给PTN，但收不到 PTN 发过去的包，因为 PTN 还是从原有路径（端口）发送给有故障的单板了；6、 12.02 凌晨传输侧与无线侧双方一起做了验证，证实 RNC4 的 4/7 确实存在故障。解决措施分别强制关掉传输侧与 RNC4 物理端口 4/7/1、4/7/2 对应的两个端口激光器，业务马上恢复；预防、监控措施与之前部署的 LAG 保护不同，前者会有 lacp 报文协商，伪线双归保护中 PTN 与 RNC之间对接时没有协议协商，PTN 只有感知到 RNC 侧光口 down 才能进行正常的伪线倒换，所以对于软件运行故障如若未能导致光口 down 掉，则业务不会倒换；当然伪线双归保护的初衷是为了防止传输侧单节点失效，这个意义是重大的。建议无线侧能彻底查清 GIPI3 板的故障原因，并能实现单板故障时自动关闭激光器功能，目前而言如若 RNC 侧再次出现类似的软件故障可以：A、RNC 侧在发现告警后将有故障单板重启或拔插等操作；B、传输侧人工强制关本端对应的激光器，但是分析判断需要时间会影响故障恢复时长。2012-12-17