华为CES业务不通或误码问题定位指导.ppt

HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential Security Level: 英文标题:40-47pt 副标题:26-30pt字体颜色:反白内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:35-47pt字体:黑体 副标题:24-28pt字体颜色:反白字体:细黑体CES业务不通或误码问业务不通或误码问题定位指导题定位指导2024/9/4HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.目录目录l定位示意定位示意图l常常见告警告警说明明lCES业务性能性能说明明l配置参数要求配置参数要求l典型案例典型案例l信息采集信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用仅供参考）客户或者合作伙伴的标志放在右上角.定位示意图Page 3一看告警，二查计数，三检配置，四做倒换，五测一看告警，二查计数，三检配置，四做倒换，五测PRBSPRBS；；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.常见告警说明Page 4告警名称告警名称常见原因及解决方法常见原因及解决方法T_ALOS/R_LOS链路中断UP_E1_AIS, MS_AIS, AU_AIS,TU_AIS_VC12,V5_VCAIS对端设备给PTN发送了AIS，需要检查对端设备告警DOWN_E1_AISPTN下插的AIS告警，对于CES业务通常有2个原因：1.下溢导致可能是丢包、时钟不一致引起2.CES业务另一端UNI有物理告警LFA/LMFA帧格式不一致，修改成一致HP_UNEQ/HP_SLMC2字节不一致PTN收发的C2字节应为(0x2)TUG.LP_UNEQ_VC12V5字节Signal Label不一致PTN收发的V5字节应为(0x2)异步模式LP_RDI_VC12, ALM_E1RAIVC12/E1通道收到远端告警，检查对端设备端口告警HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.常见告警说明(续）Page 5告警名称告警名称常见原因及解决方法常见原因及解决方法CES_LOSPKT_EXC1.网络侧丢包，伴随有ces_jtrudr.2.网络抖动导致报文乱序伴随有ces_jtrovr.CES_MISORDERPKT_EXC一般会有ces_jtrovr原因:1. 多收了报文例如：1+1保护配置不一致2. 网络抖动导致报文乱序CES_STRAYPKT_EXC使能RTP头后, SSRC域不对CES_MALPKT_EXC1.LEN域不对，两端装帧时间或时隙数不一致2.使能RTP头后，PT域不对CES_JTRUDR_EXC通常伴随着DOWN_E1_AIS告警1.一般是丢包引起2.网络侧抖动过大，尝试调大Jitter BufferCES_JTROVR_EXC1.参见CES_MISORDERPKT_EXC2.网络侧抖动过大，尝试调大Jitter Buffer备注: 建议直接查看性能这些告警都是性能越过高门限后上报告警，降到低门限后结束告警有告警时，需要结合其他性能来判断故障原因HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.常见告警说明(续）Page 6告警名称告警名称常见原因及解决方法常见原因及解决方法CESPW_REMOTE_LOSPKT远端检查到丢包表示本段->远端方向有丢包查看对端性能，按丢包问题处理CESPW_OPPOSITE_RAI远端UNI侧端口接收到了RAI告警CESPW_OPPOSITE_ACFAULT远端UNI侧端口接收到了物理告警：LOS/LFA/LMFA/UP_E1_AIS备注：1.这3个告警必须CES业务两端都使能告警透传才会产生2.这里的远端指的是端到端配置的CES业务的另一端HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.CES业务性能说明Page 7ü CES线段是CES业务封装成包的点到对端的解封装的点这段路径上业务都是包ces_xxxpkt在端点检测ü PW段是NNI侧单板统计业务性能点pw_xxx性能在端点检测 ü 在解封装之后有一个Jitter Buffer，它的作用是吸收网络侧抖动ces_jtrudr/ces_jtrovr在端点检测ü Tunnel性能对于定位单个业务不通问题帮助不大使能PW性能监控的时候，不允许使能Tunnel性能反之亦然ü PRBS段是做NNI方向的PRBS的测试点它基本上已经靠近端口，能够测出中间节点的丢包，改包问题 当然也支持UNI方向的测试，可以测试线路侧的故障HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.CES业务性能说明(续）Page 8ü 如果发现丢包速率=发包数率=1/装帧时间，那么说明业务完全中断缺省情况下是1000/s.ü 必须两端性能结合起来判断，因为本端的性能只代表远端->本端这个方向的计数ü 如果发现A->Z有丢包，那么可以逐段创建CES业务来检测是哪段链路故障可以使用二分法， 但必须从A开始例如：A->M, A->K, A->D,A-B, … 这个方法还适用于PRBS测试ü 图中步骤包含先恢复业务目的，同时给定位更多的信息，提高研发定位的效率HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.配置参数要求参数参数要求要求帧格式(Frame Format)本地业务如果不选择时隙，那么帧格式必须是unframe的如果要选择时隙，也就是配置fractional e1业务，必须选择成frame的帧格式 (R2新特性)远端业务（分两种：STAOP-E1和CESoPSN)SATOP-E1，帧格式必须是unframe,可以承载任意帧格式的业务CESoPSN, 帧格式必须是double-frame/crc4-multiframe,需要保持和对接设备帧格式一致如果要在一个端口配置多条CES业务，也就是Fractional E1业务，必须选择CESoPSN这种传送方式时隙数业务的总时隙数大于等于2装帧时间(Load Time)要求两端一致（端到端配置时网管自动完成）抖动缓存(Jitter Buffer)使用缺省值8000us即可修改时，建议至少修改成装帧时间的2倍HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 10典型案例l物理接口参数不匹配物理接口参数不匹配导导致致业务业务持持续误码续误码；；l带宽带宽不足不足导导致致CES业务业务断断断断续续续续；；l中中间间SDH网网络络保保护错误导护错误导致致CES业务报业务报文乱序中断；文乱序中断；l时钟时钟不同步不同步导导致致CES业务长时间测试误码业务长时间测试误码；；l网网络络抖抖动过动过大大导导致致CES业务误码业务误码；；l改包改包导导致基站致基站业务业务中断；中断；l中中间间网网络丢络丢包包导导致致业务业务中断中断HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 11故障案例——物理接口参数不匹配【【问题现象象】】：：客客户配置了两站配置了两站CES业务，，NNI侧穿越第三方以太网穿越第三方以太网络，无，无线设备检测到到较高的高的误码率PTN 1900RBSFEE1PTN 3900PTN 3900BSCMetro EthernetGEGEGEPSNPSNACACACACGEcSTM-1OSN 3500E11+1 MSP1:1 APSWork tunnelProtection tunnelHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 12故障案例——物理接口参数不匹配【【怀疑点疑点】】：：业务没有中断但误码率居高不下，通常有两种情况：(1) CES业务部分丢包；(2) 物理链路不稳定；【【分析分析过程程】】：：(1) 检查PTN3900网元，无任何告警2) 检查PTN1900网元，发现CES业务的CES_LOSPKTS计数不断增长，这说明NNI接口物理链路异常导致持续丢包; 检查NNI接口（FE端口）有MAC_FCS_EXC告警不停抖动4) 检查FE端口的配置参数， 工作模式为100Mfull，而第三方网络的FE接口为自协商模式（根据组网规划应该也配置为100Mfull），两个模式不匹配；(5) 通知第三方网络运营商修改工作模式后，告警和误码消失；【【定位小定位小结】】：：在实际组网应用中，经常会有PTN设备和第三方设备对接的场景，双方物理端口的配置参数务必匹配；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 13故障案例——带宽不足【【问题现象象】】：：客户配置了两站的远程CES业务，NNI侧为POS端口，刚开始CES业务通，但后来所有CES业务断断续续怀疑点疑点】】：：新增业务后引起同一路径的其他CES业务都出现断断续续，最常见的是带宽不足；【定位定位过程程】】：：(1) 检查源端和宿端，无告警上报； (2) 查询所有CES业务的CES_LOSPKTS性能计数都持续增长，很有可能是带宽不足；(3) 检查网元NNI接口配置，POS端口模式为155M;(4) 原来有60条业务，后来客户增加了几条业务，总流量超过了POS带宽；(5) 将部分业务删除改建到另外一个POS端口，所有业务恢复正常；【【定位小定位小结】】：：在实际组网应用中，必须考虑网络带宽是否满足业务需求；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 14故障案例——中间SDH网络保护配置错误【【问题现象象】】：：客户配置两站的CES业务，网络侧POS端口，中间穿越A厂商的SDH网络，CES业务持续中断PTN 1900RBSE1PTN 3900BSCSDH NetworkPOSE1POSA厂商厂商A厂商厂商HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用仅供参考）客户或者合作伙伴的标志放在右上角.Page 15故障案例——中间SDH网络保护配置错误【【定位定位过程程】】：：(1) 检查PTN3900设备，网元持续上报CES_MISORDERPKT_EXC告警；(2)检查设备内部CES接收到的PW包数量大约是正常值的2倍，同时有上溢告警，这说明收到了多余的报文； (3)检查NNI接口，POS端口的收发计数却是大致相等的；(4) 一线工程师检查物理连线，看到PTN3900有两个POS端口与A厂商设备对接，于是拔掉没有配置业务的端口光纤，发现业务恢复正常， CES_MISORDERPKT_EXC告警消失，再重新插上，业务再次中断，又开始上报告警，这说明多余的报文是从这个没有配置业务的端口进来的，这个端口虽然没有配置业务，但配置了layer3属性和MPLS使能，所以不会丢弃这些多余的报文，这些多余的报文搅乱了正常的报文序列；(5) 整改A厂商的网络保护配置后，业务恢复正常；【【定位小定位小结】】：：出现故障时，注意检查和第三方网络对接的相关接口；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 16故障案例——时钟不同步【【问题现象象】】：：客客户配置了两站配置了两站CES业务，，仪表表监控大控大约每两个小每两个小时出出现一次一次LSS告告警PTN 1900FEL2 ETH SwitchGEATN20 TesterE1E1PTN 3900HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用仅供参考）客户或者合作伙伴的标志放在右上角.Page 17故障案例——时钟不同步【【怀疑点疑点】】：：业务没有中断但周期性（分钟级别）地出现误码，最常见的是时钟没有跟踪正确。

分析分析过程程】】：：(1) 检查PTN设备，除了PTN3900有CLK_NO_TRACE_MODE告警（说明网元时钟处于自由震荡状态），无其他告警；(2) 查询PTN设备的CES性能计数发现，每次出现误码时都有CES_JTRUDR计数但无PW丢包或乱序计数；使能CES业务历史性能，从历史性能上看到每周期ces_jtrudr计数基本相等3) 检查时钟同步关系如下图所示，3900、1900网元和ANT仪表分别跟踪不同的时钟源，长时间运行后随着时钟漂移和时延抖动，导致缓冲区溢出，产生滑帧4) 将仪表时钟源改为“Receive clock”后，没有再出现误码HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 18故障案例——时钟不同步【【定位小定位小结】】：： CES业务要求时钟同步，因此在实际组网应用中必须优先考虑时钟跟踪关系；必须保证基站、接入PTN、落地PTN、BSC四台设备的时钟一致，中间设备的时钟不关心PTN 1900RBSPTN 3900BSCPTN NetworkGEHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用仅供参考）客户或者合作伙伴的标志放在右上角.Page 19故障案例——网络时延抖动过大【【问题现象象】】：：客户配置了多站的远程CES业务，NNI侧为MLPPP端口，CES业务断断续续出现误码。

怀疑点疑点】】：：低速NNI接口承载的CES业务没有中断但断断续续，通常有两种情况：(1) 长包引入较大的时延抖动；(2) 带宽不足；【定位定位过程程】】：：(1) 检查PTN设备，无告警上报；(2) 查询CES业务的性能，没有丢包，但CES_JTRUDR/CES_JTROVER性能计数持续增长；(3)检查网元配置，发现MLPPP只有一个E1成员，Tunnel和PW都是动态的，并且邻居节点很多;(4) 由于动态IS-IS协议报文较多且达到960字节，按照理论计算，MLPPP每传输一个960字节的报文（加上开销）超过4ms，即每发送一个这样的包引入超过4ms的抖动，超过CES业务的抖动缓冲能力（正负4ms）；(5) 增大CES抖动缓冲时间，误码消失；【【定位小定位小结】】：：如果NNI接口为小带宽的低速接口，而且还承载其他长包，很有可能引入较大抖动，影响CES业务HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 20故障案例——单板故障导致业务中断【【问题现象象】】：：客客户反反馈业务经过工作路径工作路径时基站中断，而基站中断，而经过保保护路径路径时，，业务正常但所有正常但所有CES业务性能正常性能正常【【怀疑点疑点】】：：中中间链路改包路改包【定位定位过程程】】：：(1) 新建测试业务走工作路径，在两端设备查询CES业务性能，确认性能没有任何异常2) 依次在两台设备设对业务做PRBS测试，发现PRBS测试有大量误码3) 从首节点开始，逐渐增加路径长度，创建测试业务最后发现业务经过中间某个节点后，PRBS测试出现异常4) 最后发现该网元单板不停地闪报BUS_ERR, 更换单板后, 业务正常定位小定位小结】】：：如果发现性能无法判断出异常，就只能进行PRBS测试如果PRBS测试正常，说明业务是正常的如果PRBS测试不正常，必须使用逐段测试的方法，把CES业务当成仪表，定为出故障点HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 21故障案例——中间网络丢包导致业务中断【【问题现象象】】：：客客户反反馈多个多个业务中断，中断，查看性能，都是从基站到看性能，都是从基站到BSC方向方向丢包怀疑点疑点】】：：光功率异常、光功率异常、链路故障、路故障、单板故障板故障【定位定位过程程】】：：(1) 查看告警，有两个端口有光功率异常告警IN_PWR_ABN但告警方向是从BSC到基站方向，和实际丢包方向不一致做单向LSP PING证实了这一点2) 找到几个业务经过的共同链路，有两段，依次进行L3VPN PING，找到故障链路3) 客户确认中间有波分链路，但需要我们继续排查4) 查看该段链路的端口性能，发现1024字节长度没有报文，因此做L3VPN PING，选择报文长度为1024，发送100个报文，结果在对端PTN端口的1024报文统计性能上，只收到68个报文，说明这个方向有丢包同时对端回应了68个1024字节长度报文，而本端也收到了68个1024字节长度的报文，说明回来的方向没有丢包5) 最后客户确认中间波分链路有误码告警定位小定位小结】】：：合理利用端口性能和合理利用端口性能和LSP/PW/L3VPN PING，可以迅速帮助我，可以迅速帮助我们对问题进行定界。

行定界HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用仅供参考）客户或者合作伙伴的标志放在右上角.Page 22业务恢复如果客如果客户急于恢复急于恢复业务，而故障原因短，而故障原因短时间内无法定位清楚，可考内无法定位清楚，可考虑如下方法先将故障排除：如下方法先将故障排除：(1) 将业务从工作通道倒换到保护通道；(2) 删建业务或新增业务；(3) 修改业务路径；(4) 复位设备；(5) 更换设备；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 23故障处理——故障信息采集ü基本故障信息采集基本故障信息采集ü完整故障信息采集完整故障信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用仅供参考）客户或者合作伙伴的标志放在右上角.Page 24故障处理——基本故障信息采集l在破坏在破坏现场之前，快速采集基本故障信息：之前，快速采集基本故障信息：l(1) 故障信息采集工具Datacollector采集信息；l(2) 研发提供的Navigator脚本；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.Page 25故障处理——完整故障信息采集l恢复恢复业务后，采集完整故障信息返回研后，采集完整故障信息返回研发分析：分析：(1) U2000当前告警和历史告警；(2) U2000异常事件记录；(3) U2000操作记录；(4) 故障信息采集工具Datacollector的采集信息；(5) 研发提供的Navigator命令输出信息；l提供提供组网网图，，标注注业务流流经的网元的网元/单板板/端口；端口；l描述描述业务中断的中断的时间、中断前的操作、中断后的、中断前的操作、中断后的处理措施以及理措施以及业务恢复恢复时间；；l提供网元提供网元时钟跟踪关系；跟踪关系；l如果和如果和别的的设备对接，需要返回接，需要返回对端端设备的的历史告警史告警记录；；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 英文标题:32-35pt 颜色: R153 G0 B0内部使用字体 :FrutigerNext LT Medium外部使用字体 : Arial中文标题:30-32pt 颜色: R153 G0 B0字体:黑体英文正文:20-22pt子目录 (2-5级) :18pt 颜色:黑色内部使用字体 :FrutigerNext LT Regular外部使用字体 : Arial中文正文:18-20pt子目录(2-5级):18pt 颜色:黑色字体:细黑体 配色参考方案：建议同一页面内不超过四种颜色，以下是13组配色方案，同一页面内只选择一组使用。

仅供参考）客户或者合作伙伴的标志放在右上角.附录lU2000 CES业务性能性能查看方法看方法lPRBS测试方法方法。