中低端交换机常见故障实例分析

中低端交换机常见故障实例分析中低端交换机常见故障实例分析 日期：2013.3.15 杭州华三通信技术有限公司 版权所有，未经授权不得使用与传播 熟悉网络故障的排查应急处理流程熟悉网络故障的排查应急处理流程 熟悉常用的排查手段熟悉常用的排查手段 熟悉常见故障的排查案例熟悉常见故障的排查案例 掌握基本维护命令掌握基本维护命令 课程目标课程目标 学习完本课程，您应该能够：学习完本课程，您应该能够： 网络故障的应急处理流程与规范网络故障的应急处理流程与规范 系统资源故障处理方法系统资源故障处理方法 硬件接口故障处理方法硬件接口故障处理方法 转发异常问题处理方法转发异常问题处理方法 其他常见故障处理方法其他常见故障处理方法 常用基本维护命令常用基本维护命令 目录目录 www.h3c.com 3 网络故障应急处理原则网络故障应急处理原则 重要业务故障应以恢复业务为第一目标重要业务故障应以恢复业务为第一目标 排查故障及业务恢复的相关动作应该不引入新的问排查故障及业务恢复的相关动作应该不引入新的问 题，并且操作可回退；题，并且操作可回退； 网络架构设计时要考虑冗余性，以便在故障时快速网络架构设计时要考虑冗余性，以便在故障时快速 切换到备份设备或线路上切换到备份设备或线路上 应建立自动化的网络管理平台，实时监控网络设备应建立自动化的网络管理平台，实时监控网络设备 运行状态，重要事件及时通知运维人员运行状态，重要事件及时通知运维人员 应建立故障应急处理与上报机制，定期进行故障应应建立故障应急处理与上报机制，定期进行故障应 急演练以提高应急处理能力急演练以提高应急处理能力 故障恢复时应先确定故障设备，并基本判断故障部故障恢复时应先确定故障设备，并基本判断故障部 位，以防止误动作导致故障影响的扩大位，以防止误动作导致故障影响的扩大 故障恢复后应观察故障恢复后应观察2小时以上确认业务无异常小时以上确认业务无异常 www.h3c.com 4 故障原因分类故障原因分类 硬件原因硬件原因：主要指导致故障的原因是硬件损坏或硬件缺 陷等。 软件原因软件原因：主要指导致故障的原因是产品软件设计考虑 不周全、代码实现错误等软件缺陷。 其它原因其它原因：除产品质量或客户原因外的导致故障的原因， 如合作方或我方工程师方案设计不合理、配置错误、操 作不规范等。 外界原因外界原因：主要指不按流程规范操作、违反日常维护建 议、在已有明确资料指导下数据配置错误或误操作、局 方提供的设备配套设施（包括与我司设备对接的其他厂 商设备、电源系统、机房环境、地线、光纤/电缆系统等） 问题、无法抗拒的自然力（如洪水、火灾或强烈雷击） 造成的故障，或理解有误。 www.h3c.com 5 问题解决方法分类问题解决方法分类 根本解决办法根本解决办法 通过更换备件，升级版本和补丁，更换网络组网和 规划，完全彻底的解决问题 规避解决办法规避解决办法 故障本身没有解决，但是通过其他手段规避了问题 ，确保故障不再出现 出现问题时，应首先采用能够快速恢复业务的解决 办法，例如先实施规避解决办法，最后再实施根本 解决办法 www.h3c.com 6 规避解决的具体方法（一）规避解决的具体方法（一） Reset协议协议 如果某一个端口上的业务异常，但是端口上没有错包，可以执 行reset arp interface命令重新学习这个端口上的arp 如果设备上的业务异常，并且怀疑只跟路由协议相关，那么可 以通过reset 路由协议来恢复，注意reset路由协议可能会造成 整个设备的所有路由中断 更换端口更换端口 如果确认端口异常，那么可以通过更换光纤，光模块来检查是 否可以恢复，仍然不能恢复，请立即切换业务端口到其他单板 上的备用链路恢复业务 www.h3c.com 7 规避解决的具体方法（二）规避解决的具体方法（二） 整机掉电重启整机掉电重启 如果所有端口都存在业务异常，并且无法确定故障所在，或者 通过以上手段都无法恢复业务，那么在有备用设备或者备用链 路的情况下，可以关闭设备电源，然后再打开，将整机断电后 重启，检查故障是否消除 注意掉电重启将导致整机的业务都会受到影响 掉电重启之前，确认已经收集相关信息或者备份相关配置 网络故障的应急处理流程与规范网络故障的应急处理流程与规范 系统资源故障处理方法系统资源故障处理方法 硬件接口故障处理方法硬件接口故障处理方法 转发异常问题处理方法转发异常问题处理方法 其他常见故障处理方法其他常见故障处理方法 常用基本维护命令常用基本维护命令 目录目录 www.h3c.com 9 H3C confidential 系统资源故障处理方法系统资源故障处理方法 第一节第一节 CPU占用率异常占用率异常 第二节第二节 内存占用率异常内存占用率异常 第三节第三节 电源异常故障电源异常故障 第四节第四节 风扇异常故障风扇异常故障 第五节第五节 环境温度异常环境温度异常 www.h3c.com 10 CPU占用率异常占用率异常-定位思路（定位思路（1） STEP 1 ：确认哪个任务占用确认哪个任务占用CPU高高 h3c-hidecmddisplay cpu-usage task slot 1 (Under Hidden View) = Current CPU usage info = CPU Usage Stat. Cycle: 9 (Second) CPU Usage : 62% CPU Usage Stat. Time : 2000-04-26 14:07:55 CPU Usage Stat. Tick : 0x77(CPU Tick High) 0x395fbdec(CPU Tick Low) Actual Stat. Cycle : 0x0(CPU Tick High) 0x26b3bf13(CPU Tick Low) TaskName CPU Runtime(CPU Tick High/CPU Tick Low) VIDL 38% 0/ f0ab5a4 L2X0 8% 0/ 375bed9 bLK0 4% 0/ 1e56eae L2X1 8% 0/ 37b7e68 FMCK 1% 0/ 6c62b6 T_ST 0% 0/ 79cb5 bRX1 0% 0/ 1444ca CPU利用率，利用率，VIDL任务占用率高是正常的，是空任务。任务占用率高是正常的，是空任务。 常见的：常见的： FMCK：实时检测是哪种光模块插入。：实时检测是哪种光模块插入。 Brx1 : CPU收包的。收包的。 L2X1：从硬件地址表里边读取地址的。：从硬件地址表里边读取地址的。 www.h3c.com 11 CPU占用率异常占用率异常-定位思路（定位思路（2） STEP 2：根据任务进一步确认诱发：根据任务进一步确认诱发CPU高的原因高的原因 方法1：结合其他手段、查看交换机上非正常的信息。 常见的情况： （1）CPU报文非常多，可能有攻击报文的情况。 （2）配置超规格。 （3）其他。 方法2：查看占用CPU时间长任务的调用栈反馈给开发（最后采用的方法） - H3C-hidecmddisplay task 124 slot 1 Task name : RDS Task PLAT Index : 124 Task OS Index : 0x803c0800 Task priority : 100 Task Status : eventblock Last run time(CPU Tick) : 0x0(high) 0x2276(low) Stack Information: 0x80231948 0x80236450 0x8023850c www.h3c.com 12 CPU占用率异常占用率异常-查看查看CPU报文统计的方法（报文统计的方法（1） STEP 1：查看上：查看上CPU报文统计数据报文统计数据 H3C-diagnosedebug rxtx show 1 0 RxDv: Dv=4,Dvhead=0x163d2308,Dvtail=0x163d3748,token=0,Pps=0 TxDv: Dv=0,Dvactive=0x0,Dvfree=0x17b1bb98,Dvfreecnt=1 Intr: Desc=989890,Chain=330224,Tx=33,Rx=1320769 Cos0=0 Cos1=0 Cos2=0 Cos3=0 Cos4=0 Cos5=0 Cos6=0 Cos7=1320226 P01_rx=0 P02_rx=0 P03_rx=0 P04_rx=0 P05_rx=86 P06_rx=0 P07_rx=432 P08_rx=0 P09_rx=0 P10_rx=0 P11_rx=0 P12_rx=0 P13_rx=0 P14_rx=0 P15_rx=0 P16_rx=0 P17_rx=0 P18_rx=0 P19_rx=25 P20_rx=0 P21_rx=0 P22_rx=0 P23_rx=0 P24_rx=0 P25_rx=0 P26_rx=0 P27_rx=325973 P28_rx=645689 P29_rx=348564 P30_rx=0 P31_rx=0 P32_rx=0 P33_rx=0 P38_rx=0 P39_rx=0 P40_rx=0 P41_rx=0 P42_rx=0 P43_rx=0 P44_rx=0 P45_rx=0 P50_rx=0 P51_rx=0 P52_rx=0 说明：其中P01_rx