最新H3C核心交换机常见故障定位手册.doc
46页
精品资料H3C核心交换机常见故障定位手册........................................核心交换机常见故障处理手册目 录1 故障处理通用流程1.1 信息搜集为方便故障快速定位，建议不要关闭设备的信息中心（info-center enable）缺省情况下信息中心处于开启状态1.1.1 搜集设备日志信息1. 收集diag信息执行display diagnostic-information命令后，请输入“Y”，以选择将diag保存到CF卡中（选择display会出现信息搜集不全）设备上单板越多，diag信息搜集的时间越长，信息搜集期间不能输入命令，请耐心等待
明确每一配置操作的影响，保证出现异常时配置能够被恢复保证当前配置与保存的配置一致，在IRF分裂、单板Fault、单板重启时请不要保存配置，否则可能会导致配置不一致操作执行后请等待一定时间来确认执行效果更换主控板时，请确保新、老主控板的软件版本一致1.1.2 搜集其他运行信息除设备日志信息外，还需要搜集设备的其他运行信息（包括但不限于以下）：故障现象、故障时间、网络拓扑、配置信息、现场处理措施及其实施后的现象效果；操作日志记录、抓取的报文信息、Debug开关打印信息、主控板与网板持续异常重启的串口输出信息等；设备故障时单板、电源、风扇指示灯的状态或现场图片等搜集信息越全面、越详细，越有利于故障的快速定位1.2 故障定位和处理设备出现故障时，请先搜集设备运行的相关信息，判断大致的故障类型，然后参照对应类型的故障处理流程进行确认如遇到故障无法确认，请将故障描述连同搜集的信息发送给公司技术支持人员分析1.2.1 故障处理流程图图1为故障处理的一般流程，可以大致判断出故障的类型图1 故障处理流程图故障分析时常用的方法有：端口报文计数报文镜像端口抓包配置QoS策略进行流量统计Debug开关信息对怀疑故障的模块交叉验证（比如：怀疑某个端口光模块异常，可以将其他正常的光模块装在这个端口、将怀疑异常的光模块装到别的端口进行确认；怀疑某个槽位单板异常，可以将别的正常单板装到这个槽位、将怀疑异常的单板装到本设备其他槽位或装到别的S12500-X上确认）。
1.2.2 故障原因分类1. 单板故障如单板出现异常重启、状态异常、无法启动、反复重启，请参照2.1 单板故障处理2. 电源故障如设备电源指示灯异常、不断打印告警信息，请参照2.2 电源处理3. 风扇故障如设备风扇指示灯异常、风扇停转、不断打印风扇告警信息，请参照2.3 风扇故障处理4. 温度告警如设备打印温度告警，请参照2.4 温度告警处理5. 链路端口故障如端口出现无法UP、频繁UP/DOWN、端口错包，请参照3 链路端口故障处理6. 硬件转发故障如日志不断出现Forwarding fault、Board fault: chassis X slot Y, please check it等打印信息，请参照4 硬件转发故障处理7. 报文转发故障如出现ping、tracert丢包或不通、二层丢包或不通、三层丢包或不通、MPLS业务异常等，请参照5 报文转发故障处理8. IRF故障如设备无法形成IRF、IRF分裂等，请参照6 IRF类故障处理9. CPU占用率高如设备单板CPU占用率很高，请参照7.1 CPU占用率处理10. 内存占用率高如设备单板内存占用率很高，请参照7.2 内存占用率处理。
11. 资源不足如设备打印No enough resource资源不足，请参照7.3 资源不足处理1.2.3 故障模型及影响分析图2是一个典型网络故障模型，为提高网络的可靠性，便于故障时快速切换恢复，组网中采用双上行链路，两台核心交换机之间互为备份图2 典型网络故障模型表1 故障点影响分析故障点可能现象影响范围1（含光模块）端口down业务会切换端口错包增加影响该链路上的业务（影响范围大）2单板fault 业务会切换单板芯片故障（单板状态正常）该芯片上的业务异常交换网板芯片故障会影响整机软件异常设备重启，业务会切换协议模块异常一般会影响业务3同1影响该接入层交换机上的业务（影响范围比故障点1小一些）4设备down影响该设备下的业务单板芯片故障影响部分端口或整机业务软件异常设备重启，影响设备下连业务协议模块异常一般会影响业务5同1影响该链路上服务器涉及的业务6网络正常，业务异常影响该服务器涉及业务1.2.4 常见的故障恢复措施表2 常见的故障恢复措施故障原因业务恢复动作故障排除动作硬件 隔离故障单板；调整业务流向来隔离故障设备（如可以调整路由的优先级，避免流量经过故障设备，实现流量切换）更换备件（备件上线应用前应进行必要的测试）软件 重启故障设备的协议；调整业务流向来隔离故障设备升级版本（含补丁版本） ；调整组网或配置消除引发故障因素链路调整业务流向来隔离故障线路 检修线路 其他 修改错误配置；正确连接设备端口；调整业务流向来隔离故障线路修改错误配置；正确连接设备端口；检修机房的电源、空调等支撑系统 2 硬件类故障处理2.1 单板故障2.1.1 故障描述单板状态异常（比如状态为Absent、Fault、Loading）。
单板出现异常重启、无法启动或不断重启等1. 单板状态查询单板状态包括：Normal、Master 、Slave 、Absent、Fault、LoadingMaster 与Slave分别表示主、备主控板Normal表示单板处于正常运行状态如果发现单板状态出现Fault、Offline、Loading，或该槽位存在单板但状态却是Absent的，说明单板可能出现故障，请参考2.1.2 故障处理步骤处理
