故障与故障分析.ppt

故障管理与故障分析故障管理与故障分析故障分析故障管理故障分级故障申报故障管理与故障分析运维体制典型故障故障控制l战略目标的转变—工作重点由运维转向服务l中心成立—上海、南京l三级运维体制—网络中心、地区分中心、所级网管运维体制运维体制l网络中心与地区分中心、所级网管员一起共同承担运维工作l向所级网管申报l向地区分中心申报l向网络中心申报网络中心地区分中心分院研究所分院研究所京外独立所京区研究所运维体制运维体制l网络中心—7x24小时申报：l承诺一站式申报受理故障申报故障申报l地区分中心申报热线故障申报故障申报特大故障特大故障一级故障一级故障二级故障二级故障三级故障三级故障故障分级故障分级特大故障特大故障故障定义：特大故障是指全网瘫痪、核心网络部分瘫 痪、分中心节点网络瘫痪或50%以上用户 上网受影响的事件响应时间：立即响应处理要求：立即处理故障上报：立即上报故障分级故障分级故障定义：骨干线路中断、国际线路中断、国内互联 互通线路中断、BGP中断或Ospf中断， 核心网、分中心线路不可用，核心网、分 中心设备不可用，20%用户上网受影响的 事件响应时间：立即响应处理要求：立即处理故障升级：1小时未能解决，升级为特大故障一级故障一级故障故障分级故障分级故障定义：所级出口设备故障，所级出口线路故障， 路由、病毒爆发等故障，影响全所上网响应时间：立即响应处理要求：立即处理故障升级：1小时未解决，升级为一级故障二级故障二级故障故障分级故障分级故障定义：线路丢包，个别网站不可达，以及其他非 中断性网络问题，网络基本可用响应时间：立即响应处理要求：立即处理故障升级：4小时未解决，升级为二级故障三级故障三级故障故障分级故障分级故障管理故障管理引进先进的ITIL标准的管理理念，开发流程管理系统，针对故障、配置以及工作流程等进行有效管理故障管理故障管理1.故障定级、录入2.短信通知3.故障处理记录4.故障自动升级5.故障统计报表6.故障排查数据库故障分析故障分析对近期发生的故障进行了初步的统计分析故障分析故障分析1、以下故障仍然是故障的主要来源•线路故障2、重大故障的原因•运行商线路割接3、机房环境故障成上升趋势•供电故障4、用户端发生的故障超过50%故障分析故障分析主动发现问题的能力大有改观，将继续努主动发现问题的能力大有改观，将继续努力提高主动发现问题的能力力提高主动发现问题的能力典型故障典型故障骨干网故障骨干网故障故障描述：故障描述：线路中断，路由器线路中断，路由器pos端口双端口双down处理过程：处理过程：1、需要单位网管员配合，首先检查两端设备、需要单位网管员配合，首先检查两端设备2、向电信运营商申报故障、向电信运营商申报故障3、打环测试，进行故障隔离定位、打环测试，进行故障隔离定位排障总结：排障总结：处理类似故障，非常需要用户端网管员配合处理类似故障，非常需要用户端网管员配合如果配合及时，会大大提高故障处理的效率如果配合及时，会大大提高故障处理的效率典型故障典型故障所级出口设备故障所级出口设备故障故障现象：故障现象：某独立所用户申报，所内用户上不了网某独立所用户申报，所内用户上不了网处理过程：处理过程：1、检查线路没有问题，远程登录路由器、检查线路没有问题，远程登录路由器2、发现所级出口路由器上有大量、发现所级出口路由器上有大量NAT配置，引起配置，引起cpu资源耗尽资源耗尽3、取消、取消NAT配置，故障排除配置，故障排除排障总结：排障总结：这是典型的因用户在出口路由器上配置不当，引起故障这是典型的因用户在出口路由器上配置不当，引起故障 不建议用户在出口路由器上，做针对内网管理的配置不建议用户在出口路由器上，做针对内网管理的配置典型故障典型故障内网设备板卡故障内网设备板卡故障故障现象：故障现象：监控发现，某用户网络中断监控发现，某用户网络中断处理过程：处理过程：1、第一时间联系所级网管，确认是内网交换机板卡故障、第一时间联系所级网管，确认是内网交换机板卡故障2、网络中心立即派出、网络中心立即派出2名工程师，去协助所级网管处理故障名工程师，去协助所级网管处理故障3、更换板卡后，故障解决，并协助用户做内网优化、更换板卡后，故障解决，并协助用户做内网优化排障总结：排障总结：这是典型的互相协作，快速排障的例子，正式因为所级网管的这是典型的互相协作，快速排障的例子，正式因为所级网管的快速定位故障，大大提高了故障处理效率快速定位故障，大大提高了故障处理效率 典型故障典型故障小结小结从以上案例我们可以体会到：1.承担的运维工作很大程度上依赖于地区分中心、所级网管的工作2.一定要充分发挥地区分中心、所级网管的积极性，这样才能提高运维工作的效率3.各个运维单位应该互相协作、互相支持、积极配合，共同做好运维工作故障控制故障控制故障控制的目标：故障控制的目标：•有效避免或减少故障发生有效避免或减少故障发生•提高故障处理效率提高故障处理效率科技网针对故障处理工作采取措施：科技网针对故障处理工作采取措施：•7x24小时待机，及时上网，必要时立即赶到机房小时待机，及时上网，必要时立即赶到机房•加强监控室的技术力量，有故障能第一时间处理加强监控室的技术力量，有故障能第一时间处理•加强故障管理，提高故障处理要求加强故障管理，提高故障处理要求•在网络维护和网络调整工作中，要求网络不断或瞬断在网络维护和网络调整工作中，要求网络不断或瞬断故障控制故障控制故障控制的办法：故障控制的办法：1、合理设计，减少故障点，规避故障、合理设计，减少故障点，规避故障2、必要的备份设备、备份器件、备份线路、必要的备份设备、备份器件、备份线路3、必要的应急响应措施或方案，应对突发事件、必要的应急响应措施或方案，应对突发事件4、、 必要的网管软件，提高监控能力，及时发现故障必要的网管软件，提高监控能力，及时发现故障5、、 重大节日、重大应用的保障重大节日、重大应用的保障。