移动业务质量端到端优化理念

移动业务质量端到端优化经验交流,中国联通山东省分公司 2010 年 7 月,目 录,端到端优化展望,端到端优化成果,项目概述,端到端优化理念,工作目标,端到端全程分析解决影响用户感知的业务质量问题,用户、终端、无线网、核心网、业务网、业务,涉及范围,相关部门,分组域业务、电路域业务,业务形式,网优、网管、市场、销售、产创、客服、终端,山东联通端到端优化项目组织,以3G典型业务为主，创新性地研究端到端优化的方法论，全过程分析影响业务质量的因素，掌握不同终端在提供各类业务时的差异，初步建立业务质量评价体系，从核心网、无线网、业务平台、终端等方面进行优化，改善用户感知，为3G经营服务工作提供更好的支撑。,省公司网优中心统一组织，对全省核心网分组域设备进行专项优化，同时与华为公司组成联合课题组，以济南为试点，对iPhone、N85等主流终端在承载WAP、流媒体等3G特色业务时的性能表现进行端到端优化，并根据优化分析结论协同销售、产创、客服等部门改进3G经营服务工作。,2009年11月-2010年6月。,项目目标,组织方式,项目历时,优化成果,建立基于用户感知的QoE/KQI/KPI指标评价体系 初步形成业务质量端到端优化的方法论 搭建端到端优化环境，明确了工具部署、问题定界、分析流程和优化方法。 解决影响用户感知的业务质量问题 解决WAP、彩信、可视电话、流媒体、FTP等5种典型业务质量问题，进行iPhone专题分析优化，积累了手机上网、彩信成功率低、FTP断流等40多个端到端分析优化案例。 分组域KPI指标得到提升 InterRAU成功率、PDP激活成功率。 经营服务支撑 基于业务质量优化成果，对销售部、产创部提出建议，支撑精确营销。,端到端优化成果,指标体系 端到端优化方法论 业务质量优化 PS KPI指标优化 经营服务支撑,用户感知指标体系组成,关键性能指标(KPI，Key Performance Indicator)，TMF标准：GB923。主要是基于网络层面对网元设备的性能描述，由一组可监测可度量的参数构成，是运营商对网络进行测量管理的重要方法，例如PDP激活成功率、掉话率等。,关键质量指标(KQl，Key Quality Indicator)，TMF标准：GB923。站在用户视角，在业务层面反映用户感受的指标，包括在业务流程中直接测试得到的指标（如：首页显示时延），以及通过统计分析或者KPI计算得到的指标（例如WAP上网成功率）。,用户体验质量(QoE，Quality of Experience)，ITUT P10/G100。与传统的QoS不同，QoE与具体业务相关联，从用户的角度提供业务主观感知评价。,QoE,KQI,KPI,用户体验QoE/业务KQI/网络KPI层级,Node B,RNC,MSC/ MGW,用户QoE,用户感受层面,业务应用层面,网络性能层面,业务KQI,业务KQI,网络KPI,网络KPI,网络KPI,核心网 KPI,承载/传输KPI,核心网KPI,无线KPI,用户对业务品质的QoE感知度和认可度,承载网的业务承载能力水平,运营商提供的业务品质KQI,业务KQI标准,网络KPI标准,用户QoE标准,MSC/ MGW,IP Network,QoE-KQI-KPI测算模型,以WAP业务为例，QoE/KQI/KPI测算模型： WAP接入成功满意度QoE =首页接入成功KQI*权重1 + 平均首页显示时长*权重2 首页接入成功KQI= 首页接入成功率KQI*权重1 + CQT首页接入成功率KQI*权重2+每万用户WAP接入成功投诉次数*权重3 首页接入成功率KQI = 覆盖率*RAB建立成功率*附着成功率*PDP激活成功率*Connect成功率*Get成功率,山东联通数据业务质量QoE测算结果,依据初步建立的指标体系测算，山东联通3G数据业务QoE用户感知评分为3.47分，整体较好，部分用户对于数据业务质量不满意。,通过问卷调查，得到用户业务使用体验的QoE主观评价，与QoE/KQI/KPI指标体系测算结果进行对比分析，校正计算公式。 如图所示，山东联通内部客户问卷调查的满意度高于网络测试OoE值。该差异主要原因在于，内部客户对业务理解较好，今后还应进一步对社会公众客户扩大调查。,用户调查结果修正QoE/KQI/KPI指标体系,端到端优化成果,指标体系 端到端优化方法论 业务质量优化 PS KPI指标优化 经营服务支撑,端到端优化环境,NASTAR,无线网,核心网,业务网,CP/SP,终端,SGSN,GGSN,RNC,MMS,WAPGW,SP,Terminal,PCU,IP,IP,IP报文采集与保存 用户面数据报文协议解析,SQM工具,采集器,Iu_PS,Gn,Gi,鼎利 / CDS,采集器,采集器,采集器,路测呼叫与记录保存,Iu_PS信令跟踪与用户面数据保存,E2E优化专家,无线优化专家,核心网优化专家,业软优化专家,采集器,测试方法： 被动监测：SQM抓包进行业务质量评估 主动测试：模拟用户感知DT/CQT测试,测试工具： SQM业务质量管理系统 NASTAR：无线、核心网分析工具 鼎利/日讯/CDS路测工具,定界分析优化流程,SP 200ms,NodeB,GGSN,SGSN,Terminal,RNC,WEBGW,MMSC,业务时延大,Wireless 600ms,CN 20ms,Service 1000ms,总 Delay 1820ms,1. 直接指标 可通过工具测试输出，找关键KQI/KPI指标，定界定位，从重要因素流程入手。,2. 间接指标 （统计类，或由其他指标计算得到）， 找关键区域和用户群，从共性典型问题入手；,端到端优化成果,指标体系 端到端优化方法论 业务质量优化 PS KPI指标优化 经营服务支撑,3G典型业务专题优化,iPhone,诺基亚 (Symbian),HTC (Android),多普达 (Windows Mobile),优化措施： 手机上网设置成3GWAP，由WEB网关对页面内容进行压缩、适配等处理，可以大大降低访问时延。,问题描述： 使用Nokia N85、iPhone、dopod S610、HTC G2等手机通过3GNET方式访问新浪门户网站，均出现打开页面较慢的问题，打开所有图片的时间花了37.61秒，是文本显示时间的9倍。,WAP,问题分析： 通过3GNET方式访问互联网上的门户网站时，没有对手机终端页面内容进行压缩适配，增加了页面访问时长。,彩信,问题描述： 彩信全程接通低，1月份只有39.44%。,测试分析： 1、从Gw口（彩信中心与WAPGW之间接口）SQM数据统计，Gw口下发彩信成功率为97.08（成功延期提取），排除彩信中心问题。 2、彩信中心4441/4442错误码（过期未提取的用户）占失败总数的99%。,优化效果： 彩信业务全程接通率稳步增高，6月份(54.34%)比1月份（39.44%）提升14.9%。,优化措施： 彩信中心提取VAC中不存在订购关系的4441、4442用户，从SP侧删除这些用户，不给这些用户下发手机报。,流媒体,测试分析： N85默认的视频播放器Realplayer不适合播放youku网站上的视频，播放器的解码功能不能很好地把视频文件数据解码。,优化措施： 安装适合youku视频播放的CorePlayer1.35，或使用UCWEB浏览器、播放器来登陆youku观看视频。 优化效果： 安装了CorePlayer1.35播放器后，播放清晰度与流畅度大大改观。,问题描述: 通过直观观察和后台视频流回放评价发现， N85手机登陆优酷网站流媒体视频质量很差，马赛克严重。,Realplayer,CorePlayer1.35,视频流回放及质量评分,FTP,问题描述： FTP测试过程中发现有断流（下载不成功）的现象。,测试分析： 从终端、RNC、SGSN、GGSN侧分别抓包测试，向FTP服务器发送的数据包请求都能发送成功，但是在各个环节都存在没有接收到FTP服务器响应数据包的情况，说明问题主要集中在FTP服务器侧。,FTP,优化措施： 1、由低端服务器DL380更换为HP高性能服务器（HP DL580）。 2、重装FTP服务器操作系统，消除了安装冗余应用软件过多引起的隐患。 3、优化FTP服务器网络传输参数，将TCP Receive Window设置为62500（默认值17520），在RTT（回环时延）较大的情况下可以提高单线程下载速率。,优化效果： 优化后在日常DT及CQT测试中没有出现FTP断流现象发生，并且平均速率达到4.03Mbps。,可视电话,评估目标： 可视电话的质量评估手段目前还不成熟，本项目通过第三方工具结合用户信令跟踪，对可视电话的业务质量进行评估，掌握测试方法。测试指标包括：接续时延、视频质量、接通率和掉话率。,接续时延测试： 通过在MSC、RNC上跟踪用户信令以及仪表主动测试，可以准确地分析端到端时延。在无线环境良好条件下，可视电话平均时延为3.7秒，指标优秀。,接续总时延 3701ms,视频质量测试： 通过人眼主观评测和第三方工具主动测试结果对比发现，在室内静止状态下，工具测试VMOS中值与主观评测值相吻合，但是在室外移动状态下则存在差异，工具测试VMOS中值偏高，还需进一步校正。,iPhone专题优化,问题描述： 09年12月到10年1月，iPhone用户经常投诉在信号较好情况下，手机上网有网页打不开的情况。,测试过程： 1、 模拟应用场景进行主动测试： 手机上网成功率仅为93.33%，测试75次，有5次失败。,IPHONE WEB浏览成功率测试结果,iPhone上网问题,2、 通过SQM工具、设备网元进行信令跟踪分析发现： 无线侧信令、SGSN侧信令流程正常，SGSN用户面数据传递消息也正常；SGSN/GGSN用户面数据传递有时只有上行流量，而没有下行流量。,GGSN用户面数据传递,只有Uplink 没有Downlink,定界分析： 从Gi口看到DNS请求报文已经送出，但是没有下行数据，进而排除Gi口以下设备问题（包括终端、无线、SGSN、GGSN）。 综合测试中发现，iPhone出现5次上网失败现象均发生在JNGGSN01出口，3GNET APN的地址池172.29网段，而其他四个地址池网段测试结果均正常，经核查地址池网段数据规范，发现多配了172.29网段。 优化措施： 在GGSN设备上，删除冗余的172.29.*.*地址池数据。,优化效果： 在网络信号良好的情况进行测试，测试结果iPhone用户手机上网成功率达到100%。,iPhone上网问题,问题描述： iPhone手机用户是3G高端用户，但是不少人投诉iPhone手机经常从3G切换到2G网络，而且很难从2G重选回3G网络，降低了3G业务的使用感知。,iPhone: 重选时长49S,测试分析： 通过对不同品牌的终端进行对比测试，发现： iPhone由2G向3G重选时间最长，达49秒，比重选最快的终端慢24秒； 检查2G向3G重选的参数设置：“FDD小区重选Ec/No最小门限 =5”，表示当手机检测到3G网络的Ec/No-10dB时开始选择3G网络； 在其它手机能从2G重选回3G网络时，iPhone手机RSCP为-89.33dBm，Ec/Io在-12dB左右，接收灵敏度比不同终端均值差4dB，低于重选门限，无法返回3G网络 。 iPhone手机接收灵敏度低，比其它终端更容易启动3G向2G的切换。,iPhone 2G/3G互操作问题,iPhone 2G/3G互操作问题,优化效果： iPhone更容易由2G向3G重选，并且更多地驻留在3G网络，3G业务覆盖边缘向外延伸了约300米，改善了用户网络体验。 以实验局为例，忙时2/3G异系统切换次数由1000次