基于翼网测速数据挖掘的首包时延异常原因分析-江苏.docx

基于翼网测速数据挖掘的首包时延异常原因分析田宁 崔姗姗 张志华 董浩闻南京电信无线维护中心 江苏省无线网络优化中心摘要：感知APP翼网测速面对主流业务的TOP网站进行用户感知测试，主要采集首包延时、页面打开时延、视频下载速率三个指标其中首包时延体现了浏览器对HTTP的响应是否有反应及时长，用户容易感知本文首先通过海量的终端侧wireshark抓包数据分析，剖析翼网测速服务器首包时延统计行为；同时基于感知APP翼网测速后台数据库挖掘结果，初步定位到人民网首包时延异常采用DPI分段以及wireshark抓包分析等手段，分析得到首包时延异常为服务器回复200ok过慢所导致关键字：首包时延、wireshark、DPI一、 问题发现以翼网测速的后台管理平台作为数据挖掘的初始来源，提取了今天一月份以来的近11000条数据记录对数据进行透视分析，得到八大网站各IP地址的首包时延统计数据根据翼网测速软件中的网页测试结果，首包打开时延统计分较为均匀，统计结果如下：1、各网站平均首包时延基本分布在100~300ms，人民网首包时延较高为580ms；2、单独分析人民网数据，其中122.228.84.36的服务器首包时延异常，平均值达到了1589.14ms。

二、 问题分析2.1 分析基础2.1.1 LTE数据转发流程端到端转发路径:① 空口链路:和基站之间，为LTE空口链路；② 基站和IPRAN:基站通过GE或者FE上行接入IPRAN的A设备；③ IPRAN: IPRAN网络由A设备，B设备，ER设备构成，IPRAN的ER设备上联到CN2的PE设备或者直连南京的EPC CE设备；④ 承载网CN2设备:承载网CN2设备由P设备，PE设备，C设备构成；⑤ CN2承载网与南京的EPC CE互联，南京的EPCCE与EPC核心网的PGW设备互联；⑥ PGW出访流量经过MCE设备后，上联到163骨干网络的C设备；⑦ 骨干网络将数据包转发到对应的应用服务器2.1.1 HTTP浏览业务流程终端用户使用浏览业务的基本过程如下：（1） 用户点击访问某个网页（2） 操作系统进行DNS查询，查询完成后，发起TCP建立请求（3） 终端操作系统与服务器建立完成TCP三次握手后，终端发送第一个Get请求报文（4） 服务器响应Get请求报文，向终端下发第一个页面的数据，第一个页面的下载会包含多个数据报文的下发，第一个报文的格式可能是压缩的其中，经抓包分析（详见2.2.1），首包时延流程如下：2.1.2 DPI分段DPI识别技术通过采集全网流量数据，对数据进行协议解析、识别，实时传输协议识别后的流量数据到IP流分析机；IP流分析机对流量数据进行二次解析，生成IP流原始数据；IP流分拣机实时处理IP流原始数据，同时根据集团规范输出字段格式，可灵活配置的app应有规则库。

4G DPI系统部署在P-GW和CE之间（共4条10GE双向）、MME/HSS和CE之间（共16条GE双向）基于DPI的HTTP浏览业务的时延监视如下：其中，网络侧时延=T1-T0，无线侧时延=T2-T1， GET响应时延=T4-T3通过DPI提供的无线侧时延、网络侧时延及GET响应时延的分段数据，可建立标准网站的主要感知指标的时延分析体系，为后续的时延定界分析提供有力的依据2.2 wireshark抓包分析wireshark是非常流行的网络封包分析软件，可以截取各种网络封包，显示网络封包的详细信息基于用户感知的抓包分析，可通过在上安装shark软件，在电脑上利用Wireshark对测试数据进行TCPIP报文的分析2.2.1指标验证首先在稳定的实验环境下，通过终端抓包的方式获取了多组测试数据，根据翼网测速后台的记录结果和wireshark报文分析结果的比对，分析验证APP后台的指标统计规则，具体结果如下：测试网站首包时延（ms）工具统计结果抓包分析结果(TCP SYN--第一个HTTP 200 OK)差异(ms)新浪微博3143113搜狐60582人民网322732198凤凰网72702腾讯1831785百度1321293网易1121084淘宝50849711可见，翼网测速统计的首包时延为TCP SYN到第一个HTTP 200 OK之间的时延。

2.2.2 服务器指标统计行为分析从海量的抓包结果中可以看到翼网测速APP有时会发起两次DNS，与软件行为相关1）测试Log：shark_dump_1429696420.pcap共发起两次DNS：第一次获取IP：116.211.83.91，首包时延94ms第二次获取IP：171.107.188.135，首包时延227ms服务器统计指标为250ms：（2）测试Log：shark_dump_1429698967.pcap共发起两次DNS：第一次首包时延923ms第二次首包时延60ms：服务器统计指标为87ms：（3）测试Log：shark_dump_1429700290.pcap未发生两次DNS：首包时延抓包分析结果为401ms：服务器统计指标：（5） 测试Log：shark_dump_1429700335.pcap未发生两次DNS，首包时延抓包结果为233ms：服务器统计指标：通过上述抓包分析可以看出，在合理的误差容忍度内，对于正常的一次DNS行为，服务器统计指标和抓包分析结果一一对应；而对于有两次DNS行为，服务器记录的是第二次DNS的首包时延2.2.3人民网首包时延抓包分析根据翼网测速人民网首包时延数据挖掘的结果：网站服务器测试次数平均首包时延（MS）116.211.83.91218268.15122.228.84.362071589.14171.107.188.135216410.5258.215.109.2314897.7458.221.75.16974154.86重点分析IP为122.228.84.36的服务器。

报文过滤条件如下：dns.qry.name contains "" ||dns.qry.name contains "" || dns.qry.name contains ""分别过滤出人民网的前一个网页测试和后一个网页测试的时间点，并确认人民网DNS发回的IP中第一个为122.228.84.36的测试1）测试Log：shark_dump_1429602188.pcap第一次DNS查询后向IP为116.211.83.91的服务器发起TCP连接，但是服务器回复200 OK延迟了102ms第二次DNS查询后向IP为122.228.84.36的服务器发起TCP连接，但是服务器回复200 OK延迟了1.227S2）测试Log：shark_dump_1429602447.pcap回复200 OK延迟3.583S通过上述抓包分析，清晰可见人民网122.228.84.36服务器回复200ok时延过大2.3 DPI分段数据IP次数TCP-空口时延-msTCP-网络侧时延-msGET响应时延-ms首包时延-ms116.211.83.9152153.18234165191.87332054378.77735122.228.84.3657447.909407671463.7682927553.31359171.107.188.13549060.046938781192.3061224366.6224558.215.109.2374551.708724831153.5087248300.8053758.221.75.16911733.367521371137.1367521188.71795从DPI数据可以获知，人民网122.228.84.36服务器GET相应时延异常，和wireshark抓包分析结果吻合。

三、 经验总结全网部署感知APP将成为实时获取用户感知的最有效方法翼网测速作为前期推广使用的感知APP之一，本文重点对其首包时延进行了深入的分析经现场测试、wireshark分析、DPI分段数据支撑，已定位为服务器响应200ok有问题本文所采用的数据挖掘、指标验证、统计行为分析、原因定位方法，对后续的各类感知APP的分析均具有很好的复制推广意义。