华为eSight NTA 技术白皮书
Huawei eSight NTA技术白皮书文档版本01发布日期2017-03-20华为技术有限公司Huawei eSight NetworkNTA技术白皮书华为 eSight NTA 技术白皮书OFFE00025852_PMD2231ZH A秘密前 言概述本文通过对eSight NTA网流分析组件的解决方案、基本原理、关键技术、典型应用的描述，帮助用户更好的了解eSight NTA网流分析组件的使用方法和使用场景。读者对象本文档（本指南）主要适用于以下工程师：l 技术支持工程师l 维护工程师符号约定在本文中可能出现下列标志，它们所代表的含义如下。符号说明表示有高度潜在危险，如果不能避免，会导致人员死亡或严重伤害。表示有中度或低度潜在危险，如果不能避免，可能导致人员轻微或中等伤害。表示有潜在风险，如果忽视这些文本，可能导致设备损坏、数据丢失、设备性能降低或不可预知的结果。表示能帮助您解决某个问题或节省您的时间。表示是正文的附加信息，是对正文的强调和补充。目 录前 言ii1 执行摘要/Executive Summary12 简介/Introduction23 解决方案/Solution33.1 解决方案整体介绍33.2 关键技术点介绍43.2.1 NetStream技术43.2.2 多层次流量分析63.2.3 应用识别83.2.4 拓扑上查看流量组成103.2.5 流量阈值告警113.2.6 数据聚合模型123.2.7 双机能力支持123.3 功能约束133.3.1 适用设备类型约束133.3.2 适用场景约束143.4 典型应用143.4.1 广域分支：链路流量可视、可控153.4.2 广域分支：网络带宽规划163.4.3 企业园区：无线区域应用流量可视、可控173.4.4 企业园区：应用服务器访问异常分析194 结论/Conclution215 缩略语表/Acronyms and Abbreviations22iii1 执行摘要/Executive SummaryeSight NTA网流分析组件重点是帮助用户实现网络流量可视、故障可查、规划可依的网络透明化管理目标，提供多维度的Top N流量分析报表，帮助管理员及时了解网络流量动态，确保网络带宽得到充分合理的使用，保障网络长期稳定高效运行；通过长期报表，为容量规划提供科学的数据依据。重点功能包括识别消耗最多网络带宽的Top N应用程序、主机、会话信息；基于DSCP的流量监控，确保流量优先级策略的有效性；准实时流量监控为预先故障检测、高效故障排除和快速问题解决提供帮助；基于长期的历史数据分析，优化网络设计和规划，实现以最小的网络运营成本达到最佳的网络性能和可靠性。232 简介/IntroductioneSight NTA网流分析组件由网流采集器和网络管理控制台构成。网流采集器用于接收设备的UDP报文，并将其解析为标准的流结构，同时根据特定的汇聚策略汇聚成文件存储到磁盘，并定时发送给网络管理控制台。网络管理控制台接收采集器的流文件，进行分析，同时根据一定的汇聚策略将文件中数据汇聚到数据库中并提供查询功能。3 解决方案/Solution3.1 解决方案整体介绍eSight NTA网流分析解决方案包括三部分：流量输出器（NDE，Network Data Exporter）、网流采集器（NTC，Network Traffic Collector）和网络管理控制台（NMC，Network Management Console），它们之间的关系如下图所示：下面详细介绍各组成部分的作用。n 流量输出器NDENDE（流量输出器）是支持“流”技术的网络设备，对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出给NTC设备，输出前也可对数据进行一些处理，比如聚合。eSight NTA网流分析组件捕获的网络设备流包括Huawei NetStream、Cisco NetFlow以及sFlow。n 网流采集器NTCNTC（网流采集器）是一个应用程序，负责解析NDE输出的报文，聚合流量数据、保存原始流量日志，然后通过SFTP将数据文件发送到网络管理控制台。NTC可以采集多个NetStream设备输出的数据，对数据进行过滤和聚合。n 网络管理控制台NMCNMC（网络管理控制台）是一个流量分析工具，提供智能的流量分析数据模型，将采集器上报的数据根据不同的模型进行分析和存储，提供多维度的流量分析数据展示给用户。NMC基于B/S架构，通过Web浏览器提供直观的、图形化的管理分析界面。eSight NTA网流分析组件包括NTC和NMC两个部分，两个部分可以集成安装在一台服务器上运行。3.2 关键技术点介绍3.2.1 NetStream技术流量统计分析是网络运维和日常管理重要的一部分，传统的流量统计有SNMP、端口镜像等方式，SNMP统计仅能统计到设备端口流量的大小，无法统计到流量中发送和接收主机IP、端口、协议和DSCP等信息，无法做到基于应用和主机会话的流量。仅能统计流量大小而无法统计到流量的详细组成和流向信息；端口镜像方式是将流量完全复制一份进行分析，需要有支持逐包分析的探针或者分析系统，这种方式受镜像端口转发能力限制，并且会占用大量的带宽，一般用在分析少量端口和小流量场景，无法做到全网的流量分析。以NetFlow为代表的流技术解决了以上两种流量统计方式的限制，它利用网络中现有的支持流技术的网络设备来完成流量统计，不需要额外的部署探针，只需要在现有设备上做简单配置，即可完成全网流量分析，并提供流量大小、流量详细组成和流量流向的分析报告。目前主流的流技术包括Huawei/H3C NetStream，Cisco NetFlow，Juniper J-Flow、IPFIX 以及sFlow。下面以NetStream为例，说明流的含义。由于IP网络的非面向连接特性，网络中不同类型业务的通信可能是任意一台终端设备向另一台终端设备发送的一组IP数据包，这组数据包实际上构成了网络中某种业务的一个数据流。绝大部分的数据流量都是短暂、阵发的双向数据流。NetStream主要根据一个报文的目的IP地址、源IP地址、目的端口号、源端口号、协议号、ToS（Type of Service）、输入/输出接口组成的7元组来区分不同的流，针对这些流做独立的数据统计。如果经过接口的每一个报文都参与NetStream流的建立和计数，则该接口的转发性能将会受较大影响，尤其是速率比较高的接口。通过设定适当的采样间隔，只针对样本报文进行流信息统计分析，收集到的统计信息也可以基本正确地反映整个网络流的状况，同时也能降低使能NetStream功能对设备性能的影响。NetStream常用的采样方式为固定报文间隔采样，在此模式下，报文在配置数目间隔内被周期采样，即，如果报文间隔配置数为1000，假设在第5个报文被采样后，则每隔1000个报文都会再次采样，如第1005个报文会再采集一次，以此类推采样下去。一个流数据示例：从上图可见，对于接口eth0/1,用户10.138.1.2访问，产生了一条流；对于接口eth0/2，服务器返回搜索结果给查询用户，产生了一条流。从上面的描述可以看出，由源IP地址、目的IP地址、源端口号、目的端口号、协议号、ToS（Type of Service）、输入/输出接口组成7元组的一条流信息是单向的、表征IP报文流量日志信息，是网络设备流量转发的详细日志记录，将这些重要信息深入分析可知悉网络流量动态。目前NetStream报文输出的格式有V5、V8、V9三个版本，V5采用固定的7元组格式进行上报，NDE设备上不会对数据进行聚合；V8采用聚合格式上报，NDE设备会将数据统计后进行聚合，按照V8格式上报，上报格式固定；V9版本是基于模板来进行发送，可以按照V5的七元组上报，也可以将数据聚合后上报，还可灵活配置上报的格式。使用较多的是V5和V9两个版本。各个版本详细比较见下表。版本 格式说明 优点 缺点 V5 报文格式固定， 根据七元组产生的原始流统计记录。 输出的字段丰富，可以把聚合前流记录的所有字段都输出给NTC；NDE设备负荷较小；应用广泛，易于对接NTC。 格式固定且不可扩展；数据量大，对NTC设备处理和数据存储性能要求高；NTC和NMC压力大。 V8NDE设备聚合后的流信息，报文格式固定，不易扩展。 数据量相对较小。承载内容略为简单，适合特定分析。可以增加新的聚合方式。格式固定且不可扩展。设备完成聚合工作，负荷较重，只用于将聚合后的流信息输出给NTC。增加新的聚合方式，需要NDE设备和网流采集器升级版本。V9 报文格式基于模板，易扩展；可输出两种数据类型，一种是统计数据，第二种是选项数据。 最灵活的输出格式，格式可以变化；可以用来输出聚合前的流记录，也可以输出聚合后的流记录。 需要上层的流量分析系统支持对模板的解析3.2.2 多层次流量分析网络管理控制台以图形化的方式提供多维度、多层次的TOP N流量分析报表。可以直观显示全网接口、应用、主机等统计对象的TOP N排行，达到流量可视化的目的。流量分析维度包含设备维度、接口维度、应用维度、主机维度、DSCP维度、会话维度、接口组维度、应用组维度、DSCP组维度和IP组维度等10种维度，每种维度都是先展现该统计维度下的TOP N排行，选择一个具体统计对象后，再展现该统计对象的流量趋势及各相关流量数据的组成。1）首页操控板图形化的显示TOP N 接口利用率/应用/主机，全网流量动态直观显示。2）单个维度的TOP N流量排行，从全网角度展现流量、数据包统计信息及流量趋势。3）单个维度的流量趋势统计，包括流量、数据包双坐标趋势图及相关联流量信息排行，直观展现流量的组成。4）原始流量数据报表，展现完整的流信息，方便定位网络故障。3.2.3 应用识别结合我司多年实际运维的经验和IANA（Internet Assigned Numbers Authority）标准精选了500多种系统预定义的应用，包括常用的SMTP、POP3、SNMP、FTP等，同时系统提供了用户自定义应用的扩充能力。管理员可以根据协议、端口和IP地址范围定义新的应用，如果出现某个应用使用的端口和IANA定义的端口冲突，可以使用IP范围来自定义应用，这样可以灵活地适应不同国家、地区和行业软件使用习惯不同的场景。比如某专业软件XXX使用3306端口，该端口是MySQL默认使用的端口。为了避免和MySQL冲突，管理员可以定义一个名为XXX的应用，同样占用3306端口，同时指定该专业软件使用的几个IP范围，表示这些IP范围内占用了3306端口的是XXX应用，就能保证系统正确识别该应用。应用定义同样适于异常流量、病毒识别的场景，比如臭名昭著的国产木马“冰河”占用的端口是7626，管理员可以定义该端口的应用名为“冰河”。这样在应用流量报表中可以快速识别出这些病毒的流量。采集器接收到NetStream报文后，会根据报文中的协议、端口和IP地址等信息，使用哈希表快速匹配应用。系统优先匹配自定义应用，当未匹配到自定义应用时，再匹配预定义应用。如果都匹配失败，系统会按照协议类型将流量统计成TCP-APP和UDP-APP，应用流量报表中可以详细显示这两个未知应用的协
