使用iometer模拟视频监控环境
使用IOmeter模拟视频监控环境1. 概述在测试中我们经常需要模拟一些实际的应用环境。本文档就是介绍如何使用Iometer来模拟监控的环境。2. 监控环境介绍首先分析一下监控环境，以支持4路的EC为例。EC通过iSCSI协议和存储相连接。每个EC上只有一个initiator，而一个EC要对应4个摄像头，每个摄像头要对应1个逻辑资源。所以在存储端，每个target上要挂载4个逻辑资源。在用IOmeter模拟时如果想达到比较真实的效果，在存储上配置时应考虑。监控环境中，对监控画面质量要求不同，对应的码流也不同，码流越大画面越清晰。常用的有512K码流、1M码流、2M码流、4M码流、8M码流。这些数据最终被监控软件整合后写入存储提供的逻辑资源上。监控v1环境写入的时候数据块大小为16KB，监控v3环境写入的时候数据块大小为64KB。以下都是以监控v3环境为例进行说明。码流是一种带宽流量的表示方法，如4M码流表示每秒带宽为4Mbit，即0.5M Byte。在数据块大小一定的情况下，只要控制每秒发送的IO数量就可以了。要模拟4M码流，则每秒发送的IO数量4Mbit/数据块大小0.5M Byte/64KB=(0.5*1024)/64=8所以在测试时要模拟出以上的环境特征。3. 监控环境丢包以支持4路的EC为例，它的cache的大小为10M，10M资源平均分配给4个摄像头做数据缓冲。EC在把数据从cache写入到存储上时，当有的命令响应时间较长，而从摄像头来的数据会源源不断的写入到缓存中，当分配给该路摄像头的缓存使用完，新数据会覆盖缓存中的老数据，从而导致数据丢失。所以允许的最大响应时间就是EC分配给某摄像头的缓存被写满的时间。当码率一定时，允许的最大响应时间可以很容易的得到。以4M码率为例，4M码率相当于0.5M的流量（4M bit/s0.5M Byte/s）。写满分配给一个摄像头缓存的时间为：(10M/4)/(0.5M Byte/s)=5s同样，可以计算出支持16路EC（缓存为20M）在4M码率时，允许的最大响应时间为2.5秒。当码率较小时，可以允许的最大响应时间相应的会变长。可参考下表：表一 最大允许响应时间表支持4路，10M内存EC支持16路，20M内存EC4M码率5s25s2M码率10s5s1M码率20s10s4. 存储配置在存储上要进行以下配置：一般是每11块盘创建一个rg，使用多vd的话：一个rg上创建多个lun，一个lun上创建一个lv；使用单vd的话：一个rg上创建一个lun，一个lun上创建多个lv。根据测试码流的不同需要的逻辑资源数量不一样。以模拟EC2004来说的话，每个target下要挂载4个逻辑资源，一个target对应一个initiator。把这些磁盘挂载到客户端上，测试时使用裸盘。5. IOmeter配置5.1. 只写时候的配置：l 测试时使用一个worker对应一个逻辑资源。l outstanding设置为1。l 数据块大小64KB。l transfer delay设置为每毫秒发多少个IO，例如模拟4M码流时每秒要发送8个IO，即125ms发一个IO,，但由于IOmeter在 CPU负载比较大的时候是不能保证按间隔发送报文的，因此，要适当减小发包间隔，设置时我们会把时间间隔设置得再短一些，4M码流一般设置100ms发一个IO。l 需要模拟写索引时，则每个逻辑资源再对应一个work，使用16kB随机写入，每16秒1个io，模拟二级索引写（索引也应该是顺序写的，这里用随机模拟，主要是看这种情况下cache堆积数据的情况）5.2. 有读时候的配置模拟读，也就是模拟录像回放，读的时候是每秒读一次，这样transfer delay设置为1000ms 一个IO，不同码流读的时候的数据块大小设置不同，具体如下：表二码流读数据块大小512K64K1M128K2M256K4M512K5.3. 小技巧：测试时并不知道链接多少路合适，这时可以使用IOmeter的功能逐次自动添加路数，设置方法如下：run time 设置为20minutes，ramp up time为30seconds，选cycle targets and workers，workers和targets下跌start和step分别设置为10和2。这样配置的含义为：run time 设置为20minutes表示每个策略运行20分钟；ramp up time为30seconds表示开始测试时的30秒忽略掉（可能开始运行不稳定，所以去掉一段时间）；cycling options选择cycle targets and workers表示，worker的数量和target的数量逐次增加；start为10，step为2的含义是：开始测试时用10个worker和target，测试20分钟后worker和target的数量都加2，也就是12个，再进行测试。这样一直测试下去，一直到manager中所有数量的分配了磁盘等worker都进行完测试为止。另外需要注意到是，IOmeter中如果有多个manager，那么该项设置是针对所有的manager的。如上设置中，如果是2个manager的话，那么开始测试时就会运行20个worker和target，并且每次增加4个。当然测试中要根据具体情况进行设置。6. 数据分析测试完成后要对数据进行分析，在一定码流下到底支持多少路怎么观察呢？需要关注以下指标：bandwidth、IOPS、average I/O response time、maximum I/O response time。l 不同码流允许的最大响应时间不一样，具体参见表一，查看测试结果，如果maximum I/O response time大于允许的最大响应时间，则这个路数的监控环境中会有丢包，所以不支持这么多路数。l average I/O response time只做不同版本的性能对比，其他时候不用关注。l Bandwidth和IOPS两项只要观察任意一项就可以，因为在数据块大小定了的情况下，只要其中一项定了，另外一项应该也就定了。观察方法为：假如我们测试的是100路的4M码流的情况，则理论带宽应该是50M。如果相差较大，则表明有很多的IO没有处理过来。表明也是不支持的。l 使用IOmeter的功能逐次自动添加路数，如果随着路数的增加带宽是在不断递增的，且maximum I/O response time小于允许的最大响应时间，表明客户端发给存储io的压力不够，需要增加客户端来测试。使用多个客户端测试时需要使用dynamo，比如要用3个客户端（192.168.1.19，192.168.1.18，192.168.1.76）来测试，在192.168.1.19上运行iometer软件，则在另外2个客户端需要运行dynamo，需要执行如下命令l
