存储性能测试介绍

1. 我们当前的性能测试状态 我们的困惑：存储的性能测试测什么，只是测试iops 和吞吐吗？不同大小块大小，有没有命中缓存，并发多少台虚拟机的iops 和吞吐通通列出来就可以了吗？对比测试是否就足够了？百度对性能测试的定义：性能测试2 是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。下面先讲讲性能测试的理论知识。 2. spc 介绍 SPC（storage performance council）存储性能理事会， 主要使命是定义存储系统基准测试，实现其标准化并进行推广，为计算机行业机器客户提供客观，可验证的性能数据。 由于存储系统应用环境复杂，单纯的某项指标的测试往往不足以反映该存储系统在生产环境业务应用中的使用性能。 为此，SPC组织针对业界典型的各类应用业务作了大量的调查分析工作，针对较为普遍的在线类业务、大规模文件处理类业务、面向文件系统的备份和恢复类业务分别推出了SPC-1、SPC-2、 SPC-3BR三种测试规范和相应的测试工具，为客户采购存储系统时，评估存储系统的性能和性价比提供了现实可行的理论依据和测试工具。 2.1. Spc 定义的存储层次结构 SPC基准模拟了三个不同的应用存储区域，不同的存储区域承担的I / O负载的类型的大小也是不同的，所以SPC对三个存储区域的I / O数据流特征进行了不同的定义。其中ASU1包含4类I / O流,ASU2包含3类,ASU3包含1类。每个I / O流都具有特定的I / O大小、读写比例、访问方式、访问区域、访问强度等定义,具体见下面的I / O流特性表格：ASU1 数据存储，ASU2 用户存储，ASU3 日志/顺序写 ASU 1：数据存储由四个平行的io流组成，读和写被均匀的覆盖整个地址空间。还包括了一些本地化的io，还有一些顺序读的io。整个ASU1 占整个spc-1 io流的59.6% ASU2：主要有3个平行的IO流组成，主要是读和写的流，分布于地址整个ASU地址空间。也有一些本地的io流，比起数据流的比例更少。Io流占整个spc-1 流量的12.3 %ASU3:Asu3 代表了日志，和顺序写的io流，主要占整个spc-1 io流的28.1% ASUIO流名称IO大小访问地址读写比例访问区域ASU118k随机1:1整个ASU128k随机1:1（0.15，0.2）34k，8k，16k，32k，64k顺序全读（0.2，0.7）48k随机1:1（0.7，0.75）ASU218k随机3:7整个ASU228k随机3:7(0.47，0.52)34k，8k，16k，32k，64k顺序全读（0.2，0.7)ASU314k，8k，16k，32k，64k顺序全写整个ASU32.2. SPC-1 SPC-1测试则针对存储子系统在执行关键业务应用时的性能表现。这些应用主要以随机I / O操作为特点，包括查询和更新操作。这一类应用的例子包括OLTP、数据库操作和邮件服务器运作等 在线业务具有如下特征：对读写反应时间敏感；工作负载动态变化；存储空间可靠性要求高；用户访问行为多样化；要求数据持续保存而不损坏或丢失等。 SPC设计了八种模拟用户数据访问行为的I / O流，并通过BSU（Business Scaling Units，事务扩展单元） 来控制模拟应用的I / O请求的规模，通过ASU（Applications Storage Units，应用存储单元）来描述响应I / O请求的存储配置 这些元素共同组成了SPC-1的基准测试模型 2.2.1. Spc-1 测试流程SPC-1 对结果的度量主要根据两类的对存储子系统性能有严重依赖的系统而设计的。第一类：具有很多应用和有很多具有潜在的饱和io处理能力的线程的系统，比如在线事物系统OLTP。这类系统能够成功的执行依赖于存储系统在系统支持的响应时间内能够处理大量io请求的能力。这种能力在spc-1的文档中主要是SPC-1 IOPS 来描述的。第二类：关键业务应用，这种应用的成功依赖于完成请求的最小时间。确保数千个同步的io请求顺序完成。这种环境的一个例子是一个大型数据库的重建操作。在这种情况下，总的I/O请求吞吐量保持在很小的值，为了让io响应的时间达到最小，因此系统要减少挂钟完成时间。这个系统提供的最小io请求相应时间的极限能力在文档中用SPC-1 LRT 的结果表示。Spc-1 基准测试主要包含三个测试a. 基本指标测试 （The Primary Metrics Test ）b. 两次重复的测试 （The two Repeatability Tests, LRT and IOPS）c. 数据持久性测试 （The Data Persistence Test）每个测试都必须完成。并且必须有测试结果。测试可能包含一系列的测试结果有关的图。2.2.2. 基准指标测试基本指标测试又包含了三个测试阶段：a. 持续性测试阶段持续性测试阶段有且只有一个测试运行，并应保持最大的吞吐量至少连续八小时。在报告最终最大I/ O请求吞吐量结果之前这个测试阶段还有助于确保该TSC已经达到稳定状态。这个测试的目的，可以让顾客或者产商或者竞争对手轻易的证明iops是否可以始终保持一个很长时间。是否达到对iops有苛刻要求的的系统的预期。b. IOPS测试阶段获得满足可持续性并且满足最大吞吐量的iops。这个阶段测试为10分钟。如果平均时延超过30ms，那么测试无效。在持续稳定性测试阶段到iops测试过度期间，iops吞吐不能低于SPC-1 IOPS 测试结果的50%。例如，一个赞助商测试的spc-1 的iops测试吞吐的结果是200.在过度到iops测试过程中，io请求吞吐。不应该下降到100.c. 响应时间坡度测试阶段此测试阶段应测量平均响应时间与I/ O请求的吞吐量BSU负载水平为10，50，80，90，和95用来报告的IOPS测试结果BSU负载水平。这个测试阶段的目的是展示：赞助商的TSC吞吐和瓶颈响应时间的关系。得到（最佳）平均响应轻负载TSC时间(LRT结果）持续时间对于每个测度区间为10分钟。强度递减的顺序为：（1） 95% BSU load level.（2） 90% BSU load level.（3） 80% BSU load level.（4） 50% BSU load level.（5） 10% BSU load level (SPC-1 LRTMetric)在10%的工作负荷的测试阶段，可以产出LRT测试结果。2.2.3. 重复测试重复测试包含Repeatability Test Phase#1和Repeatability Test Phase#2两次测试，每次Repeat测试会度量指标测试中所获得的最高IOPS和10%低负载时的平均响应时间LRT是否可以重现，且误差不能 大于5%，确保Metrics测试阶段获得的存储系统性能结果是可以重复获得，而非昙花一现。如果两次产生的平均响应时间SPC-1 LRT 的结果必须相差小于5% ，或者少于spc-1 LRT 指标加1 ms。否则报告的spc-1 LRT 指标需要重复测试。重复测试最终产出spc-1 LRT指标。IOPS也是如此。并且两次的IOPS 报告中的平均IO时延必须小于30ms，否则测试无效。2.2.4. 数据持久性测试逻辑卷和关系应用存储单元，必须保证长时间时间掉电没有数据的损坏或者丢失。这个测试是隔离于其它spc-1 测试的。在SPC-1工作负载生成器将用于执行SPC-1持久性测试。任何测试在持久性测试失败可以再次运行，直到它通过。期间在SPC-1基准测试的任何部分持续测试发起所有的I / O请求必须完成。一次失败的I / O请求将持续测试无效。2.3. SPC-2 SPC-2 与SPC-1 测试模式完全不同，他是由三个不同的IO模型构成，主要衡量存储系统在连续大规模移动数据时的性能。三种负荷包括（1） 大文件处理模型，该模型模拟同时读写多个大容量模型的应用场景，这些场景一般常用在科学计算和大规模金融计算领域中。（2） 大数据量的数据库查询模型。该模型模拟数据之间的大量连接和全表扫描应用场景，这些场景一般常用在数据挖掘和常务智能领域。（3） VOD模型，该模型主要模拟非线性编辑的应用场景。会同时读取多个大的影音文件并写入存储系统中。 可以看出SPC-2 涵盖了目前大量连续I/O的所有典型测试场景，因此能够很好的测量出存储的带宽。Spc-2 测试包含两轮测试，每一个阶段包含了5个测试1、 最大流量测试2、 50%最大流量的测试3、 25%的最大流量测试4、 12.5%的最大流量测试5、 只有一个流的测试(5G 的数据量的流)第二个阶段与第一个阶段不同的地方是块大小不同。大文件处理模型的测试流程：主要包含了全写的模型，读写，和全读模型。每个流程的测试不可以终端，需要连续测试。数据库模型测试流程：数据库模型的请求的传输块大小为1024 块大小。Outstanding I/O Request 这个是io流的参数，意思是io流强度不超过的最大值。VOD模型：只有一个测试流程，中间只有一个不间断的流进行测试。流的强度参数为最大强度，次序时间为20分钟。Spc-2 测试产出提供各个测试产出的结果。SPC-2 (LFP) 个阶段的测试吞吐量，和平均响应时间 LFP Test Sequence 1: WRITE ONLY, 1024 KiB Transfer Size LFP Test Sequence 2: WRITE ONLY, 256 KiB Transfer Size LFP Test Sequence 3: READ-WRITE, 1024 KiB Transfer Size LFP Test Sequence 4: READ-WRITE, 256 KiB Transfer Size LFP Test Sequence 5: READ ONLY, 1024 KiB Transfer Size LFP Test Sequence 6: READ ONLY, 256 KiB Transfer Size吞吐量数据表 吞吐量图：平均响应时间：大数据请求报告一下四个阶段的吞吐量 LDQ Test Sequence 1: 1024 KIB TRANSFER SIZE, 4 Outstanding I/Os LDQ Test Sequence 2: 1024 KIB TRANSFER SIZE, 1 Outstanding I/O LDQ Test Sequence 3: 64 KIB TRANSFER SIZE, 4 Outstanding I/Os LDQ Test Sequence 4: 64 KIB TRANSFER SIZE, 1 Outstanding I/O SPC-2 (VOD) 的传输速度是测量阶段速度的平均值。3. 工具的对比介绍