测试结果分析

　　Jmeter测试结果分析这一篇主要讲述如何使用jmeter中Assertion对结果进行简单的分类，以及当我们拿到测试结果后，我们应该如何去看待这些测试结果。
　　用过LoadRunner的人都知道，LoadRunner本身提供了很多函数可以对收集回来的结果进行一些初步的分析。例如可以做到判断返回的结果是否正确；判断request的responsetime是否大于x秒之类的。相比起LoadRunner，Jmeter在这方面没有那么强大，但是个人认为，对于一些编程基础不是太好的测试人员来说，Jmeter比LoadRunner易用性上面做得更出色。
　　Assertion断言，通常是用于对每一个requestsampler进行额外验证的工具。下面通过一个例子来介绍一下常用的几个Assertions。
　　假设现在要进行一个登陆的压力测试，下面是对pass的几个定义：
　　1。正确login后，必须收到返回的身份验证和用户个人信息下载的完成信息；
　　2。响应时间不能超过150毫秒
　　3。返回的结果大小不能小于750bytes
　　根据以上的要求，我们在对应的requestsampler下面添加了以下的Assertions。
　　A。ResponseAssertion
　　ResponseFieldtoTest标示被检查对象是什么？
　　PatternMatchingRules标明被检查对象与验证内容之间的关系，Contains（包含关系）；Matches（匹配关系）；Equals（相等关系）；Not（非关系）
　　PatterntoTest需要验证的内容列表
　　B。DurationAssertion
　　DurationtoAssert允许的响应时间的最大值
　　C。SizeAssertion
　　SizetoAssert对于返回结果文件大小的标准定义
　　二、结果分析
　　添加了以上的Assertions后，我运行了一次脚本。以下是存放结果的。jtl文件的内容：
　　timeStamp，elapsed，label，responseCode，responseMessage，threadName，dataType，success，failureMessage，bytes，Latency
　　11040813：22：03，172，DoLogin，200，OK，ThreadGroup11，text，false，Theoperationlastedtoolong：Ittook172milliseconds，butshouldnothavelastedlongerthan150milliseconds。，835，172
　　11040813：22：03，156，DoLogin，200，OK，ThreadGroup12，text，false，Testfailed：textexpectedtocontainloginMsgOK，633，156
　　11040813：22：03，156，DoLogin，200，OK，ThreadGroup13，text，false，Theoperationlastedtoolong：Ittook156milliseconds，butshouldnothavelastedlongerthan150milliseconds。，839，156
　　11040813：22：03，156，DoLogin，200，OK，ThreadGroup14，text，false，Theoperationlastedtoolong：Ittook156milliseconds，butshouldnothavelastedlongerthan150milliseconds。，836，156
　　11040813：22：03，78，DoLogin，200，OK，ThreadGroup15，text，true，，779，78
　　11040813：22：03，63，DoLogin，200，OK，ThreadGroup17，text，false，Testfailed：textexpectedtocontainloginMsgOK，570，63
　　11040813：22：03，141，DoLogin，200，OK，ThreadGroup16，text，false，Theresultwasthewrongsize：Itwas721bytes，butshouldhavebeengreaterthan750bytes。，721，141
　　11040813：22：03，78，DoLogin，200，OK，ThreadGroup19，text，false，Theresultwasthewrongsize：Itwas724bytes，butshouldhavebeengreaterthan750bytes。，724，78
　　11040813：22：03，204，DoLogin，200，OK，ThreadGroup110，text，false，Theoperationlastedtoolong：Ittook204milliseconds，butshouldnothavelastedlongerthan150milliseconds。，1137，204
　　11040813：22：03，2985，DoLogin，200，OK，ThreadGroup18，text，false，Testfailed：textexpectedtocontainloginMsgOK，570，2985
　　我们可以看到，每一个Sampler都会经过Assertions的判断，只要有一个不符合条件的都会标示为False。
　　其实除了以上讲到Assertion，jmeter还提供了其他一些比较实用的Assertion，而我在这也不一一介绍了。
　　有兴趣的可以看一下jmeter的usermanual，然后再自己动手试验一下。
　　前文再续，续接上一回。上一篇讲了如何利用Assertion将测试结果进行初步的筛选。那么，当我们拿到了测试结果之后，我们应该如何去看待它们呢？它们又是怎么来的呢？
　　一、Listener的使用
　　用过LoadRunner的人应该都知道，LoadRunner会为我们提供一大堆图标和曲线。但是在Jmeter里，我们只能找到几个可怜的Listener来方便我们查看测试结果。但是，对于初学者来说，一些简单的结果分析工具可以使我们更容易理解性能测试结果的分析原理。所以，千万别小看这几个简单的Listener啊。
　　A。AggregateReport聚合报告
　　我们可以看到，通过这份报告我们就可以得到通常意义上性能测试所最关心的几个结果了。
　　Samples本次场景中一共完成了多少个Transaction
　　Average平均响应时间
　　Median统计意义上面的响应时间的中值
　　90Line所有transaction中90的transaction的响应时间都小于xx
　　Min最小响应时间
　　Max最大响应时间
　　PS：以上时间的单位均为ms
　　Error出错率
　　Troughput吞吐量，单位：transactionsec
　　KBsec以流量做衡量的吞吐量
　　B。ViewResultsTree以树状列表查看结果
　　通过这个Listener，我们可以看到很详细的每个transaction它所返回的结果，其中红色是指出错的transaction，绿色则为通过的。
　　如果你测试的场景会有很多的transaction完成，建议在这个Listener中仅记录出错的transaction就可以了。要做到这样，你只需要将LogDisplay：中的Errors勾中就可以了。
　　二、。jtl文件的分析
　　在性能测试过程中，我们往往需要将测试结果保存在一个文件当中，这样既可以保存测试结果，也可以为日后的性能测试报告提供更多的素材。
　　Jmeter中，结果都存放在。jtl文件。这个。jtl文件可以提供多种格式的编写，而一般我们都是将其以csv文件格式记录，这样做是因为csv文件格式看起来比较方便，更重要的是这样做可以为二次分析提供很多便利。
　　我这里所说的二次分析是指除了使用Listener之外，我们还可以对。jtl文件进行再次分析。
　　a。设置jtl文件格式
　　我们从jmeter官方网站中下载下来的Jmeter解压后是可以直接使用的。但是，使用默认配置生成的jtl文件内容并不能满足我们的需要。于是我们必须进行必要的设置。在2。2版本中，如果要修改jtl设置必须要到jmeter。properties文件中设置；但是在2。3版本中，我们只需要在界面上设置就可以了。你只需要选择某个Listener，点击页面中的configure按钮。此时，一个设置界面就会弹出来，建议多勾选如下项：SaveFieldName，SaveAssertionFailureMessage。
　　b。jtl文件中的各项
　　经过了以上设置，此时保存下来的jtl文件会有如下项：
　　timeStamp，elapsed，label，responseCode，responseMessage，threadName，dataType，success，failureMessage，bytes，Latency
　　请求发出的绝对时间，响应时间，请求的标签，返回码，返回消息，请求所属的线程，数据类型，是否成功，失败信息，字节，响应时间
　　其中聚合报告中的，吞吐量完成的transaction数完成这些transaction数所需要的时间；平均响应时间所有响应时间的总和完成的transaction数；失败率失败的个数transaction数
　　温馨提示：在jmeter2。2和2。3版本中，都存在的一个问题是当我们重新打开jmeter，使用某个Listener来查看jtl文件时，jmeter是会报错的。因此当你使用命令行方式完成了一个场景的测试后，你得到的只是一堆保存在jtl文件中的原始数据。所以知道聚合报告中的各项的来源是可以方便大家摆脱测试工具来进行结果的分析。
　　总的来说，对于jmeter的结果分析，主要就是对jtl文件中原始数据的整理，我是使用一些小脚本进行相关的分析的，不知道你打算怎么做呢？
　　反正实践后，你总能找到一条属于自己的数据分析之路。