ICS 35.080 L 77 中华人民共和国国家标准 GB/T 30975---2014/IS0/IEC: 14756 : 1999 信息技术 基于计算机的 软件系统的性能测量与评级 Information technology--Measurement and rating of performance of computer-based software systems (ISO/IEC 14756:1999,IDT) 2015-02-01实施 2014-09-03 发布 中华人民共和国国家质量监督检验检疫总局 发布 中国国家标准化管理委员会 GB/T 30975—2014/ISO/IEC 14756: 1999 目 次 前言 引言 1范围 符合性 规范性引用文件 3 术语和定义 4 缩略语和符号 5 5.1 缩略语 5.2 符号 6测量 6.1 配置需求 6.2 用户模拟 6.3 测量规程 10 6.4 测量有效性的证明 11 SUT 性能值的计算 7 12 7.1平均执行时间 12 7.2 吞吐量… 12 7.3 适时吞吐量 12 8用于评级的基础数据 12 8.1用户需求 12 8.2用于软件效率评级的基准环境 12 9性能值评级· 13 9.1计算性能参考值 13 9.2计算性能评级值· 13 9.3SUT总体性能评级 13 性能评估 9.4 13 10输入需求 14 10.1 SUT 描述 .14. 10.2 工作负载参数集 15 10.3 用于测量确认的输人 17 11测量 .18 11.1 测量规程 11.2 单个评级区间 19 12测量规程的输出 20 12.1 测量日志文件 20 12.2 计算结果文件 20 GB/T 30975--2014/ISO/IEC 14756 : 1999 13 测量确认 .. 20 13.1 SUT计算正确性确认 21 13.2RTE准确度确认 21 13.3 测得的平均执行时间的统计显著性确认 21 14SUT性能值计算 22 14.1 平均执行时间 22 14.2 吞吐量 22 14.3 适时吞吐量 22 15SUT 测得性能值的评级· 23 15.1 评级级别规格说明 23 15.2 计算性能参考值 23 15.3 计算评级值 23 15.4评级 24 附录A（规范性附录）RTE基本功能规格说明 26 附录B（规范性附录）附加计算公式 27 附录C（规范性附录） 工作负载描述格式 33 附录D(规范性附录) 日志文件格式 36 附录E(资料性附录) 实用程序 37 附录 F (资料性附录) 工作负载示例 39 GB/T 30975—-2014/IS0/1EC 14756:1999 前言 本标准按照GB/T-1.1—2009给出的规则起草。 本标准使用翻译法等同采用ISO/IEC 14756:1999《信息技术基于计算机的软件系统的性能测量 与评级》。 本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。 本标准起草单位：北京邮电大学、中国电子技术标准化研究院、山东省计算中心、山东省计算机网 络重点实验室。 本标准主要起草人：史慧玲、杨美红、李刚、韩明军、邹丰义、周鸣乐、韩庆良、顾卫东、董火民、 韩红强、刘建毅、胡宇、高翊、王枞。 GB/T 30975--2014/ISO/IEC 14756 : 1999 引言 在设计和使用数据处理系统时,执行速度是个重要的性质。该性质主要受系统中所使用软件的 效率影响。测量软件系统执行速度，以及软件效率影响，是最关心的问题。 为了测量软件对一个数据处理系统在时变行为方面的影响,有必要测量整个系统的时变行为。基 于本标准建议的测量规程，可定义和计算软件时间效率的数值。 时变行为可重复估算是非常重要的。在实验中使用真实用户是不可能的，一个原因是真实用户不 可能像计算机那样在没有偏差的前提下重复执行操作，另一个原因是当工作或任务流是来自很多用户 时，若由真实用户来执行这样的实验，需要花费非常高的代价。因此，在测试中需要采用模拟器，该模拟 器通过一个辅助数据处理系统来模拟多用户操作。 这意味着要根据本标准进行性能测量和评级，需要借助工具。该工具应是按照本标准规范要求来 运行的模拟器。应证明实际使用的模拟器满足这些规范。 所有相关实验细节都通过用户模拟器记录在日志文件中。通过该日志文件，可计算出描述时变行 为的值（如响应时间和吞吐量的值）。根据这些性能值，可计算出软件效率评级值。 并不是所有性能值都需要进行测量和评级。例如，对于一个具有简单负载的软件系统，只有很少的 交互任务，或者只有很小批量的执行要求，则只需要定义部分性能指标及其值。该方法也适用于测量和 评级大的、复杂的基于计算机的软件系统（CBSS），CBSS可处理由-·系列不间用户产生的复杂工作流 或任务流。定义中有必要包括一些数学术语，目的是为了计算性能值和评级值、校验测量运行和评级步 骤的正确性，以及为了确定性能值和评级结果的(统计上的)意义获取精确的数学依据。 测量结果由计算的性能值组成，包括吞吐量和执行时间的值。CBSS性能评估的最终结果由评级 值构成。评级值可通过比较性能值与用户需求获得。另外，如果需要，通过与一个可参考的CBSS(如， 具有相同硬件配置，但却具有相同功能的应用程序的不同版本）性能值相比较，可对待测CBSS性能值 进行评级。 评级结果是一组值，每个值或者大于1,或者小于1,或者等于1,分别表示性能好于、坏于、等于定 义的需求(或者是另一个作为参考的待测系统特性）。最终的一组评级值评估工作负载中分别定义的各 个任务类型。 附录E和附录F包含软件以及特殊的数据,因为不能印刷,故本标准未提供。在这两个附录中都 提供了简短的概述。 GB/T 30975--2014/IS0/IEC 14756: 1999 信息技术基于计算机的 软件系统的性能测量与评级 1范围 本标准界定了对基于计算机的软件系统(CBSS)面向用户的性能如何测量和评级。从用户(例如各 种不同终端的用户,或者数据处理中心的操作用户和商业用户）角度看，CBSS就是一种数据处理系统。 CBSS包括硬件及其所有软件（系统软件和应用软件），这些是实施用户所需的数据处理功能所要 求的，或可影响到 CBSS的时变行为。 本标准适用于测试所有受时间约束的系统或系统的二部分。同样，网络可以是某个系统的组成部 分，或者可成为测试的主题。本标准所界定的方法不限于像经典的批处理或终端-宿主系统等特例，例 如，也包括客户-服务器系统或按广义理解对“任务”界定的实时系统。但是就测试大环境所需花费来 说，测试的实用性会受到限制。 本标准规定了面向用户的性能术语的关键指标，以及测量和评级这些性能值的方法。所规定的性 能值描述了用户命令(任务)的执行速度的性能值，即如下“三位一体”的： 执行时间； 吞吐量； 适时性。 用户命令，以下称为任务，,在内部结构上可以很简单，也可以很复杂。二项任务可能是一项作业、事 务、过程，或更为复杂的结构，但都根据评价者的需要界定一个启动时间和结束时间。进行性能评价时， 除单个响应时间外，还可参考商务事务处理完成时间,使用本标准来测量系统的时变行为。 评级可根据用户需求来完成，或者通过与两个或更多的已测量系统(类型或版本)相比较来完成。 对于测量内部值，例如： 利用值； 平均指令速率； 路径长度; -高速缓存命中率; -排队时间； ~服务时间。 特意不给出建议，原因是内部值的界定取决于在测系统的硬软件体系结构。与此相反,本标准界定 的面向用户性能值则独立于体系结构。对内部性能值的界定，可独立于对面向用户性能值的界定。除 面向用户的性能值外,这些内部性能值可以使用,也能测量。同样，产生面向用户值的效率的术语也能 自由定义。另外，本标准对如何在数据处理系统中建立稳定、可再现的操作状态给出了指导，这些可再 现状态可用来测量其他性能值，例如上面提到的内部值。 本标准重点在于： -应用软件； -系统软件； 交钥匙系统（即由应用软件、系统软件以及为此设计的硬件所组成的系统）； 通用数据处理系统。 本标准规定了有关模拟[通过技术系统，即所谓远程终端模拟器(RTE)用户与数据处理系统交互 1 GB/T 30975—2014/ISO/IEC 14756 :1999 的需求。本标准对面向用户性能值的精确测量和评级进行指导。本标准对根据用户确定性以及随机行 为、在 CBSS所需的准确度和可重复性要求下估算这些性能值提供指导。同时,对实现 RTE或证明 RTE是否按照本标准运行进行指导。 规定了如何准备和实施测量规程。在提供测得值分析描述的同时，也提供了性能值和评级值的计算 公式。 本标准也提供如下指南： -如何利用下列各项设计面向用户的基准测试： 面向事务的工作负载； …面向批处理的工作负载； ．面向事务和批处理的混合工作负载。 本标准规定了： -如何描述这种工作负载； 如何完成测量规程； 如何对测量结果进行评级。 对本标准感兴趣的有： 评价方； 开发方; 买方（包括数据处理系统的用产）； 系统集成方。 注1：本标准应用领域可扩展到如下几方面。满足本标准规范且具有足够普遍结构的工作负载均可用作标准的工 作负载，可用来测量和评级特定领域中所用的数据处理系统的性能，例如一个字处理的标准工作负载可用来 比较同一硬件系统上运行的不同产品或同一产品不同版本的时间效率。如果总是应用同一版本的应用软件 和相同硬件来比较系统软件的效率，这样一个标准工作负载也可使用。当在不同的系统中，包括硬件和系统 软件（通常由系统提供商提供），应用间样的应用软件和