标签：

TPC-C基准程序用来衡量整个IT系统的性能，而不是评价服务器或某种硬件系统的标准，其中性能由tpmC衡量。TPC-H所报告的性能计量单位被称为“TPC-H复合式每小时查询性能单位（QphH）”，反映出了系统处理查询的多方面能力。

TPC体系是影响最大的评测基准之一。

TPC(TransactionProcessing Performance Council，事务处理性能委员会)是由数十家会员公司创建的非赢利组织，总部设在美国。

TPC不给出基准程序的代码，而只给出基准程序的标准规范。任何厂家或其他测试者都可以根据规范，最优地构造出自己的测试系统(测

试平台和测试程序)。为保证测试结果的完整性，被测试者(通常是厂家)必须提交给TPC一套完整的报告，包括被测系统的详细配置、分类价格和包含5年维护 费用在内的总价格。该报告必须由TPC授权的审核员核实(TPC本身并不做审计)。TPC在全球只有不到10名审核员，而且全部在美国。

TPC推出过11套基准程序，分别是正在使用的TPC-App、TPC- H、TPC-C、TPC-W，过时的TPC-A、TPC-B、TPC-D和TPC-R，以及因为不被业界接受而放弃的TPC-S（Server专门测试基 准程序）、TPC-E（大型企业信息服务测试基准程序）和TPC-Client/Server。目前最为“流行”的TPC-C是联机事务处理(OLTP) 的基准程序，于1992年7月完成，后被业界逐渐接受。

TPCC 标准

作为一家非盈利性机构，事务处理性能委员会（TPC）负责定义诸如TPC-C、TPC-H和TPC-W 基准测试之类的事务处理与数据库性能基准测试，并依据这些基准测试项目发布客观性能数据。TPC基准测试采用极为严格的运行环境，并且必须在独立审计机构 监督下进行。委员会成员包括大多数主要数据库产品厂商以及服务器硬件系统供应商。

相关企业参与TPC基准测试以期在规定运行环境中获得客观性能验证，并通过应用测试过程中所使用的技术开发出更加强健且更具伸缩性的软件产品及硬件设备。

TPC-C是一种旨在衡量联机事务处理（OLTP）系统性能与可伸缩性的行业标准基准测试项目。这种基准测试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。许多IT专业人员将TPC-C视为衡量“真实”OLTP系统性能的有效指示器。

TPC- C基准测试针对一种模拟订单录入与销售环境测量每分钟商业事务（tpmC）吞吐量。特别值得一提的是，它将专门测量系统在同时执行其它四种事务类型（如支

付、订单状态更新、交付及证券级变更）时每分钟所生成的新增订单事务数量。独立审计机构将负责对基准测试结果进行公证，同时，TPC将出据一份全面彻底的 测试报告。这份测试报告可以从TPC

Web站点上获得。

TPC-E——OLTP联机事务处理测试新模型

20年前，美国的TPC(事务处理性能委员会，Transaction Processing Performance Council)成立之时，或许并没有想到其TPC系列测试标准会如此受业界关注。作为国际上权威的服务器性能测试组织。目前在国际上几乎所有IT界的知 名厂商(如IBM、HP、SUN、英特尔等)都是TPC的会员。

OLTP测试模型一直是TPC组织的重点测试标准，TPC-C的前身TPC-A就是TPC组织发布的第一个测试标准。由于TPC-C逼真地 模拟了OLTP应用，在发布后逐渐得到广大用户的认可，使用tpmC作为其计算机系统性能评价体系基础的用户数量逐年上升。不过，随着信息产业的不断发 展，TPC-C的一些问题也慢慢暴露出来。首先，随着B2B、B2C等新型应用逐渐兴起，TPC-C现有的仓库管理系统测试模型已经距离目前的OLTP用 户应用模式越来越远，5种作业需求也不足以覆盖用户现有的典型操作;其次，众多的测试设备投入使得TPC-C测试给厂商带来了较大的压力，这并不是TPC 组织愿意看到的，因此TPC组织于2007年3月推出了全新的OLTP测试标准——TPC-E，意在用这个测试标准取代TPC-C测试，从而对上述问题起 到解决作用。

TPC-E在测试模型上进行了巨大的革新与改进。TPC-E是以美国纽约证券交易所为模型，该测试模拟了一系列后端处理数据以及证券公司前端客户在股票交易市场的典型行为——账户查询、在线交易和市场调研。

与TPC-C测试模型相比，TPC-E更加强调模型的高仿真性，其模型微缩模拟了全球最大电子股票交易市场——美国纳斯达克股市的日常业务 流程，模型架构完成了从C/S架构到B/S架构的过渡，是典型的互联网时代OLTP性能测试基准。同时，数据类型更加丰富，由3类扩展为10类，模拟的交 易条件更复杂。

TPC-H关注查询能力

TPC-H是一种决策支持基准。它包含一整套面向商业的特殊查询和并发数据修改内容。该基准中选择的查询和数据库中的数据都具有广泛的全行业关联性。这种测试基准所描述的决策支持系统可检查大量的数据，所执行的查询也具有很高的复杂度。

TPC-H所报告的性能计量单位被称为“TPC-H复合式每小时查询性能单 位”（TPC-H Composite Query-per-Hour Performance Metric -

QphH@Size），反映的是系统处理查询的多方面能力，包括查询执行时选定的数据库大小、单个流提交查询时的查询处理能力，以及多个并发用户提交查询 时的查询吞吐量。TPC-H的价格/性能比计量单位的表达方式为$/QphH@Size。

应用性能参考SPEC

SPEC是标准性能评估公司（Standard Performance Evaluation Corporation）的简称。SPEC是由计算机厂商、系统集成商、大学、研究机构、咨询等多家公司组成的非营利性组织，这个组织的目标是建立、维护 一套用于评估计算机系统的标准。

与TPC体系注重在线处理能力和数据库查询能力不同，SPEC体系中最广为人知的两个子项，是衡量CPU、内存性能的CPU2000和Web服务器性能的web2005。另外还有一个衡量Java服务器性能的jbb2005，近年来也逐渐受到关注。

除了TPC家族，SPEC家族也是广为人知的一大体系。SPEC指标体系由 Standard Performance Evaluation Corp.制定，目前主要包括针对CPU性能的SPEC CPU2000（已有CPU2006，但尚无数据）、针对Web服务器的SPECweb2005、针对高性能计算的SPEC HPC2002与SPEC MPI2006、针对Java应用的jAppServer2004与JBB2005，以及对图形系统、网络和邮件服务器的测试指标。

SPEC CPU 2006

SPEC CPU 2006是SPEC组织推出的CPU子系统评估软件最新版，在早些年，业界使用的是其上一个版本SPEC CPU 2000。和SPEC CPU 2000一样，SPEC CPU 2006包括了CINT2006和C FP2006两个子项目，前者用于测量和对比整数性能，而后者则用于测量和对比浮点性能，SPEC CPU 2006中对SPEC CPU 2000中的一些测试进行了升级，并抛弃/加入了一些测试，因此两个版本测试得分并没有可比较性。

SPEC CPU测试中，测试系统的处理器、内存子系统和使用到的编译器（SPEC CPU提供的是源代码，并且允许测试用户进行一定的编译优化）都会影响最终的测试性能，而I/O（磁盘）、网络、操作系统和图形子系统对于SPEC CPU2006的影响非常的小。

An ounce of honest data is worth a pound of

marketing hype（一盎司诚实的数据值得一磅的市场宣传）是SPEC组织成立的座右铭，为了保持数据的公平、可信度以及有效，SPEC CPU测试使用了现实世界的应用程序，而不是用循环的算术操作来进行基准测试。SPEC CPU 2006包括了12项整数运算和17项浮点运算，除此之外，还有两个随机数产生测试程序998.sperand（整数）和999.specrand（浮

点），它们虽然也包含在套件中并得到运行，但是它们并不进行计时以获得得分。这两个测试主要是用来验证一些其他组件中会用到的PRNG随机数生成功能的正 确性。各个测试组件基本上由C和Fortran语言编写，有7个测试项目使用了C++语言，而Fortran语言均用来编写浮点部分。

CINT2006包括C编译程序、量子计算机仿真、下象棋程序等，CFP2006包括有限元模 型结构化网格法、分子动力学质点法、流体动力学稀疏线性代数法等。为了简化测试结果，SPEC决定使用单一的数字来归纳所有12种整数基准程序。具体方法 是将被测计算机的执行时间标准化，即将被测计算机的执行时间除以一个参考处理器的执行时间，结果称为SPECratio。SPECratio值越大，表示 性能越快（因为SPECratio是执行时间的倒数）。CINT2006或CFP2006的综合测试结果是取SPECratio的几何平均值。

JAVA应用性能测试——SPEC jbb2005

SPECjbb2005是由Standard Performance Evaluation Corp(标准性能评估组织)提供的、专供检测服务器 JAVA应用性能的测试软件，SPEC是由著名计算机厂商、系统集成商、大学、研究所、出版商等组成的非赢利性组织。目前，SPEC得到了包括IBM、 HP、Intel、Compaq等主要服务器厂商的认可。

SPECjbb2005(Java服务器基准)是评估服务器端JAVA性能的SPEC测试工具。和以前的SPECjbb2000一

样，SPECjbb2005通过模拟三层C/S系统(主要是中间层)来评估服务器端JAVA的性能。该测试软件运行JVM(Java虚拟机)、JIT (Just-In-Time)编译器、碎片收集、线程以及操作系统的其他任务。它也测量CPU、Cache、内存和 SMP的性能。SPECjbb2005通过提供面向对象方式运行的、新的增强的工作负载，来反映真实应用系统的情况。另外，SPECjbb2005也引入 了一些新的特性，如XML处理和BigDecimal计算，以保证测试结果能更确切地反映当前的实际应用。

SPECjbb2005是一种被广泛使用的工业标准基准测试。概括来讲，每个"warehouse"会产生一个独立的线程，从而决定测试线程的并发数。

SPEC Web2005

Web服务参考Web2005

作为SPECweb99和SPECweb99_SSL的继承者，SPECweb2005延续了SPEC的传统，为Web用户提供客观的Web服务器系统性能测试基准。

SPEC

Web2005测试的原理，是通过多台客户机向服务器发出Http Get请求，请求调用Web服务器上的网页文件，这些文件从数千字节到数兆字节不等。在相同的时间里，服务器回答的请求越多，就表明服务器对客户端的处理能力越强，系统的Web性能就越好。

基于快速发展的Web技术，与上一代测试基准相比，SPECweb2005基准包括许多新增强特性，其中包括：

● 测量并发用户会话。

● 相关动态内容：包括PHP和JSP实施。

● 使用两个并行HTTP连接请求页面镜像。

● 多种标准化的工作负载：银行业（HTTPS）、电子商务（HTTP and HTTPS）和支持（HTTP）。

● 使用If-Modified-Since请求模拟模拟器缓存效果。

● 文件访问与今天的真实Web服务器访问模式匹配度更高。