2016年10月27日至28日,SPEC(Standard Performance Evaluation Corporation,标准性能评估组织)于北京举办了SPEC 2016亚洲峰会,这也是SPEC组织自1988年成立以来首次在中国举办的峰会。
关于本次大会,一个很重要的问题就是:SPEC是什么?SPEC组织在峰会上的第一个议题就是介绍SPEC组织:
介绍
SPEC(Standard Performance Evaluation Corporation,标准性能评估组织)是一个全球性的第三方非营利性组织,致力于建立、维护和认证一套应用于计算机的标准化基准评测套件,SPEC组织开发基准测试套件并经过检验然后在SPEC网站上公开测试结果。
背景
SPEC,Standard Performance Evaluation Corporation,曾用名Standard Performance Evaluation Corporation,由一些工作站生产厂商成立于1988年,他们认为当时的市场迫切需要一种真实的、标准化的性能测试,最关键的认知是:An ounce of honest data was worth more than a pound of marketing hype(一盎司诚实的数据价值超过一磅的市场宣传)。随后SPEC组织很快成为最成功的性能标准化组织之一,拥有着超过60个的组织成员(到现在则是超过120个成员了)。
理念
SPEC组织的目标是为了让市场上具有一个公平、有益的指标体系可以用来区分不同的计算机系统。SPEC的测试组件在不同的公司、组织当中进行挑选,这种组件在可以展现这些厂商的优势的同时也受到SPEC严格的限制。SPEC的理念是,一个好的测试,对其进行合理的利用将会让测试结果在市场上具有真正的可用性。
基本的SPEC测试方法是给测试人员提供一组标准化的源代码,这些源代码基于现有的应用软件,并已经被广泛地移植到多种不同的平台。测试人员对源代码进行编译,并可以通过调整测试系统以获得最好的成绩。使用已有应用软件的已移植源代码可以极大地减少测试结果之间对比的问题。
架构
SPEC是一个非营利性组织,向所有愿意支持SPEC组织或愿意支付相关费用的公司或者组织公开。最开始SPEC由一些设计CPU性能指标体系的工作站厂商组成,现在SPEC已经进化为一个包含四个不同工作组的伞状组织。
OSG(Open Systems Group,开放系统组)
开放系统组是最初的SPEC委员会,其主要关注运行着开放系统环境的桌面系统、高端工作站和服务器的基准测试。
HPG(High-Performance Group,高性能组)
高性能组是一个建立、维护和认证一组基于高性能计算应用程序的标准化、跨平台性能评测套件的论坛。
GWPG(Graphics and Workstation Performance Group,图形与工作站性能组)
SPEC/GWPG图形与工作站性能组是SPEC组织为了开发一致、可重复的图形与工作站性能基准测试和报告流程的项目组。SPEC/GWPG基准测试基于流行的图形与工作站应用程序,因此可以反映真实的用户体验。
RG(SPEC Research Group,研究组)
SPEC研究组是一个新的工作组,用于推动用来开发基准测试软件、性能分析框架的方法和工具的创新研究,这些方法和工具基于现有的或新出现的技术。
SPEC研究组被设计用来鼓励学术界、工业界以及研究机构之间的交流,这些概念性的研究工作包括用于计算系统性能测量的技术和工具、负载测试、剖析、工作负载表征、依赖性及效率评估。尽管焦点是性能,但系统额外的功能属性如可扩展性、可用性、成本和能源效率也会被看重。
SPEC研究组的一个重要部分是为新出现的技术与应用程序开发一个被称为“研究基准测试”的标准化的场景和工作负载。SPEC研究组的基准测试主要用来深入分析和评估早期原型及研究结果,这和通常用于直接比较和购买现有产品的基准测试不同。
一些其它SPEC研究组的计划还包括出版通讯列表和杂志、建立基准测试相关资源的网络门户、认可对基准测试的杰出贡献以及组织会议与研讨会。