一、Spec CPU 2017简介

SPEC是标准性能评估公司（Standard Performance Evaluation Corporation）的简称。SPEC CPU是SPEC组织推出的CPU子系统基准测试程序，最新版本是SPEC CPU 2017。SPEC CPU测试类型包括两种：整型运算和浮点运算，每个类型又分为两个部分：speed单任务速度测试，rate多任务吞吐量测试。

其中speed是针对单任务的计算速度测试，rate针对系统运行多任务的吞吐量进行测试。每种模式有基值(Base)和峰值(Peak)两个性能衡量指标，base测试对编译有严格的规定，比如仅仅允许使用一种编译器、编译优化选项不能超过4个等等；而peak测试中可以针对不同的测试项目使用不同的编译器和不同的优化选项，从而让各项测试的测试结果达到最优。通常来讲，base的测试更严格所以大部分情况下可以只测试base来衡量CPU的性能水平。

SPEC测试推荐使用Linux操作系统，并且对编译器的版本要求较高。glbic不低于2.27、gcc不低于7.3.0，不同版本的gcc对性能的影响也不同，建议安装高版本。本指导使用Ubuntu22.04系统进行SPEC CPU2017的安装和测试。

SPEC CPU 2017是一套CPU子系统测试工具，包括4大种类共43个测试。

4个种类为： SPECrate 2017 Integer SPECrate 2017 Floating Point

对应用例编号为5XX

SPECspeed 2017 Integer SPECspeed 2017 Floating Point

对应用例编号为6XX

Int整型测试

float浮点型测试

cpu2017目录结构：

1、benchspec -> CPU -> 主要500-999，43个基准 -> 1) src：源码文件 2）build：编译目录 3）run：运 行目录 4）exe：可执行文件目录 5）data：三个数据集目录

2、benchspec -> Makefile.defaults makefile模板文件

3、bin -> runcpu runcpu命令文件

4、bin -> harnes

5、config -> Example-gcc-linux-x86.cfg 模板配置文件，例如：gcc_dir, label, optimize优化参数等

result 存放运行日志

二、安装编译器

2.1、安装编译器

本例使用ubuntu22.04，默认gcc版本为9.4，通过手动apt install升级到11.4版本。

# apt install gcc gfortran g++

确认当前的GCC版本：

#gcc -v

注：Centos系统需要安装以下依赖

yum install gcc gcc-c++ gcc-gfortran libgcc.i686 libstdc++-devel.i686 glibc.i686 glibc-devel.i686 libstdc++.i686 libnsl -y

2.2、挂载SPEC CPU ISO

将SPCCPU的ISO镜像上传到系统目录/home/siland/，然后挂载到创建好的testiso目录下。

创建testiso目录：#mkdir -p /root/testiso

挂载：#mount -o loop /root/cpu2017-1.1.9.iso /root/testiso/ 

2.3、安装SPEC2017

进入目录：#cd /root/testiso

安装：#./install.sh

2.4、设置安装目录

根据提示，输入安装目录（如/home/spc2017）并输入Y确认

三、配置gcc-config

3.1、进入speccpu安装目录下的config目录

#cd /home/spc2017/config

3.2、新建s220.cfg文件，建议拷贝一个模板然后修改。注意，intel选择x86.cfg;如果是armCPU则选择aarch64.cfg。vi

#cp Example-gcc-linux-x86.cfg test.cfg

3.3、打开复制文件，根据情况修改参数

#vim test.cfg

3.4、查询服务器CPU线程数，本例中I9-14900KF是24核（8+16，只有8核可以超线程，线程数8*2+16=32），因此将threads修改为32

threads =32

3.5、将gcc_dir目录修改为/usr

define gcc_dir "/usr" # EDIT (see above) gcc

3.6、如果gcc版本为≥10，还需要取消如下注释

如果打算测试后上报官网，还需打开reportable：默认reportable选项为0关闭。测试时如果不打算上传官网，可以带参数--noreportable

修改完成后保存退出

四、gcc测试

摸底测试参照以下指导进行，多次测试后如果开始正式测试，请做好软硬件检查和优化，确保环境最优条件下测试。

4.1、执行命令使得配置生效

#source ../shrc

4.2、设置ulimit

#ulimit -s unlimited

4.3、清理系统缓存

#echo 3 > /proc/sys/vm/drop_caches

4.4、测试模型主要有intrate intspeed fprate fpspeed四种，可以一次性跑，也可以分开跑。

测试1：四种模型都跑（不建议，时间长，出错不易发现）

#runcpu -c /home/spec2017/config/test.cfg intrate intspeed fprate fpspeed --noreportable

测试2：四种模型分开跑，且只跑1次（默认3次）

#runcpu -c /home/spec2017/config/test.cfg intrate -n 1 --noreportable

#runcpu -c /home/spec2017/config/test.cfg intspeed -n 1 --noreportable

#runcpu -c /home/spec2017/config/test.cfg fprate -n 1 --noreportable

#runcpu -c /home/spec2017/config/test.cfg fpspeed -n 1 –noreportable

测试3：只跑单一运算模型如500.perlbench_r编程语言

#runcpu -c /home/spec2017/config/test.cfg 500.perlbench_r --noreportable -n 1 --rate

参数介绍：

--tune :base|peak|all指定测试范围，只测base或peak，默认all全部测试。

--copies：32，线程数。默认为config中设置。

-n :1  测试次数，默认是跑3次，如果想快速出结果可以指定只跑1次。

--noreportable：选择不上报测试结果到官网

备注：测试会产生大量临时测试数据，会占用大量空间，请及时清除

五、结果分析

        从测试时间来看，4项测试耗时均比较长。测试次数设置为1，测试时间累计约16h。而通常标准的测试要求次数为3（测试次数少于3，SPEC报告会有Invalid Run标识并且errors上报did not have enough runs），因此预计耗时至少48h。

        从测试分数来看，影响测试性能的因素有很多。服务器的硬件如风扇、电源、硬盘、内存和环境温度，BIOS配置、OS下系统优化设置等。要参考多方因素，针对不同的测试大类调整对应的系统设置，才能得到较高的测试数据，因此需要消耗大量的时间反复测试和优化。例如：speed为单任务速度测试，BIOS需要关闭超线程Hyper Threading；而rate为多任务吞吐量测试，需要打开超线程。

六、建议硬件配置

1.风扇：

满配高性能风扇，提高散热性能，降低散热引起的频率波动。环境温度要确保在正常运行范围，确保散热能力。

2.电源：

满配电源，性能测试对功耗要求较高，供电能力直接影响到性能。

3.硬盘：

使用NVMe硬盘，性能测试对数据读写要求较高，读写速度快的硬盘可以有效提高测试性能。

4.CPU：

测试前最好对CPU进行跑分或者压测确保CPU不存在其他问题。建议使用PTU工具进行压测。

5.内存：

选择大厂、颗粒质量好的高性能内存，并且注意插法。1DPC：白槽位满插，2DPC：黑白槽位满插。

七、BIOS调优设置

八、OS系统优化

8.1、将CPU的运行优先级设置最高

#nice -n -20 runcpu

8.2、将 CPU 运行频率设置为高性能模式:

#cpupower frequency-set -r -g performance

如没有该命令，根据提示自行安装。

8.3、最后执行如下命令:

#sysctl -w vm.dirty_ratio=1

备注：vm.dirty_ratio 可以用脏数据填充的绝对最大系统内存量，当系统到达此点时，必须将所有脏数据提交到磁盘，同时所有新的 I/O 块都会被阻塞，直到脏数据被写入磁盘。

九、报错分析

关于Error "reportable flag is not set"

解决方案：可以在.config中找到reportable选项并设为1，开启

关于Error"base did not have enough runs"

解Spec cpu决方案：可以利用将all替换为出错基准程序单个跑去查阅报错，大概率是次数没有跑足3次

关Spec cpu于gfortran: error: unrecognized command line option '-fallow-argument-mismatch'; did you mean '-Wno-argument-mismatch'?