最近媒体大肆报道安兔兔(AnTuTu)的最新基准测试结果和ABI Research公司的一份声称“英特尔应用处理器(Atom Z2580)性能完胜英伟达(Nvidia)、高通和三星处理器”的最新报告。(参见“Intel processor outperforms Nvidia, Qualcomm, Samsung ICs”)
这种笼统的说法基本是在宣称：英特尔已经在非常重要的高端智能手机移动处理器领域超越了整个ARM生态系统。通常，我对于其他市场调研公司的信息或评论不做置评，但这一次我感到很蹊跷。
对当前的移动处理器进行评价是个颇具挑战性的工作。这些处理器称为片上系统(SoC)更恰当，因为他们相比通常用于PC的CPU(中央处理器)而言复杂得多。这些处理器是由不同的处理组件以及内存、I/O、高速网络、通信调制解调器和许多其他的专用系统功能构成的一个复杂系统。单从这一点看，仅就它们的技术参数进行比较是十分困难的。
处理器集成在移动设备中，这也使评测变得更加复杂了，因为这些处理器的整体性能和功效要受到其他系统部件的影响，如软件、多媒体加速器和无线联 网功能。结果就是，行业通常采用基准测试对处理器和设备进行比较。然而，移动处理器的基准测试仍然无法提供一个精确的评测结果。
基准测试面临一大堆问题。首先是移动处理器和终端的复杂性和多样性，没有任何两种处理器或终端的设计是一样的。第二个是很难对实际的使用模式进 行测试。例如，智能手机的功能多种多样，包括通信、内容创建和娱乐。此外，使用习惯因人而异，不仅人与人之间不同，而且每个人根据其当前需求的不同使用模 式也会不同。而且使用模式也在随着新应用、内容和终端不断发生变化。
最后，基准测试还经常被滥用。基准测试一直是技术厂商以最正面的方式展示其产品优势的最佳途径。结果是，厂商通过各种手段试图操纵基准测试结 果，包括优化硬件配置或修改软件来匹配基准测试参数，甚至试图影响基准测试代码或方法。可想而知，没有哪项基准测试在评测处理器或终端方面是完全准确的。 然而，如果某项基准测试结果较低，则另一项通常会较高。这就是为什么人们通常要采用一整套基准测试软件来对产品进行评测。
因此，让我觉得蹊跷的第一件事是，声称新英特尔处理器完胜所有ARM竞争对手的文章中提到的唯一的基准测试软件就是安兔兔。在涉及ABI Research公司报告的报道中，新闻稿只是笼统地提到使用了“基准测试”去衡量整体性能和电量消耗，即衡量处理器功率效率的方法。虽然ABI Research公司并未说明采用了什么基准测试软件，但英特尔和其他技术评论杂志都已确认他们采用安兔兔基准测试软件得到了类似结果。
然而，这些消息来源中有许多表明，基于ARM处理器的设备运行其他基准测试软件会展示出更高的性能和更低的功耗。为进一步研究这种差异，我从技术评论杂志、基准测试组织和其他行业资源处汇编了多种基准测试信息。
下图显示了三星Exynos 5 Octa处理器与英特尔Atom Z2580的基准测试结果。采用英特尔处理器的终端是联想K900，而采用三星处理器的终端是三星Galaxy S4 GT-I9500。可以看到、到使用高通骁龙600处理器的三星 Galaxy S4 GT-I9505的基准测试运行结果与采用三星处理器的GT-I9500十分接近。因为来自不同来源的数据有差异，因此最终的数字是平均数，并在必要的情 况下考虑了基准测试的不同版本。
结果表明，英特尔处理器相对于三星处理器的明显优势只表现在安兔兔测试软件中，并且是仅在安兔兔多次基准测试中的一次结果。这就产生了诸多问题。第一个问题是：为什么这些基准测试结果相差这么大呢？
在安兔兔跑分测试中，英特尔处理器在RAM内存性能上具有近乎一倍的优势。但是，Quadrant和 Geekbench跑 分测试则显示，三星处理器的内存优势达50%。同时，Geekbench跑分测试显示，三星处理器在内存带宽方面的优势几乎达到两倍。同样地，安兔兔跑分 测试显示三星处理器的CPU性能高出20%，其它软件(Quadrant, Geekbench, and Linpack)的CPU跑分测试则显示三星处理器的CPU性能至少具有2.3倍的优势。
这一测试结果差异巨大。在统计评估中，消除异常数据点得出的结果才是正常的。如果消除异常数据点，最终评估将不包括流行的安兔兔跑分测试软件得出的结果。此外，异常数据还将被检测是否存在错误。
对安兔兔跑分软件的近一步评测显示，该软件的不同版本导致了跑分结果发生了一些很重要的变化，这点很常见。但是，如下图所示，上一代用于摩托罗拉RAZR i中的英特尔凌动处理器 Z2460在和三星Galaxy S4对比时，前者的性能惊人地高出了很多。需要注意的是，这里引用摩托罗拉RAZR i的数据，是因为跑分软件以前的版本不适用于联想K900， 但其实两者的处理器的CPU配置都是相同的，也采用了相同的半导体制造工艺。
从安兔兔2.9.3 版到3.3版， 英特尔处理器整体的分数提高了122%， RAM 分数增加了 292 %，与此相比，三星处理器的分数只对应增加了59 % 和 53%。这只是因为跑分软件版本的变化，而处理器并没有变化。为什么在跑分软件的版本发生改变时，一个处理器的数据比另一个变化的程度大出很多呢？这进一 步让我们质疑安兔兔跑分软件的可靠性。
第二个问题是：为什么如此多的行业观察者仅仅通过一个测试就得出了如此概括性的结论，而没有引用一系列的测试呢？对于厂商来说，急于把产品最好的那一面展示出来是可以理解的，但作为行业观察者则应该更加客观。
不幸的是，我们生活在这样一个世界中，哗众取宠的规则和标题很少能反映出整个事件，更不用说真相。在任何情况下，一个检测的结果，尤其是一个看 上去与别的检测相悖的结果，与其说是结论性的倒不如说它很可疑。同样有些讽刺的是，英特尔下一代Atom处理器Bay Trail的性能基准刚刚曝光，仅有的检测工具又一次是安兔兔。
唯一可以得出的清晰结论是，基于ARM的处理器仍然领先于最新的英特尔处理器(最近GSMArena对于三星Galaxy 3 10.1的评论文章也得出了相同的结论)，所有的基准测试都应该被质疑并且不能被单独使用。最近的新闻标题更具有煽动性而非真实性。
可以肯定的是，移动处理器的霸主地位之争非常重要，尤其是许多智能手机和平板电脑生产商都开始设计自己的处理器。然而，这场战争不仅仅在于处理器的性能或是一种处理器的性能。真正的战斗建立在平台的层面上，其中，性能功效，连接性以及用户体验是明显的因素。
