亚马逊的新武器：推理芯片inferentia和Arm服务器芯片Graviton2

在拉斯维加斯举行的AWS re：Invent会议上，亚马逊带来了两款芯片的介绍。一款是去年推出的，专注于推理的芯片inferentia的应用，另一款是新的Arm服务器芯片Graviton2。

首先看inferentia。据了解，该芯片于去年首次宣布。据了解，AWS Inferentia 是一个由 AWS 定制设计的机器学习推理芯片，旨在以极低成本交付高吞吐量、低延迟推理性能。AWS Inferentia 将支持 TensorFlow、Apache MXNet 和 PyTorch 深度学习框架以及使用 ONNX 格式的模型。亚马逊进一步指出，AWS Inferentia 提供数百 TOPS（每秒万亿次运算）推理吞吐量，以允许复杂模型能够进行快速预测。对于更复杂的性能需求，可以组合使用多个 AWS Inferentia 芯片来支持数千 TOPS 的吞吐量。

从数据上看，AWS Inferentia每个芯片集成了4的neuroncore，每秒可提供128 Tera操作（每秒TOPS或数万亿次操作），支持FP16、BF16、INT8等数据类型，能支持多个框架（包括TensorFlow，PyTorch和Apache MXNet），每个Amazon EC2 Inf1实例最多可提供2000 TOPS。

正如AWS首席执行官安迪·贾西（Andy Jassy）指出的那样，许多公司都在关注可让您训练模型的定制芯片（尽管Google和其他公司肯定会对此表示反对）。他进一步指出，推理通常可以在常规CPU上很好地工作，但是定制芯片显然会更快。 

“与EC4上的常规Nvidia G4实例相比，借助Inferentia，AWS可提供更低的延迟和三倍的吞吐量，且每次推理成本降低40％”，Andy Jassy强调。 

从亚马逊的介绍我们可以看到，新的Inf1实例可实现多达2,000 TOPS的功能，并与TensorFlow，PyTorch和MXNet集成，以及用于在框架之间移动模型的ONNX格式。但目前，这颗芯片仅在EC2计算服务中可用，但很快也会用于AWS的容器服务及其SageMaker机器学习服务。 除此之外，亚马逊还带来了新一代的，拥有强悍性能表现的Arm服务器芯片Graviton2。据亚马逊介绍，AWS Graviton 2处理器的速度比以前一代的芯片快7倍，浮点性能是2倍。AWS进一步表示，Graviton2芯片的单核高速缓存是其两倍大，并具有额外的存储通道（根据定义，它几乎必须如此），并且这些功能一起使Graviton2的存储速度比原始Graviton快5倍。

资料显示，Graviton2是一个基于Arm全新内核Neoverse 定制设计的7nm SOC，具有64个Arm Neoverse N1内核（每个64KB L1 / 1MB L2高速缓存），支持双SIMD，并支持int8和fp16处理的特殊指令。

最为一个用用300亿晶体管的野兽，Graviton2的大小与AMD的EPYC相似，比其他任何数据中心处理器都要大。N1内核通过网状架构连接，具有大约2TB /秒的带宽，32MB L3高速缓存和64通道PCIe gen 4通道。Graviton2服务器通过带有临时密钥的AES-256支持8个DDR4-3200通道的始终加密的内存以及高达1Tbit / sec的压缩内存加速。这几乎是一个“核心”，具有一些非常特殊的功能，例如用于ML推理的本地fp16和始终加密的内存。给我留下深刻的印象。 针对更快的机器学习推理提供了优化的指令，以及针对压缩工作负载的自定义硬件加速。另外，AWS Graviton2处理器还提供始终在线的完全加密的DDR4内存，每核加密性能提高50％，以进一步增强安全性。

据透露，与第一代Graviton相比，AWS称Graviton2的性能是前代的7倍，计算核心是4倍，而内存则是5倍”。它还提供25Gbps网络和18Gbps EBS带宽。在和竞争对手相比，AWS Graviton2的实例也能提供不错的性能表现。

以下是AWS提供的，M6g在数据中心实例中，实测数据与M5对比，有了很好的提升： 

整数性能比SPECint2017速率高40％以上（估计）

SPECfp2017速率的浮点性能提高了20％以上（估计）

SPECjvm2008上的Java性能提高了40％以上（估计）

NGINX上的Web服务性能提高20％以上

在Memcached上的性能提高40％以上，并具有更低的延迟和更高的吞吐量

对于未压缩的1080p到H.264视频，媒体编码性能提高20％以上

BERT ML推理提高25％

Cadence Xcellium EDA工具的EDA性能提高50％以上

 另外，据亚马逊AWS介绍，客户可以在这个芯片的系统上运行以下程序： 操作系统/环境：Amazon Linux 2; Ubuntu 16.04 / 18.04 / 18.10; RHEL 7.6 / 8.0；适用于Arm 15的SUSE Linux Enterprise Server；Fedora Rawhide /原子；Debian 9.8; Docker桌面社区和Docker企业引擎（测试版），“更多即将推出” 容器：Amazon ECS和Amazon EKS（在预览中），AWS 表示 “在Docker Hub中托管的大多数Docker官方映像（截至今天，已超过70％）已经支持64位Arm系统以及x86。” 工具：AWS Marketplace，Systems Manager，CloudWatch，CodeBuild，CodeCommit，Cloud9，CodePipeline，Inspector，批处理，CDK，CodeDeploy，CodeStar，CLI，X-Ray和Amazon Corretto（OpenJDK发行版）。 AWS服务：Amazon ElastiCache，EMR，弹性负载平衡 亚马逊的芯片业务主要基于他们在2015年收购的以色列芯片设计公司Annapurna Labs。据悉，亚马逊收购Annapurna Labs的价格约为3.5亿美元。

该公司主要研发微处理器，这种微处理器可以让低功率的的计算服务器和存储服务器快速地运行数据。Annapurna Labs是过去10年中以色列国内成长起来的优秀初创型芯片厂商之一。 Jassy在re：Invent的开幕主题演讲中也表示：“在AWS的历史上，对我们来说，一个重大的转折点是我们收购了Annapurna Labs，这是一群由以色列非常有才华和专业的芯片设计师和制造商组成的团队，我们决定实际上将设计和制造芯片以尝试为您提供更多功能，” 因为数据中心是一个拥有超过90%以上的市场，为此亚马逊进入这个市场，被看作是与Intel的直接竞争。但亚马逊的贾西（Jassy）表示，英特尔是“非常紧密的合作伙伴，但为了更高的性价比，我们必须自己进行一些创新。而据介绍，这个价格/性能比会较之X86系统高于40%。