数据传输的未来取决于PCIe的进展

快速外围组件互连（PCIe）总线标准背负着许多期待。也可以说，它需要容纳庞大的数据。不论是相对较成熟的快速非易失性存储器（NVMe）标准，或是初入市场，但快速成长中的Compute Express Link (CXL)标准，都是采用了高度普及的PCIe接口。而最新的PCIe 6.0也预计在2021底正式发布。

Microchip Technology数据中心业务部门主管Mark Orthodoxou认为，PCIe的价值在于其普及性，以及和各种CPU之间的互操作性。而PCIe开放的特性也促成了一整个依附其生长的生态系统。他表示，PCIe接口的缺点归根究底皆源自于它随时间已变得越来越复杂，但凭借着市场上大量的可授权IP，这一难题也并非难以克服。

图1：随着移动设备和汽车产业中出现新的机会，PCIe I/O总线规范预计会按每三年一次的频率持续更新，而NVMe和CXL等技术也将持续通过PCIe接口提供更佳的存储与内存效能（源：PCI-SIG）

PCIe有一个根本上的缺陷那就是许多我们今天使用的功能，在PCIe发展的初期根本还没有人想到。如Orthodoxou所说，随着新的应用渐渐出现，一个个意料外的问题也相应而生。其中一个例子是支持热拔插的服务器NVMe固态硬盘。“这个接口在设计之初并没有考虑到热拔插。像这类功能都需要额外的开发工作。随着人们不断发明运用PCIe的新方法，整个接口也逐渐变得越来越复杂。”但Orthodoxou认为，这些缺陷在本质上并不阻碍创新技术的发展。也因此出现了像CXL等运用PCIe的新技术。“CXL协议终究是依附PCIe而生。”

CXL虽有望比其它设备更早运用PCIe 6.0，但Orthodoxou认为CXL联盟可能还需要一段时间厘清CXL的最终样貌，才能真正发挥最新PCIe接口的价值，并满足新的使用情境。“CXL也没有其它更快速的接口可以选择。”

图2：弹性化的处理器端口，能够在标准的PCIe事务协议或CXL事务协议间自动协商(来源: CXL)

Microchip旗下许多产品皆运用到PCIe技术，如PCIe交换器与NVMe控制器，其应用领域横跨工业、汽车，以及数据中心等不同市场。他表示：“PCIe为我们创造了大量的市场机会。”该公司于CXL联盟内相当活跃，但至今除了CXL Retimer以外，尚未发布其他CXL产品。

IDC固态存储与使能技术研发副总裁Jeff Janukowicz指出，NVMe产品上市已接近十年，但直到去年，企业花费于购置NVMe PCIe产品的支出才终于占了所有SSD产品的一半以上。“这个转变花了好一段时间，PCIe的种种好处到了今天才终于逐渐显现。”Jeff Janukowicz表示，NVMe 2.0上市将进一步推动PCIe技术的发展，并在外型尺寸方面开创传统硬盘架构下无法实现的创新技术。“我们终于开始摆脱一些来自硬件方面的限制。”

Janukowicz表示，PCIe已经演变成一种基础技术，而CXL和其它类似协议的诞生也反映出工作负载的逐渐多样化。“为了满足不同环境下的需求，业界做了非常多的创新。像CXL等技术也逐渐吸引到了人们的注意。”他表示，NVMe是为了存储设备而设计，但CXL为了推动更高的能效和更低的复杂度，是以内存为中心设计，因此也涵盖了内存连接设备（memory-attached devices），内存扩展，以及加速器等面向。

Janukowicz认为，CXL的一大价值在于它是一个开放的标准。和PCIe一样，任何人都可以投入开发更多解决方案，以能够因应新型态工作负载。“为了支持新一代的工作负载，业界投入越来越多资源在扩大内存池，如存储于内存的应用程序和数据库，或是人工智能与机器学习等新兴应用。”

然而，并不是所有人都将PCIe的开放标准视为唯一选项。Nvidia即选择开发自家的PCIe替代方案NVLink。2014年问世的NVLink是一种有线的通信协议，专为近距离半导体通信所设计，可用于CPU与GPU之间或是多个GPU之间的数据与控制代码传输。

Nvidia产品管理高级总监Paresh Kharya表示，PCIe虽然普及，但却远远无法提供Nvidia自家服务器在处理AI或其它高性能运算时需要的速度。“产业对于运算能力的需求时时在增加。一个提升运算力的方法是将多个GPU结合为一个使用。”NVLink为Nvidia的GPU提供了具延展性的高速可扩展的互连能力，让多个GPU之间可以交互运作，共同形成一个高能效的加速器。他表示，NVLink首度问世时即提供了PCIe 3.0五倍的带宽，现在双向带宽更达到了每秒600GB，几乎接近主流PCIe 4.0的十倍。

虽然NVLink是Nvidia的专利技术，但其GPU仍然支持PCIe。Kharya表示：“这仍是我们现阶段和CPU连接的方式。”他表示，虽然也有其它厂商（如IBM）将NVLink技术导入它们的处理器，绝大多数的应用都还是集中在加速Nvidia自家的GPU。为了加速NVLink在广大生态系内的普及，Nvidia对外供应搭建NVLink功能的服务器基板与主板。全世界最快速的超级计算机中，有一些就使用了NVLink。

Kharya表示，NVLink让Nvidia可以快速地创新，并为顾客持续改善产品性能。“我们计划尽可能快速地持续开发NVLink。”他表示，虽然NVLink目前论及带宽明显胜过其它标准，但Nvidia仍旧积极地和CXL社群合作，推动PCIe标准的进展。“我们希望PCIe标准可以发展得越快越好。”

Janukowicz表示，定制化技术确实有其优势，例如可针对特定环境优化能效、延迟、成本，或是功耗表现。但另一方面，开放性的标准光是在成本方面就具有许多好处。“开放性标准在过去一直是推动市场的必要元素。”他表示，客户一向都不放心被任何单一厂商绑死，尤其是在现今供应链受到疫情影响严重的情况下。“疫情反映出了弹性的重要。在开放的环境下，你可以通过多个供应商分担风险，或随时有多个替代选项。”

而随着CXL持续成长，PCIe的发展也丝毫没有停下脚步。Rambus研究员Steve Woo表示，CXL是数据推动架构演化的绝佳范例。高带宽内存（HBM）和GDDR的发展速度创下历史新高，反映出数据与架构的重要性。他表示：“像CXL这样的标准会持续推动PCIe速度的成长。”“PCIe在产业中存在很久了，它不只可靠，更已获得人们的了解和信任。”

Woo表示，内存速度或计算不再是能效的瓶颈，而数据移动的速度正逐渐成为新的能效瓶颈。在过去，图形运算一向是PCIe速度的主要推手，因为市场对于分辨率和帧率的需求不断提高。但现今数据成长的步调已完全非昔日可比，短短几年的发展就足以让数据量翻倍，这意味者传输通道的能效也必须跟得上。

这正是PCIe 6.0承诺要做到的。在今年五月底的一场网络研讨会中，定义PCIe I/O总线规格与相关外形尺寸的“PCI Express特别兴趣小组（PCI-SIG）”表示最新的PCIe版本将会提供自PCIe 3.0以来最显著的升级。与上一版相比，新的PCIe版本提供了两倍的数据传输速率、更高的信号速率，以及更严格的信号完整性要求。PCI Express草案0.71已在七月初发布供成员审核。下一份草案（0.9）预计将随后发布，并经由两个月的审核期解决剩余议题。正式版本预计将于年底发布。

PCIe 6.0导入了PAM4信号和低延迟前项纠错（FEC），前者允许一个串行通道可以在相同的时间内容纳更多数据，后者搭配额外机制可改善带宽效率与可靠性。此外，PCIe 6.0也包含了以AES-GCM为基础的完整性与数据加密（IDE）功能，为整个TLP提供认证与加密保护。单个PCIe 6.0 x16就可以支持800G以太网络。此版本的主要目标是高带宽应用，如云端、人工智能、机器学习以及 边缘运算等。

图3：Nvidia在七年前选择开发自家的PCIe替代方案。NVIDIA A100使用的NVLink提供了比前代产品多一倍的跨GPU通信带宽，是PCIe 4.0的接近十倍。(来源：Nvidia)

PCIe 6.0规格预计将恰好在企业级PCIe 5.0设备开始上市时完成。PCIe 5.0规格于2019年5月发布，拥有比前代多一倍的带宽，并向下兼容所有PCIe世代。此外，PCIe 5.0也在电路上做了有助于改善信号完整性的改良，并提高了连接端口的机械性能。

PCI-SIG总裁兼董事会主席Al Yanes表示，该组织的成员数持续成长，至今已有接近900名来自全球企业的员工加入PCI-SIG，目标遍及所有种类的设备，但其中以移动设备和汽车产业受到特别多的关注。“我们为此成立了一个工作小组，并获得了热烈的响应，因此这就是我们的下一个目标行业。”

他估计PCIe标准会持续以每三年一次或更高的频率更新，并以兼容性以及向下兼容能力为持续的开发重点。此两项在过去一直是总线标准成功的关键要素。