苹果与NVIDIA合作，提升LLM性能

苹果与NVIDIA于18日宣布合作，旨在提高大型语言模型（LLM）的文本生成性能。双方将苹果的ReDrafter技术整合到NVIDIA的TensorRT-LLM框架中，以显著提升LLM的运行效率。

ReDrafter是苹果今年早些时候开源的一项技术，结合了光束查找和动态树状注意力技术，可显著加快文本生成速度。

NVIDIA对TensorRT-LLM进行了优化，使其能够更好地适应复杂模型和解码方法。

基准测试显示，使用NVIDIA GPU的开发者可以利用ReDrafter的加速标记生成，在贪婪解码中，每秒生成的标记数提高了2.7倍，降低了延迟和GPU使用及电力消耗。

这一合作不仅彰显了苹果和NVIDIA在技术创新上的领先地位，还为机器学习开发者提供了更强大的工具来应对日益增长的运算需求。

随着技术的进一步发展，这一合作有望在未来的生产应用中发挥更大作用，提升LLM的推理效率，降低运算成本，减少用户延迟。