字节跳动近日开源了名为“COMET”的混合专家（MoE）架构优化技术，该技术能显著提升大型语言模型（LLM）的训练效率，达到1.71倍的提升。

据媒体报道，COMET已在超过1万个GPU集群中应用，节省了数百万个GPU运算小时。

豆包大模型团队指出，MoE虽然能将模型扩展至万亿参数级，但在分布式系统上运行时易遇到通讯瓶颈，降低运算效率。COMET技术旨在解决这一问题，提升执行速度。

在单一MoE层上，COMET能提高执行速度1.96倍，而在端对端执行上，平均提高1.71倍。

此外，COMET技术的开源有望激发更多技术创新。有分析认为，该技术的普及可能会降低市场对NVIDIA高端GPU的需求。

此前，李飞飞等研究人员使用阿里巴巴的开源模型，在少量GPU上短时间内就训练出了高效能的推理模型。