字节跳动旗下火山引擎发布自研视频编解码芯片，与英伟达合作开发开源BMF多媒体处理框架

去年7月，外界曾有字节跳动造芯传闻，当时字节正招聘大量芯片相关工程师岗位，包括SoC和Core的前端设计，模型性能分析，验证，底层软件和驱动开发，低功耗设计、芯片安全等。据了解，目前字节芯片团队分为服务器芯片、AI芯片以及视频云芯片三大类，其中服务器芯片团队的负责人为来自北美高通的资深人士。在此之前，字节跳动已经从华为海思、Arm公司“挖”了不少人，很明显是为其自研芯片做准备。

而字节跳动副总裁杨震原在媒体采访中回应称，公司无通用芯片商业计划，没有涉足CPU、GPU等通用芯片业务。但注意，这里留了个悬念，不造大芯片，但小芯片并没有否认。

果然，8月22日，字节跳动旗下火山引擎视频云正式宣布，其自研的视频编解码芯片已成功出片。

NVIDIA英伟达开发与技术部门亚太区总经理李曦鹏（左）和火山引擎视频云架构技术总监王悦（右）共同宣布开源BMF多媒体处理框架

相比行业主流硬件编码器可提升30%以上

经验证，该芯片的视频压缩效率相比行业主流硬件编码器可提升30%以上，未来将服务于抖音、西瓜视频等视频业务，并通过火山引擎视频云开放给企业客户。

视频是由一张张图片连接起来的动态图像序列，视频编解码则是视频应用的基础技术，作用是对图像进行压缩和数字编码，以尽可能小的带宽传送高质量的视频数据。

火山引擎视频云架构技术总监王悦认为，“视频编码每升级一代，质量码率减少50%，但大规模的视频数据量增长不止2倍，视频编码标准的迭代速度已经追赶不上视频数据量的增长速度，必须通过硬件创新来突破算力瓶颈。”

字节跳动视频架构负责人、火山引擎视频云架构技术总监王悦

“随着超高清/8K、VR直播、实时音视频互动等日益丰富的低延时视频场景兴起，对企业而言，如何保证视频处理的质量、效率，并兼顾成本尤为重要。”王悦表示。

据介绍，基于抖音等视频业务的大规模实践，火山引擎将自研的视频编解码技术融入到专用芯片中，可应用于视频点播、直播、图像压缩、XR等业务场景。对于普通人来说，这颗视频编解码芯片的发布，意味着我们能够享受到更加清晰、流畅的视频体验。无论是看剧、刷抖音icon还是玩游戏，画面都会更加细腻、逼真。

王悦表示，与具备通用计算能力的CPU芯片相比，火山引擎自研芯片仅支持视频编解码任务，因此能够在特定场景具备更高的计算密度，一台视频编解码芯片服务器的转码能力，与上百台CPU服务器相当。将自研的视频编解码技术融入到专用芯片中，视频压缩效率相比行业主流硬件编码器可提升30%以上。同时，该芯片可将单个视频的计算、存储和传输边界成本降到极致。

与英伟达合作开发BMF多媒体处理框架

第三方数据显示，中国用户量排名TOP100的App中，有69%搭载了视频类功能，65%搭载了点播功能，51%有直播类功能，32%有实时音视频类功能。视频应用正在从内容、娱乐行业拓展至泛互联网和大量传统行业。

火山引擎总裁谭待表示，在营销、空间、商业和知识的交互体验都在发生变化的视频化时代，视频云技术因其从视频生产、视频处理到视频消费的全链路技术能力被赋予了重要使命。随着AIGC、XR等技术的兴起，新技术与视频云的融合将带来更多创新和价值。

视频数据量呈爆发式增长，应用场景也在不断拓展。初心资本合伙人许旸洋认为视频正吞食一切是当下大的趋势，而视频化的形式将变得更加平民化，每个人都可以是视频创作者，视频大量出现倒逼底层技术升级。

但与图文内容相比，企业自建视频应用对技术积累和资金成本要求较高。

“为此，火山引擎与英伟达合作开源BMF（BabitMultiMediaFramework）多媒体处理框架，能够更好地支持CPU、GPU以及视频编解码专用芯片等异构计算资源，在不同场景充分发挥各自优势，将显着降低网络视频服务的计算、存储及传输带宽成本，旨在帮助企业和开发者将各类视频的原子能力与方案做到优势互补、协同工作和快速落地。”谭待补充道。

在架构关系上，BMF异构层包括了CPU、CUDA、FPGA，以及字节此次自研的ASIC算力。再之上分别是包括视频编解码在内的模块层、框架层，以及应用层。

英伟达开发与技术部门亚太区总经理李曦鹏表示，此次火山引擎与NVIDIA的合作主要是指新的视频处理框架。过去的视频处理主要通过FFmpeg（一种命令行工具，用来对视频文件转换格式），后者方式主要包括调用C++的API，以及命令提示。但在视频复杂实时交互的编辑需求下，FFmpeg很难与现有AI应用连接起来。目前该框架主要面向开发者群体，会令过去使用FFmpeg等AI框架进行视频处理的开发者受益，也利于更多的创新诞生。

英伟达和火山引擎始终将把BMF打造成新一代视频处理的基础平台作为目标。“未来，我们会与火山引擎保持合作，听取社区及用户的意见，在英伟达最新的软硬件平台上进行迭代，继续完善BMF框架。”李曦鹏说。

结合火山引擎智能创作云的AIGC能力，火山引擎视频云在商品营销、互动娱乐、在线教育、数字金融、智能驾驶等场景引入了数字人、虚拟直播间等AIGC能力，助力企业降本增效、提升用户体验。近期，火山引擎视频云还首次采用视觉大模型对经典港片进行4K修复，帮助老片修复进一步提升画质。

火山引擎智能创作云负责人廖谦介绍，智能创作云产品已经为抖音生活服务商家提供了从脚本创意、视频制作、内容发布和数据回馈的完整AI能力，大幅降低了企业和商家的视频使用门槛。数据显示，智能创作云产品已经服务了3000多家企业及商家，合成了超过309万条视频，视频曝光量高达15.4亿。