Google宣称OpenCL可让推论效能翻倍

Google以OpenCL为基础，为Android系统的TensorFlow架构推出了最新的行动GPU推论引擎。由于OpenCL一开始便是配合各种加速器运算所设计，Google宣称OpenCL的速度可达目前OpenGL后端引擎的2倍。

据VentureBeat报导，问世已近30年的OpenGL是一个不受平台限制(platform-agnostic)，可执行2D、3D向量图形渲染的API。向下相容的设计考量，使得OpenGL无法让装置的GPU能力完全发挥。Google最新推出的OpenCL行动GPU推论引擎，一开始设计时便考虑到配合各种加速器的运算，因此能更符合行动GPU推论需求。

新的OpenCL推论引擎可透过优化器选择正确的工作群组大小，借此提升效能，在高通Like Qualcomm Adreno GPU这类硬体上，速度能提升50%。

OpenCL推论引擎能本机支援FP16，并要求加速器表明资料类型的可用性。在加速演算法运算后，引擎便能减少记忆体、频宽需求及训练时间。此外，OpenCL能够透过实体常数记忆体维持协同，也是它能大幅超越OpenGL效能的原因。

在标竿测试中，TensorFlow团队将Vivo Z3的OpenGL后端替换成OpenCL后，成功将MNASNet 1.3神经架构搜寻系统延迟从100毫秒以上，缩短至25毫秒。在另一项针对物件侦测演算法SSD MobileNet v3的测试中，TensorFlow团队则利用OpenCL将延迟从100毫秒缩短至不到25毫秒。

此外，Google指出OpenCL并非标准Android的一部分，因此不是所有用户都能使用。

内容源：摘自DIGITIMES