超分辨率技术火爆，能解决物联网的刚需吗？

正是在巨大的计算和训练下，DLSS已经成为目前最好的游戏超分辨率技术，但它也限制了英伟达自己的GPU平台。为了与老黄竞争，AMD还推出了相应的超分辨率技术FSR。幸运的是，FSR技术不需要特定的硬件，所以即使是竞争对手的GPU也可以充分利用。

随着图形渲染技术和传感器的发展，我们在日常生活中接触到的分辨率已经从过去的720p和1080p提高到4K和8K。然而，在此之前，视频仍然停留在原始分辨率上，对于图形性能不足的硬件来说，仍然很难渲染4K以上的分辨率，因此超分辨率技术应运而生。

不同技术路线的超分辨率技术

现有的超分辨率技术有几种，如基于插值的AD5161BRM5超分辨率技术、基于重构的超分辨率技术和基于深度学习的超分辨率技术。插值方法主要基于图像插值技术，即图像缩放技术，利用已知像素计算未知像素的插值，最后利用传统的图像技术进行一定的修复。这是最快的方法，但质量不好说。锯齿和边缘处理不到位，可以说远远落后于理想的超分辨率。

深度学习方法在机器视觉领域得到了很好的应用，因此基于该方法的超分辨率技术取得了丰硕的成果，重建效果远优于传统方法。通过卷积神经网络获得的高分辨率图像不仅纹理细节更清晰，而且在信噪比方面也取得了优异的性能。

GPU厂商推广的超分辨率技术

由于超分辨率技术可以显著降低游戏场景中的图形压力，显著提高游戏帧率，GPU制造商仍然是应用最广泛的。英伟达是第一个推出类似技术的，其DLSS技术于2019年推出，但当时的1.0版本一团糟，甚至不如简单的图像插入技术好。

在2020年推出的2.0版本中，英伟达使用了自己GPU中的特殊人工智能处理单元Tensorcore，并使用了时间抗锯齿升采样技术，新的人工智能可以集成到每个游戏中，而无需训练。DLSS作为一种基于深度学习的技术，一直在不断改进。目前，2.3版本的DLSS大大改善了运动拖影和粒子效果的渲染。正是在巨大的计算和训练下，DLSS已经成为目前最好的游戏超分辨率技术，但它也限制了英伟达自己的GPU平台。

为了与老黄竞争，AMD还推出了相应的超分辨率技术FSR。与DLSS技术相比，FSR涉及的计算工作要少得多。毕竟，不需要额外的计算单元。FSR作为一种后处理算法，主要是利用空间算法对当前画面帧进行升级和增强，而不需要任何深度学习。虽然游戏的帧数有了显著的提高，但在图形质量上还是会看到很多模糊，尤其是在动态场景中。幸运的是，FSR技术不需要特定的硬件，所以即使是竞争对手的GPU也可以充分利用。

据说AMD很快就会在GDC上发布新的FSR2.0技术。这一次，AMD也效仿英伟达，利用时间数据升采样品。更令人惊讶的是，即便如此，该技术仍然不需要任何独立的机器学习硬件，这意味着FSR2.0很有可能成为DLSS的合格竞争对手。

物联网能否搭上超分辨率技术的班车？

事实上，即使这两家公司在技术路线上有所不同，它们都在宣传提高游戏的帧数和图形质量。然而，如此高效的超分辨率技术只能用于游戏吗？相反，一些物联网，特别是工业物联网的应用，也需要处理低分辨率的图片和视频。低分辨率在一定程度上限制了信息传输的准确性，从而降低了传输效率。例如，在医学图像中，高分辨率图像可以更准确地判断疾病。但由于各种原因，上述三种超分辨率技术只能用作游戏优化技术。

首先，由于实现方式的不同，在游戏中支持这种超分辨率技术实际上是通过与图形渲染引擎的集成来实现的，而不是简单地处理图像或视频。因此，除非使用图形引擎，如Unity或Unreal，如工业场景中出现的数字双系统，否则这些技术不能得到充分利用。

其次，这些技术对硬件计算能力也有一定的要求。这里提到的计算能力不仅是图形计算能力，还有人工智能计算能力。如果是英伟达的DLSS技术，需要特定的硬件才能实现。目前，物联网场景中的边缘设备往往没有很高的计算能力。即使在边缘人工智能的实施中，最多也只是对图像和视频进行一些简单的处理，如准确识别智能水表上的刻度等。

这并不是说物联网目前不能享受这样的超分辨率技术，但稍微可行的解决方案可能仍然需要在云中实现。例如，智能监控摄像头拍摄的视频可以同时存储到云中进行人工智能超分辨率重建。

然而，这种方案目前应该很难推广。首先，考虑到这种云服务器的部署成本很高，如果只是单通道传输，工业物联网场景通常同时传输数十个1080p视频流。其次，许多物联网应用程序仍然关注实时数据传输。以智能监控摄像头为宠物摄像头为例，需求是实时观察宠物的趋势，而不是等待人工智能重建后的视频。

幸运的是，边缘人工智能和深度学习模型引起了物联网领域的关注。专注于传感器、MCU等硬件的制造商或多或少开始增加一定的人工智能/ML计算性能。未来，随着边缘人工智能计算能力的提高和超分辨率深度学习模型成本的降低，物联网可以真正享受到超分辨率技术的好处。