海思发布新一代AI ISP，强在哪里？

上海海思长期洞悉视觉感知领域的业务特征，围绕图像处理和智能分析技术不断创新，致力为行业伙伴提供领先的技术解决方案。2021年，海思推出越影®AI ISP：用于物联网智能终端的新一代智能图像处理引擎，突破传统ISP图像处理的极限，将业界画质标杆推向新的高度。

视觉产业过去十年发展，历经“看得见”与“看得清”，到当前“ 看得懂”的智能阶段。图像分辨率持续提升，图像效果不断优化。但是由于视觉感知的场景非常碎片化，在暗光、逆光、运动等场景下输出高质量图像仍然是行业公认的难题。

ISP是对图像传感器输入的原始数据进行图像处理的首个环节，既是“看得清”的重要保证，也是后续“看得懂”的直接输入，ISP输出图像质量决定着“看得懂”的天花板。ISP涵盖了数十种图像信号处理算法。为了适配各种不同的镜头和传感器，需要优化调整成百上千个参数，保证ISP兼备通用性和灵活性。同时ISP中众多模块的算法是相互影响的，算法协同需要大量调试工作。这是一个极其复杂的过程，也是一项极具挑战的任务。面对越来越高的场景复杂度，基于滤波等传统图像处理技术在暗光、宽动态等场景下，画质获得显著改进越来越困难。而且随着参数库逐渐庞大，调试越发困难，开发周期逐步拉长，画质提升的投资收益率也越来越低。

近年来，利用AI进行图像增强逐渐成为行业研究新热点并取得了显著的进展，尤其是利用AI对静态照片的优化已经广泛应用于高端手机的相机拍照并获得了不错的效果。而视觉行业的特点要求能够对高分辨率、高帧率的视频，应用AI进行实时调优，对算法、算力的要求更高，特别是要求在端侧算力环境下高效实现AI ISP功能，获得相比传统ISP更优的效果。    

上海海思利用在传统ISP画质技术上的长期积累和经验，以及在端侧AI架构和优化上的优势，在本届安博会期间发布新一代智能图像处理引擎 — 越影®AI ISP，将传统画质优化经验与AI技术深度融合，为实时高清视频的图像质量带来质的飞跃，相比海思上一代旗舰ISP在五方面取得显著进步。

【超感光降噪】基于深度学习的智能降噪，信噪比4倍提升

去噪一直是ISP的重要功能，尤其在视频感知领域，夜景下的去噪尤其重要。例如在夜晚光照不足街道或园区，各种各样形态各异的噪声会出现在记录的视频中，严重影响画面清晰度，难以“看得清”，更难以“看得懂”。传统的NR技术采用多级时域/空域滤波，且滤波器设计融合了多种异构类型，收益已逐渐降低。海思利用神经网络深度学习海量低照度场景图片的噪声和信号的分布特性，训练出一套智能降噪的算法模型，让越影®AI ISP能智能区分图像中的信号和噪声，实现低照度场景下的智能降噪。根据测试，越影®相比海思上一代旗舰ISP提升明显，在低照场景下图像信噪比可提升4倍。

【多光谱融合】采用专用硬件加速，实现0.01Lux低照全彩

【超级宽动态】自适应光线复杂变化，动态范围提升12dB

【超级稳像】6轴数字防抖，视频成像稳定性大幅提升

【多维度感知】多感知跨界融合，激发智慧视觉新潜能

视觉与AI是新基建众多领域的关键技术，也是智能终端最重要的基础能力。上海海思以视觉产业为基础，在端侧视觉感知、AI计算领域有深厚的经验和业界领先的核心能力，坚持投入，不断创新，为行业伙伴提供最领先的技术与解决方案。海思越影®AI ISP将视觉与AI能力深度融合，将为千行百业智能终端提供更卓越的视觉能力，在城市管理、工业生产、智慧生活、行车安全等诸多方面，为社会和人们创造更多价值。