人工智能和物联网正在推动第三次摄影浪潮

此博客编译自Arm Blueprint staff。

摄影技术的三波浪潮分别为静止图像，动图，未来将是融合运动、热和其他数据的相机，以更全面地了解我们周围的世界。

摄影仍然是人类最喜欢的发明之一。在19世纪初的第一波浪潮中就迅速被艺术家和记者采用，以捕捉从战争的恐怖到古代文明壮丽的一切影像。 1888年，George Eastman（科达创始人）发布了一系列傻瓜相机，让非专业人士能够记录他们的生活。

第二波浪潮始于 1878 年 6 月 18 日，当时 Eadweard Muybridge使用24台照相机拍摄马奔跑时的连续照片《奔跑中的赛马》，证明马奔跑时四蹄腾空。现在著名的序列证明，所有四只蹄子都在大步的顶部离开地面，24帧的概念，也使得好莱坞、电视剧和新闻产业开始蓬勃发展。

如今，图片和视频共同主导了互联网。人类在 2021 年拍摄了大约 1.4 万亿张照片（其中近 100% 是在基于 Arm 的智能手机、平板电脑和智能相机上拍摄的）。与此同时，视频消耗了 70% 以上的互联网流量。

那么第三波会是什么呢？由于人工智能 (AI) 支持的处理能力和计算机视觉的不断改进，“相机”将成为一种捕获多种感官输入并将周边世界画面编织成更丰富、更全面、更有洞察力的设备。您将能够捕捉到眼睛所看到的以及通常无法看到的东西。

激光雷达成像正成为热门

计算机视觉是在物联网 (IoT) 中捕获真实世界数据的基础。

凭借与人眼一样强大的处理器和重建技术，计算机可以执行更多人类视觉任务。因此，计算机视觉正迅速成为最重要的物联网真实数据捕捉方式之一。

但智能相机不仅仅捕捉我们作为人类所看到的东西。他们也越来越擅长捕捉我们无法捕捉到的东西——通过使用针对电磁不同区域的频谱而产生的成像技术。

热像仪发明于 1920年代，几十年来主要由军事或实验室技术人员和工程师使用。在 2000 年代，价格下降和性能提高使承包商能够使用热力设备来确定房屋中的裂缝。尽管如此，热运动并不是你所说的必备应用，我们大多数人最接近的感官来自观看《幽灵猎人》中捕获的超自然现象。

新冠疫情对于热像仪的采用达到了前所未有的高度。校园、博物馆和其他公共区域流量大的设施突然需要一种准确、快速且非接触式的方法来发现温度异常的人群。人工智能增强型热像仪（内置适当的隐私机制）将越来越多地包含在智能建筑平台中，以改善健康、降低能源消耗并使复杂的人工智能任务（如预测性维护和生产优化）变得实用。

在不久的将来，热成像——现在可以通过附加模块获得——可能会在智能手机中变得更加普遍，而不仅仅是在生死攸关的问题上。想象一下添加到多人增强现实 (AR) 游戏中的热传感器，热增强成像将有效地让玩家掌握目标或对手的位置和信息。

将视频流与运动数据相结合，并使用 AI 对其进行分析也逐渐成为热门。通过将人工智能、运动感应和视觉数据流融合到网络摄像头中，可以根据您自己的行为定制带有手势导航功能的便携设备，或各种家用电器。

老年护理也是一个方向。多个传感器和摄像头提供数据将使老年人能够安心的独立生活，同时让他们的亲属安心，亲属可以随时查看父母的生命体征如血氧水平，甚至爷爷制作三明治的视频片段。

汽车与相机的融合

现在我们转向汽车。LiDAR 或光检测和测距系统使用一组人眼安全激光来创建周围区域的动态 3D 图像。 Velodyne 的工程师 David Hall 在 2005 年的第二届 DARPA 机器人车辆大挑战中首次推出了 LiDAR 原型。他的车没有完成，但在 2007 年的下一个挑战中，六名完成者中有五名依赖于 LiDAR。

同时，Lucid 表示其轿车将于明年推出，将包含由 LiDAR 赋能的 DreamDrive Pro 自动驾驶平台，而 LeddarTech 正在努力标准化使 LiDAR 成本不断降低。

热成像技术也将被集成到汽车摄像头中。 Adasky公司表示，它的 Viper 相机结合了热技术、视觉成像和 ML，可以检测 300 米处的物体，并对 200 米处的活体进行分类。而传统大灯只能提供大约 80 米的能见度。

您还可以组合哪些其他传感输入？一些公用事业公司正在寻找可视化气体泄漏的方法，并将其集成到视频流和地图中，以帮助维修人员或消防员。带有嗅觉传感器、摄像头、机器学习和智能手机，就可以帮助你在超市中找到最成熟的橘子，或者让你远离一包过期的热狗。

让我们不要忘记3D技术。3D无论是在 50 年代和 2010 年代都是时尚的表现，但计算摄影、人工智能、新的屏幕技术以及将 CAD 模型与多幅图像融合在一起的渲染技术，正在产生逼真的、身临其境的图像，而不会让观众反感。

引擎盖下的技术革命

当然，所有这些都需要更多的技术工作。用于融合传感器流或增强图像的计算机视觉和其他 AI 应用将在很大程度上必须在相机本身上进行，以节省时间和能源消耗。例如，对全球估计的 7.7 亿个监控摄像头进行边缘图像分析，而不是将数据发送到云端，每年可以避免超过 1900 万吨的二氧化碳排放，同时加强隐私保护。高级摄像还需要 64 位处理器，其中包含用于图形和神经网络处理器的专用内核以及传统 CPU。

计算存储：许多计算任务发生在存储驱动器的范围内，这些也将在高级摄影产品中找到早期市场。同样，机器学习算法、处理器和其他组件必须精心设计以提高能源效率，因此电池供电的设备不会在关键时刻出现故障。随着时间的推移，软件定义的方法将进一步使硬件制造商或应用程序开发人员更容易添加新功能。

与此同时，所有这些工程工作都将伴随着对更高分辨率和更多功能的需求。从 1080p 到 4K 将使智能相机的数据速率翻倍，并将随着 8K 30fps或60fps的需求而继续增长。更复杂的摄像头也意味着黑客的攻击面更大，因此预计会在其中看到专门的加密处理器。

用光和技术进行绘画

有人可能会争辩说，这种融合超越了摄影。毕竟，摄影的意思就是“用光画画”。添加其他种类的传感输入或技术上根本不真实的逼真图像超出了当今相机的范围。但对于公众来说，相机一直是为了尽可能准确地捕捉现实——这种“现实”的范围即将变得更大。

换句话说，将传感输入融合到一个更智能的设备中，给人们他们真正想要的东西：大局（big picture）。