【光电智造】FastPillars实时3D目标检测 | 完美融合PointPillar、YOLO以及RepVGG的思想

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！

---

----与智者为伍 为创新赋能----

3D检测器的部署是现实世界自动驾驶场景中的主要挑战之一。现有的基于BEV（即鸟瞰图）的检测器支持稀疏卷积（称为SPConv），以加快训练和推理，这为部署（尤其是在设备上应用）带来了困难。

在本文中解决了从LiDAR点云中高效检测3D目标的问题，并考虑了部署。为了减少计算负担提出了一种从行业角度来看具有高性能的基于Pillar的3D检测器，称为FastPillars。与以前的方法相比，本文引入了一个更有效的最大和注意力Pillar编码（MAPE）模块，并以重参化的方式重新设计了一个功能强大、轻量级的骨干CRVNet，CRVNet结合了Cross Stage Partial network（CSP），形成了一个紧凑的特征表示框架。

大量实验表明，FastPillars在设备速度和性能方面都超过了最先进的3D检测器。具体而言，FastPillars可以通过TensorRT有效部署，在nuScenes测试集上使用64.6 mAP的单个RTX3070Ti GPU获得实时性能（～24FPS）。

2、相关方法

2.1 基于Voxel的三维探测器

2.2 用于对象检测的工业级轻量级网络结构

3、本文方法

在本节中将介绍用于实时基于Pillar的单阶段3D目标检测的FastPillars，这是一个端到端可训练和无spconv的神经网络。如图1所示，本文的网络架构由4个部分组成：Pillar编码模块、用于特征提取的主干、用于特征融合的Neck和用于3D框回归的头部。

3.1 Max-and-Attention Pillar Encoding

1. 点编码单元

2. 最大池化编码单元

3. 注意力池化编码单元

3.2 CRVNet Backbone

3.3 Neck and Center-based Heads

3.4 Loss Functions

4、实验

4.1 消融实验

1、Max-and-Attention Pillar Encoding Module2、 CSP Ratios Selection3、 Lightweight Backbone Architecture4、MAPE中不同池化操作的消融实验

4.2 SOTA对比

4.3 速度对比

4.4 可视化

部分可视化结果如图4所示。在这里，基于FastPillars-s模型在场景上的一些具有挑战性的场景中可视化检测结果。正如所看到的，FastPillars可以在各种具有挑战性的环境下可靠地工作。可以清楚地看到，提出的FastPillars能够检测小目标，如行人、障碍和自行车。

5、参考

[1].FastPillars: A Deployment-friendly Pillar-based 3D Detector.

本文仅做学术分享，如有侵权，请联系删文

来源：新机器视觉

申明：感谢原创作者的辛勤付出。本号转载的文章均会在文中注明，若遇到版权问题请联系我们处理。

----与智者为伍为创新赋能----

【说明】欢迎企业和个人洽谈合作，投稿发文。欢迎联系我们诚招运营合伙人 ，对新媒体感兴趣，对光电产业和行业感兴趣。非常有意者通过以下方式联我们！条件待遇面谈投稿丨合作丨咨询

联系邮箱：uestcwxd@126.com

QQ：493826566