简化嵌入式边缘 AI 应用开发的步骤

如果嵌入式处理器供货商没有合适的工具和软件，设计节能的边缘人工智能 (AI) 系统，同时加快上市时间可能会变得窒碍难行。挑战包括选择正确的深度学习模型、训练和优化模型以实现性能和准确度目标，以及学习用于在嵌入式边缘处理器上部署模型的专有工具。

从模型选择到处理器部署，TI 提供免费工具、软件和服务，协助完成深度神经网络 (DNN) 开发工作流程的每一个步骤。逐步选择模型、随处训练模型，并无缝部署到 TI 处理器上，完全不需要任何手工制作或手动程序设计，藉以进行软件加速推论。

步骤 1：选择模型
边缘 AI 系统开发的首要任务是选择正确的 DNN 模型，同时考虑系统的性能、准确度和功率目标。和 GitHub 上的 TI 边缘 AI 模型库等工具有助于您加速这个过程。

这个模型库是 TensorFlow、PyTorch 和 MXNet 框架常用开放原始码深度学习模型的大型集合。这些模型在公共数据集上进行预先训练，并经过优化，可在 TI 处理器上有效运作而实现边缘 AI。TI 会定期使用来自开放原始码社群的最新模型以及 TI 设计的模型更新模型库，提供最多样化的性能和精准的优化模型。

藉由模型库中的数百个模型，TI 模型选择工具 (如图一所示) 可以协助快速检视和比较推论处理量、延迟、准确度和双倍数据速率带宽，完全不需要撰写任何程序代码。

 

本文引用地址：
http://www.eepw.com.cn/article/202202/431510.htm

图一 : TI 模型选择工具

步骤 2：训练和调整模型
选择模型后，下一个步骤是训练或优化模型，藉以在 TI 处理器上实现最佳性能和准确度。运用我们的软件架构和开发环境可以随处训练模型。

从 TI 模型库中选择模型时，训练脚本可以根据特定任务的自定义数据集快速传输和训练模型，完全不需要从头开始进行长时间的训练或手工制作模型。对于自己的 DNN 模型，训练脚本、框架扩展和量化感知训练工具有助于优化模型。

步骤 3：评估模型性能
在开发边缘 AI 应用之前，需要在实际软件上评估模型性能。

使用 TensorFlow Lite、ONNX RunTime 或 TVM 以及 SageMaker Neo with Neo AI DLR 运行时间引擎的最常用业界标准 Python 或 C++ 应用程序设计界面 (API)，只需要几行程序代码，TI 的弹性软件架构和开发环境即可随处训练自己的模型，并且编译模型再部署到 TI 硬件。在这些业界标准运行时间引擎的后端， TI 深度学习 (TIDL) 模型编译和运行时间工具可以为 TI 软件编译模型、将编译后的图形或子图形部署到深度学习软件加速器上，并获得优化推论处理器的性能，完全不需要任何手动操作。

在编译步骤中，训练后量化工具可以将浮点模型自动转换为定点模型。这组工具透过配置文件进行层级混合精度量化 (8 位和 16 位)，达到调整模型编译的绝佳弹性，藉以展现最佳性能和准确度。

各种常用模型的操作不尽相同。TI 边缘 AI 基准检验工具 也位于 GitHub 上，有助于您将 DNN 模型功能与 TI 模型库中的模型无缝搭配，并做为自定义模型的参考。

有两种方法可以在 TI 处理器上评估模型性能：TDA4VM 入门套件评估模块 (EVM) 或TI Edge AI Cloud，这是免费的在线服务，支持远程访问 TDA4VM EVM 评估深度学习推论性能。用于不同任务和运行时间引擎组合的多个范例脚本可以在不到五分钟的时间内在 TI 软件上进行加速推论的程序设计、部署和执行，同时收集基准。

步骤 4：开发边缘 AI 应用

使用开放原始码 Linux 和业界标准 API能够将模型部署到 TI 软件上。不过，将深度学习模型部署到软件加速器上只是其中的一部分。

为了协助快速建构高效率的边缘 AI 应用，TI 采用 GStreamer 框架。GStreamer 插件可以将计算密集型任务的端对端讯号链自动加速到软件加速器和数字讯号处理核心上。

图二 显示边缘 AI 的 Processor SDK with Linux 有关的软件堆栈和组件。

 
图二 : 边缘 AI 的 Processor SDK with Linux 组件

结论
即使不是 AI 专家，亦可开发和部署 AI 模型或建构 AI 应用。TI Edge AI Academy有助于在进行测验的自定进度课堂式环境中学习 AI 基础知识，并了解 AI 系统和软件程序设计。实验室提供建构「Hello, World」人工智能应用的逐步程序代码，而具有摄影机拍摄和显示的端对端进阶应用程序，可按照自己的步调成功开发人工智能应用。

(本文作者Manisha Agrawal任职于德州仪器)