端点人工智能给嵌入式视觉应用带来革命性创新

作者：Karol Saja

端点人工智能是人工智能的新前沿，它将人工智能的能力下沉到边缘设备。 它带来一种革新的数据管理方式：在本地搜集相关数据并在本地做出决策。它将以往仅仅用于计算数据的物联网设备升级为集成人工智能的智能设备，从而增加设备实时决策的能力。 总而言之就是使基于机器学习的智能决策在物理上更接近数据源本身。因此，嵌入式视觉下沉到端点设备，就不再仅仅是将图像或视频分解成像素，而是理解像素，理解它们的含义，并在发生特定事件时做出明智决策。

什么是嵌入式视觉？

嵌入式计算机视觉给机器赋予视觉使它们能够在机器学习和深度学习算法的支持下更好的了解环境。很多行业中都有依赖于计算机视觉的应用，它已经是黑科技中不可或缺的一员。准确地说，计算机视觉是人工智能 (AI) 领域的一部分，它使机器能够从数字多媒体信息源中提取有意义的信息，并据此采取行动或提出决策建议。计算机视觉类似于人类视觉，但两者之间仍存在一些差异。人类视觉的背后，是对所看到的各种不同东西都有理解的能力。而计算机视觉只能识别它已经被训练过的内容，同时还有一定的错误率。另外一方面，嵌入式视觉通过训练能让设备在最短的时间内做出对特定对象的识别，从而能更加高效地对海量图像进行分析。在这一方面，机器视觉优于人类视觉。

嵌入式视觉广泛应用于消费和工业领域的智能终端，为设备提升附加值。简单举几个例子：分析生产线上的产品质量、统计人群中的人数、识别物体、分析特定区域的内容等。

在端点设备实现嵌入式视觉应用时，设备的算力会是面临的一个挑战。但集中处理的话，从传感设备传输到云端去分析的数据量可能非常大，并且超过网络带宽。 例如，以 30 FPS（每秒帧数）运行的 1920 x 1080 摄像机可能会产生大约 190 MB/S 的数据。 除了隐私问题之外，数据从边缘到云，再从云到端点的往返势必会带来延迟。 这些限制都不利于实时应用。

物联网安全也是市场要采用和发展嵌入式视觉需要考虑的一个问题。使用智能视觉设备的一个关键隐忧是敏感图像和视频是否有被不当使用的可能性。 未经授权访问摄像头不仅侵犯隐私，而且可能导致更严重的后果。

端点设备上的人工智能视觉

Endpoint AI可以理解捕获的图像

Endpoint AI使用机器学习和深度学习来按照被训练的模式去匹配和识别

为了获得最佳性能， AI算法在终端设备上运行，而无需将数据传输到云端。数据由图像识别设备捕获，然后在同一设备中进行处理和分析。

端点设备的功耗限制仍然存在，微控制器或微处理器需要更高的效率来处理AI算法所需的大量乘累加(MAC)运算。

人工智能视觉的部署

现实世界中有无数AI视觉应用的使用场景。下面是一些例子，Renesas可以提供全面的MCU和MPU解决方案，包括必要的软件和工具，以实现快速开发。

智能门禁:

语音和人脸识别给安全门禁系统带来更多使用价值。然而实时识别，要求嵌入式系统具有非常高的算力和片上硬件加速。为了应对这一挑战，Renesas提供的MCU或MPU具有高算力，还集成了许多支持人脸和语音识别至关重要的功能，如内置H.265硬件解码、2D/3D图形加速以及内部和外部存储器上的ECC，以消除软错误并实现高速视频处理。

工业控制:

嵌入式视觉可以应用到包括安全操作、自动化、产品分类等多个场景。人工智能可以在生产过程中帮助执行多项操作，如包装和分发，确保生产过程中所有阶段的质量和安全。

交通运输:

计算机视觉也能改善交通运输服务。以自动驾驶为例，使用计算机视觉对道路上的物体进行检测和分类。它还可用于创建3D地图和估算运动轨迹。自动驾驶汽车使用摄像头和传感器收集环境信息，然后通过模式识别、特征提取和对象跟踪等视觉技术来解析数据，并做出最合适的响应。

嵌入式视觉可以用于多种用途，但都需要根据特定领域做定制和优化，使用该领域的数据集做特别的训练。比如监控一个物理区域、识别入侵、检测人群密度、统计人或指定物体或动物的数量，找人，根据车牌号找车、运动检测以及人类行为分析。

案例研究:农作物病虫害检测

视觉人工智能和深度学习可以用来检测各种异常——植物病虫害检测就是一个例子。研究结果表示，与以前费钱费力收效还慢的方法相比，计算机视觉能提供更好、更准确、更快速和更经济的方案。

在该案例中使用的方法和步骤可应用于任何其他检测，主要有三个步骤:

第一步在实验室的计算机上执行，第二步部署在端点设备上，比如农场里的节点设备。步骤3中的结果显示在用户端的屏幕上。下图显示了通用流程。

结论:

我们正在经历一场跨越多个细分市场的高性能智能视觉应用革命。端点设备中的微控制器和微处理器算力越来越强，这为新视觉应用带来了巨大的机遇。Renesas视觉人工智能解决方案通过在端点提供具有智能数据处理的嵌入式AI技术，帮助您增强整体系统功能。我们在边缘设备的图像处理解决方案具有低功耗特性、并支持多模型、多种特征推断。现在就开始使用Renesas电子的产品和工具开发您的视觉AI应用吧。