| ST ：将AI模型移植到传感器上运行

| Bosch Sensortec ：为健康赋能的智能传感器

| 索尼：智能视觉传感器

随着ChatGPT的兴起，生成式AI变得浪潮涌动，云端人工智能开始流行，现在大部分的投资都集中在云端人工智能，但其实真正想要大面积落地，让普通大众都能用上AI，还是要在边缘端。因此，这两年来，不少厂商已经开始看到了边缘AI的星辰大海。这些厂商包括MCU主控、传感器、IP，以及电源厂商等等。前面芯查查有写过MCU与IP厂商在边缘端的布局，今天我们就聊一聊，传感器与AI相结合的情况。
 

其实，边缘AI的优势芯查查前面的两篇文章有提过，相对于云端AI，它具有更好的响应能力、更高的带宽效率、更高的数据隐私，以及在连接有限或间歇性情况下提高可靠性等。
 

而AI与传感器的融合是近几年 发展较为迅速的一个领域，其核心优势是能够在数据源附近进行计算任务，从而降低了数据传输延迟和带宽需求，提升系统的实时响应性和效率。目前较为典型的边缘AI传感设备有摄像头、麦克风、温度传感器和运动传感器等，应用领域包括自动驾驶、工业自动化和医疗保健等。接下来请跟随芯查查看看，目前市面上有哪些比较典型的与AI相结合的传感器产品。
 

ST：将AI模型移植到传感器上运行

ST是较早思考如何让传感器变得更智能的企业之一，纯粹的传感器只是一个静默的观察者、被动的上报者，无法主动参与到系统中，但如果在AI算法的加持下，它可以主动在器件上基于所采集的数据进行融合、分类和预测，从而更智能地应对各种情况，协助决策，优化产品，让方案设计更加简洁。

根据ST智能传感器的发展路径，它们在2020年就开始了这方面的研究。ST最早的智能传感器是基于MLC（Machine Learning Core，机器学习核心）和FSM（Finite States Machine，有限状态机）来实现的。该方案采用rPU处理器进行重置配置，能将部分算法（如决策树算法）运行于传感器中，再由传感器输出事件结果给MCU，这样就不需要MCU去处理全部算法。

据悉，ST所有带嵌入式MLC功能的MEMS传感器产品在产品编号末尾均带有X标记，方便工程师进行识别。比如在消费级市场，ST推出了针对手机和可穿戴设备光学防抖应用的传感器LSM6DSOX和针对虚拟现实和无人机应用的传感器LSM6DSRX；在工业级市场，推出了MEMS传感器ISM330DHCX与倾角仪IIS2ICLX；在汽车市场，推出了具有MLC内核的车规级惯性测量单元（IMU） ASM330LHHX。

最近推出的LSM6DSV32X 6轴惯性模块（IMU）集成了一个满量程32g的大加速度计和一个满量程4000度每秒（dps）的陀螺仪，可测量高强度的运动和撞击，包括自由落体高度估算。该芯片也是基于MLC和决策树AI算法的智能传感器产品。在模块内部，MLC可执行情景感知算法，FSM可处理运动跟踪算法，产品开发人员可以利用这些功能开发更多新应用，最大限度地减少响应延迟，节省电能。利用芯片内部嵌入的功能，LSM6DSV32X能够将健身活动识别等功能的功耗预算削减至6μA以下，延长电池续航时间。

其实，除了前面提到的基于MLC和FSM的方案，ST近年来又推出了基于ISPU（Intelligent Sensor Processing Unit，智能传感器处理单元）的智能传感器，其实ISPU本质上是一种微型C语言可编程处理器，可在传感器内部执行信号处理和AI算法，与常见的开发工具兼容，相当于在传感器内部嵌入了一个DSP，可运行类似MCU的算法。
 

基于此功能块，ST推出了面向复杂动作手势识别、事件检测和运动追踪等消费应用的6轴惯性测量单元（IMU）LSM6DSO16IS，以及面向机器人、空调和资产追踪、预测性维护等边缘工业应用的ISM330IS。
 

这两款传感器中的ISPU方案基于DSP架构。这种DSP面积很小，只有8K门；封装也很小，仅为3×2.5×0.83；支持浮点运算，同时也支持神经网络。基于32位的哈佛架构，最高主频可达10MHz，最大输出数据达到6.6KHz。 

ISPU的优势首先体现在功耗方面，如果将传感器融合算法运行到ISPU中，5MHz功耗仅为200µA。但是，如果运行在Cortex-M0上，即使主频为4MHz，功耗也需要1300µA。可见，ISPU传感器融合的功耗是比M0低5倍。此外，由于ISPU是DSP直接集成在传感器中，可以直接获取类似加速度仪等传感器的处理数据，无需总线参与，从而降低系统的负载和功效。在104Hz频率下读取数据时，ISPU仅仅耗费1µA，而Cortex-M0在4MHz时就已经需要94.4µA。
其次是AI优势，ISPU提供更多选择和更大自由的自学习方案：一方面，它可以支持机器学习，如决策树，Scikit-learn；另一方面，它也支持深度学习算法，如常见的QKeras、TensorFlow、ONNX等，同时，用户可通过ISPU的编译器，将基于机器学习和深度学习算法模型进行编译，生成ISPU可运行的UCF配置文件，通过MCU将该配置文件写入ISPU，即可运行算法。这可以广泛应用于个人电子产品（如穿戴设备，头戴设备等）以及工业领域的事件监测等。

Bosch Sensortec：为健康赋能的智能传感器  

在当下传感器赛道也变得越来越卷的背景下，将边缘AI与传感器融合在一起为新应用赋能的做法是不少传感器企业的选择。Bosch Sensortec是比较早这么做的企业之一。比如，该公司推出的BHI360就是一款基于IMU的可编程智能传感器系统，结合了陀螺仪和加速度计，可实现完全自定义的功能，可实现简单的手势识别和活动识别，同时具备人机交互的功能，以提供个性化声音体验，及支持带有头部方向识别的3D音频效果。

这些功能赋予了BHI360更广泛的应用，为传感器的应用探索之路提供了更多的可能性，其中就包括了运动健康领域。此外，Bosch Sensortec还全新推出了BHI380，较BHI360升级了自学习AI等功能。BHI360/BHI380紧凑型传感器外壳尺寸仅为2.5 x 3 x 0.95 mm3，是市场上同类产品中尺寸最小的可编程IMU传感器。
 

在助力运动健康领域方面， Bosch Sensortec也在做一些新的尝试。比如，基于上一代智能传感器BHI260AP， Bosch Sensortec联合Motusi共同推出一套全新的虚拟传感器架构，重新定义了运动和数字健康领域的数据收集方式，开启运动新模式。

Motusi当前的运动分析解决方案基于有线传感器网络，使用BHI260AP作为传感器节点的主要组件，最大支持10个节点。Bosch Sensortec最新推出的Smart Connected Sensors（智能传感互联平台）则搭载了性能进阶的智能传感器BHI360，使用无线传感器网络进行连接，大幅降低了客户的开发成本和上市时间。
 

与此同时，BHI360中集成了多种AI算法能够帮助客户追踪和识别运动动作，数据的处理和运算全部在BHI360内部完成，用户无需外部处理单元，大大节省了功耗。凭借其BHI360极强的可扩展性，Smart Connected Sensors (SCS)能够被多种平台集成，用户可以自由选择节点的数量和应用场景，大大降低了用户的开发成本。

索尼：智能视觉传感器IMX500

在摄像头传感器方面，索尼将人工智能引入了传感器，他们在2020年时就推出了两款智能视觉传感器，均具备人工智能处理能力。这两款传感器分别是IMX500和IMX501，其中IMX500仅是传感器，IMX501则是集成产品。

  
据索尼官网介绍，IMX500支持 1200 万像素图像，以每秒60帧的速度捕获4K视频，或者不捕获任何图像，仅提供所见内容的元数据，主要应用在边缘计算领域。

索尼的智能传感器可单独进行图像处理、高速边缘AI处理的图像传感器。它将AI引擎与专用数据存储器组成的逻辑芯片和像素芯片，利用索尼半导体解决方案公司的堆栈技术，成功实现在微小的传感器中集成AI处理功能。

与传统的将图像数据传送到云端进行AI处理的系统相比，利用该技术后，可以减少数据传输量，并且减轻了对隐私安全的顾虑，也减少了耗电量和通信成本。

  图：索尼智能图像传感器堆栈结构示意图（来源：索尼）

IMX500智能图像传感器兼具运算能力和内存，能够在没有额外硬件辅助的情况下执行机器学习驱动的计算机视觉任务，使得很多依赖机器学习算法的图像处理技术能够在本地运行，衍生出更简化、高效和安全的解决方案。
 

在利用逻辑芯片处理从像素芯片中获取的信号的过程中，通过ISP（Image Signal Processor）处理和AI处理，能够实现只输出处理对象的结果元数据，从而削减后端需要处理的数据量。
 

另外，由于可以选择不输出图像信息，因此可降低安全风险，更好地保护隐私安全。用户还可以根据自身需求和用途，选择输出数据的格式，除了一般的图像传感器拍摄图像，还可以选择ISP处理后的格式的图像（YUV/RGB）以及仅裁剪出特定区域的ROI（Region of Interest）图像等。
 

更为重要的一点是，用户可将任意AI模型写入存储器，并根据使用环境和条件进行更改和升级。例如，在店内不同地方设置了数台使用本产品的摄像头时，只需一款摄像头，根据设置位置、状况、时间等选择不同AI模型，即可满足不同目的和用途的需求。设置在入口可统计到店顾客人数，设置在货架上可检测商品是否缺货，设在天花板上可检测到店顾客的热图（检测人群聚集的场所）等，满足多种用途的需求。更进一步，还可以将过去用于检测热图的AI模型灵活更换为检测消费者行动的AI模型。

结语 

根据MarketsandMarkets的预测，到2028年，全球AI传感器市场规模将达到221亿美元，相比2022年的30亿美元，年复合增长率（CAGR）高达41.6%。这一增长主要得益于AI技术的不断进步和物联网设备的普及，推动了AI传感器在智能制造、智慧城市、智能交通等领域的广泛应用。
 

AI传感器的应用领域正在迅速扩展，除了传统的工业和汽车领域外，还广泛应用于智能家居、智能穿戴、医疗健康、环保监测等新兴领域。例如，在智能家居中，AI传感器可以实时监控和分析大量数据，实现家庭环境的智能控制和安全监控。在智能制造中，AI传感器通过实时监测设备状态和环境变化，提高生产效率并降低能源消耗。