提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

接下来的时代是一个人工智能的时代，人工智能的时代就是传感器的时代，“智能”传感器的时代。传感器必须具备一定的信息处理的功能，不再是简单的采集数据的设备，是需要作为一个相对独立的感知（sensing）、存储（storge）、计算（computing）单元的。

感知网络中的传感器节点的数量在快速增长，导致了感知终端与计算单元之间的大量的冗余数据的交换 。为了更加高效地处理这些数据，并且降低计算功耗，很有必要发展一种新的计算范式，减少这些冗余数据在感知终端和计算单元之间的来回搬运，这就是所谓的传感器端计算，或者感存算一体化。顾名思义，近传感器计算就是在传感器附近进行数据的运算，传感器运算就是在传感器的内部单元进行一定的数据运算。

传统的传感器网络的架构主要结构：感知终端负责本地的数据采集，对采集到的信号不加处理、傻瓜式地上传到云端服务器，由云端服务器进行进一步的信号分析，如果有需要的话，远端服务器通过网络传输返回给感知终端相关的结果信息。在这个过程中就会导致一些问题，这些问题亟待解决。
1、感知终端采样的数据量很大，并且传输到云端，需要高带宽（high bandwidth）；
2、感知终端与云端通过网络进行数据通信，会导致一定的延时（response time），这在许多场合是无法忍受的（例如无人驾驶领域等）；
3、感知终端采样到的数据不经处理，直接传输，会带来高功耗（high energy consumption）问题；
4、信息在本地和云端传输的过程中，可能会被窃取，带来隐私保护、信息安全（security）的问题；
5、感知终端采集到的大量的原始信息，需要大存储空间（large data storage）
·············

---

一、“智能”的传感器

什么是“智能”的传感器呢？“智能传感器”不再单单是终端采集信号的设备，还需要对采集到的信号进行一定程度的处理。
进行比较低级的任务处理，比如噪声抑制、滤波、背景提取、特征增强、运动提取等；
进行比较高级的任务处理，比如对图像、语音信号的识别、分类以及定位等

二、传感器端计算的结构

传感器端计算的主要功能可以分为这三个部分：感知、存储、计算

1.感知

感知部分由传感器完成（sensor），针对不同的任务场景有不同的传感器，图像传感器（CMOS image sensor， CIS）、压力传感器、触觉传感器、气体传感器等，本质上都是将外界的物理信息转换成对应的模拟信号。接下来的内容，以图像传感器CIS为例进行说明。

图像传感器利用光电效应将外界的光信号转变为电信号，提交后续功能层进一步处理。

2.存储、计算

感知层图像传感器输出的模拟电信号，输入存储、计算层。存储、计算相分离的冯诺依曼架构固然可以完成传感器端计算的任务，但是也不可避免地导致数据在存储、计算层之间的搬运，这是冯诺依曼架构本身固有的缺点，无法避免。
通过忆阻器阵列，可实现存储计算一体化的功能。（忆阻器的神奇功能就不在这里详细介绍，感兴趣的读者可以自行阅读忆阻器的相关材料，网上很多）。忆阻器阵列基于欧姆定律和基尔霍夫电流定律完成网络运算中的乘法操作和加法操作。

三、集成

完成传感器端计算的三部分功能层都已确定，那如何将这三部分连接起来呢，通过什么方式呢？

这是四种不同的集成方式，具体内容不再详述，可以参阅书籍handbook of 3D integration全三册

个人认为，在实际的制造中，比较可行的方式应该是三维异质集成，CIS与存算芯片在不同的生产线生产，通过wafer bonding或者hybrid bonding的方式，将两部分连接起来，这样的连接方式能够满足CIS的高带宽的要求，至于CIS的模拟电信号在传输给存算芯片的过程中如何保持信号的真度，又是另一个棘手的问题了。

四、算法

如何对感知得到的数据进行处理，以完成前面所说的一些低级或高级的运算任务，就需要将算法一起考虑进去。
现有的神经网络模型，resnet、Alexnet等网络，固然可以实现很好的识别分类功能，但其模型较大，网络参数很多，难以部署在目前的存算阵列里面，故需要对神经网络模型进行压缩处理，包括剪枝量化、参数共享等。
在将感知得到模拟信号输入到神经网络前，是否可以对信号进行预处理，降低信号维度，保留其中的有效信息，以减少任务的运算量，目前也提出了许多新的基于神经网络的算法。

---

总结

本文介绍了感存算一体化的“智能”传感器的基础知识，希望能够给大家带来一些帮助。人工智能的时代，在一些要求低延时或数据密集型领域中，“智能”传感器大有可为，一起努力。

现在针对于传感端计算的研究已经有许多文章的发表，在这里给出几个文章链接，以供参考。

1. Du, Z. et al. ShiDianNao: shifting vision processing closer to the sensor. In Proc. 42nd Annual International Symposium on Computer Architecture (ISCA) 92–104 (ACM and IEEE, 2015).
2. Chen, T. et al. Diannao: a small-footprint high-throughput accelerator for ubiquitous machine-learning. ACM SIGARCH Computer Architecture News 42, 269–284 (2014).
3. Hsu, T.-H. et al. AI edge devices using computing-in-memory and processing-in-sensor: from system to device. IEEE Int. Electron Devices Meet. 22.25.21–2225.24 (2019).
4. Amir, M. et al. NeuroSensor: a 3D image sensor with integrated neural accelerator. In 2016 IEEE SOI-3D-Subthreshold Microelectronics Technology Unified Conference (S3S) 1–2 (IEEE, 2016).
5. Amir, M. F ., Ko, J. H., Na, T., Kim, D. & Mukhopadhyay, S. 3-D stacked image sensor with deep neural network computation. IEEE Sens. J. 18, 4187–4199 (2018).
6. LiKamWa, R., Hou, Y ., Gao, J., Polansky, M. & Zhong, L. RedEye: analog ConvNet image sensor architecture for continuous mobile vision. ACM SIGARCH Computer Architecture News 44, 255–266 (2016).
7. Li, C. et al. Analogue signal and image processing with large memristor crossbars. Nat. Electron. 1, 52–59 (2018).
8. Zidan, M. A., Strachan, J. P . & Lu, W . D. The future of electronics based on memristive systems. Nat. Electron. 1, 22–29 (2018).
9. Chu, M. et al. Neuromorphic hardware system for visual pattern recognition with memristor array and CMOS neuron. IEEE Trans. Ind. Electron. 62, 2410–2419 (2014).
10. Mennel, L. et al. Ultrafast machine vision with 2D material neural network image sensors. Nature 579, 62–66 (2020).
11. Hsieh, H.-Y . & Tang, K.-T. VLSI implementation of a bio-inspired olfactory spiking neural network. IEEE Trans. Neural Netw. Learn. Syst. 23, 1065–1073 (2012).
12. Shulaker, M. M. et al. Three-dimensional integration of nanotechnologies for computing and data storage on a single chip. Nature 547, 74–78 (2017).