类脑视觉的存算一体：感知、存储与计算如何融合

据2026年3月7日报道，我国首款存算一体视觉芯片在湖北武汉诞生，将感知、存储、计算融为一体，并以“边看边想”概括其类人脑处理方式。 这一架构变化意味着，视觉计算正在从传感器后方的通用芯片向成像端前移。但“芯片诞生”还不能直接等同于工艺成熟、任务泛化和量产可用。

存算一体解决存储与计算共址，感存算融合进一步把感知纳入同一系统；近端计算仍可使用独立芯片，传感器内计算则把运算直接放进像素阵列。PD-RRAM光电阵列、忆阻器脉冲接口和互补双通路视觉芯片分别验证了不同层级的能力，既不能混为一谈，也不能脱离任务与功耗口径直接比较。

存算一体与感存算融合不是同一概念

行业讨论中最容易混淆的，是架构融合深度与信号表示方式被放在同一组概念下。为了便于工程评估，本文采用功能边界作为工作定义：存算一体强调存储单元与计算单元在物理位置或阵列结构上共址；感存算一体继续向外扩展，把光电转换等感知环节纳入；近端计算通常仍使用独立处理器，只是将其布置在传感器附近；传感器内计算则进一步让传感器阵列本身参与运算。

数字与模拟是另一条分类轴。数字路线仍以数字量表示数据，但可以借助数据复用和存储层次优化减少搬运；模拟路线直接利用电流、电压、电导等物理量完成运算；脉冲计算则以离散事件及时间间隔表达信息。三者并不互斥：模拟阵列也可以输出数字结果，数字芯片同样可以接收脉冲事件。

因此，某个方案究竟是“存算一体”“感存算一体”“近端计算”还是“传感器内计算”，应先看运算发生在哪里，再看它处理的是模拟量、数字量还是事件。名称相似并不意味着工程指标可以直接对标。

类脑视觉借鉴分层处理原则

类脑视觉不是简单复制人脑结构，而是借鉴其信息处理原则。相关资料将动态自适应、冗余信号过滤、原位计算和多层次处理列为重要仿生来源。 这些原则分别对应曝光与增益调节、无效数据抑制、传感端局部运算，以及从低级特征到高级语义的分层组织。

脉冲神经网络则提供了一种适合表达时间信息的事件式接口。传感器输出的模拟电信号可以被转换为频率依赖的脉冲，使后续处理围绕变化和事件展开，而不是持续搬运完整帧数据。 但采用脉冲编码并不自动意味着完成了感存算融合：事件转换可以发生在独立接口芯片中，也可以在成像阵列内完成，两者对系统架构的要求并不相同。

光电阵列把乘加前移到像素

PD-RRAM路线把光电探测与模拟存储直接集成在阵列中。光电探测器（PD）将光信号转换为光电流，阻变存储器（RRAM）保存可编程的连接权重；输入产生的光电流经过由RRAM构成的权重矩阵，在像素级并行执行模拟乘加，阵列输出即为输入光信息与存储电状态的卷积结果。

这一架构的意义不只是减少芯片数量，而是改变数据产生后的处理位置。传统视觉链路通常先完成采样，再把数据送往数字芯片进行存储和运算；PD-RRAM阵列则让光信息在转化为大量数字数据之前，就直接参与物理计算。对于持续感知的设备，这种变化有机会降低数据搬运和中间存储带来的开销。

代价同样明确：模拟计算结果受到器件波动、噪声、非线性和校准误差影响，输出通常还需要模数转换、后续数字处理及系统级控制。因而，阵列核心能够在较低电压下完成卷积，并不意味着整颗芯片必然获得同等比例的能效优势。

小原型验证路径，不等于产品

清华大学罗毅院士课题组制备了紧凑的3×3像素原型芯片，以字母识别和“X”图案判别验证感知与分类能力，并考察了噪声、坏点等实际误差下的识别鲁棒性。研究还指出，该设计可以用于光学图像卷积处理。

这个实验证明了几个关键环节能够闭合：光信号可以进入器件，权重可以写入存储阵列，乘加可以在成像端执行，分类结果也能被读出。对于论文原型而言，这比单纯展示器件参数更有价值，因为验证对象已经从单个器件扩展到“感知—存储—计算—输出”的完整链路。

不过，3×3阵列与复杂视觉任务之间仍有明显距离。小规模原型可以证明架构可行，却不能自动回答大规模阵列的一致性、缺陷容限、权重更新效率、复杂模型映射和整机成本等问题。论文展示的是技术路径，不是产品性能上限。

脉冲接口连接传感与事件计算

刘明团队与杨建华团队基于NbOx-Mott忆阻器构建了人工传入神经电路，把传感器产生的模拟电信号转换为频率依赖的脉冲信号，为传感器与脉冲数据处理中心之间建立实时接口。

这条路线没有要求感知、存储和计算全部集中在同一块芯片，而是先把传感器输出转换成适合神经形态计算的事件表示。其工程价值在于接口模块化：不同类型的传感器可以接入统一的脉冲处理中心，后端再配置存算一体阵列、脉冲神经网络加速器或其他数字处理器。

这也揭示了感存算融合的一种现实边界。融合不只有“全部做进像素”一种形式，还可能是通过专用接口把模拟感知端与脉冲计算端连接起来。判断方案优劣时，应关注每个环节增加了多少转换开销、时延和校准负担，而不是只看系统名称中是否包含“感存算”。

互补双通路扩展芯片化路线

施路平团队提出基于视觉原语的互补双通路类脑视觉感知新范式，并研制出“天眸芯”，相关成果以封面文章形式发表于《自然》。 这条路线不局限于在像素阵列中构建单个模拟权重矩阵，而是从视觉原语和双通路组织出发探索芯片化实现，展示了类脑视觉的另一条系统架构路径。

从现有资料看，“天眸芯”的价值主要体现在互补双通路范式和芯片实现上，不宜仅凭报道把它与PD-RRAM原型进行简单的功耗或精度比较。不同工作的任务、输入规模、输出精度和评测方法并不统一，真正有意义的对比需要回到原始论文中的完整指标。

四条路线不能脱离口径直接比较

四条路线的融合层级、信号机制和已验证范围如下。

这些路线并不处于同一完成度，也没有回答同一组问题。原型尺寸、任务难度和是否包含传感、模数转换、通信等环节，都会显著影响结果。

低功耗收益必须核算完整链路

现有资料将PD-RRAM方案的优势归纳为存储状态下低静态功耗、推理过程中低动态功耗，并指出非易失性存储在保持数据时可实现零静态功耗。这使其具备面向低功耗、低时延边缘智能的潜力。

但“存储时零静态功耗”只描述保持状态，不能代表整颗芯片待机功耗为零。端到端评估还需要计入光电探测、模数与数模转换、权重写入、控制、存储访问和通信等环节。对于模拟路线，外围转换和数据回传甚至可能抵消阵列本身的部分收益。

更合理的选型指标应同时包括端到端能耗、单次事件或单帧处理时延、真实场景准确率、任务泛化能力、权重更新方式，以及开发工具成熟度。核心阵列的能耗可以说明局部优势，但不足以单独证明整机优势。

阵列扩展受器件与工艺约束

PD-RRAM原型已经在3×3规模下考察了噪声和坏点条件下的识别鲁棒性。 阵列从3×3规模扩大后，器件差异、阵列一致性和校准问题会进一步累积。

首先是器件差异。不同RRAM单元的编程结果、保持特性、耐久性和非线性可能不同，物理权重与目标模型之间会出现偏差；长期运行时，漂移还会改变已训练映射。其次是阵列一致性与工艺集成。PD和RRAM需要共同制造、互连和封装，晶圆级一致性、坏点密度、封装良率都会影响可用规模。最后是校准。原型可以通过逐像素调整获得较好结果，量产系统则需要建立可重复、可量产的权重映射与缺陷补偿流程。

这意味着，“把阵列做大”并非复制扩展。器件模型、工艺波动和校准方法必须在设计早期协同考虑，否则实验室精度很难稳定迁移到实际设备。

算法与工具链决定采用成本

开发者需要一条可重复使用的完整链路：模型如何映射为电导权重或脉冲编码，训练与推理如何衔接，非理想器件如何进入训练过程，外围电路如何调度，以及编译器、调试器和回归测试如何支持应用。

传统视觉软件通常围绕确定性的数字张量构建，而模拟阵列和事件流会引入模拟输出、器件差异与时序特征。模型结构即便能够在软件仿真中运行，也不代表转换后的权重写入硬件后仍然有效。如果缺少器件感知训练、自动化校准、精度分析和故障定位工具，芯片很容易停留在实验室演示阶段。

因此，评估一项研究时，除了看任务准确率，还应检查其是否提供可编程接口、权重更新方法、模型迁移流程和可复现实验环境。对开发者而言，工具链往往比单次峰值指标更接近实际采用成本。

融合深度由任务决定

对于持续运行、任务相对简单的物联网传感，传感器内计算值得优先评估。它有机会减少连续数据流，降低数据搬运和长期功耗，但前提是任务允许一定误差，并且核心阵列的能效能够覆盖外围电路开销。

对于机器人动态视觉和复杂识别，感存算模块与数字加速器混合的方案通常更稳妥。感知端可以负责快速筛选变化或提取局部特征，数字侧则承担模型更新、复杂推理和系统控制。这样既能利用近端与事件计算的优势，也不必让单一模拟阵列承担全部精度与软件生态压力。

对于强调通用精度、高吞吐和成熟工具链的任务，仍应把数字存算一体、传统GPU或专用加速器放在同一套任务与功耗条件下比较。融合越深，收益越依赖具体工作负载，也越需要证明其系统级价值。

闭环能力决定落地速度

下一阶段的关键是让器件、模型、编译器和应用验证形成可复用闭环，单次识别演示不能单独决定后续采用速度。