事件视觉擅长捕捉“变化”,却难以同时表达“变化有多大”。西安交通大学金属材料强度全国重点实验室通过有机离子-电子混合导体材料(OMIEC)的分子设计,将信息加权功能直接赋予材料本征光响应,研制出幅值可编程的事件驱动有机光传感器,在单一有源层中实现事件检测、幅值调控与信息加权,使材料从“感知信号的载体”进一步成为“处理信息的功能单元”,为高效、自适应神经形态视觉提供了新的材料学路径。研究成果发表于《自然·材料》(Nature Materials)。
论文标题为《基于离子介导抑制的幅值可控事件驱动有机光传感器》(“Amplitude-controllable event-driven organic photosensors based on ionic-mediated inhibition”)。西安交通大学金属材料强度全国重点实验室赵超副教授、苏旭东与南方科技大学陈曦为论文共同第一作者,马伟教授、凡群平教授与南方科技大学王中锐教授为共同通讯作者,西安交通大学为第一作者单位和第一通讯作者单位。参与该工作的还包括西北工业大学、西安交通大学医学部等单位的研究人员。该工作得到了国家自然科学基金、国家重点研发计划、陕西省青年拔尖人才支持计划、111引智基地等项目的支持。
论文链接:https://www.nature.com/articles/s41563-026-02747-8
人工智能、机器人和智能视觉技术的发展,对视觉系统在复杂动态场景中的信息处理效率提出了更高要求。传统帧式图像传感器按固定频率采集完整图像,即使场景大部分区域没有变化,仍会持续产生和传输大量重复信息。事件相机只在光照变化时输出信号,能够减少数据冗余,但通常将变化编码为二值“开/关”事件,单次事件的幅值不能直接反映光照变化强度;采用频率编码时,则需要依赖一定时间内的脉冲数量来表征信号强弱,带来额外的事件传输与处理能耗。此外,视觉系统还需要根据任务调节不同区域的响应权重,以突出重要信息、抑制无关刺激。
目前,实现上述功能往往需要复杂的像素结构与外围电路。其根源在于传统半导体感光材料主要依赖电子传输,缺乏能够自主产生并调节事件脉冲的内在反馈机制,通常需要多晶体管像素结构或额外模拟电路协同完成事件产生与幅值调控。部分离子调控型器件虽然能够适应光照变化,但其响应主要取决于此前的光照历史,难以按任务主动编程。因此,如何在简化器件结构的同时,兼顾事件信号的低冗余、变化强度信息的保留与可编程加权,是高效神经形态视觉面临的关键挑战。
针对这一难题,西安交通大学马伟教授团队提出了一种离子介导抑制的事件驱动有机光传感新机制,构建了离子—电子事件驱动传感器(ionic–electronic event-driven sensor,IEES)。研究开发有机混合离子—电子导体PgBDT-T,与非富勒烯受体Y6混合形成体相异质结结构,将具有不同时间尺度的电子传输和离子运动耦合在同一光敏层中。光照变化时,Y6中的光生电子快速提取,首先产生瞬态“兴奋”光电流;与此同时,传输相对缓慢的空穴在PgBDT-T中积累,并由进入材料内部的阴离子进行电荷补偿,逐渐削弱局部载流子传输并促进复合,从而形成对后续光电流的“抑制”。通过材料内部离子—电子传输之间的直接传输,器件能够直接将光强变化转化为事件脉冲,并进一步通过外加电压调节离子反馈强度,实现事件脉冲幅值的连续调控。

图1 幅值可编程事件驱动有机光传感器的设计思路与器件结构。a-b,生物视网膜信号处理及不同视觉感知方式的对比。c-d,IEES器件结构与光敏材料。e-g,离子—电子耦合示意、光谱表征及不同材料体系的瞬态光电流响应。
光照增强时,Y6中的光生电子首先被快速提取,产生瞬态“兴奋”光电流;由于PgBDT-T中的空穴传输较慢,正电荷逐渐积累,驱动电解质中的阴离子进入材料进行电荷补偿。这一过程削弱局部载流子提取电场并促进电荷复合,抑制后续光电流,使其在初始脉冲之后回落。光照关闭时,积累电荷释放,产生相反方向的瞬态响应。通过电子提取与离子补偿的协同,器件能够直接检测光照变化,并以脉冲幅值表征变化强弱。原位光谱、电学表征和载流子输运模拟共同揭示了这一“兴奋—抑制”反馈机制(图2)。

图2 离子—电子耦合产生事件脉冲的工作机制。a,器件工作机制,包括光生电荷产生、电子提取与空穴积累、离子介导抑制及电荷释放。b-g,光谱与电学测试,表征光生电荷的分离、提取和积累过程。h-j,光电流模拟与脉冲衰减分析,揭示离子反馈对后续光电流的抑制作用。
该器件兼具事件驱动响应与电压可编程调控能力。在固定偏压下,事件脉冲幅值随光照变化幅度而改变,动态范围超过75 dB;在20000 s循环光照测试中,响应偏差小于5%。进一步施加0至0.24 V的偏压,可以改变离子补偿及其抑制强度,连续调节事件脉冲幅值(图3)。由此,同一感光单元既能保留视觉变化的强度信息,又能接受外部电压设定的响应权重。

图3 IEES的光响应特性与电压可编程幅值调控。a-b,共混比例对瞬态响应及响应动力学的影响。c,循环光照下的运行稳定性。d,事件脉冲幅值与光照变化幅度的关系。e-f,偏压对事件幅值的调控。g-h,背景光照对事件响应的影响。
利用这一特性,研究团队进一步实现了像素级的注意力调控机制。在动态字母图案投影实验中,通过对不同像素设置不同偏压,将不同照明条件下的事件响应调整到相近幅值。在基于器件实测响应模型的多人动作场景模拟中,通过预设空间偏压分布,增强目标区域、抑制非目标区域,目标区域的事件计数达到统一偏压条件下的近10倍(图4),展示了按外部任务需求主动分配视觉响应权重的能力。

图4 像素级事件响应调控。a-c,动态字母图案投影的阵列实验,通过像素偏压调节实现不同照明条件下的响应归一化。d-i,基于器件实测响应模型的动态场景模拟,展示目标区域增强、非目标区域抑制及事件计数变化。
在此基础上,研究团队进一步提出混合幅值—时间编码神经网络(IEES–HATC NN),将事件驱动的稀疏时间采样与模拟幅值编码相结合。与依靠二值脉冲的数量或频率表示信号强弱不同,HATC直接利用事件脉冲的幅值表征光照变化强度,同时将神经网络卷积核的空间权重映射为像素偏压,使每次光照变化在产生事件时便完成相应的模拟加权。加权事件在固定时间窗口内累积,形成卷积特征图,再输入轻量级长短期记忆(LSTM)网络完成动作分类。该架构将事件检测、幅值编码和可编程加权结合在视觉前端,无需重复产生、传输和处理二值脉冲(图5a)。
基于器件实测响应的神经网络仿真表明,HATC在抑制未变化背景的同时,保留了较完整的运动人体结构,提高了不同动作特征的可分性。在Weizmann数据集四类人体动作识别任务中的测试准确率达到100%,帧式图像方案和二值事件相机方案分别为94.2%和75.8%(图5b-e)。在统一基准条件下,处理完整149段视频评估集的前端总能耗估算为0.064 mJ,约为传统事件相机神经网络对照组的万分之一(图5f)。

图5 混合幅值—时间编码神经网络。a,卷积权重映射为像素偏压,幅值编码事件经模拟加权和时间累积形成特征图。b-c,不同前端方案的特征图及特征可分性比较。d-e,四类人体动作识别的测试准确率与混淆矩阵。f,统一基准条件下的前端能耗比较。
该研究利用有机混合离子电子传输的离子电子耦合机制,在单一器件中实现光事件响应与脉冲幅值调控,为减少相关功能对复杂多晶体管结构及外围模拟电路的依赖提供了材料层面的解决思路。在此基础上,HATC进一步将可调的脉冲幅值用于信息编码,使每个事件既表征光照变化的强弱,又携带像素偏压设定的权重,经过时间累积形成用于识别的特征。由此,感光单元不再仅承担光信号探测,还能够参与视觉信息的编码与前端加权,将事件感知的低冗余优势与模拟幅值编码的信息表征能力结合起来,在保留运动相关信息的同时减少处理开销,为低功耗、自适应神经形态视觉系统的设计提供了新路径。