近日，中（zhōng）国科学院（yuàn）微电子（zǐ）研究所刘明院（yuàn）士团队（duì）和复旦大（dà）学教授刘琦团队在多模态（tài）神经形态感（gǎn）知研究方（fāng）面取（qǔ）得进展。

图1生物躯体感觉系统与人工（gōng）体躯体感（gǎn）觉系统，a为人手感知杯子的（de）温度、重（chóng）量（liàng）和水杯形（xíng）状的示意图；b为由MFSN阵列和SNN分类器组成的人工躯（qū）体（tǐ）感（gǎn）觉系统模（mó）拟触觉感知的示（shì）意图，图片来自中科院（yuàn）微电子所前（qián）述（shù）团队共（gòng）同（tóng）研发了一种（zhǒng）结构紧（jǐn）凑的多（duō）模（mó）态融（róng）合感知脉（mò）冲神经元(MFSN)阵列，并将其与脉冲神经网络(SNN)结合，构建了一种人工多（duō）模（mó）态感知系统。该成果使（shǐ）构建（jiàn）高效（xiào）的多模态脉冲（chōng）感（gǎn）知系统（tǒng）成为可（kě）能（néng），为发（fā）展高智能机（jī）器人（rén）技术提供（gòng）了新思路，并发表在国际材（cái）料领（lǐng）域期刊《先进（jìn）材料》(Advanced Materials)上（shàng）。

图片来自《先进材料》(Advanced Materials)人类躯体感受系统中的多模态感知可帮助人们获（huò）得更（gèng）全面的（de）物体属性，并对物（wù）体的状态做出准确判（pàn）断，尤其是不（bú）同受体的感觉（jiào）信号在一定条件下可被神经元整（zhěng）合，并发送到（dào）大脑皮层作进一（yī）步处理（图1a）。与（yǔ）单模态感知相比，多（duō）模（mó）态融合感知（zhī）在（zài）评估物体属性和提（tí）高物体识别（bié）精度（dù）方面具有明显优势（shì）。在传统的人工感知系统中，多模态信息的处理多采用（yòng）串行计算架（jià）构，传（chuán）感信号需转换为数字模式才能被处理器处（chù）理，产（chǎn）生（shēng）较大功耗和通信带宽开销。

此外，传统半（bàn）导体技术（shù）在脉冲域构建多模（mó）态感知系统（tǒng）方面，还面临着（zhe）器件集成和电路（lù）复杂性方面的挑（tiāo）战。因此，迫切需（xū）要（yào）开发更高效的多模态（tài）融合（hé）感知硬件方案（àn）。生物感（gǎn）知系统具有并行分布式（shì）感官信息处理、低能耗、高容错性（xìng）等特点，显（xiǎn）示出（chū）克（kè）服传统（tǒng）困境的（de）重要潜（qián）力（lì）。

此（cǐ）次，中科院微电子所刘明团队和复（fù）旦大学（xué）刘琦团队研发了结构（gòu）紧凑的多模态（tài）融合感知脉冲神经（jīng）元(MFSN)阵列，该阵列由（yóu）异质（zhì）集成的压力（lì）传感（gǎn）器和NbOx忆阻器（qì）构成（图（tú）1b）。其中，压力传感器用来（lái）感知压力（lì），NbOx忆阻器用来产生脉冲输出并（bìng）感知温度变化。当压力和温度两种激（jī）励同（tóng）时作用于（yú）MFSN时，多模态的模拟感觉信息可以融合（hé）为一个脉冲（chōng）序列（liè），显示出优异的数据（jù）压缩（suō）和脉冲转换能力。

此外（wài），研（yán）究人（rén）员通（tōng）过解耦输出脉（mò）冲（chōng）的频率和振幅，还（hái）可从融（róng）合信（xìn）号中获得独立的压（yā）力和温度信息，支持了神（shén）经（jīng）元（yuán）对于单模态（tài）信息的保真度和多（duō）模（mó）态感知能力。团队进一步（bù）将MFSN阵列与脉冲神经（jīng）网络结合（hé），构建了一种人工多模（mó）态感知系统，成功模拟了人体躯体感（gǎn）觉系统中的多模态信息（xī）（温（wēn）度和（hé）压力）感（gǎn）知和多模态物体（即不同温度、重量（liàng）和形状的物（wù）体）的分类能力。

前（qián）述成果有助于在未来进一步构建高效（xiào）的多模态脉（mò）冲感（gǎn）知系统，并（bìng）为（wéi）发展高智（zhì）能机器人技术提（tí）供新思路（lù）。