趣投稿|“垂直结构”新型类脑视觉系统方面取得重要进展
本文插图
视觉系统是人类用来观察并认知外部世界的最重要的感觉系统 。 视觉认知的形成 ， 需要眼睛将物体携带的光信息转化为视觉神经冲动 ， 并传递给大脑视觉皮层进行视觉信息处理 。 得益于这种视网膜和大脑视觉皮层垂直分层的结构和信息加工能力 ， 人类视觉系统能以极低的功耗和极高的信息处理效率完成复杂的视觉认知 。 将这种强大的视觉信息处理能力赋予机器 ， 使其能够像人一样具有独立思考和行动的能力 ， 是人们一直以来的梦想 。 传统机器视觉采用摄像头和计算机的组合架构 ， 虽然一定程度上实现了对人类视觉系统部分功能的模拟,但是要想达到能与人类视觉系统相比拟的高效信息处理能力 ， 仍面临很大的挑战 。
本文插图
近日 ， 南京大学物理学院缪峰教授团队将视网膜形态传感阵列和忆阻交叉阵列结合为一体 ， 提出和实现了“垂直结构”的类脑视觉系统 ， 为未来实现类脑机器视觉提供了一个可行的思路 。
多功能光电传感和类脑计算器件对于研发能够工作在全模拟域的类脑视觉系统至关重要 。 近年来 ， 缪峰团队（https://nano.nju.edu.cn）利用“原子乐高”的技术途径 ， 分别在室温高灵敏红外探测器（Science Advances 2017）、耐高温忆阻器（Nature Electronics 2018）、弹道雪崩探测器件（Nature Nano. 2019）、可重构类脑视觉传感器（Science Advances 2020）、可重构类脑电路（Nature Electronics 2020）等方向陆续取得突破 。 与此同时 ， 缪峰团队也一直探索忆阻交叉阵列的应用领域 ， 首次利用忆阻交叉阵列构建了一个神经网络系统 ， 用于核心信息处理单元 ， 实现了具有一定自适应能力的智能小车（Advanced intelligent systems 2020） 。
基于这系列工作打下的基础 ， 该团队近日提出 ， 通过将视网膜形态传感器阵列与忆阻交叉阵列结合在一起 ， 可以模拟人类视觉系统的“垂直分层”架构 ， 从而同步实现对视觉信息的感知和预处理 ， 并高效执行较复杂的包括图像识别、物体追踪、运动轨迹预测等在内的任务 。 该工作为未来开发三维垂直集成的新型类脑视觉系统奠定了科学与技术基础 。
相关研究成果以“Networking retinomorphic sensor with memristive crossbar for brain-inspired visual perception”（基于视网膜形态传感器和忆阻交叉阵列的类脑视觉系统）为题于近日在线发表在National Science Review上 。 南京大学物理学院博士生王爽、王晨宇和王鹏飞为论文的共同第一作者 ， 梁世军副研究员和缪峰教授为该工作的共同通讯作者 。 该工作得到了王振林教授课题组、陈坤基教授课题组的实验协助 ， 和国家杰出青年科学基金、国家自然科学基金、江苏省青年基金等项目的资助 ， 以及微结构科学与技术协同创新中心的支持 。
被誉为“忆阻器之父”、美国加州大学伯克利分校的蔡少棠(Leon Chua)教授在同期【趣投稿|“垂直结构”新型类脑视觉系统方面取得重要进展】National Science Review上为本文撰写了专题评论文章“A promising route to neuromorphic vision“ 《一条通往类脑视觉的光明之路》 ， 指出“Liang和Miao关于在完全模拟域内执行感算识任务的类脑视觉系统原型展示的工作是一个重大的突破” 。 蔡少棠教授进一步指出 ， 该工作“为将来探索类脑视觉系统在自动驾驶、智能安防和智能医疗领域的应用开辟了一条可遵循的潜在技术路线” 。 （https://doi.org/10.1093/nsr/nwaa182）
研究成果
人类视觉系统强大的信息处理能力很大程度上依赖于视网膜和大脑视觉皮层所形成的分层结构（图1a所示） 。 人类对外界信息形成视觉认知的过程需要经历以下基本过程：携带外部世界信息的光首先投射在眼球底部的视网膜上 ， 视网膜上的光感受器会将光信号转化为电信号 ， 传递给视网膜中的其它细胞实现对信息的初步整合加工 ， 整合后的信号将由视网膜神经节细胞通过视神经传递给大脑；进入大脑的视觉信息会被大脑中不同的视觉皮层进行深层次加工处理 ， 最终传递给高级脑区形成视觉认知 。 为了实现对人类视觉系统结构和功能的逼真模拟 ， 缪峰团队提出 ， 通过将采用“原子乐高”的方式搭建的可重构视网膜传感器和忆阻交叉阵列进行集成 ， 可以实现全模拟域的视觉信息传递和处理 ， 如图1b所示 。
推荐阅读
- 黑科技,智能穿戴|新型运动耳机，黑科技骨传导耳机推荐
- 第一财经|特斯拉将在柏林工厂生产新型电池 续航能力有望提升50%
- 趣投稿|终于定档，iPhone 12 系列手机 10 月 14 日凌晨发布
- 科学|与压力和抑郁症有关的脑蛋白的新发现可以为新型药物的研发铺路
- NASA|2300 万美元！NASA 新型太空厕所将在国际空间站试用，更适合女性
- 趣投稿|如何自动化、标准化捕获测序文库制备？
- 趣投稿|一个小度科技就估值200亿，百度现在被低估了吗？
- 趣投稿|上师大天华学院率先在沪民办高校中设立人工智能学院
- |抗击新型肺炎 “氢氧”亮剑战疫
- 诈骗|二维码支付成新型诈骗手段 网龙多举措强化打击力度