分析帖!怎样辨别生物和人工神经网络中的递归?

递归是神经网络中的一个重要术语,在机器学习和神经科学领域有着不同的含义。然而,随着用于实际应用的人工神经网络(ANNs)越来越复杂,且在某些方面更像生物神经网络(BNNs),这种差异正在逐渐缩小(但总体上仍存在巨大差异)。

在这篇文章中,我们将重点介绍这两个群体中递归使用的历史差异,重点介绍一些比较新的神经科学领域的深度学习神经网络模型,指出一些神经科学研究揭示递归的功能,并对未来进行预测。

深度学习社区所指的是经常性连接类似于神经科学界所说的横向连接。 即局部区域中的互连神经元。

在神经科学界,经常性网络是一种多样性的网络,包括前馈、横向和反馈连接。

反馈连接适合动物的能力和行为,在没有这种连接的深度学习模型中可能无法复制。

深度学习人工神经网络的递归

正如许多读者所知,深度学习网络是神经网络的子类型,其中神经元(或节点)被安排成层。与早期研究的只有一两个这样的层的网络相比,这样的网络中存在许多层,这也是它命名的原因。在一个典型的全连接前馈深度学习网络中,给定层中的所有神经元都将它们的输出发送给紧随其后的层中的所有神经元(计算的方向流通常被描述为从下到上或从左到右在层之间移动)。

人们还可以设计网络,其中给定层中的神经元将其输出发送到紧接在其之前的层,从而引入层之间的反馈连接。

最后,一层神经元可以以完全连接(或其他)的方式将其输出发送回自身。 存储在层中的信息在下一个处理步骤中作为对同一层的输入重新出现。 这是一种递归的类型,在深度学习实践者讨论时总是意味着递归仅限于一个层。 (请注意,可能存在多个循环层,但层间连接仅为前馈。)

分析帖!怎样辨别生物和人工神经网络中的递归?

与右侧的前馈网络不同,左侧的网络具有“反馈”到自身的重复层(较大的浅蓝色圆圈)。在深度学习的说法中,

这种递归连接将记忆赋予递归神经网络(RNN)。网络的输出不再仅仅依赖于对标时间的输入。相反,网络在任何给定的时间都有一个“状态”,它与下一个输入相结合,提供一个新的输出,并更新网络的状态。

这允许RNN识别或产生其时间结构不同的模式,例如语音[1]。 例如,话语<sleep>和<sleeeep>都可以被识别为单词“sleep”。 事实上,这种序列到序列网络的设计和训练方法的重大进步是语音识别技术在过去2 – 3年中取得如此巨大进步的关键原因。 Siri和Alexa可能仍然像个“人工智障”,但至少他们可以非常准确地将您口语翻译成文本(尽管您可能并不总是认可它们的回答)。

文本的语言翻译是另一个取得巨大成功的领域。递归式的使用允许在编码阶段中积累信息,在解码阶段中进行分布式(跨时间输出),因此不需要直接进行单词对单词或短语对短语的对齐。例如,允许一种语言中单词前的修饰语在另一种语言中紧随其后,或是将red hat翻译成sombrero rojo。

分析帖!怎样辨别生物和人工神经网络中的递归?

更不用说上面所说的“普通”RNN架构在实践中很少使用了。高级应用程序通常依赖于人为设计的修改,以适应门控机制。在某种意义上,这允许它在接收到某个输入或交付某个输出时“转储”循环层的状态内存。作为一个类比,当你完成一个想法时,可能会希望扔掉那个想法,这样它就不会和你的下一个想法混淆了。值得注意的是,最常见和有效的门控层之一是长短期内存(LSTM)层,最初创建于1997年,远远早于基于rnnn的应用程序的。

生物神经网络中的递归

在神经科学家中,递归有一个更宽泛的定义:基于生物神经网络(BNNs)中神经元之间几乎各向同性的连接模式。神经元向其他神经元的轴突投射非常丰富,可以向前或向后、短距离或长距离传送。虽然有证据表明,大脑皮层在结构和功能上都存在粗糙的分层结构,但大脑皮层显然没有被安排成神经元的有限层(组)。大脑作为一个整体有不同的区域,有不同类型的神经元和神经递质,但没有像深度学习神经网络定义特征那样的分隔连接。尽管如此,深度学习实践者所称的反复连接更有可能被神经学家称为横向连接。

递归网络是以吸引子网络的模式完成特性,这也是计算神经科学家进行大量研究的方面。在我们自己的脑海中,可能只需要短暂的一瞥,一阵短暂的声音或者一点点气味,就能带来强烈而充满活力的记忆。或者当我们试着回忆一个演员或女演员的名字时,我们会想象他们的脸,想起他们合作过的其他演员的名字、电影的名字等等,直到他们的名字神奇地出现在我们的脑海中。类似的现象已经在吸引子网络的模拟中被观察到(一个非深度学习结构的ANN,通常带有抑制和兴奋性的人工神经元,这代表了BNNs的更现实的模型)。例如,由人脸图像驱动的神经活动模式也可能由同一人脸的模糊或嘈杂图像驱动,只是在后一种情况下,网络的动态需要更长的时间才能达到稳定状态。

分析帖!怎样辨别生物和人工神经网络中的递归?

Hopfield吸引网络的能量景观。感觉信息可以简单地将网络活动定位在不稳定的部分信息状态,从该状态

比区分深度学习神经网络的有限递归(层内)与广泛递归更重要的是,在大多数深度学习模型中缺乏反馈连接。在神经科学领域,“递归”一词几乎等同于反馈和前馈连接的混合,最近的研究为反馈的作用提供了新的证据。

生物网络中可能存在的周期性连接和反馈连接功能:

迭代感知处理:即循环处理,其中自下而上和自上而下的信息流相互作用以稳定结果。有关该主题的更深入问题,请见以下内容。

长期记忆:不完整的信息可以发起从长期储存在网络的存储器召回(如上所述)。

短期记忆:可以记忆短数字序列或几句话内容所需,由共同产生稳定(或动态的)发射模式的神经元维持,保持新的短期记忆。该功能与上述序列到序列深度学习RNN的功能相似(例如,允许语音识别和语言翻译)。

自上而下的目标驱动注意力:基于目前的任务和相关目标,并不是所有的感官信息都具有同等价值。寻找自己喜爱的红色浆果的动物可能具有反馈连接,这种连接可以增强对红光作出反应的低层神经元的活动,同时降低对其他颜色作出反应的神经元的活动。这个过程的神经模型利用了深度学习社区工作。

可塑性:递归也是生物大脑学习机制的重要组成部分。例如,皮层下基底核中的多巴胺释放神经元是由皮层和皮层下区域组成的复杂网络的一部分,能够增强皮层区域对奖赏(食物、交配等)行为的可塑性,从而加强这种行为。这种神经元和网络的复杂性在最先进的深度学习中几乎完全缺失。

门控:据推测,反馈也可以作为一种门控机制来控制信息从低级神经元到高级神经元的流动。注意力可能会使用这样的门控,但这里我们指的门控不是由生物体的意识感知和目标驱动的。例如,众所周知,关于物体身份的视觉信息是沿着枕叶皮质到下颞叶皮质的通路提取和提炼的。相反,目标位置信息是沿着枕叶皮质到顶叶皮质的路径提取和细化的。门控可能有助于指导这种信息传递过程,并且可能是支持前面讨论的迭代感官处理的机制。

迭代感官处理

我们简要强调BNN中循环和反馈连接的迭代感知处理角色,并将其与在深度学习神经网络中主导图像分类任务的前馈卷积神经网络(CNN)进行对比。

深度学习对象(image)识别模型在该领域取得了巨大的成功,自CNN发布第一个赢得ImageNet大型视觉识别挑战(ILSVRC)的模型“AlexNet”以来,该领域发展迅速。由于视觉皮层是哺乳动物皮层中研究最广泛的区域,因此,人们对深度学习中枢神经网络与哺乳动物视觉进行了许多主观和定量的比较。

早期的视觉神经科学模型是基于Hubel和Weisel等人对单个神经元的记录,它们与标准的中枢神经网络相似,都有卷积、汇聚和前馈连接。功能模型前馈的部分动机是视觉感知速度很快,大约在100毫秒左右。这一估计是基于大脑“高级”区域的神经放电时间相对于向实验动物展示图像的时刻。基于解剖学,视觉皮层通常被建模为一个松散的层次结构,由4-6个层次组成,具有强烈的反馈连通性。尽管存在反馈连接,但较高水平的神经反应速度表明,反馈连接并非完全必要(对于简单的对象识别任务)。如果不是这种情况,在这些领域形成稳定反馈的速度将会更慢,因为反馈循环的贡献需要更多的时间来传播。

然而,在具有挑战性的ILSVRC测试集中,CNNs需要几十层甚至数百层才能实现良好的图像分类性能,这与仅仅由几个前馈级组成的视觉皮层模型形成了矛盾。此外,在一些计算研究中,相对较浅的RNNs与较深的CNNs表现相当。

分析帖!怎样辨别生物和人工神经网络中的递归?

  Liao和Poggio [10]建立了一个4级复发网络,旨在模拟视觉皮层。在这个粗糙的模型中,来自眼

最近,世界级实验室进行的一对神经科学研究以及对生物反馈性连接的时间延迟研究,表明需要递归才能捕获人类视觉皮层的动态计算, 递归对于视觉皮层执行识别行为至关重要。 简而言之,如果没有被循环网络多次迭代,就无法识别出更具“挑战性”的对象图像实例。 换句话说,需要额外的非线性变换以成功识别对象,在那些区域中形成的反馈将更慢,因为来自反馈回路的贡献需要更多的时间来传播。

最后的话

如上所述,虽然循环深度学习神经网络模型具有层内递归(神经科学用语中的“横向”连接),但很少有神经科学家经常研究的反馈连接类型:从较高层到较低层的连接。

与此相关的是,生物神经元是并行运作的,因此在大规模的递归网络中的计算可以快速进行。事实上,神经元状态的同步计算更新是成功的关键。对于运行在现代硬件上的大型、高重复性神经网络,这种程度的并行可能很难实现。我们推测,在深度学习模型中引入大量的反馈递归,并为这些模型开发训练方将带来强大的人工智能能力。

Image placeholder
SoleMemory
未设置
  67人点赞

没有讨论,发表一下自己的看法吧

推荐文章
入门 | Tensorflow实战讲解神经网络搭建详细过程

作者| AI小昕编辑| 磐石出品| 磐创AI技术团队【磐创AI导读】:本文详细介绍了神经网络在实战过程中的构建与调节方式。之前我们讲了神经网络的起源、单层神经网络、多层神经网络的搭建过程、搭建时要注意

秘籍在手,训练不愁!特斯拉AI负责人Karpathy的超全神经网络训练套路

大数据文摘出品编译:周素云、宋欣仪、熊琰、ZoeY、顾晨波训练神经网络到底有诀窍和套路吗?AndrejKarpathy认为,还的确有。这位特斯拉的人工智能研究负责人、李飞飞的斯坦福高徒刚刚难得更新了博

阿里毕玄:从生物系学生,到技术团队 leader,他是如何完成自我蜕变的

©MSuzanneD.Williams编者按:新的技术层数不穷,困扰程序员的不仅有学不完的新技术,还有每个人在职业生涯中必然会面对的成长路线问题。这就像一个产品有了清晰的roadmap,下一步走的才会

在网络安全中应用人工智能的五大障碍

国外网络安全公司Cylance发布报告称,人工智能(AI)应用落地的两个最主要障碍是人工智能本身发展不成熟以及应用企业对技术储备的缺乏。人工智能可以有效地帮助网络安全专业人员应对更复杂更危险的威胁,但

实现人工智能落地 你还差一个“数据分析流水线”的距离

在智慧生产场景,生产制造商可以在生产线上利用深度学习,尤其是图像识别,将产品的质量检测自动化。比如自动检测产品表面有没有划伤、有没有零部件的缺失、有没有标签的错位。研究表明,相比人工检测,智慧检测可以

从网络接入层到 Service Mesh,蚂蚁金服网络代理的演进之路

本文作者:肖涵(涵畅)上篇文章《 诗和远方:蚂蚁金服ServiceMesh深度实践|QCon实录》中, 介绍了ServiceMesh在蚂蚁金服的落地情况和即将来临的双十一大考,帮助大家了解Servic

递归函数、lambda

递归函数:在函数中调用自身的函数。【eg.系统统计文件】lambda:是函数另外一种表示方式。格式:变量名=lambda参数,参数....:实现函数代码功能此表达式功能比较单一,只能实现简单的数据运算

网络工程师眼中的自动化运维

本文从一名网工从业者的角度出发,探讨了在企业网运维过程中,网络工程师可以用什么样的工具让网络更加透明高效。上篇文章回顾:ApacheRanger——HadoopACL控制工具引言“网络就像wifi,没

Linux中的权限、进程、服务、网络的管理与防火墙

查看权限 使用ls-l,或者ls命令查看目录下的文件,第一列就是文件或者目录的权限位: [test@ubuntu:~]$ls-l -rw-rw-r--1testtest0Sep2316:18fil

Udemy:人工智能是2020年职场最需要的技能之一

TensorFlow是过去三年中最受欢迎的技术技能,根据Udemy的数据在2016年至2019年之间呈指数增长。·除了Web开发框架,云计算和IT认证(包括AWS、CompTIA和Docker)之外,

人工智能给陌陌直播带来的变革与挑战

中国的人工智能产业相较国外起步较晚,但崛起迅速,尤其是人工智能上升为国家战略以来,更是吸引科技巨头以及众多垂直领域公司深耕不辍。在内容直播领域更是掀起一股强劲的浪潮,毫不夸张地说,AI技术已经成为了内

深夜生产事故,人工多线程来救场!

有一个读者问我:你认为一个程序员具备什么样的能力,才算得上是厉害的程序员?我答:拥有解决问题的能力的程序员。这个回答貌似有点抽象,不要紧看下面的文章你会慢慢有所了解。 一、解决问题的能力很多年前,当我

贫民窟的人工智能

大数据文摘出品编译:Jiaxu、小七、夏雅薇26岁的单身母亲Brenda住在非洲最大的贫民窟基贝拉,这也是全球最贫困的社区之一。每天早上,Brenda从家离开,乘坐公共汽车前往内罗毕东部,和她的100

新突破!人工智能会根据你的声音来预测你的长相

麻省理工学院的研究人员发明了一种新的人工智能,它实现了一项惊人的成就:仅通过分析一个人声音的短片段,它就能重建他们在现实生活中的样子。人工智能的预测结果并不完美,但总的来说还是相当不错的,这项研究也是

5G是一个数据通道,未来最大的产业是人工智能 | 任正非对话卡普兰

大数据文摘出品昨天下午,华为创始人任正非邀请两位人工智能领域的国际顶级专家参与“与任正非咖啡对话”。这已经不是任正非第一次举办这种与行业专家的对话,上一次是在6月17日在与《福布斯》著名撰稿人乔治·吉

为什么说 Python 是人工智能最佳Web开发的语言?

由于所有用户都可以使用大量的预构建库,因此Python非常适合人工智能在Web开发中的应用–但是还有什么能让它变得如此吸引人?在AbsoluteDigitalMedia,我们将仔细研究Python的历

YC中国创始人陆奇:人工智能时代,芯片和底层软件基本都要重做

大数据文摘出品作者:陆奇编辑:周素云2019年5月18日,在YC中国举办的YC中国创业者见面会上,YC中国创始人及首席执行官,YC全球研究院院长陆奇进行了以“技术驱动创新带来的创业机遇”为主题的精彩分

未来已来,如何减少人工智能带来的风险?

为了在新时代蓬勃发展,企业安全需要减少人工智能带来的风险,并充分利用它提供的机会。人工智能(AI)正在创造信息安全的新领域。能够独立学习、推理和行动的系统将越来越多地复制人类的行为。就像人类一样,他们

八年之痒!除了NLP和CV,人工智能就不能干点别的啥了?

大数据文摘出品来源:medium作者:SergiiShelpuk编译:王转转、junefish、武帅、钱天培从2012年AlexNet惊艳亮相开始算起,AI已经经历了将近8年的蓬勃发展期。这一迅猛发展

PHP和Python,哪个更适合人工智能入门学习?

课程推荐:PHP开发工程师--学习猿地--送9个上线商业项目课程推荐:Python开发工程师--学习猿地--送9个上线商业项目 人工智能的核心就是机器学习(MachineLearning),它是使计算

数据结构与算法分析——开篇以及复杂度分析

开篇 你也许已经发现了,工作了几年,原以为已经是一只老鸟。但看到刚参加工作的同事,你发现,原来自己一直在原地踏步。跟新人相比,你的唯一优势就是对业务更熟悉而已,别的就没有什么优势了。 怎样才能够让自己

数据结构与算法分析——开篇以及复杂度分析

开篇你也许已经发现了,工作了几年,原以为已经是一只老鸟。但看到刚参加工作的同事,你发现,原来自己一直在原地踏步。跟新人相比,你的唯一优势就是对业务更熟悉而已,别的就没有什么优势了。怎样才能够让自己更上

Python数据分析实战 | 爬遍拉勾网,带你看看数据分析师还吃香吗?

微信公众号:「Python读财」如有问题或建议,请公众号留言伴随着移动互联网的飞速发展,越来越多用户被互联网连接在一起,用户所积累下来的数据越来越多,市场对数据方面人才的需求也越来越大,由此也带火了如

航空公司系统是怎样炼成的?

刚接触航空业时,觉得自己像刚踏上美洲的弗朗西斯科.皮萨罗,或是刚遇见毛利人的库克船长,仿佛走进了信息技术的蛮荒之地,随便播下一颗“现代技术”种子,就能长出一片跨时代的技术森林。与国内行业解决方案提供商