麻省理工学院计算机科学与人工智能实验室的研究人员开发了一种新的大脑神经回路计算模型,可以揭示抑制性神经元(阻止其他神经元放电的神经元)的生物功能。
该模型描述了一个由一组输入神经元和相等数量的输出神经元组成的神经回路。该电路执行神经学家所谓的“赢家通吃”操作,即来自多个输入神经元的信号在一个输出神经元中产生一个信号。
利用理论计算机科学的工具,研究人员证明了在他们的模型背景下,一些抑制性神经元的配置为实现赢家通吃操作提供了最有效的手段。因为这个模型对大脑中抑制性神经元的行为进行了经验预测,所以它为计算分析如何帮助神经科学提供了一个很好的例子。
研究人员将在本周的理论计算机科学创新大会上展示他们的发现。麻省理工学院软件科学与工程NEC教授南希林奇是这篇论文的资深作者。她的团队还包括博士后Merav Parter和麻省理工学院电子工程和计算机科学研究生Cameron Musco。
多年来,林奇的团队一直在研究自组织网络中的通信和资源分配,自组织网络是指成员不断离开和重新加入的网络。然而,最近研究团队开始使用网络分析工具来研究生物现象。
林奇说:“计算机或手机等设备网络的行为与生物系统的行为密切相关。”“我们试图从分布式计算的角度寻找可以受益的问题,重点是我们可以证明数学性质的算法。”
近年来,人工神经网络——大致基于大脑结构3354的计算机模型,它负责人工智能系统中一些最快的改进,从语音转录到人脸识别软件。
人工神经网络由“节点”组成,这些节点像单个神经元一样,信息处理能力有限,但联系紧密。数据被输入到第一级节点。如果给定节点接收的数据满足某个阈值标准(例如,如果它超过某个值),则该节点会“触发”或沿其所有传出连接发送信号。
然而,每个输出连接都有一个相关的“权重”,可以增加或减少信号。网络的下一层中的每个节点接收第一层中的多个节点的加权信号;把它们加在一起,如果它们的总和超过某个阈值,就会触发。它发送的信号被传递到下一层,以此类推。
在人工智能的应用中,神经网络是对样本数据进行“训练”的,其权重和触发阈值不断调整,直到最后一层的输出一致地表示某个计算问题的解。
生物理性
林奇、Parter和Musco对这个设计做了几处修改,使其在生物学上更加合理。首先是加入抑制性的“神经元”。在标准人工神经网络中,连接上的权重通常是正的,也可以是正的或负的。然而,在大脑中,一些神经元似乎只有抑制作用,阻止其他神经元放电。麻省理工学院的研究人员将这些神经元建模为只有负权重的节点。
许多人工智能应用程序也使用“前馈”网络,其中信号仅在一个方向上通过网络,从接收输入数据的第一层到提供计算结果的最后一层。但是大脑中的联系要复杂得多。林奇、帕泰尔和莫斯科的电路因此包含反馈:来自输出神经元的信号被传递到抑制神经元,抑制神经元的输出又被传递回输出神经元。输出神经元的信号也反馈给自己,这被证明是制定赢者通吃策略的关键。
最后,麻省理工学院研究人员的网络是概率性的。在典型的人工神经网络中,如果某个节点的输入值超过某个阈值,该节点就会触发。但在大脑中,增加输入神经元上的信号传递强度,只会增加输出神经元被激活的概率。研究者模型中的节点也是如此。同样,这种修改对于赢者通吃战略非常重要。
在研究者的模型中,输入输出神经元的数量是固定的,赢者通吃的计算完全是一组辅助神经元的工作。帕特解释说,“我们试图在解决给定问题的计算时间和辅助神经元的数量之间找到平衡。”“我们认为神经元是一种资源;我们不想花太多钱。”
帕特和她的同事可以证明,在他们的模型中,只有一个抑制神经元是不可能实现赢者通吃策略的。但是两个抑制性神经元就足够了。至关重要的是,如果多个输出神经元同时放电,其中一个抑制神经元(研究人员称之为会聚神经元)会发出强烈的抑制信号。另一个抑制性神经元——,即稳定神经元——,在任何输出神经元放电时都会发出较弱的信号。
收敛神经元驱动电路选择单个输出神经元,此时停止放电;一旦收敛神经元被关闭,稳定神经元会阻止第二个输出神经元激活。输出神经元的自反馈环路增强了这种效果。输出神经元关闭的时间越长,它保持关闭的可能性就越大。它存在的时间越长,就越有可能继续存在。一旦选择了单个输出神经元,其自反馈电路就可以克服稳定神经元的抑制。
然而,如果没有随机性,该电路将不会收敛到单个输出神经元3360。抑制神经元的任何设定权重对所有输出神经元都有相同的影响。“你需要随机性来打破对称性,”帕特解释道。
研究人员可以确定确保特定收敛速度所需的最小辅助神经元数量,以及给定数量的辅助神经元可以实现的最大收敛速度。
增加更多的收敛神经元可以提高收敛速度,但只是在一定程度上。例如,对于100个输入神经元,你只需要2或3个收敛神经元;增加第四个并不能提高效率。只有一个稳定的神经元是最佳的。
然而,也许更有趣的是,研究人员发现,辅助神经元中的兴奋性神经元(刺激但不抑制其他神经元放电的神经元)和抑制性神经元无法得到改善。
回路的效率。类似地,任何抑制性神经元的排列,如果没有观察到收敛性神经元和稳定性神经元之间的区别,那么它们的效率就会比观察到收敛性神经元和稳定性神经元之间的区别的抑制性神经元要低。假设,进化会找到有效解决工程问题,该模型显示这两个问题的答案为什么抑制性神经元在大脑和实证研究的一个引人注目的问题:做真实的抑制性神经元表现出相同的收敛性神经元和神经元稳定吗?
索尔克生物研究所(Salk Institute for Biological Studies)整合生物实验室(Integrative Biology Laboratory)的助理教授萨基特•纳夫拉卡(Saket Navlakha)表示:“赢家通吃的计算模式是我们在大脑中看到的一个相当广泛而有用的模式。”“在许多感觉系统中——例如嗅觉系统——它被用来产生稀疏编码。”
他补充道:“我们已经发现了许多种类的抑制性神经元,下一步自然是要看看这些种类是否与本研究预测的相符。”
卡耐基梅隆大学计算机科学教授Ziv Bar-Joseph说:“神经科学在计算模型方面做了很多工作,这些模型不仅考虑了抑制性神经元的更多细节,还考虑了是什么蛋白质驱动这些神经元等等。”她说:“南希从全球的角度来看待这个网络,而不是着眼于具体的细节。作为回报,她能够看到一些更大的画面。你到底需要多少抑制性神经元?为什么与兴奋性神经元相比,我们的神经元如此之少?这里的独特之处在于,这种全球范围的建模为你提供了一种更高层次的预测。”