为什么神经元有数千个突触，一个新皮质中的序列记忆理论(HTM算法基础)

川长思鸟来 2022-05-16 13:05 288阅读 0赞

## 为什么神经元有数千个突触，一个新皮质中的序列记忆理论(HTM算法基础) ##

Jeff Hawkins\*![jeff hawkins][] and ![这里写图片描述][70]Subutai Ahmad  
Numenta, Inc., Redwood City, CA, USA  
[https://www.frontiersin.org/articles/10.3389/fncir.2016.00023/full][https_www.frontiersin.org_articles_10.3389_fncir.2016.00023_full]  
锥体神经元代表新皮质中的大部分兴奋性神经元。每个锥体神经元接收来自数千个分离到树突分支上的兴奋性突触的输入。树突本身被分隔成顶端，基底和近端整合区域，其具有不同的特性。金字塔神经元如何整合来自数千个突触的输入，不同的树突在这种整合中起什么作用，以及这在皮质组织中起什么样的网络行为，这是一个谜。先前已经提出树突的非线性特性使皮质神经元能够识别多个独立的模式。在本文中，我们以多种方式扩展了这个想法。首先，我们表明，即使在存在大量噪声和模式变化的情况下，在活动树突上分离的具有数千个突触的神经元也能识别数百种独立的细胞活动模式。然后，我们提出一种神经元模型，其中在近端树突上检测到的模式导致动作电位，定义神经元的经典感受野，并且在基底和顶端树突上检测到的模式通过稍微去极化神经元而不产生动作电位而起到预测作用。通过这种机制，神经元可以在数百个独立的环境中预测其激活。然后，我们提出了一个基于神经元的网络模型，这些模型具有学习基于时间的序列的特性。该网络依赖于快速局部抑制来优先激活略微去极化的神经元。通过仿真，我们表明，只要网络使用稀疏的蜂窝激活分布式代码，网络就可以很好地扩展并在很多参数范围内运行。我们将新网络模型的属性与其他几种神经网络模型进行对比，以说明每种模型的相对能力。我们得出结论，具有数千个突触，活跃树突和多个积分区的锥体神经元创建了强鲁棒而强大的序列记忆。鉴于整个新皮层中兴奋性神经元的普遍性和相似性以及序列记忆在推理和行为中的重要性，我们提出这种形式的序列记忆可能是新皮质组织的普遍特性。  
**概述**  
新皮质中的兴奋性神经元具有数千个兴奋性突触。近端突触，即最接近细胞体的突触，对细胞产生动作电位的可能性具有相对大的影响。然而，大多数突触是远端或远离细胞体。单个远端突触的激活对躯体几乎没有影响，多年来很难想象成千上万的远端突触如何在确定细胞反应中发挥重要作用（Major等，2013）。已经观察到树枝状分支是活跃的处理元素。在紧密的空间和时间接近度内激活几个远端突触可导致局部树突状NMDA峰值并因此导致体细胞的显着且持续的去极化（Antic等人，2010; Major等人，2013）。这导致一些研究人员提出树突分支作为独立的模式识别器（pattern recognizers）（Poirazi等，2003; Polsky等，2004）。然而，与没有活性树突的神经元的多层网络相比，具有活跃树突的神经元网络的功能和理论益处尚不清楚（Poirazi等人，2003）。  
PS：NMDA中枢神经系统兴奋性氨基酸离子型受体。NMDA受体激活后可引起神经元细胞膜对、和通透性增强，产生兴奋性突触后电位。  
缺乏神经元需要活跃树突的理论，几乎所有人工神经网络，如深度学习中使用的那些（LeCun等，2015）和尖峰神经网络（Maass，1997），都使用具有简化树突模型的人工神经元， 他们可能缺少生物神经组织的关键功能方面的可能性。 为了理解新皮层如何工作以及构建与新皮质相同原理的系统，我们需要了解生物神经元如何整合来自数千个突触的输入以及活跃的树突是否起着重要作用。 当然，不能孤立地理解神经元。 因此，我们还需要一个互补的理论，即每个神经元网络如何与活跃的树突共同朝着共同的目的前进。  
在本文中，我们介绍了这样一个理论。首先，我们展示了具有活跃树突和数千个突触的典型锥体神经元如何识别数百种独立的细胞活动模式。我们表明，  
前提条件：只要整体神经活动稀疏，即使存在大量噪声和变异性，  
作用：神经元也能识别这些独立模式。  
我们介绍一种神经元模型：，  
其中树突树的不同部分的输入用于不同的目的。在该模型中，在近端树突上检测到的模式导致动作电位，定义了神经元的经典感受野。由神经元的远端突触识别的模式通过使细胞去极化而不直接引起动作电位而起到预测作用。通过这种机制，神经元可以学会在数百个独特的背景中预测它们的激活。然后我们展示了这些神经元网络如何学习和回忆模式序列。该网络依赖于竞争过程，其中先前去极化的神经元比非去极化神经元更快地发出尖峰。当与快速局部抑制相结合时，网络的激活状态偏向其预测。导致预测导致激活等的激活循环形成序列记忆的基础。  
我们描述了具有活动树突的神经元所需的一组学习和激活规则。 具有简化的树突结构的标准线性或非线性神经元网络不能容易地实现这些激活和学习规则。 要做到这一点，需要引入一些复杂且生物学上不太可能的特征。 因此，我们选择使用包括活动树突以及近端，基底和顶端树突整合区的神经元模型，我们认为它们更接近地匹配已知的神经元解剖学和生理学。  
通过仿真，我们说明序列存储器网络展示了许多期望的属性，例如在线学习，多个同时预测和鲁棒性。 整体理论与大量实验证据一致。 我们概述了一些可用于进一步检验该理论的详细生物学预测。  
**成果**  
神经元可靠地识别多种稀疏模式，通常将神经元视为计算其所有突触的单个加权和。 这个概念，有时被称为“点神经元”，构成了几乎所有人工神经网络的基础（图1A）。  
![这里写图片描述][70 1]

图1.神经元模型的比较。 （A）在大多数人工神经网络中使用的神经元模型具有很少的突触和没有树突。 （B）新皮质锥体神经元具有位于树突上的数千个兴奋性突触（插图）。 树突片段上的一组突触的共激活将导致NMDA峰值和体细胞的去极化。 该单元有三种输入源。 前馈输入（以绿色显示）形成靠近体细胞的突触，直接导致动作电位。 在更远端的基底和顶端树突中产生的NMDA尖峰使体细胞去极化，但通常不足以产生体细胞动作电位。 （C）HTM模型神经元模拟树突和NMDA尖峰，其具有一系列重合检测器，每个检测器具有一组突触（仅示出了每个突触中的少数几个）。  
活跃的树突提示神经元的不同视图，其中神经元识别许多独立的独特模式（Poirazi等人，2003; Polsky等人，2004; Larkum和Nevian，2008）。 实验结果表明，树突上紧密空间接近的8-20个突触的重合激活将以非线性方式结合并引起NMDA树突状尖峰（Larkum等，1999; Schiller等，2000; Schiller等）。 Schiller，2001; Major等，2013）。 因此，一小组相邻突触充当模式检测器。 由此可见，细胞树突上的数千个突触充当一组独立的模式探测器。 任何这些模式的检测都会导致NMDA峰值和随后的体细胞去极化。  
似乎8-20个突触无法可靠地识别大量细胞群中的活动模式。然而，如果要识别的模式稀疏，则可以进行鲁棒识别;也就是说，相对于人口而言，很少有神经元是活跃的（Olshausen和Field，2004）。例如，考虑200K细胞的群体，其中1％（2000）的细胞在任何时间点都是活跃的。我们希望神经元检测特定模式何时出现在200K细胞中。如果神经元的树突的一部分仅形成2000个活动细胞中的10个的新突触，并且产生NMDA尖峰的阈值是10，则当所有10个突触同时接收激活时，树突将检测目标模式。请注意，树突可能会错误地检测到共享相同10个活动单元的许多其他模式。然而，如果模式是稀疏的，则10个突触对于不同的随机模式变得活跃的机会很小。在这个例子中它只有9.8×10−21  9.8 × 10 − 21 。  
可以如下精确计算错误匹配的概率。 设n  n 表示在给定时间点的细胞群的大小和α α该群体中活性细胞的数量，对于稀疏模式α≪n  α ≪ n 。 设s  s 是树突片段上的突触数量，θ θ是NMDA峰值阈值。 我们说如果至少θ  θ 突触变得活跃，则片段识别模式，即s  s 突触的至少θ θ与当前活动的细胞匹配。  
假设模式的随机分布，错误匹配的确切概率由下式给出：

limsb=θ(sb)×(n−sa−b)(na)  lim b = θ s ( s b ) × ( n − s a − b ) ( n a )

（1）  
分母只是在  n  n  个总细胞群中含有活性细胞的可能模式的总数。 分子计算在一个树突片段上连接到  θ θ 或更多  s  s  突触的模式数。 在Ahmad和Hawkins（2016）中可以找到该等式的更详细描述。  
该等式表明非线性树枝状分段可以通过子采样（仅对要分类的模式中的少量细胞形成突触）对图案进行鲁棒分类。 S1文本中的表A列出了根据等式（1）计算的代表性误差概率。  
![S1表][S1]

通过形成比产生NMDA尖峰所需的更多的突触，识别对于噪声和变化变得稳健。 例如，如果树突的NMDA峰值阈值为10，但形成20个突触到它想要识别的模式，是所需数量的两倍，它允许树突识别目标模式，即使50％的单元格被更改 或不活跃。 额外的突触也增加了假阳性错误的可能性。 虽然误差的可能性增加了，但是等式（1）表明当模式稀疏时它仍然很小。 在上面的例子中，将突触数量加倍并因此引入50％的噪声容限，将误差的几率增加到仅1.6×10−18 1.6 ×10− 18。 S1文本中的表B列出了突触数超过阈值时的代表性错误率。  
识别给定模式的突触必须共同位于树突片段上。如果它们彼此相差40微米，则少至8个突触就足以产生NMDA尖峰（Major等，2008）。如果突触沿着树突节分布，则需要多达20个突触（Major等，2013）。树突片段可包含数百个突触;因此每个段可以检测多个模式。如果识别不同模式的突触在树突片段上混合在一起，则通过共激活来自不同模式的突触而引入额外的错误可能性。这种类型的错误的概率取决于有多少组突触共享树突片段和要识别的模式的稀疏性。对于大范围的值，此类错误的可能性仍然很低（S1文本中的表C）。因此，识别特定模式的突触的放置在某种程度上是精确的（它们必须在相同的树突片段上并且理想地在彼此的40μm内），但也有些不精确（与其他突触混合不太可能导致错误）。  
如果我们假设平均分配20个突触来识别每个模式，并且神经元具有6000个突触，那么一个细胞将具有识别大约300种不同模式的能力。 这是一个粗略的近似，但很明显，具有活跃树突的神经元可以学习可靠地识别大量细胞群中的数百种模式。 对这些模式中的任何一种的识别将使细胞去极化。 由于新皮质中的所有兴奋性神经元都有数千个突触，并且据我们所知，它们都具有活跃的树突，然后每个兴奋性新皮质神经元都能识别出数百种神经活动模式。  
在下一节中，我们提出神经元识别的大多数模式不直接导致动作电位，而是在神经元网络如何进行预测和学习序列中发挥作用。  
**皮质神经元突触输入的三个来源**  
神经元从不同来源接受兴奋性输入，这些来源分离在树突树的不同部分。 图1B显示了典型的锥体细胞，即新皮质中最常见的兴奋性神经元。 我们将细胞的输入分为三个区域。 近端区域接收前馈输入。 基底区域接收上下文输入，主要来自同一皮质区域中的附近细胞（Yoshimura等，2000; Petreanu等，2009; Rah等，2013）。 顶端区域接收反馈输入（Spruston，2008）。 （新皮质中第二个最常见的兴奋性神经元是多刺的星状细胞;我们认为它们被认为类似于锥体细胞减去顶端树突。）我们提出神经元（近端，基底和顶端）的三个突触整合区域。 服务于以下目的。  
**近端突触定义了细胞的经典感受野**  
近端树突上的突触（通常为几百个）在体细胞中具有相对较大的影响，因此最适合定义神经元的基本感受野反应（Spruston，2008）。 如果近端突触子集的重合激活足以产生体细胞动作电位，并且如果近端突触的输入稀疏活跃，则近端突触将以与前面讨论的相同方式识别多个独特的前馈模式。 因此，细胞的前馈感受野可以被认为是前馈模式的结合。  
**基底突触学习序列中的过渡**  
我们提出神经元的基底树突识别神经元射击之前的细胞活动模式，这样基底树突学习并存储活动模式之间的过渡。当在基底树突上识别出图案时，它会产生NMDA尖峰。由于NMDA尖峰引起的去极化在到达体细胞时减弱了振幅，因此当基底树突识别出一种模式时，它将使体细胞去极化但不足以产生体细胞动作电位（Antic et al。，2010; Major et al。，2013）。我们提出这种亚阈值去极化是细胞的重要状态。它代表了一种预测，即细胞将很快变得活跃，并在网络行为中发挥重要作用。如果随后接收到足够的前馈输入，则稍微去极化的细胞会比其它情况更早地发射。通过较早发射它会抑制相邻的细胞，为正确预测的输入创建高度稀疏的活动模式。我们将在后面的部分中更全面地解释这种机制。  
**顶端突触引起自上而下的期望**  
神经元的顶端树突在识别模式时也会产生NMDA峰值（Cichon和Gan，2015）。 顶端NMDA尖峰不直接影响体细胞。 相反，它可以导致顶端树突中的Ca2 +尖峰（Golding等，1999; Larkum等，2009）。 单个顶端Ca2 +尖峰将使体细胞去极化，但通常不足以产生体细胞动作电位（Antic等，2010）。 顶端Ca2 +尖峰，基底NMDA峰值和躯体动作电位之间的相互作用是一个正在进行研究的领域（Larkum，2013），但我们可以说，在许多条件下，顶端树突上的公认模式将使细胞去极化，因此具有 与基底枝晶上的识别图案类似的效果。 我们提出由顶端树突引起的去极化用于建立自上而下的期望，这可以被认为是另一种形式的预测。  
**HTM模型神经元**  
图1C显示了我们在软件模拟中使用的金字塔神经元的抽象模型。 我们将细胞的树突模型化为一组阈值重合检测器; 每个都有自己的突触。 如果树突/重合检测器上的活动突触的数量超过阈值，则细胞检测到模式。 重合检测器分为三组，对应于锥体细胞的近端，基底和顶端树突。 我们将这个模型神经元称为“HTM神经元”，以区别于生物神经元和点神经元。 HTM是Hierarchical Temporal Memory的缩写，用于描述我们的新皮质模型（Hawkins等，2011）。 在本文的模拟中使用的HTM神经元具有128个树突/重合检测器，每个树突具有多达40个突触。 为清楚起见，图1C仅显示了少数树突和突触。  
**神经元网络学习序列**  
因为新皮质中的所有组织都由具有活跃树突和数千个突触的神经元组成，所以它表明新皮质所具有的一切网络原理都存在。 这导致了一个问题，什么网络属性如此基础，以至于它是感官推理，预测，语言和运动规划的必要组成部分？  
我们提出所有新皮层组织最基本的运作是学习和回忆模式序列（Hawkins和Blakeslee，2004），Karl Lashley所谓的“最重要也是最被忽视的脑生理学问题”（Lashley，1951）。 更具体地，我们提出新皮层中的每个细胞层实现了共同序列记忆算法的变体。 我们建议细胞层使用序列存储器用于不同目的，这就是细胞层在细节上变化的原因，例如大小和连接性。 在本文中，我们说明了我们认为的基本序列记忆算法，而没有详细说明其变化。  
我们通过列出网络所需的几个属性来开始我们对序列记忆的探索，以便对新皮层进行建模。  
*(1) 在线学习*  
学习必须是连续的。 如果世界的统计数据发生变化，网络应该逐渐地，不断地适应每一个新的输入。  
*(2) 高阶预测*  
使用复杂序列进行正确预测需要能够合并过去的上下文信息。 网络需要动态确定需要多少时间上下文才能做出最佳预测。 术语“高阶”是指具有该特性的“高阶马尔可夫链”。  
*(3) 多个同时预测*  
自然数据流通常具有重叠和分支序列。 因此，序列存储器需要同时进行多个预测。  
*(4) 局部学习规则*  
序列记忆必须仅使用每个神经元本地局部的学习规则。 规则必须在空间和时间上都是本地的局部的，而不需要全局目标函数。  
*(5) 鲁棒性*  
记忆应该表现出对高水平噪声，神经元丢失和输入的自然变化的鲁棒性。 在这些条件下的性能下降应该是渐进的。  
所有这些属性必须在连续流数据的上下文中同时发生。  
**迷你列和神经元：两个表示**  
高阶序列存储器需要两个同时表示。 一个表示网络的前馈输入，另一个表示特定时间上下文中的前馈输入。 为了说明这一要求，考虑两个抽象序列“ABCD”和“XBCY”，其中每个字母代表神经元群体中激活的稀疏模式。 一旦这些序列被学习，网络应该在呈现序列“ABC”时预测“D”，并且当呈现序列“XBC”时它应该预测“Y”。因此，子序列“BC”期间的内部表示必须是不同的两例; 否则，在呈现“C”之后不能进行正确的预测。  
图2说明了我们如何提出这两种表示在皮层神经元的细胞层中表现出来。图2中的面板代表穿过新皮层中单个细胞层的切片（图2A）。为清楚起见，面板大大简化。图2B显示了在学习序列之前网络如何表示两个输入序列。图2C显示了在学习序列之后网络如何表示相同的输入。每个前馈输入到网络都会转换为一组稀疏的活动迷你列。 （新皮层中的微型柱跨越多个细胞层。这里我们仅指一个细胞层中的小柱中的细胞。）迷你柱中的所有神经元共享相同的前馈感受野。如果意外输入到达，则所选迷你列中的所有单元格将识别输入模式并变为活动状态。然而，在先前学习的序列的背景下，迷你柱中的一个或多个细胞将被去极化。去极化细胞将首先产生动作电位，抑制附近的其他细胞。因此，预测的输入将导致非常稀疏的细胞激活模式，其对于特定元件，在特定位置，特定序列中是独特的。  
![这里写图片描述][70 2]

图2.表示皮质细胞层中的序列。 （A）新皮层分为细胞层。 该图中的面板显示了一个通用细胞层的一部分。 为清楚起见，面板仅显示21个迷你柱，每列6个细胞。 （B）尚未学习输入序列ABCD和XBCY。 每个序列元素调用一组稀疏的迷你列，在此图中只有三个。 如果输入是意外的，则小型列中的所有单元都变为活动状态，这是在学习序列之前的情况。 （C）在学习了两个序列之后，输入调用相同的微型列，但每列中只有一个单元有效，标记为B’，B“，C’，C”，D’和Y“。 因为C’和C“是唯一的，所以它们可以调用Y或D的正确高阶预测。  
**基底突触是序列记忆的基础**  
在这个理论中，细胞利用它们的基底突触来学习输入模式之间的转换。 随着每个新的前馈输入，一些细胞通过其近端突触变得活跃。 其他细胞利用它们的基础突触，学会识别这种活动模式，并在再次看到模式后，变得去极化，从而在下一次输入中预测它们自己的前馈激活。 前馈输入激活细胞，而基础输入产生预测。 只要下一个输入与当前预测匹配，序列就会继续，如图3所示。图3A显示了活动小区和预测的小区，而网络遵循先前学习的序列。  
![这里写图片描述][70 3]  
图3.到附近神经元的基础连接预测下一个输入。 （A）使用图2中的一个序列，显示了活性细胞（黑色）和去极化/预测细胞（红色）。第一个面板显示意外输入A，这导致预测下一个输入B’（第二个面板）。如果随后的输入与预测匹配，则仅去极化的单元将变为活动的（第三面板），这导致新的预测（第四面板）。其中一个预测细胞使用的侧向突触连接显示在最右侧的图中。在现实网络中，每个预测的小区将与大量活动小区的子集具有15个或更多个连接。 （B）将模糊的子序列“BC”（它是ABCD和XBCY的一部分）呈现给网络。第一个面板显示意外输入B，这导致C’和C“的预测。第三个面板显示输入C后的系统。两组预测的单元变为活动状态，这导致预测D和Y（第四个面板）。在复杂数据流中，通常存在许多同时预测。  
通常，网络将进行多个同时预测。 例如，假设在学习序列“ABCD”和“XBCY”之后，我们将系统暴露给模糊的子序列“BC”。在这种情况下，我们希望系统同时预测“D”和“Y”。 图3B示出了当输入不明确时网络如何进行多次预测。 可以通过等式（1）再次计算可以以低错误机率进行的同时预测的数量。 由于预测往往非常稀疏，因此网络可以同时预测数十种模式而不会产生混淆。 如果输入与任何预测匹配，则将导致正确的高度稀疏表示。 如果输入与任何预测都不匹配，则列中的所有单元格都将变为活动状态，表示意外输入。  
虽然迷你列中的每个细胞共享相同的前馈响应，但它们的基础突触识别不同的模式。 因此，迷你列中的单元将在不同的学习时间上下文中唯一地响应，并且当预期输入时，总体活动水平将更稀疏。 已经观察到这两个属性（Vinje和Gallant，2002; Yen等，2007; Martin和Schröder，2013）。  
对于图3A的最后一个面板中的一个单元，我们示出了用于进行预测的单元的三个连接。 在真实的神经元中，在我们的模拟中，细胞将与更大的活跃细胞群的子集形成15到40个连接。  
**顶端突触创造了一种自上而下的期望**  
新皮质区域之间的反馈轴突通常形成突触（在第1层）与锥体神经元的顶端树突，其细胞体位于第2,3和5层。长期以来推测这些反馈连接实现某种形式的期望或偏见（Lamme） 等人，1998年）。 我们的神经元模型提出了新皮质中自上而下期望的机制。 图4显示了对顶端树突的稳定反馈模式如何能够同时预测序列中的多个元素。 当新的前馈输入到达时，它将被解释为预测序列的一部分。 反馈将输入偏向于特定的解释。 同样，因为模式是稀疏的，所以可以同时预测许多模式。  
![这里写图片描述][70 4]  
图4.对顶端树突的反馈预测整个序列。该图使用与图2相同的网络和表示。标记为“顶端树突”的区域相当于新皮层中的第1层;来自所有细胞的顶端树突（未示出）终止于此。在该图中，已经进行了以下假设。该网络先前已经学习了序列ABCD，如图2所示。在学习序列期间向顶端树突呈现恒定的反馈模式，并且参与序列B’C’D’的细胞在其顶端形成突触。树突识别不断的反馈模式。在已经学习反馈连接之后，将反馈模式呈现给顶端树突同时被序列中将顺序激活的所有细胞识别。这些细胞以红色显示，变为去极化（左侧窗格）。当新的前馈输入到达时，它将导致与预测序列相关的稀疏表示（中间面板）。如果前馈模式不能被解释为预期序列的一部分（右侧面板），则所选列中的所有单元变为活动状态，表示异常。以这种方式，顶端反馈使网络偏置以将任何输入解释为预期序列的一部分，并检测输入是否与预期序列中的任何一个元素不匹配。  
因此，有两种类型的预测同时发生。 与基底树突的横向连接预测下一个输入，与顶端树突的自上而下的连接预测同时多个序列元素。 顶端和基底树突之间的生理相互作用是一个活跃的研究领域（Larkum，2013），并可能导致他们在推理和预测中的作用更细微的解释。 但是，我们建议图2-4中显示的机制可能会继续在最终解释中发挥作用。  
**突触学习规则**  
我们的神经元模型需要对大多数神经模型学习的学习规则进行两处更改。 首先，通过从“潜在”突触库中生长和移除突触来进行学习（Chklovskii等，2004）。 其次，Hebbian学习和突触变化发生在树突片段的水平，而不是整个神经元（Stuart和Häusser，2001）。  
**潜在的突触**  
对于神经元识别活动模式，它需要一组共同定位的突触（通常为15-20），其连接到要识别的模式中活跃的细胞子集。 学习识别新模式是通过在树突片段上并置的一组新突触的形成来实现的。  
图5显示了我们如何模拟模拟HTM神经元中新突触的形成。 对于每个树突片段，我们在树突片段和网络中的其他细胞之间维持一组“潜在的”突触，这些突触可能与该片段形成突触（Chklovskii等，2004）。 潜在突触的数量大于实际突触的数量。 我们为每个潜在的突触分配一个称为“持久性”的标量值，它表示突触生长的阶段。 接近于零的持久性值表示轴突和树突，其可能形成突触但尚未开始生长突触。 1.0持久性值表示具有大的完全形成的突触的轴突和树突。  
![这里写图片描述][70 5]  
图5.通过增加新的突触来学习。 在HTM神经元中的学习是通过来自一组潜在突触的新突触的增长来建模的。 为每个潜在的突触分配“持久性”值并表示突触的生长。 通过递增或递减持久性值来进行学习。 如果持久性高于阈值，则突触权重是设置为1的二进制值。  
使用类似Hebbian的规则递增和递减持久性值。 如果持久性值超过阈值，例如0.3，则突触的权重为1，如果持久性值等于或低于阈值，则突触的权重为0。阈值表示突触的建立，尽管如此 一个很容易消失的。 持久性值为1.0的突触与具有阈值的持久性值的突触具有相同的效果，但不容易被遗忘。 使用标量持久性值可以在存在噪声的情况下进行在线学习。 以前看不见的输入模式可能是噪音，也可能是未来重复出现的新趋势的开始。 通过发展新的突触，网络可以在第一次遇到时开始学习新的模式，但只有在新模式的几次呈现后才会采取不同的行为。 增加超过阈值的持久性意味着经历比其他模式更多的模式将需要更长时间才能忘记。  
HTM神经元和HTM网络依赖于细胞活动的分布模式，因此任何一个神经元或突触的激活强度不是非常重要。 因此，在HTM模拟中，我们用二元状态模拟神经元激活和突触权重。 另外，众所周知，生物突触是随机的（Faisal等，2008），因此新皮质理论不能要求精确的突触功效。 虽然标量状态和权重可能会提高性能，但从理论的角度来看它们并不是必需的，并且我们所有的模拟在没有它们的情况下表现良好。 我们的HTM网络模拟中使用的正式学习规则在材料和方法部分中介绍。  
**仿真结果**  
图6示出了实现高阶序列存储器的HTM神经元网络的性能。 图6中使用的网络由2048个迷你柱组成，每个迷你柱有32个神经元。 每个神经元具有128个基底树突片段，每个树突片段具有多达40个实际突触。 因为该模拟仅用于说明序列记忆的特性，所以它不包括顶端突触。 该网络展示了前面列出的序列存储器的所有五个所需属性。  
![这里写图片描述][70 6]  
图6.序列存储器网络的仿真结果。 用于该图的输入流包含与随机元素混合的高阶序列。 该数据流的最大可能平均预测精度为50％。（A）高阶在线学习。 红线显示网络学习并在大约2500个序列元素之后实现最大可能的性能。 在元素3000处，改变数据流中的序列。 当模型学习新的时间结构时，预测准确度下降然后恢复。 为了比较，一阶网络的较低性能以蓝色显示。 （B）网络对鲁棒性的破坏。 在网络达到稳定性能后，我们对随机选择的神经元进行了灭活。 细胞死亡率高达40％时，对性能几乎没有影响。 当细胞死亡率超过40％时，网络的性能下降，但随着网络重新使用剩余的神经元而恢复。  
虽然我们已经将HTM网络应用于许多类型的真实数据，但在图6中，我们使用人工数据集来更清楚地说明网络的属性。 输入是一个元素流，其中每个元素都转换为2％稀疏激活的迷你列（总共2048个活动列中的40个）。 网络基于观察到的输入流中的转变来学习数据的预测模型。 在图6中，馈送到网络的数据流包含随机元素和重复序列的混合。 嵌入式序列长度为六个元素，需要高阶时间上下文以实现完全消歧和最佳预测精度，例如“XABCDE”和“YABCFG”。对于此模拟，我们设计输入数据流，使得最大可能的平均预测精度为 50％，这只能通过使用高阶表示来实现。  
图6A说明了在线学习和高阶预测。 HTM网络随时间的预测准确度以红色显示。 预测精度从零开始并且随着网络发现在随机转换内混合的重复时间模式而增加。 为了进行比较，一阶网络的准确性（通过每列仅使用一个单元创建）以蓝色显示。 经过充分的学习，高阶HTM网络实现了50％的最大可能预测精度，而一阶网络仅达到了约33％的准确度。 在网络达到其最大性能后，嵌入的序列被修改。 此时准确度下降，但由于网络不断学习，因此通过学习新的高阶模式来恢复。  
图6B示出了网络的稳健性。 在网络达到稳定性能后，我们对随机选择的神经元进行了灭活。 细胞死亡率高达约40％时，对性能的影响极小。 这种稳健性是由于前面描述的噪声容限，当树枝状分段形成的突触超过产生NMDA尖峰所需的突触时发生。 在较高的细胞死亡水平下，网络性能最初会下降，但随着网络使用剩余的神经元重新学习模式，网络性能会恢复。  
如图6B部分暗示的那样，该模型非常稳健并且对各种参数设置相当不敏感。 最关键的参数是树突峰值阈值和每个模式存储的突触数量。 设置这些参数时，请务必记住S1文本中的表格，其中列出了与低错误率相关的参数。 特别重要的是确保每个模式的树突阈值和突触足够高（分别至少12和20）。 如前所述，这些数字与实验文献密切相关。 关于这些方程的更详细讨论可以在Ahmad和Hawkins（2016）中找到。 部分材料和方法包括这些实验中使用的特定参数。  
**讨论**  
我们提出了一个模型锥体神经元，它与大多数人工神经网络中使用的模型神经元大不相同。 模型神经元的关键特征是其使用活动树突和多个突触整合区（近端，基底和顶端）。 活跃的树突允许神经元可靠地识别大量细胞群中的数百个独立模式。 突触整合区发挥功能上独特的作用，使神经元能够预测细胞活动中的转换和序列。 在该模型中，仅近端突触直接导致动作电位，在基底和顶端树突上检测到的模式使细胞去极化，代表预测。  
我们发现这些神经元的网络与快速局部抑制相结合，可以学习数据流中的序列。 基底突触检测预测下一个前馈输入的上下文模式。 顶端突触检测预测整个序列的反馈模式。 神经元和网络的操作依赖于稀疏的神经活动。 序列记忆模型连续学习，使用可变量的时间上下文进行预测，可以进行多个同时预测，仅使用本地学习规则，并且对网络元素，噪声和模式变化的失败具有鲁棒性。  
已经提出具有活性树突的神经元可以用多层感知器等效地建模（Poirazi等人，2003）。因此，活性树突的功能和理论益处尚不清楚。本文中描述的序列记忆模型通过为不同的突触整合区域分配独特的角色来提出这样的益处。例如，我们的模型锥体神经元仅通过在近端突触上检测到的模式直接激活，而对于在基底和顶端树突上检测到的模式，其保持更持久的亚阈值去极化。而且，网络的抑制作用不同地适用于不同的突触整合区。最后，无监督学习规则是不同的，并且根据集成区域在不同的时间尺度上操作。虽然可以想象创建包含所有这些操作的标准感知器类神经元的电路，但我们建议使用包含活动树突和独特积分区的神经元模型是更优雅和简约的方法。它也更密切地反映了潜在的生物学。  
**与以前的模型的关系**  
将我们提出的生物序列记忆机制与机器学习领域中使用的其他序列记忆技术进行比较是有益的。最常见的技术是隐马尔可夫模型（HMMs）（Rabiner和Juang，1986）。 HMM被广泛应用，特别是在语音识别中。基本HMM是一阶模型，其精度类似于图6A中所示的一阶模型。 HMM的变化可以通过手动编码高阶状态来对受限制的高阶序列进行建模。时间延迟神经网络（TDNN）（Waibel，1989）允许前馈神经网络通过明确地结合延迟输入来处理有限的高阶序列子集。最近，反复神经网络，特别是长期短期记忆（LSTM）（Hochreiter和Schmidhuber，1997），已经变得流行，通常优于HMM和TDNN。与HTM网络不同，HMM，TDNN和LSTM都不会尝试对生物进行任何细节建模;因此，它们对神经元或新皮层功能的了解很少。 HTM模型相对于这两种技术的主要功能优势在于①其连续学习的能力，其②卓越的稳健性以及③进行多个同时预测的能力。更详细的比较可以在S1表和Cui等人中找到。 （2015年）。  
有许多相关的生物学动机序列记忆模型。已经在时间丘脑皮层结合和40Hz振荡的背景下讨论了锥体细胞中的重合检测（Llinás等，1994）。许多论文在序列学习的背景下研究了尖峰神经元模型（Maass，1997; Deneve，2008; Ghosh-Dastidar和Adeli，2009; Jahnke等，2015）。这些模型比机器学习文献中使用的神经元模型更具生物物理学特征。它们显示了尖峰 - 时间依赖性可塑性（STDP）如何导致细胞对特定的突触前尖峰序列以及每个尖峰之间的特定时间延迟做出响应（Ruf和Schmitt，1997; Rao和Sejnowski，2000;Gütig和Sompolinsky，2006）。 Memmesheimer等。 （2014）表明，可以学习和重放许多精确定时的序列，应用于对鸣禽丰富的声音输出进行建模。这些模型通常仅限于马尔可夫（非高阶）序列，并未应用于复杂的现实世界任务。  
一般来说，尖峰神经元模型的细节水平低于本文提出的HTM模型。它们明确地模拟突触后电位的积分时间，并且相应的时间延迟通常是亚毫秒到几毫秒。它们通常还处理神经元上非常小的突触子集，并且不明确地模拟非线性活动树突或多个突触整合区域（但参见Legenstein和Maass，2011）。我们工作的重点是规模更大。本文介绍的工作模拟神经元具有全套突触，活动树突和多个突触整合区。网络包含以列和层排列的数万个神经元。得到的模型是计算复杂的序列记忆，可以应用于现实世界的问题（Cui等，2015）。本文提出的HTM模型的一个限制是它不处理序列的特定时序。因此，未来研究的一个有趣方向是连接这两个级别的建模，即，创建在完整的细胞层水平上操作的生物物理详细模型。 Billaudelle和Ahmad（2015）报告了一些进展，但在这方面还有很多工作要做。  
**网络容量和泛化**  
过去在理解具有线性和非线性神经元和计算元素的系统的能力方面存在重要的工作（Cover，1965; Vapnik等，1994），以及它们相应的错误率（Haussler，1988,1990）。 稀疏神经系统已经在Kanerva（1988），Olshausen和Field（1997）以及最近的工作如Jahnke等人的研究中进行了研究。（2015年）。 迄今为止的文献尚未包括具有与皮层神经元相对应的参数的稀疏表示的错误率的完整表征。 在本文中，我们扩展了以前的工作，以表明可以可靠地识别高维稀疏模式，同时需要少量的突触来启动活动树突上的NMDA尖峰。  
之前已经研究过各种形式的序列记忆的能力（Sompolinsky和Kanter，1986; Riedel等，1988; Leibold和Kempter，2006）。在我们的模型中，直接获得序列容量的估计。虽然我们将网络模型称为“序列存储器”，但它实际上是转换的记忆。序列长度或存储序列数量没有表示或概念。网络只学习输入之间的转换。因此，网络的容量是通过给定网络可以存储多少转换来衡量的。这可以计算为单个神经元的预期工作循环（每列/每个细胞稀疏度的细胞）乘以每个神经元可以在其基底树突上识别的模式数量的乘积。例如，一个网络中有2％的列是活动的，每列有32个单元格，每个单元格在其基础树突上识别200个模式，可以存储大约320,000个转换（（32 / 0.02）\* 200）。容量与每列细胞数和每个神经元基底突触识别的模式数呈线性关系。  
我们的模型能够表示复杂的高阶（非马尔可夫）序列。 该模型可以自动学习非常远程的时间依赖性。 因此，重要的容量度量是特定输入可以在不同的时间上下文中出现多少次而没有混淆。 这类似于特定音乐片段在没有混淆的情况下出现在旋律中的次数，或者特定单词可以在不同句子中记忆多少次。 如果迷你列具有32个单元，则并不意味着特定模式只能具有32个不同的表示。 例如，如果我们假设每个输入有40个活动列，每列32个单元，每列有一个活动单元，那么每个输入模式有3240种可能的表示，实际上是无限数。 因此，实际限制不是代表性的，而是基于记忆的。 容量取决于可以使用特定稀疏列集合学习的转换次数。  
到目前为止，我们只讨论了蜂窝层，其中网络中的所有小区都可能以相同的可能性连接到所有其他小区。 这适用于小型网络，但不适用于大型网络。 在新皮层中，众所周知大多数区域具有拓扑组织。 例如，区域V1中的单元仅从视网膜的一小部分接收前馈输入，并且仅从V1的局部区域接收横向输入。 可以通过以二维阵列排列列并使用以神经元为中心的2D概率分布为每个树突选择潜在的突触来以这种方式配置HTM网络。 拓扑组织的网络可以任意大。  
学习算法的一个关键考虑因素是泛化问题，或者强有力地处理新模式的能力。 我们已经概述的序列记忆机制通过在稀疏模式的流中形成活跃神经元的小样本的突触来学习。 稀疏表示的属性自然允许这样的系统概括。 两个随机选择的稀疏模式将具有非常小的重叠。 即使是小的重叠（例如20％）也是非常重要的，并且暗示表示具有显着的语义含义。 树突阈值低于每个片段上的实际突触数，因此片段将识别新颖但语义相关的模式相似。 该系统将看到不同序列之间的相似性，并基于类比进行新的预测。  
**可测试的预测**  
这个理论有几个可测试的预测。  
该理论为实验观察到的现象提供了算法解释，即在连续可预测的感觉流期间整体细胞活动变得稀疏（Vinje和Gallant，2002; Yen等，2007; Martin和Schröder，2013）。 此外，它预测非预期的输入将导致更高的细胞活动，这应该在迷你列中垂直相关。 另一方面，预期输入将导致迷你列中不相关的活动。 值得注意的是，迷你柱并不是该理论的严格要求。 该模型仅需要存在共享前馈响应且相互抑制的小组细胞。 我们将这些组称为迷你列，但是柱状方面不是必需的，并且分组可以独立于实际的迷你列。  
该理论的第二个核心预测是，当前的细胞活动模式包含有关过去刺激的信息。 Nikolić等人报道了支持这种预测的早期实验结果。（2009年）。 需要进一步的研究来验证动态细胞活动的确切性质以及时间背景在高阶序列中的作用。  
突触可塑性应该定位于通过突触输入去极化的树突片段，然后短时间后通过反向动作电位。 已经报道了这种效应（Losonczy等人，2008），尽管这种现象尚未广泛建立。  
在给定的轴突和给定的树突片段之间应该形成很少的，理想情况下只有一个兴奋性突触。 如果兴奋性轴突使许多突触紧密接近单个树突，那么突触前细胞将主导导致NMDA尖峰。 可以容忍从单个轴突到单个树突片段的两个，三个或甚至四个突触，但是如果轴突常规地使单个树突片段的突触更多，则会导致错误。 纯粹的Hebbian学习似乎鼓励形成多个突触。 为了防止这种情况发生，我们预测存在一种机制，该机制在建立多个突触后积极阻止多个突触的形成。 轴突可以在同一神经元的不同树突片段上形成突触而不会引起问题，因此我们预测该机制将在树突片段或轴突心轴的局部区域内空间定位。  
当由NMDA尖峰去极化的细胞随后通过近端输入产生动作电位时，它需要抑制所有其他附近的兴奋细胞。 这需要快速，可能是单峰值抑制。 快速刺激的篮子抑制细胞是这种快速抑制的最可能的来源（Hu等人，2014）。  
迷你柱中的所有细胞都需要学习常见的前馈响应。 这需要一种机制来鼓励迷你列中的所有单元同时变为活动状态，同时学习前馈模式。 当一个或多个细胞稍微去极化时，这种相互激发的要求似乎与先前的相互抑制要求不一致。 我们没有关于如何满足这两个要求的具体建议，但是我们预测了一种机制，其中有时候列中的单元格是相互激发的，有时它们是相互抑制的。  
已知不同的皮质区域和不同的层具有变化。 不同层中的细胞可具有不同的树突长度和突触数量（Thomson和Bannister，2003）。 我们预测，尽管存在这些差异，但所有兴奋性神经元都在学习转变或序列。 具有较少树突片段和较少突触的神经元将学习较少的过渡。 我们建议树突和突触数量的变化很大程度上是数据中可发现模式数量的结果，而不是神经元本身的功能差异。  
锥体神经元在海马中很常见。因此，我们的神经元和网络模型的一部分可能适用于海马体。然而，海马体以快速学习而闻名，这与新的突触不相容，因为成年人的突触形成可能需要数小时（Knott等，2002; Trachtenberg等，2002; Niell等，2004; Holtmaat和斯沃博达，2009年）。在我们的模型中可以实现快速学习，如果不是发展新的突触，细胞就会有大量不活跃或“沉默”的突触（Kerchner和Nicoll，2008）。然后通过将沉默的突触转变为活跃的突触来进行快速学习。这种方法的缺点是细胞需要更多的突触，这在代谢上是昂贵的。海马区CA2中的锥体细胞在新皮质中具有数倍于突触的锥体细胞（Megías等，2001）。如果这些突触中的大多数是沉默的，那么可以证明区域CA2也在实施我们提出的序列记忆的变体。  
**材料和方法**  
在这里，我们正式描述了HTM序列存储器网络的激活和学习规则。 规则有三个基本方面：初始化、计算单元状态、更新树突段上的突触。 下面描述了这些步骤，以及符号和一些实现细节。  
*符号*：设N  N 表示层中的迷你列的数量，M M表示每列的单元数，NM表示层中的单元总数。 每个单元可以处于活动状态，处于预测（去极化）状态或处于非活动状态。 每个细胞维持一组片段，每个片段具有许多突触。 （在这个图中，我们使用术语“突触”来指代本文正文中描述的“潜在的突触”。因此，在任何时间点，一些突触的权重为0，一些突触的权重为 1.）在任何时间步骤t，该组活动单元由M×N  M × N 二进制矩阵At  A t 表示，其中atij  a i j t 是第j  j 列中第i i个单元的活动。 类似地，M×N  M × N 二进制矩阵Πt  Π t 表示在时间t  t 处于预测状态的单元，其中是第j j列中的第i  i 个单元的预测状态。  
每个细胞与一组远端区段Dij Di j相关联，使得Ddij  D i j d 代表第j  j 列中第i i个细胞的第d′  d ′ 区段。 每个远端区段包含许多突触，表示来自其他NM-1细胞的子集的侧向连接。 每个突触都有一个相关的持久性值（见图5）。 因此，Dtij  D i j t 本身也是M×N  M × N 稀疏矩阵。 如果存在与该段相关联的潜在突触，则该矩阵包含表示持久性值的非零元素。 如果突触的持久性值高于连接阈值，则认为突触是连接的。 我们使用D~dij  D ~ i j d 来表示仅包含连接的突触的二进制矩阵。  
*初始化*：初始化网络，使得每个片段包含一组潜在的突触（即，具有非零持久性值）到层中随机选择的小区子集。 这些潜在突触的持久性值是随机选择的：最初有些是连接的（高于阈值），有些是未连接的。  
计算单元状态：迷你列中的所有单元共享相同的前馈接收字段。 我们假设抑制过程已经选择了一组与当前前馈输入模式最匹配的k  k 列。 我们将此集合表示为Wt W t。 每个单元的活动状态计算如下：

atij=⎧⎩⎨⎪⎪1,1,0,if j∈Wtandπt−1ij=1先前处于预测状态if j∈Wtandπt−1ij=0先前不是处于预测状态，则激活otherwise  a i j t = \{ 1 , if j ∈ W t a n d π i j t − 1 = 1 先 前 处 于 预 测 状 态 1 , if j ∈ W t a n d π i j t − 1 = 0 先 前 不 是 处 于 预 测 状 态 ， 则 激 活 0 , o t h e r w i s e

（2）  
如果先前处于预测状态，则第一行将激活获胜列中的单元格。 如果获胜列中的所有单元都不处于预测状态，则第二行将激活该列中的所有单元。 然后计算当前时间步长的预测状态如下：

πtij=\{ 1,0,if ∃∥D~dij∘At∥1>θotherwise  π i j t = \{ 1 , if ∃ ‖ D ~ i j d ∘ A t ‖ 1 > θ 0 , o t h e r w i s e

（3）  
阈值  θ  θ  表示NMDA尖峰阈值，  ∘  ∘  表示逐元素乘法。 在给定的时间点，如果存在多于  θ  θ  连接的突触与活跃的突触前细胞，那么该区段将是活动的（产生NMDA尖峰）。 如果至少一个片段有效，则细胞将被去极化。  
*更新片段和突触*：HTM突触可塑性规则是类似Hebbian的规则。 ①如果正确预测了细胞（即，它先前处于去极化状态并且随后通过前馈输入变得活跃），我们加强了活跃的树突片段并导致去极化。 具体来说，我们选择  Ddij  D i j d  这样的段：

∀j∈Wt(πt−iij>0)and∥D~dij∘At∥1>θ  ∀ j ∈ W t ( π i j t − i > 0 ) a n d ‖ D ~ i j d ∘ A t ‖ 1 > θ

（4）  
第一项选择包含正确预测的获胜列。 第二项选择专门负责预测的那些段。  
②如果获胜列未被预测，我们需要选择一个将代表当前序列转换重复的上下文的单元格。 为此，我们选择具有最接近活动的片段的单元格，即即使它低于阈值也具有最多输入的片段。 令  D˙tij  D ˙ i j t  表示仅包含  Dtij  D i j t  中的正条目的二进制矩阵。 我们强化了以下条款：

∀(∑iπt−1ij=0)and∥D~dij∘At−1∥=maxi(D˙dij∘At−1∥1)  ∀ ( ∑ i π i j t − 1 = 0 ) a n d ‖ D ~ i j d ∘ A t − 1 ‖ = m a x i ( D ˙ i j d ∘ A t − 1 ‖ 1 )

(5)  
加强上述细分是直截了当的：我们希望用活跃的突触前细胞来奖励突触，并惩罚非活动细胞的突触并将其所有持久性值减小一个小值  p\+  p +  ，并将对应于活动突触前细胞的持久性值增加一个更大的值  p−  p −  ：

ΔDdij=P\+(D˙dij∘At−1)−p−D˙dij  Δ D i j d = P + ( D ˙ i j d ∘ A t − 1 ) − p − D ˙ i j d

(6)  
以上规则处理当前活动的单元格。 我们还将非常小的衰变应用于未活跃的活跃细胞区段。 如果段被错误地加强，可能会发生这种情况：  
(7)  
矩阵在每个时间步长被加到当前的持久值矩阵中。  
实现细节：在我们的软件实现中，我们做了一些简化的假设，大大加快了大型网络的仿真时间。 我们不是在每个片段和每个细胞上明确初始化一组完整的突触，而是贪婪地在随机细胞上创建片段，并通过从当前活动的细胞中采样来初始化该片段上的潜在突触。 仅当与任何现有段不匹配时才会发生这种情况。 在我们的模拟中，N = 2048，M = 32，k = 40.我们通常在一个段上随机连接20到40个突触，θ约为15.永久值从0到1变化，连接阈值为0.5。  p\+  p +  和  p−  p −  是基于单个数据集调整的小值，但通常小于0.1。 有关实现的完整源代码，请访问Github，网址为 [https://github.com/numenta/nupic][https_github.com_numenta_nupic]。  
Supplementary Material补充材料  
The Supplementary Material for this article can be found online at:  
[https://www.frontiersin.org/article/10.3389/fncir.2016.00023][https_www.frontiersin.org_article_10.3389_fncir.2016.00023]  
References  
Ahmad, S., and Hawkins, J. (2016). How do neurons operate on sparse distributed representations? A mathematical theory of sparsity, neurons and active dendrites. arXiv:1601.00720 \[q–bio.NC\].  
PubMed Abstract | Google Scholar  
Antic, S. D., Zhou, W. L., Moore, A. R., Short, S. M., and Ikonomu, K. D. (2010). The decade of the dendritic NMDA spike. J. Neurosci. Res. 88, 2991–3001. doi: 10.1002/jnr.22444  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Billaudelle, S., and Ahmad, S. (2015). Porting HTM models to the Heidelberg neuromorphic computing platform. arXiv:1505.02142 \[q–bio.NC\].  
Chklovskii, D. B., Mel, B. W., and Svoboda, K. (2004). Cortical rewiring and information storage. Nature 431, 782–788. doi: 10.1038/nature03012  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Cichon, J., and Gan, W.-B. (2015). Branch-specific dendritic Ca2+ spikes cause persistent synaptic plasticity. Nature 520, 180–185. doi: 10.1038/nature14251  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Cover, T. (1965). Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition. Electron. Comput. IEEE Trans. EC-14, 326–334. doi: 10.1109/PGEC.1965.264137  
CrossRef Full Text | Google Scholar  
Cui, Y., Surpur, C., Ahmad, S., and Hawkins, J. (2015). Continuous online sequence learning with an unsupervised neural network model. arXiv:1512.05463 \[cs.NE\].  
Deneve, S. (2008). Bayesian spiking neurons II: learning. Neural Comput. 20, 118–145. doi: 10.1162/neco.2008.20.1.118  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Faisal, A. A., Selen, L. P. J., and Wolpert, D. M. (2008). Noise in the nervous system. Nat. Rev. Neurosci. 9, 292–303. doi: 10.1038/nrn2258  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Ghosh-Dastidar, S., and Adeli, H. (2009). Spiking neural networks. Int. J. Neural Syst. 19, 295–308. doi: 10.1142/S0129065709002002  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Golding, N. L., Jung, H. Y., Mickus, T., and Spruston, N. (1999). Dendritic calcium spike initiation and repolarization are controlled by distinct potassium channel subtypes in CA1 pyramidal neurons. J. Neurosci. 19, 8789–8798.  
PubMed Abstract | Google Scholar  
Gütig, R., and Sompolinsky, H. (2006). The tempotron: a neuron that learns spike timing-based decisions. Nat. Neurosci. 9, 420–428. doi: 10.1038/nn1643  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Haussler, D. (1988). Quantifying inductive bias: AI learning algorithms and Valiant’s learning framework. Artif. Intell. 36, 177–221. doi: 10.1016/0004-3702(88)90002-1  
CrossRef Full Text | Google Scholar  
Haussler, D. (1990). Probably approximately correct learning, AAAI-90, Boston, MA. 1101–1108.  
Hawkins, J., Ahmad, S., and Dubinsky, D. (2011). “Cortical learning algorithm and hierarchical temporal memory,” in Numenta Whitepaper, 1–68. Available online at: [http://numenta.org/resources/HTM\_CorticalLearningAlgorithms.pdf][http_numenta.org_resources_HTM_CorticalLearningAlgorithms.pdf].  
Hawkins, J., and Blakeslee, S. (2004). On Intelligence. New York, NY: Times Books Henry Holt and Company.  
Google Scholar  
Hochreiter, S., and Schmidhuber, J. (1997). Long short-term memory. Neural Comput. 9, 1735–1780. doi: 10.1162/neco.1997.9.8.1735  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Holtmaat, A., and Svoboda, K. (2009). Experience-dependent structural synaptic plasticity in the mammalian brain. Nat. Rev. Neurosci. 10, 647–658. doi: 10.1038/nrn2699  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Hu, H., Gan, J., and Jonas, P. (2014). Fast-spiking, parvalbumin+ GABAergic interneurons: from cellular design to microcircuit function. Science 345, 1255263–1255263. doi: 10.1126/science.1255263  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Jahnke, S., Timme, M., and Memmesheimer, R.-M. (2015). A unified dynamic model for learning, replay, and sharp-wave/ripples. J. Neurosci. 35, 16236–16258. doi: 10.1523/JNEUROSCI.3977-14.2015  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Kanerva, P. (1988). Sparse Distributed Memory. Cambridge, MA: The MIT Press.  
Google Scholar  
Kerchner, G. A., and Nicoll, R. A. (2008). Silent synapses and the emergence of a postsynaptic mechanism for LTP. Nat. Rev. Neurosci. 9, 813–825. doi: 10.1038/nrn2501  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Knott, G. W., Quairiaux, C., Genoud, C., and Welker, E. (2002). Formation of dendritic spines with GABAergic synapses induced by whisker stimulation in adult mice. Neuron 34, 265–273. doi: 10.1016/S0896-6273(02)00663-3  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Lamme, V. A., Supèr, H., and Spekreijse, H. (1998). Feedforward, horizontal, and feedback processing in the visual cortex. Curr. Opin. Neurobiol. 8, 529–535. doi: 10.1016/S0959-4388(98)80042-1  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Larkum, M. (2013). A cellular mechanism for cortical associations: an organizing principle for the cerebral cortex. Trends Neurosci. 36, 141–151. doi: 10.1016/j.tins.2012.11.006  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Larkum, M. E., and Nevian, T. (2008). Synaptic clustering by dendritic signalling mechanisms. Curr. Opin. Neurobiol. 18, 321–331. doi: 10.1016/j.conb.2008.08.013  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Larkum, M. E., Nevian, T., Sandler, M., Polsky, A., and Schiller, J. (2009). Synaptic integration in tuft dendrites of layer 5 pyramidal neurons: a new unifying principle. Science 325, 756–760. doi: 10.1126/science.1171958  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Larkum, M. E., Zhu, J. J., and Sakmann, B. (1999). A new cellular mechanism for coupling inputs arriving at different cortical layers. Nature 398, 338–341. doi: 10.1038/18686  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Lashley, K. (1951). “The problem of serial order in behavior,” in Cerebral Mechanisms in Behavior, ed L. Jeffress (New York, NY: Wiley), 112–131.  
LeCun, Y., Bengio, Y., and Hinton, G. (2015). Deep learning. Nature 521, 436–444. doi: 10.1038/nature14539  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Legenstein, R., and Maass, W. (2011). Branch-specific plasticity enables self-organization of nonlinear computation in single neurons. J. Neurosci. 31, 10787–10802. doi: 10.1523/JNEUROSCI.5684-10.2011  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Leibold, C., and Kempter, R. (2006). Memory capacity for sequences in a recurrent network with biological constraints. Neural Comput. 18, 904–941. doi: 10.1162/neco.2006.18.4.904  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Llinás, R., Ribary, U., Joliot, M., and Wang, X.-J. (1994). “Content and context in temporal thalamocortical binding,” in Temporal Coding in the Brain, eds G. Buzsáki, R. Llinás, W. Singer, A. Berthoz, and Y. Christen (Berlin: Springer-Verlag), 251–272.  
Losonczy, A., Makara, J. K., and Magee, J. C. (2008). Compartmentalized dendritic plasticity and input feature storage in neurons. Nature 452, 436–441. doi: 10.1038/nature06725  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Maass, W. (1997). Networks of spiking neurons: the third generation of neural network models. Neural Netw. 10, 1659–1671. doi: 10.1016/S0893-6080(97)00011-7  
CrossRef Full Text | Google Scholar  
Major, G., Larkum, M. E., and Schiller, J. (2013). Active properties of neocortical pyramidal neuron dendrites. Annu. Rev. Neurosci. 36, 1–24. doi: 10.1146/annurev-neuro-062111-150343  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Major, G., Polsky, A., Denk, W., Schiller, J., and Tank, D. W. (2008). Spatiotemporally graded NMDA spike/plateau potentials in basal dendrites of neocortical pyramidal neurons. J. Neurophysiol. 99, 2584–2601. doi: 10.1152/jn.00011.2008  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Martin, K. A. C., and Schröder, S. (2013). Functional heterogeneity in neighboring neurons of cat primary visual cortex in response to both artificial and natural stimuli. J. Neurosci. 33, 7325–7344. doi: 10.1523/JNEUROSCI.4071-12.2013  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Megías, M., Emri, Z., Freund, T. F., and Gulyás, A. I. (2001). Total number and distribution of inhibitory and excitatory synapses on hippocampal CA1 pyramidal cells. Neuroscience 102, 527–540. doi: 10.1016/S0306-4522(00)00496-6  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Memmesheimer, R. M., Rubin, R., Ölveczky, B., and Sompolinsky, H. (2014). Learning precisely timed spikes. Neuron 82, 925–938. doi: 10.1016/j.neuron.2014.03.026  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Niell, C. M., Meyer, M. P., and Smith, S. J. (2004). In vivo imaging of synapse formation on a growing dendritic arbor. Nat. Neurosci. 7, 254–260. doi: 10.1038/nn1191  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Nikolić, D., Häusler, S., Singer, W., and Maass, W. (2009). Distributed fading memory for stimulus properties in the primary visual cortex. PLoS Biol. 7:e1000260. doi: 10.1371/journal.pbio.1000260  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Olshausen, B. A., and Field, D. J. (1997). Sparse coding with an overcomplete basis set: a strategy employed by V1? Vision Res. 37, 3311–3325. doi: 10.1016/S0042-6989(97)00169-7  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Olshausen, B. A., and Field, D. J. (2004). Sparse coding of sensory inputs. Curr. Opin. Neurobiol. 14, 481–487. doi: 10.1016/j.conb.2004.07.007  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Petreanu, L., Mao, T., Sternson, S. M., and Svoboda, K. (2009). The subcellular organization of neocortical excitatory connections. Nature 457, 1142–1145. doi: 10.1038/nature07709  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Poirazi, P., Brannon, T., and Mel, B. W. (2003). Pyramidal neuron as two-layer neural network. Neuron 37, 989–999. doi: 10.1016/S0896-6273(03)00149-1  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Polsky, A., Mel, B. W., and Schiller, J. (2004). Computational subunits in thin dendrites of pyramidal cells. Nat. Neurosci. 7, 621–627. doi: 10.1038/nn1253  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Rabiner, L., and Juang, B. (1986). An introduction to hidden Markov models. IEEE ASSP Mag. 3, 4–16. doi: 10.1109/MASSP.1986.1165342  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Rah, J.-C., Bas, E., Colonell, J., Mishchenko, Y., Karsh, B., Fetter, R. D., et al. (2013). Thalamocortical input onto layer 5 pyramidal neurons measured using quantitative large-scale array tomography. Front. Neural Circuits 7:177. doi: 10.3389/fncir.2013.00177  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Rao, R. P. N., and Sejnowski, T. J. (2000). Predictive sequence learning in recurrent neocortical circuits. Adv. Neural Inf. Process. Syst. 12, 164–170.  
Google Scholar  
Riedel, U., Kühn, R., and Van Hemmen, J. (1988). Temporal sequences and chaos in neural nets. Phys. Rev. A. 38, 1105–1108. doi: 10.1103/physreva.38.1105  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Ruf, B., and Schmitt, M. (1997). Learning temporally encoded patterns in networks of spiking neurons. Neural Process. Lett. 5, 9–18. doi: 10.1023/A:1009697008681  
CrossRef Full Text | Google Scholar  
Schiller, J., Major, G., Koester, H. J., and Schiller, Y. (2000). NMDA spikes in basal dendrites of cortical pyramidal neurons. Nature 404, 285–289. doi: 10.1038/35005094  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Schiller, J., and Schiller, Y. (2001). NMDA receptor-mediated dendritic spikes and coincident signal amplification. Curr. Opin. Neurobiol. 11, 343–348. doi: 10.1016/S0959-4388(00)00217-8  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Sompolinsky, H., and Kanter, I. (1986). Temporal association in asymmetric neural networks. Phys. Rev. Lett. 57, 2861–2864. doi: 10.1103/PhysRevLett.57.2861  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Spruston, N. (2008). Pyramidal neurons: dendritic structure and synaptic integration. Nat. Rev. Neurosci. 9, 206–221. doi: 10.1038/nrn2286  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Stuart, G. J., and Häusser, M. (2001). Dendritic coincidence detection of EPSPs and action potentials. Nat. Neurosci. 4, 63–71. doi: 10.1038/82910  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Thomson, A. M., and Bannister, A. P. (2003). Interlaminar connections in the neocortex. Cereb. Cortex 13, 5–14. doi: 10.1093/cercor/13.1.5  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Trachtenberg, J. T., Chen, B. E., Knott, G. W., Feng, G., Sanes, J. R., Welker, E., et al. (2002). Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. Nature 420, 788–794. doi: 10.1038/nature01273  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Vapnik, V., Levin, E., and Cun, Y., Le (1994). Measuring the VC-dimension of a learning machine. Neural Comput. 6, 851–876. doi: 10.1162/neco.1994.6.5.851  
CrossRef Full Text  
Vinje, W. E., and Gallant, J. L. (2002). Natural stimulation of the nonclassical receptive field increases information transmission efficiency in V1. J. Neurosci. 22, 2904–2915.  
PubMed Abstract | Google Scholar  
Waibel, A. (1989). Modular construction of time-delay neural networks for speech recognition. Neural Comput. 1, 39–46. doi: 10.1162/neco.1989.1.1.39  
CrossRef Full Text | Google Scholar  
Yen, S.-C., Baker, J., and Gray, C. M. (2007). Heterogeneity in the responses of adjacent neurons to natural stimuli in cat striate cortex. J. Neurophysiol. 97, 1326–1341. doi: 10.1152/jn.00747.2006  
PubMed Abstract | CrossRef Full Text | Google Scholar  
Yoshimura, Y., Sato, H., Imamura, K., and Watanabe, Y. (2000). Properties of horizontal and vertical inputs to pyramidal cells in the superficial layers of the cat visual cortex. J. Neurosci. 20, 1931–1940.  
PubMed Abstract | Google Scholar  
Keywords: neocortex, prediction, neocortical theory, active dendrites, sequence memory  
Citation: Hawkins J and Ahmad S (2016) Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex. Front. Neural Circuits 10:23. doi: 10.3389/fncir.2016.00023  
Received: 30 October 2015; Accepted: 14 March 2016;  
Published: 30 March 2016.  
Edited by:  
Paul R. Adams, State University of New York at Stony Brook, USA  
Reviewed by:  
Daniel Llano, University of Illinois at Urbana-Champaign, USA  
Nicolas Brunel, University of Chicago, USA  
Copyright © 2016 Hawkins and Ahmad. This is an open-access article distributed under the terms of the Creative Commons Attribution License (CC BY). The use, distribution or reproduction in other forums is permitted, provided the original author(s) or licensor are credited and that the original publication in this journal is cited, in accordance with accepted academic practice. No use, distribution or reproduction is permitted which does not comply with these terms.  
\*Correspondence: Jeff Hawkins, jhawkins@numenta.com

[jeff hawkins]: https://img-blog.csdn.net/20180820180829974?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BhdWxmZW5nMjAxNzExMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70]: https://img-blog.csdn.net/20180820180937549?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BhdWxmZW5nMjAxNzExMTQ=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[https_www.frontiersin.org_articles_10.3389_fncir.2016.00023_full]: https://www.frontiersin.org/articles/10.3389/fncir.2016.00023/full
[70 1]: /images/20220516/72dcadfa0da0406b9f3f3398c7b383cd.png
[S1]: /images/20220516/a3440dbee1d540389cead31c926e1b18.png
[70 2]: /images/20220516/097c4c5f08e24a8a89934f2333384bdf.png
[70 3]: /images/20220516/e8d23b7e5207468d97a8df509dbd8922.png
[70 4]: /images/20220516/f0e5f1db346948fa93097b0d5afb50f6.png
[70 5]: /images/20220516/a732f8e6a90840f8abb5d9b2e38a47bb.png
[70 6]: /images/20220516/a9880c322bd949f6ad9002e7c7196cfe.png
[https_github.com_numenta_nupic]: https://github.com/numenta/nupic
[https_www.frontiersin.org_article_10.3389_fncir.2016.00023]: https://www.frontiersin.org/article/10.3389/fncir.2016.00023
[http_numenta.org_resources_HTM_CorticalLearningAlgorithms.pdf]: http://numenta.org/resources/HTM_CorticalLearningAlgorithms.pdf