模拟输入模式的稳定类型识别编码的自组织网络

ART2:模拟输入模式的稳定类型识别编码的自组织网络摘要：自适应谐振体系结构是一种可以实时响应任意序列输入模式的，自组织地进行稳定模式编码的神经网络。本文介绍了一种自适应谐振体系结构－ART2，对于任意序列的模拟或二进制输入模式,这种结构能迅速自组织地进行模式识别并聚类。为了处理任意序列模拟输入模式，ART2体系结构将问题的解决方案整理，并表达为一组设计原则：如稳定性－可塑性平衡，搜索－直接存取平衡，以及匹配－复位平衡。在这些体系结构中，自上而下学习期望和匹配机制在自稳定的编码过程中是至关重要的。随着学习进程的开始,并行的搜索方案使ART2可以自我更新，并实现实时的假说建立、测试、学习和识别过程。经过学习自我稳定后，搜索过程可以自动脱钩，此后输入模式可直接访问他们的识别码而不需要再搜索。因此,识别熟悉的输入所用的时间不随学习编码的复杂性而增加。如果新的输入模式与已熟知类别的样本集合具有共同的不变的属性,那么它可以直接访问这一类别。警戒值参数则决定了该分类的细致程度。如果由于环境反馈,警觉性增加（或减少），系统就会自动搜寻并更细（或更粗）地进行识别分类。增益调节参数能使ART2抑制噪音达到一定水平。尽管ART2网络具有高度的非线性，其的全局性设计仍使它能够有效地学习。I.自适应谐振体系结构自适应谐振体系结构是一种可以实时响应任意序列输入模式的，自组织地进行稳定模式编码的神经网络。在文[1]中,Grossberg提出了自适应谐振理论的基本原理。在文[2]和[3]中，Carpenter和Grossberg用一组常微分方程刻画了一类被命名为ART1的自适应谐振结构。对于任意序列的二进制输入模式，经证明的定理已能说明ART1网络实时动态特性。这些定理预示了搜索的顺序（可视为网络的学习过程的函数）和渐近分类结构是有任意序列的二进制输入模型自行组织的。这些定理也证明系统自稳定性能和说明了该体系的适应权重振动至多一次，而不会陷于伪存储状态或局部极小值。本文介绍了一类新的自适应谐振结构，即所谓的ART2。对于任意序列的模拟（灰度级，连续值）输入模式，以及二进制输入模式，ART2网络能够自行组织，形成稳定的识别分类。本文将通过计算机仿真方法来说明系统的动态特性.例如图1，它展示了一个典型的ART2网络，在每个样本只输入系统一次后，快速把一组五十个样本自行聚类成三十四个稳态的识别种类。每个数字下面的图例被ART2聚类为相同类别。仿真系统方程式将在Secs.V-VIII中给出。ART网络通过修正连接权重,也就是自下而上的自适应过滤器的长期记忆系统（LTM）的迹，来对新的输入模式进行编码（图2）。这个过滤器包含在从特征表示场（F1）到类别表示场（F2）（它们的节点经过合作与竞争的相互作用后）的通道中。这种自适应过滤和竞争的结合，有时也被称为竞争学习，在许多其他类型的自适应模式识别和相关学习中也存在。可参见Grossberg关于竞争学习模式发展的回顾[4]。然而，在ART网络中，自上向下的自适应过滤器(第2个过滤器)对编码自稳定性有着至关紧要的作用。这种自上而下自适应信号在ART系统中扮演着对学习的期望值。它们能使系统引发注意启动，模式匹配，和自我调节的并行搜索。ART设计的关键点之一是对于任意输入环境，必须有自上而下的注意和有意的机制(或称为期望)来保证自稳定的学习。像自下而上和自上而下的自适应过滤器一样，场F1和F2也包含在ART的注意子系统（见图2）。当自下而上的F1层输入与自上而下的期望值（F2中激活类别所输出）匹配失败时，调整子系统将被激活。在这种情况下，激活的调整子系统迅速地重置（抑制）F2层的激活类别。重置动作将自动引导注意子系统再次进行并行搜索。备选种类被一一测试，直到找到一个适当的匹配或建立一个新的类别。因为搜索策略在整个学习过程中是自适应地更新的，搜索保持有效。相对学习速率，搜索过程更快。然而，只有当一个搜索结束和系统内部有一个匹配的F1模式共振时，自下而上和自上而下的自适应过滤器才会出现显著的变化。图1所示的仿真中，在最初的50种输入中，有许多ART2系统进行了一次搜索过程。图1.50个模拟输入模式类别分组到34识别类图2.一个典型的ART1结构自下向上自适应过滤、编码（或假说）的选择、自上向下的学习期望值的输出、匹配和代码复位的循环过程表明，在ART系统中，自适应模式识别是更为一般的认知过程（发现，测试，搜索，学习，并证实假说）的一个特例。在ART系统的应用中，对大型抽象的知识基础的自适应处理是未来研究的一个重要目标。事实上，ART系统的学习只发生在谐振状态，这使得系统解决可塑性与稳定性的平衡成为可能。可塑性，或称快速改变LTM轨迹的趋势，能够无限期地保持完整，这使得ART体系结构能够学习以后不可预料的事件，直到耗掉所有的存储容量。在一个共振状态下学习，要么是基于输入模式可能含有的任何新的信息，对先前建立的编码进行更新，要么是在未定型的节点中开始进行编码。举例说，假如在任何时间，将一个新的输入加入到图1所示的五十个输入集合，该系统将搜索已建立的类别。可能在最初的搜索周期中，就找到了匹配的模式，如果有必要，表征类别的LTM向量将被更新，以纳入新模式。如果没有找到匹配模式，在编码容量尚未用尽的情况下，系统会使用未定型的LTM向量对由输入建立的STM模式进行编码，从而建立一个新的类别。该体系结构的自适应搜索，可发现和了解恰当的识别编码，而不会陷入在虚假的记忆状态或局部最小值中。在其它的搜索模式，如搜索树，随着已知编码变得越来越复杂，搜索时间也会延长。与之相反，在一个ART结构中，只有识别编码在被学习时，搜索才开始，而且随着学习的继续这种搜索保持其效率。以前学习的自稳定性，是通过读出一个被由上而下的期望值提供的动态缓冲来实现，而不是由关掉可塑性或限制只有某类被允许输入来完成。例如图1的仿真中，在50个输入模式学习一次后，学习已经达到自稳定。一般说来，在一个ART结构中，对一个特定的识别种类，一旦学习已经达到自稳定，搜索机制就自动脱钩了。此后对任何隶属于此类别的输入，不需要进行搜索，就可以高速和可以直接地激活或访问类别信息。在一个ART结构中，输入模式和被选择的类别模板之间的匹配的标准是可以调整的。匹配准则是由控制调整子系统行为的警戒值参数所决定的。所有其他情况是一样的，高警惕对应更严格的匹配标准，从而对输入集的聚类更为细致。低警戒值则在F1层能容忍更大的自上而下的或自下而上的匹配误差，从而导致分类粗糙（图3）。此外，在每一个警戒值水平下，匹配的标准也可自行缩放：如果输入模式非常复杂，少量特征的不匹配可能是可以容忍的，但如果输入本身特征量就不多，同样数目的特征不匹配则会触发重置。图3.较低的警惕意味着分组粗化.与图1相同的ART2网络将同样50个输入分为20个类别。例如,图1中的类别1和2被合并为类别1,类别14、15和32在这里被合并为类别10，类别19-22被合并为类别13.图4.一种没有一个面向子系统的ART2模型学习分组.(a)将警戒值水平设置为0,与图1、3相同的ART2网络将50个样本分为6个类别（每个样本仅输入一次）。没有了在不匹配时的重置功能，会出现短时分组。(b)在每个样本输入3次后，一个粗略但稳定的类别结构就已经建立了。即使没有任何搜索，当警惕性低或调整子系统被移除时，ART2也能建立一个合理的聚类结构（图4）。不过在这种情况下，自上而下的学习期望值，通过产生注意焦点来缓冲突然发生的代码，来全面负责编码的自稳定性。虽然在F1层自下而上和自上而下的模式不匹配会削弱F1层的不匹配的特征，然而这种不匹配，在学习发生前，并不会引发在F2层寻找一个更合适的编码。这种学习将未被削弱的F1层的特征纳入到最初被选定的类别的识别编码中。在这种情况下，编码在自稳定之前可能需要更多的输入试验。在早期的试验中，由于原本通过可变的警戒值实现的灵活的匹配标准不在了，错误的分组可能会出现，例如图4（a）中第1类。尽管如此，自上而下的期望值能积极调节学习过程，以产生一个拥有可接受的属性的稳定的渐近编码。例如，尽管在图4（a）的例子中有最初的异常编码，图4（b）表明通过三轮的输入，可以建立一个稳定的聚类结构，在图4（a）中在1种类的聚类错误得到了纠正（将最初的并不相似的输入大致分裂成单独的类别1和7）。自上而下的学习期望和调整子系统不是ART网络在学习过程进行主动调控的唯一手段。在F1和F2层注意增益控制也有利于这种活跃规则（sec.II）。增益控制被用来综合调整对样本输入的灵敏度，和协调各个具有分离的、异步功能的ART子系统。可以调整对图案化的输入和协调分开的整体敏感性。增益控制在图2中表示为圆形的实心点（被填充的）。II.ART1:二进制输入模型图2显示了一个典型的ART1网络的主要特点。注意子系统中连续的两级F1和F2，对短期记忆（STM）的活跃模式进行编码。在F1和F2之间的每个自下而上或自上而下的路径包含了一个自适应LTM向量，它会与在其路径中的信号的相乘。电路的其它部分调节这些STM和LTM计算过程。增益控制1的调制可以使F1层能够区分自下向上输入模式和自上而下的填装或模板模式，并能比较这些自下而上和自上而下的模式。特别是，自下向上的输入可以有意识地激活F2层；在没有自下而上的输入时，由上而下的期望值能有意识地强化或填装F1层;根据2/3的规则，自下而上和自上而下输入的结合是相匹配，该规则在自下而上和自上而下的模式的交互作用下激活节点（图5）。因此，在自组织的ART系统下，意向性（或已知由上而下的期望的行动）暗示了空间的逻辑匹配规则。Carpenter和Grossberg在文献[3]证明了在ART1响应任意序列的二进制输入模式时，2/3规则匹配对于学习自稳定是必要的。当自下而上输入模式和自上而下的模板模式在F1中不匹配，根据警戒值标准，调整子系统给F2层一个重置波。重置波选择性地长期抑制被激活的F2层节点（细胞），直至当前输入被移除。输入模式的偏移终止了它在F1中的运算，并触发增益2的偏移量。增益2的偏移量引起F2层的STM记忆迅速衰变，从而F2层能够无偏差地对对下一个的输入模式进行编码。一个ART1系统完全可以由一个微分方程组定义，这个方程组也决定STM和LTM对一个任意时间序列的二进制输入的动态响应。刻画这些动态特性的定理已经在快速学习的条件下得到证明，这里，为了使LTM轨迹接近平衡值，每个样本的试验时间必须足够长。ART1的变形结构具有类似的动态特性。因此，术语ART1是指一族或一类功能上等效的结构，而不是单个模型。图5搜索一个正确的F2编码。（a）当不明确地激活A,输入模式I在F1层产生一个明确的STM激活模式X，模式X抑制A的同时，产生一个输出信号S，S转变成T，T在F2层激活STM模式Y。（b）模式Y产生一个自上而下的模式U，它转化为模板模式V。如果V与F1层的模式I不匹配，在F1产生一个新的STM激活模式X*，在X转化为X*时产生的总活跃度减少会导致F1层对A的抑制作用减弱。（c）A在输入模式作用下的行为会释放一个不明确的激活波到F2层，它将重置F2层的STM模式Y。（d）当Y被抑制，其自上而下的模板被消除，这样F1层的X模式被恢复，又产生一个模式T到F2层，但此时模式Y被抑制，T会激活另外一个F2层STM模式Y*,如果由Y*产生的自上而下的模板还是与I不匹配，搜索F2层合适编码的过程继续进行。III.ART2:模拟输入模型ART2体系结构是为处理模拟（也可以是二进制）输入模式而设计的。一个为模拟输入设计的种类代表系统，要能够把陷入在各种噪声背景里的近似信号挑出来并进行加强，如图1中的第16类。图6典型的ART2结构。空心箭头指示特定的模式输入指向目标节点。实心箭头指示非特定的增益控制输入。增益控制中心（实心圆圈）根据STM向量的L2范数，按比例非特定地抑制目标节点[式(5),(6),(9),(20)和(21)]。当场F2激活第J个节点，g(yJ)=d，其它的节点g(yJ)=0。与ART1相同，增益控制（未显示