美国陆军的一个项目开发了一个新的深度神经网络框架，该框架允许人工智能系统更好地学习新任务，同时忘记了他们在以前的任务中学到的东西。

由陆军资助的北卡罗来纳州立大学研究人员也证明，使用该框架学习新任务可以使AI更好地执行以前的任务，这种现象称为后向传递。

“陆军需要准备好在世界任何地方进行战斗，因此其智能系统也需要做好准备，”陆军研究办公室智能系统项目经理Mary Anne Fields博士说，他是美国陆军作战能力发展司令部的一员。陆军研究实验室。“我们希望陆军的智能系统能够不断获得新技能，因为他们在世界各地的战场上执行任务而不会忘记已经训练过的技能。例如，在进行城市操作时，轮式机器人可以学习密集城市的新导航参数城市，但它仍然需要在以前遇到的环境如森林中有效运作。“

研究小组提出了一个名为“学习成长”的新框架，用于持续学习，将网络结构学习和模型参数学习分离开来。在实验测试中，它的表现优于透明的持续学习方法。

“深度神经网络人工智能系统专为学习狭隘任务而设计，”该论文的共同主要作者和博士生李立来表示。北卡罗来纳州候选人。“因此，在学习新任务时可能会发生以下几种情况之一，系统在学习新任务时会忘记旧任务，这被称为灾难性遗忘。系统可能会忘记他们对旧任务所知的一些事情，而不是学会做或者系统可以在添加新任务的同时修复旧任务 - 这限制了改进并迅速导致人工智能系统太大而无法有效运行。持续学习，也称为终身学习或学习 - 学习，试图解决这个问题。“

要了解学习成长框架，请将深层神经网络视为一个充满多层的管道。原始数据进入管道的顶部，任务输出出现在底部。管道中的每个“层”都是一个操作数据的计算，以帮助网络完成其任务，例如识别数字图像中的对象。在管道中布置层的方式有多种，这些方式对应于网络的不同“架构”。

当要求深度神经网络学习新任务时，学习成长框架首先通过搜索进行一种称为显式神经架构优化的东西。这意味着当网络进入其系统中的每一层时，它可以决定做以下四件事之一：跳过图层;以与先前任务使用的方式相同的方式使用图层;将轻量级适配器连接到图层，稍微修改它;或创建一个全新的图层。

此体系结构优化有效地列出了完成新任务所需的最佳拓扑或一系列层。一旦完成，网络就会使用新拓扑来训练自己如何完成任务 - 就像任何其他深度学习AI系统一样。

“我们使用多个数据集进行实验，我们发现新任务与以前的任务越相似，就保留执行新任务的现有层而言，重叠越多，”李说。“更有趣的是，通过优化 - 或”学习“的拓扑结构 - 经过培训以执行新任务的网络几乎不会忘记执行旧任务所需的内容，即使旧任务不相似也是如此。”

研究人员还进行了实验，将学习成长框架学习新任务的能力与其他几种持续学习方法相比较，并发现学习成长框架在完成新任务时具有更高的准确性。

为了测试每个网络在学习新任务时可能忘记了多少，研究人员随后测试了每个系统在执行旧任务时的准确性 - 并且“学习成长”框架再次优于其他网络。

“在某些情况下，学习成长框架实际上在执行旧任务方面做得更好，”Salesforce Research的研究主管，该工作的合着者Caiming Xiong说。“这被称为后向转移，当你发现学习一项新任务会让你更好地处理一项旧任务时就会发生这种情况。我们一直在人们身上看到这种情况;与AI无关。”

菲尔兹说：“陆军投资扩展了当前最先进的机器学习技术，这些技术将指导我们的陆军研究实验室研究人员开发机器人应用，例如智能机动和学习识别新物体。”“这项研究使人工智能更接近为我们的作战人员提供可在现场部署的有效无人系统。”

该论文“学会成长：克服灾难遗忘的持续结构学习框架”将于6月9日至15日在加利福尼亚州长滩举行的第36届机器学习国际会议上发表。该论文的共同主要作者是天福武博士，北卡罗来纳州电气和计算机工程助理教授，北卡罗来纳州立大学博士生李希来和Salesforce Research的周颖波。该论文由Salesforce Research的Richard Socher和Caiming Xiong共同撰写。

这项工作也得到了国家科学基金会的支持。部分工作是在李是Salesforce AI Research的暑期实习生时完成的。