导读 人工神经网络学习活动的高能耗是人工智能广泛应用的最大障碍之一,尤其是在移动应用中。我们可以从人脑的知识中找到解决这个问题的方法。虽
人工神经网络学习活动的高能耗是人工智能广泛应用的最大障碍之一,尤其是在移动应用中。我们可以从人脑的知识中找到解决这个问题的方法。
虽然拥有超级计算机的计算能力,但只需要20瓦,仅为超级计算机能量的百万分之一。
原因之一是大脑神经元之间信息的有效传递。神经元向其他神经元发送短电脉冲(尖峰脉冲),但只有在绝对必要时才能节省能量。
基于事件的信息处理
由格拉茨大学的两位计算机科学家沃尔夫冈马斯和罗伯特勒根斯坦领导的工作组在开发新的机器学习算法e-prop(e-propagation)时采用了这一原则。
理论计算机科学研究所也是欧洲灯塔项目“人脑项目”的一部分,该研究所的研究人员利用其模型中的峰值来实现人工神经网络中神经元之间的通信。
只有当网络中需要信息处理时,Peak才会激活。对于这样一个不太活跃的网络,学习是一个特殊的挑战,因为它需要更长的观察时间来确定哪些神经元连接可以提高网络性能。
以前的方法成功率太低或者需要巨大的存储空间。现在,E-prop通过一种从大脑复制的分散方法解决了这个问题,在这种方法中,每个神经元记录何时在所谓的e-trace中使用其连接。这种方法和其他已知的最好最详细的学习方法一样强大。