所有人都会做梦。人在睡眠的时候，脑细胞同样也进入了休息和放松的状态，但有一部分脑细胞并没有完全休息，一些微弱的刺激就会引发它们的活动，从而让人们进入梦境。
在大多数情况下，梦是使人愉快的。当我们睡觉时，我们记忆中的视觉和音频碎片结合成无意义的片段和全新的故事。松散的回忆瞬间融合了生动、形象的场景，在梦中我们会与已知人物形成的角色进行互动。
做梦并不是睡眠的副产品，而是我们大脑工作的必要过程之一。做梦时，我们的大脑过滤了清醒时收集的信息，然后神经系统开始发挥作用——抛弃不相关的东西，巩固重要的东西，以及形成和储存记忆，这些机制在整个哺乳动物界几乎都是相同的并且非常行之有效。
那么问题来了：人工智能也需要同样的机制来过滤、处理信息吗？
意大利的一组科研人员在数学模型上模拟了这个过程，并将其输入了一个人工智能系统，结果得出了一种算法，即通过强制它们进入离线睡眠状态来扩展人工智能网络的存储容量，在此期间它们强化有用的存储信息并删除了不相关的信息。
Adriano Barra是意大利萨兰托大学的理论物理学家。Barra与他的同事Elena Agliari和Alberto Fachechi正在研究大脑这样复杂的系统，并为人类大脑制作了神经生物学的数学模型。
“我们的理论物理学家比工程师有着一些优势，”Barra说。“由于数学模型是相同的，所以我们可以将我们的结果应用于人工智能。我们是神经生物学和工程学之间的桥梁。”
在搞清楚“做梦模型”能为人工智能带来什么之前，我们先要了解一下现在的人工智能神经网络的一些问题。
人工智能神经网络的经典蓝图之一是Hopfield模型。它由John Hopfield于1982年开发，这个模型描述了人工智能神经网络如何模仿真实大脑的模式识别等机制来学习和检索信息。这个模型虽然发明于30多年前，但是一直沿用至今，并且在机器学习、联想记忆、模式识别、优化计算等方面依然存在着广泛的应用，是现今人工智能进行深度学习的重要理论基础之一。
Hopfield神经网络是一种单层互相全连接的反馈型神经网络，网络中的每一个神经元都将自己的输出通过连接权传送给所有其他神经元，同时又接收着其他神经元传递过来的信息。Hopfield神经网络最受欢迎的学习规则是赫布学习法，它提出了在学习过程中如何加强神经元之间的突触（一个神经元的冲动传到另一个神经元或传到另一细胞间的相互接触的结构）。赫布学习法对全球的人脑研究做出了巨大的贡献，对现今的神经科学、认知科学、计算机科学、行为科学等研究产生着深远的影响。
然而，这个经典蓝图存在一个缺点，通常情况下它只能存储有限数量的信息。以数学的方式表示，即该对称网络的最大存储容量为 α~0.14。但是，理论极限是1，或α= 1。
处于“清醒”或在线状态的人工智能神经网络总是在学习新的信息模式。然而，除了理想的模式，他们还收集不相关的，甚至是假的模式。神经网络可以通过网络储存重要的模式，但存储错误不可避免地会出现，导致不相关的假模式同样被储存。
举一个例子，在饮料中可口可乐是红色包装，雪碧是绿色包装，在人工智能神经网络储存有关这些饮料的详细信息同时，也会收集到一些冗余的信息例如，红色罐子包装的茶叶，绿色瓶装的花露水等等。最终达到最大容量0.14 。
事实上我们可以将人类的大脑视作为一台精密的人工智能仪器，处于清醒状态的我们接收外部的信息并将其储存于大脑（硬盘）于是形成了记忆。我们也会接触到一些“无用“（与我们的生活不相关的）信息，这些信息同样会被储存于我们的大脑。我们大脑的容量同样有限。但这大多不会影响我们的决策（大脑依据有用信息运算出来的结果）。
同样，在人工智能神经网络中，有限的容量并不能阻止人工智能执行特定的任务，但是这些无用的数据会堵塞宝贵的空间，这是浪费和低效的。意大利团队的解决方案是，利用一种算法，它会迫使网络进入离线阶段，与哺乳动物睡眠相呼应，用于强化重要记忆并消除不相关记忆。如果不能及时摆脱虚假错误的信息，短时间内影响不大，但随时时间的推移，错误信息越来越多，神经网络或许就不再能区分可乐和雪碧。
哺乳动物的大脑也在不断收集新的信息模式。但就像一艘不分青红皂白拖着海床生物的渔船一样，他们的大脑也汲取了不重要的细节。
“当你醒着时，你会被动地存储大量信息，你真的不需要它而且真的不想存储它，“Barra说，“所以，我们需要通过睡眠来摆脱清醒时收集的虚假或者无用信息。”
在快速眼动（REM）睡眠期间，即做梦的睡眠阶段，我们的大脑正忙着擦除无关的记忆。这也为存储新的信息提供了空间。在慢波（SW）睡眠中，重要的记忆得到加强。虽然大多数梦境发生在REM期间，但我们也可能会遇到在SW睡眠期间难以回忆的模糊梦境。难以回忆的信息，其实就是我们大脑在睡眠的时候为我们删除的无用信息。哺乳动物的大脑使用睡眠和做梦的高效机制来清理大脑的存储空间，研究小组对这一事实的分析就是他们研究算法的起点。他们通过神经生物学论文分析大脑在睡眠时的现象，并尝试用数学方式对其进行建模。“如果我们将这个数学模型应用于Hopfield模型，会发生什么呢？”Barra问道。
他们的回答以论文的形式发表于四月的《Neural Networks》 （《神经网络》）上。在新框架下，人工网络于在线或清醒会话期间，会学习和存储信息。但是，当存储容量达到0.14时，网络将被强制进入离线或休眠状态。这个睡眠状态用于删除不相关的信息并整合重要的东西，或者更专业地，用于“虚假模式去除和纯模式（对于执行任务有用的信息模式）增强”。通过实施新的离线方案，团队能够释放存储空间并将容量增加到1。
进化以及自然选择，已经为现代哺乳动物提供了大脑在睡眠状态下识别信息的标准，但人工智能神经网络则需要人类来承担这项任务。“所以我们必须对神经网络说，这些信息很重要，要注意它，那些并不重要，要把它们删掉，”巴拉说，“他们没有重要性的概念。”
所以，我们的答案是，人工智能同样需要睡眠。随着数学模型基本构建完成，Barra的工作已经告一段落，进入了软件工程师实施算法的阶段。或许，Barra也可以小睡一会了。
–END–
本文大部分内容基于Adriano Barra发表的论文：
Dreaming neural networks: forgetting spurious memories and reinforcing pure ones：https://arxiv.org/abs/1810.12217
Dreaming neural networks: rigorous results：https://arxiv.org/abs/1812.09077
作者|
杨振瀚 腾讯研究院助理研究员
王健飞 腾讯研究院研究员
