当然,在我们了解了猫和狗之后,我们又了解了鹿、牛、公牛和植物,并发展出了区分它们的技能。这就是我们所说的“可塑性”,即人类不断成长和学习的能力。
另一方面,神经网络在这方面相当有限。例如,在McCloskey 和 Cohen的一项非常著名的研究中,研究人员用一系列包含数字 1 的 17 个问题(例如,1+9 = 10)训练了一个神经网络。
在彻底测试结果之后,他们继续向机器输入一系列额外的问题,这次是数字 2。正如预期的那样,它学会了如何解决包含数字 2 的问题,但却忘记了如何解决包含数字 1 的问题。
发生了什么?简而言之,神经网络在训练阶段会动态地在节点之间创建上述路径。这些路径是根据输入到机器的数据构建的。
当你输入新的信息时,新的路径就会形成,有时会导致算法“忘记”它之前训练过的任务。有时,误差幅度会增加,但有时,机器会完全忘记这项任务。这就是所谓的灾难性遗忘或灾难性干扰。
灾难性遗忘是一个问题吗?
在大多数情况下,答案是否定的。目前大多数神经网络都是通过引导学习进行训练的。换句话说,工程师会精心挑选输入网络的数据,以避免原始 电报筛查 数据可能产生的偏差和其他问题。
但随着机器学习变得越来越复杂,我们即将达到一个阶段,我们的智能体可以自主持续学习。换句话说,神经网络可以在处理新数据时持续学习,而无需人类的监督。
你可能已经意识到,自主学习的最大风险之一是我们无法知晓网络学习时使用的是哪种数据。如果它决定使用与其基础训练相差甚远的数据,可能会导致灾难性的干扰。
所以,我们只需要避开自主网络,对吗?嗯,不完全是。还记得我们之前提到的研究吗?新的任务集与原来的任务集并没有太大不同,但它导致了干扰。
即使是相似的数据集也可能引发灾难性干扰。事实上,在它发生之前我们无法确定。神经网络输入和输出之间的层(称为隐藏层)有点像黑匣子,所以我们不知道数据是否会破坏关键路径并导致崩溃。
可以避免吗?
虽然灾难性遗忘的风险永远不会消失,但它 帮助销售团队使用 bi 工具的后续步骤 是一个相当温和的问题。从设计的角度来看,有几十种策略可以最大限度地降低风险,例如节点锐化或潜在学习。
从战略角度来看,在重新训练网络之前创建备份是在出现问题时采取安全措施的好方法。
另一种常见的方法是同时用所有数据训练一个新的神经网络。这个问题只发生在顺序学习中,即新信息会扰乱网络先前学习的内容。
前路漫漫……
灾难性遗忘只是机器学习专家正在攻克的众多难题之一。尽管人工智能潜力惊人,但我们仍在学习和实验。无论是人工智能还是自然智能,从来都不是一个简单的难题,但我们在更好地理解它方面正在取得巨大进步。
机器学习是一个奇妙的领域,不仅因 澳大利亚电话号码 为它的用途,更因为它让我们质疑人类的本质。想想看,对图灵来说,关键的考验是创造出一台与人类毫无二致的机器。
但要弄清楚情况是否如此,首先我们必须能够回答一个简单却难以回答的问题:身为人类意味着什么?人工智能是一面镜子,是我们自身的映射。与软件开发外包专业人士合作,可以帮助我们更有效地应对这些复杂的挑战。