人工智能机器学习的惨痛教训

　　自1956年以来人工智能研究经历了许多波峰和波谷。从这段时间吸取的许多经验教训中，有一些需要重新学习(反复)，其中最重要的也是许多研究人员最难以接受的。

　　人工智能AI研究中可以得出的最大教训是，利用计算的通用方法最终是最有效的，而且幅度很大。这样做的最终原因是摩尔定律，或者更确切地说是它对单位计算成本的持续指数下降的概括。大部分人工智能AI研究都是在座席可用的计算是恒定的情况下进行的(在这种情况下，利用人类知识将是提高性能的唯一方法之一)，但是比典型的研究项目花费的时间稍长一些，因此计算量会大大增加不可避免地变得可用。为了寻求在短期内有所作为的改进，研究人员寻求利用他们在该领域的人类知识，但从长远来看，唯一重要的是利用计算。这两个不需要相互抵触，但实际上，它们倾向于。花在一个上的时间就是不花在另一个上的时间。在一种或另一种方法中有对投资的心理承诺。而且，人类知识方法倾向于使方法复杂化，从而使其不适合利用利用计算的通用方法。有很多人工智能AI研究人员迟来的学习这个痛苦教训的例子，回顾一些最杰出的例子是有益的。而且，人类知识方法倾向于使方法复杂化，从而使其不适合利用利用计算的通用方法。有很多人工智能AI研究人员迟来的学习这个痛苦教训的例子，回顾一些最杰出的例子是有益的。而且，人类知识方法倾向于使方法复杂化，从而使其不适合利用计算的通用方法。有很多人工智能AI研究人员迟来的学习这个痛苦教训的例子，回顾一些最杰出的例子是有益的。
 

　　在计算机象棋中，1997年击败世界冠军卡斯帕罗夫的方法基于大量的深度搜索。当时，大多数计算机棋类研究人员都沮丧地看着这一点，他们一直追求利用人类对国际象棋特殊结构的理解的方法。当一种简单的，基于搜索的方法(带有特殊的硬件和软件)被证明更为有效时，这些基于人类知识的国际象棋研究人员就不是输家。他们说这次“蛮力”搜寻可能是赢家，但这不是一个普遍的策略，而且无论如何，这都不是人们下棋的方式。这些研究人员希望基于人类输入的方法获胜，但他们失望了。
 

　　在计算机Go中也看到了类似的研究进展模式，只是又延迟了20年。最初的巨大努力是通过利用人类知识或游戏的特殊功能来避免搜索，但是一旦大规模有效地进行搜索，所有这些努力就显得无关紧要，甚至更糟。同样重要的是通过自娱自乐的学习来学习价值功能。通过自我游戏进行学习，以及通常进行学习，就像在搜索中一样，因为它可以进行大量的计算。搜索和学习是在人工智能AI研究中利用大量计算的最重要的两类技术。在计算机围棋中，就像在计算机象棋中一样，
 

　　在语音识别方面。利用人类知识的特殊方法-单词，音素，人类声道等知识。另一方面，更新的方法本质上更具统计性，并且进行了更多的计算，基于隐马尔可夫模型(HMM)。同样，统计方法胜过了基于人类知识的方法。数十年来，这逐渐导致了所有自然语言处理的重大变化，统计学和计算逐渐成为该领域的主导。深度学习在语音识别领域的最新兴起是朝着这一一致方向迈出的最新一步。深度学习方法对人类知识的依赖程度更低，使用的计算量更大，并且需要大量的培训，产生更好的语音识别系统。像在游戏中一样，研究人员总是试图使系统以研究人员认为自己的思想起作用的方式工作-他们试图将这些知识纳入他们的系统中-但这最终被证明是适得其反的，并且极大浪费了研究人员的时间，当时根据摩尔定律，可以进行大规模计算，并且找到了一种可以充分利用它的方法。
 

　　在计算机视觉中，存在类似的模式。早期的方法将视觉构想为搜索边缘或广义圆柱体，或者根据SIFT特征进行搜索。但是今天，所有这些都被丢弃了。现代深度学习神经网络仅使用卷积和某些不变性的概念，并且表现更好。
 

　　这是一个重要的教训。作为一个领域，由于我们继续犯同样的错误，我们还没有完全了解它。要看到并有效抵抗它，我们必须了解这些错误的吸引力。我们必须吸取痛苦的教训，即从长远来看，建立我们认为自己认为不可行的方法。惨痛的教训基于以下历史观察：1)人工智能研究人员经常试图在其代理人中积累知识; 2)这在短期内总是有帮助，并且使研究人员个人满意，但3)从长期来看，它处于平稳状态甚至阻碍了进一步的发展。4)突破性的进展最终是通过基于搜索和学习的缩放计算的相反方法而实现的。最终的成功充满了苦涩，
 

　　从痛苦的教训中应该学到的一件事是通用方法的强大功能，即使可用的计算变得很大，这些方法仍会随着计算量的增加而不断扩展。似乎以这种方式任意扩展的两种方法是搜索和学习。
 

　　从痛苦的教训中学到的第二点是，思想的实际内容是巨大的，不可思议的复杂。我们应该停止尝试寻找思考思想内容的简单方法，例如思考空间，物体，多个主体或对称性的简单方法。所有这些都是任意的，本质上复杂的外部世界的一部分。它们不是内置的，因为它们的复杂性是无限的。相反，我们应该只构建可以发现和捕获这种任意复杂性的元方法。这些方法的基本要求是它们可以找到良好的近似值，但是对它们的搜索应采用我们的方法，而不是我们的方法。我们希望人工智能AI代理能够像我们一样发现，而不包含我们发现的东西。