深度学习的三次革命——读特伦斯《深度学习》一书有感

2020-02-17 10:04阅读：

http://blog.sina.cn/dpool/blog/u/1507236041

深度学习的三次革命

人工智能自萌发到现在，始终是两大流派之间的相互相互抗争和发展的过程。一派秉持自上而下的观点，就是由人类首先给出符号、规则和方法，让机器通过学习具有人的理性思考能力。就好像告诉孩子这是一个杯子，然后让孩子知道其他能够装水的可能都叫杯子一样。另一派则是由内而外的，他们认为机器可以学习大脑的原理，靠机器的神经网络算法来理解事物，继而便可以具有人类的智能。后者的思想往往会被称为联结主义。在人工智能的发展过程中，有些时间前一派的理论和实践占上风，另外一些时间则是联结主义占上风。近几年来，随着阿尔法狗在围棋领域独领风骚，以及语音识别等的飞速发展，神经网络学习又重新开始领跑人工智能的发展。
特伦斯·谢诺夫斯基就是联结主义的代言人之一，他所著的《深度学习》一书，重点回顾了神经网络学习以及联结主义在60多年的时间里走过的心酸历程，并对今后一段时间神经网络学习在促进人工智能发展方面的可能贡献进行了展望。
一、网络感知器
1956年在达特茅斯举办的人工智能研讨会，被公认为人工智能研究的开端。

在当时，计算机的应用还处在初级阶段，但已经有了两种不同的思考方式。一种方式强调计算机必须要依靠逻辑来完成一项任务，每一步的推理都必须有依据。这就要求计算机每走一步都需要进行计算，涉及的任务越复杂，所以计算的量也越大。另一种方式认为只要告诉计算机经验就可以了，计算机可以依据经验自主进行学习，来完成既定的任务。联结主义者所持的就是这样的思维方式，这也是神经网络学习的思想基础。
在这之前，奥利弗·赛弗里奇曾提出一个认知模型，它把人对世界的感知分成了四部分。首先是输入，之后开始辨认特征，然后是进行认知，最后是一个决策输出。这个模型的核心特征，在于它将人类的思维理解为一个先部分后整体的处理过程，即设想人类大脑对任何外部输入的处理，都是先部分认识，分辨，最后进行组合。很显然，这种思想为后世的联结主义者（神经网络学者）带来了很大的启示。
随后，弗兰克·罗森布莱特引入了单层的感知机，号称可以能够通过感知（例如图片）把猫和狗区分开来。在逻辑之上的科学家看来，要区分猫和狗，首先需要给猫进行定义，比如“猫是一种有胡须的四脚爬行动物”，然后对这个定义逐渐完善，使得计算机最终能确定某一动物是否是一只猫。而在联结主义的科学家看来，他们只需要拿狗、或老虎作为反面样本，逐个传递给感知器，让感知器来加以辨析，如果分类错误，算法就会自动对权重进行校正。而这，也成为一切深度学习的开端：样本越多，计算越准确。
当时，罗森布莱特的这个感知机引起了震动，《纽约时报》称这是一个能够自学的电子脑，而这也在一定程度上引发了外界对人工智能的狂热遐想，他们以为一个机器替代人类的时代可以马上到来。但无论是研究者还是媒体都高估了感知器的能力。事实上，受当时计算机运算性能所困，这种感知机的应用能力非常有限，它只能看做是一个简单的玩具，区分不出来什么实际的东西。1971年，马文·明斯基出版的《感知器》一书，对多层感知器做出悲观判断，直接把神经网络学习推入寒冬，也让整整一代研究者对神经网络望而却步。
特伦斯生于上世纪五十年代，上述的这段人工智能发展历程显然与他无关。等他开始涉足这一领域的时候，神经网络学习已经进入寒冬。但像特伦斯等一批研究者则坚信，对人类大脑神经的研究将会继续促进这一领域的发展。搞清楚大脑的原理，然后建立一种新的神经网络模型，就成了一项新的任务。
二、玻尔兹曼机
在上世纪七十年代后期，特伦斯遇见了杰弗里·辛顿。这两个对神经网络都抱有信心的人走到了一起，并且开始为之后的深度学习发展奠定基础。在这个时期，研究大脑运作规律的神经科学也有了许多新发展，科学家从不同的层面更多地了解了这个神秘器官的工作原理。与此同时，计算机的发展也为神经网络模型更好的实现对大脑的模拟创造出更好的条件。
特伦斯和辛顿一起发明的玻尔兹曼机将神经网络学习向前推进了一步，这种结合了最新神经科学研究成果的方法能够突破先前感知器的局限，实现多层神经网络。当然，在当时的计算机条件下，多层神经网络的实践并不顺畅，而这个时候，以鲁姆哈特为首的另一批先驱（包括辛顿）又恰逢其时推出了反向传播算法，更好的提升了多层网络的效率，实现了算法上的优化。
在这个期间，计算机界出现过一个轰动全球的新闻，就是“卡斯帕罗夫对战深蓝”，当时的那场世纪之战引发了人们对于计算机技术的恐慌。需要注意的是，“深蓝”所采用的并非神经网络算法，它是在学习了世界上所有国际象棋的棋谱、利用暴力计算法获得胜利的。它采用了尽可能大的存储设备，汇集了比任何棋手都更加多的可能棋路，因此它的成功是理所当然地。好在国际象棋的棋路并不复杂，才让计算机有可能做到做一点。如果换做围棋，用同样的方式计算机肯定无法穷尽各种各样的棋路。
在卡斯帕罗夫对战“深蓝”的同时，一批科学家还在做另外一个实验，就是利用神经网络学习的方式，让计算机通过时间差分学习算法来学习双陆棋TD-Gammon的下法。没过多久，计算机就已经能够战胜当时美国最顶尖的双陆棋棋手了。这是人工智能两种思维的一个分水岭——计算机程序教会了自己如何在一个人类熟稔的领域中掌握复杂的策略。此后的故事，我们就耳熟能详了， AlphaGo先是和韩国围棋高手李世石进行比赛，取得了3:1的胜利，之后研究团队对这一机器进行了升级，再和我国的围棋高手柯洁比赛，柯洁以完败告终。
当然，这样的一些突破性的成绩的取得，是各方力量协同合作的结果。信奉联结主义的这些科学家中，物理学家分析神经网络模型，心理学家模拟人类认知，神经科学家模拟神经系统并分析神经记录，统计学家探索高维空间中的大数据集，工程师则负责构建具备人的视觉和听觉的设备。人工智能就是在这样一批科学家的通力合作下飞速发展起来的。
三、深度学习
如果纵览人工智能领域联结主义这一分支的发展历程，大体上看已经经历了从高潮到低谷的三个轮回。第一次是上世纪50年代，以网络感知器为代表的研究高潮，以及后来明斯基等人对其所判的死刑。明斯基虽然是人工智能的鼻祖，但他始终不看好神经网络学习，即便在他临死之前，也还是持同样的态度。如果他能够坚持活到今天，不知道他的态度是否会有改变。第二次是上世纪80年代，多层网络感知器的研发，以及反向传播算法的突破，给神经网络学习领域带来了一次新的发展高潮。第三次就是在2010年之后，我们迎来了深度学习的第三次革命。从我们家庭里现在使用的扫地机，到手机里的语言翻译和对话，再到自动驾驶领域的网络实践，人脸识别等等，所采用的都是神经网络算法，所依据的都是深度学习的理念。
采用逻辑的方法来让机器完成某项任务时，人类专家首先要描述样本的特征，这本身就不是一件容易的事情。因为特征的好坏对泛化性能有至关重要的影响，所以描述特征就成了一件非常重要的工作。而联结主义者则认为，没有必要再描述特征方面做太多的工作，只要将感知器进行多层的设置，让机器逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务，这即是深度学习。
换句话说，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。
深度学习所涉及的主要理论和方法包括：基于卷积运算的卷积神经网络，基于多层神经元的自编码神经网络，以及以多层自编码神经网络的方式进行预训练、进而结合鉴别信息进一步优化神经网络权值的深度置信网络。这些都是在上世纪80年代左右发展起来的理论和研究方法。今天，当我们动辄就要提深度学习和人工智能的时候，我们经常以为这些东西都是一下子蹦出来的，殊不知这一概念的兴起可以追溯到半个世纪之前，而我们今天使用的大多数神经网络算法（包括最为著名的反向传播），都是上世纪80年的理论结晶。

深度学习的三次革命

《深度学习：智能时代的核心驱动力量》 [美]特伦斯·谢诺夫斯基/著姜悦兵/译中信出版社 2019.02

举报/Report

我的更多文章

下载客户端阅读体验更佳