展会信息港展会大全

知识核 DeepLearning 第一期 深度学习的几度兴衰
来源:投稿   发布日期:2016-07-03 15:28:29   浏览:39163次  

导读:本次分享介绍深度学习的成长史,以及背后算法细节...

深度学习(Deep Learning),又名深度神经网络,前身是一只感知机。生于达特茅斯会议次年的ta,注定与人工智能有着不解之缘。人工智能中的各种机器学习方法,从初期的符号学习到后来统计学习再到现在的深度学习,往往代表了学派之争。初来咋到的感知机何以敢跟当时的霸主——『符号主义』(symbolicism)分争天下?因为ta有个爹叫『联结主义』(connectionism)。两门派针锋相对的历史在这暂且不表,先来看看这位初生牛犊,感知机,如何一步步成长为今日叱咤风云的深度学习的。

『感知机』(perceptron),一个神秘的名字,到底是什么?虽然借用了人类大脑神经元连接的隐喻,但其终究不过是一个有着输入和输出两层神经元的线性分类器。然而世事并不总是线性的,一个连XOR都解决不了的线性分类器如何委以重任?人工智能的爸爸之一,明斯基(Marvin Minsky),甚至专门出了本书《感知机》将其批判了一番,殊不知正是这本书,差点将深度学习扼杀于襁褓之中。大佬一发话,各路人马纷纷饮恨而归,相忘于江湖,神经网络就此进入寒冬期。

图1.达特茅斯会议五十年重聚首,中间那位是明斯基,于2016年1月24日辞世

多数人放弃了,但有人坚持了下来。为了解决非线性可分的问题,人类(Rumelhart、Williams、Hinton、LeCun等)为感知机加了些隐藏层(hidden layer),于是『多层感知机』便诞生了,这种每层神经元只与下层连接、神经元之间不同层连接的神经网络结构就是一个最基本的神经网络,『前馈神经网络』(feedforward networks)。如何训练这个庞然大物,在当时依然不甚明了。直到八十年代中,BP算法的横空出世,重新燃起了联结主义的希望。BP算法为训练多层网络提供了简洁优雅的微积分解决方案,使得神经网络成为现实可用的模型。到此为止,就是神经网络的第二次潮起。不难想见的是,虽然随着神经网络层数的增加,模型能拟合越来越复杂的函数,但如何避免局部最优解,如何避免梯度消失,仍无行之有效的方法。统计学习理论也在此期间登堂入室,大有取而代之之势。神经网络再次被打入冷宫。

直到新千年的到来。随着计算能力的大幅提升和大数据的涌现,及ReLU、pre-training等训练方法的出现,神经网络重新以『深度学习』的名字再现江湖,并在2012年横扫了各大模式识别竞赛,至此再无败绩。互联网巨头们见形势利好,也纷纷披甲上阵,投入巨资,深度学习开始一路狂奔向人生巅峰。有趣的是,神经网络的兴衰史恰好也是其更名换姓史——从『感知机』到『神经网络』再到今天炙手可热的『深度学习』,每换一次名字,就涅槃一次,可见一个好名字的重要性。若用五个字概括这次深度学习的复兴,我想大概是——新瓶装旧酒,不对,应该是,时势造英雄。人工智能的车轮滚滚向前,三十年河东,三十年河西。这次联结主义占尽了风头,下一次,又会是谁?

图2. 著名模式识别竞赛ImageNet:Large Scale Visual Recognition Challenge

希望了解更多的算法细节?知识核本期视频将为你详细解构深度学习背后的成长史,欢迎收看。

视频地址 http://v.qq.com/boke/page/u/0/9/u03034kx929.html

与我们交流,请联系:

微信公众号:知识核

邮箱:coreknowledge@163.com

赞助本站

人工智能实验室

相关热词: 深度学习 机器学习 算法

相关内容
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港