大热的深度学习,我们该如何看待呢?

相信,大家仍然记得大热科幻片中,天网对人类的统治。正因如此,深度学习作为一种科学技术,才被摆上一个充满舆论争议的位置上——乐观的人认为攻克智能奇点的堡垒马上就要实现,悲观的人则畏惧高科技带来的束缚与毁灭而惶惶不可终日。那么,到底我们应该怎样看待hit爆的深度学习呢?大圣众包威客平台(www.dashengzb.cn)与你一起探讨。

《大热的深度学习,我们该如何看待呢?》

一、深度学习有多deep

从概念上说,作为传统机器学习中神经网络(NN)、感知机(perceptron)模型的扩展延伸,正是深度学习(DL),或说深度神经网络(DNN)的表现形式。

单看DNN近几年在科技界惊人且频频引发议论的成果,就可以看出它的前途无可限量。DNN在众多应用领域的成功毋庸置疑。譬如,能和人对话的语音助手,能“读懂”照片内容的图像识别系统,甚至是引发滔滔议论的能击败围棋世界冠军的AlphaGo……有着结构过于错综复杂、性质难以分析的“黑盒子”特质的深度学习,引发了学术界的众多顾虑和好奇,而正因研究人员对DNN的火热的好奇心以及孜孜不倦的钻研能力,使得DNN的研究成果正以惊人的速度增长。

《大热的深度学习,我们该如何看待呢?》

其实,站在客观的角度上看,DNN和K-Means、稀疏编码(sparsecoding或Lasso)、主成分分析(PCA)等众多基础的模型并无什么不同,都是属于机器学习中特征学习(featurelearning)的范畴。因此,无需过于惊慌地把DNN划分到天网、人工智能终点,甚至是上帝的位置去。如果一定要说DNN有什么过人之处,一字记之曰——深。

二、学者争相研究

为了理解DNN有多deep以及其工作原理,自2013年起,已经不断有学者从不同的角度研究DNN和各类传统机器学习模型之间的内在关系,这些传统机器学习模型包括小波分析、高斯过程、条件随机场、稀疏表示等。这些在科研上的努力,甚至可能从传统模型的分析方法中掘得金矿,为DNN的理论框架添砖加瓦,让其不断朝着远方发展。

《大热的深度学习,我们该如何看待呢?》

三、深度学习的优势

从深度学习掀起的铺天盖地的热潮中反观,它固然有自身的优势:

1.端到端(end-to-end)的训练方式,让以往模型分模块训练(hierarchical)、各模块没有彼此优化的劣势被克服了;

2.动辄成百上千万的空前庞大的参数(parameter)量,远远超过以往任何模型的参数数量级,极大增强了模型对于复杂映射(mapping)的表达能力;

3.它具有有效训练如此巨大模型的一套手段。在GPU高性能计算、无穷无尽的tricks(如dropout、batchnormalization等),以及大数据产业发展的大力推动下,深度学习被推上了浪潮尖端。

《大热的深度学习,我们该如何看待呢?》

四、深度学习的劣势

尽管深度学习在应用上取得了巨大的成功,但是,理论缺失、“沙上筑塔”的隐忧让它颇为人诟病。由于DNN本身函数的高度非线性和非凸性,免不了会受困于求解算法本身的粗糙和经验化上,因此,传统方法的优良性质和可解释性在DNN中可谓之无,着实遗憾。

Anyway,深度学习既有自身的优势,也有自身的劣势,但是瑕不掩瑜。在大数据产业高速发展、“互联网+”大力助力之下,深度学习仍将继续火爆下去。

    原文作者:大圣众包
    原文地址: https://www.jianshu.com/p/ad9bacb64909#comments
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞