深度学习基础(36页).ppt

1、Deep Learning,目录,深度学习简介深度学习的训练方法深度学习常用的几种模型和方法Convolutional Neural Networks卷积神经网络卷积神经网络（CNN）在脑机接口中的应用,What is Deep Learning?,A brief introduce of deep learning,机器学习,机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构市值不断改善自身的性能的学科，简单地说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未

2、来。机器学习在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等很多方面的发展还存在着没有良好解决的问题。,特征的自学习,传统的模式识别方法：通过传感器获取数据，然后经过预处理、特征提取、特征选择、再到推理、预测或识别。特征提取与选择的好坏对最终算法的确定性齐了非常关键的作用。而特征的样式目前一般都是靠人工提取特征。而手工选取特征费时费力，需要专业知识，很大程度上靠经验和运气，那么机器能不能自动的学习特征呢？深度学习的出现就这个问题提出了一种解决方案。,深度学习,自2006年，深度学习（Deep Learning）已经成为机器学习研究中的一个新兴领域，通常也被叫做深层结构学习或分

3、层学习。其动机在于建立、模拟人脑进行分析学习的神经网络，它模拟人脑的机制来解释数据，例如图像，声音和文本，深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，已发现数据的分布式特征表示。,人脑的视觉机理,1981年的诺贝尔医学奖获得者 David Hubel和Torsten Wiesel发现了视觉系统的信息处理机制，他们发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃。,由此可知人的视觉系统的信息处理

4、是分级的，高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图，抽象层面越高，存在的可能猜测就越少，就越利于分类。,浅层学习与深度学习,传统机器学习和信号处理技术探索仅含单层非线性变换的浅层学习结构。浅层模型的一个共性是仅含单个将原始输入信号转换到特定问题空间特征的简单结构。典型的浅层学习结构包括传统隐马尔科夫模型(HMM)、条件随机场(CRFs)、最大熵模型(Max Ent)、支持向量机(SVM)、核回归及仅含单隐层的多层感知器(MLP)等。浅层结构的局限性在于有限的样本和计算单元情况下对复杂的函数表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。,受

5、到大脑结构分层的启发，神经网络的研究发现多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；而深度神经网络在训练上的难度，可以通过“逐层初始化”来有效克服。深度学习可以通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据及本质特征的能力。,深度学习的实质通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。深度学习与浅层学习的区别强调了模型结构的深度，通常有5-10多层的隐层节点；明确突出

6、了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。,深度学习的训练方法,与神经网络的异同,深度学习与神经网络的异同,神经网络,深度学习,深度学习与神经网络的异同,相同点二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic 回归模型。不同点：采用不同的训练机制神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；深度学习：BP算法不适合深度神经网络，如果对所有层同时训练，时间复杂度会太高，如果每次训练一层，偏差逐层传递会出现过拟合。因此深度学习整体上是是一个分层训练机制。,深度学习的训练过程,自下而上的非监督学习：从底层开始，一层一层的往顶层训练，分别得到各层参数。采用无标签数据分层训练各层参数（可以看作是特征学习的过程）。