Deep Learning(深度学习)学习笔记整理系列

Deep Learning

（深度学习）学习笔记整理系列

目录：

一、概述

二、背景

三、人脑视觉机理

四、关于特征

4.1

、特征表示的粒度

4.2

、初级（浅层）特征表示

4.3

、结构性特征表示

4.4

、需要有多少个特征？

五、

Deep Learning

的基本思想

六、浅层学习（

Shallow Learning

）和深度学习（

Deep Learning

）

七、

Deep learning

与

Neural Network

八、

Deep learning

训练过程

8.1

、传统神经网络的训练方法

8.2

、

deep learning

训练过程

九、

Deep Learning

的常用模型或者方法

9.1

、

AutoEncoder

自动编码器

9.2

、

Sparse Coding

稀疏编码

9.3

、

Restricted Boltzmann Machine(RBM)

限制波尔兹曼机

9.4

、

Deep BeliefNetworks

深信度网络

9.5

、

Convolutional Neural Networks

卷积神经网络

十、总结与展望

十一、参考文献和

Deep Learning

学习资源

接上

注：

下面的两个

Deep Learn ing

方法说明需要完善，

但为了保证文章的

< br>连续性和完整性，先贴一些上来，后面再修改好了。

9.3

、

Restricted Boltzmann Machine (RBM)

限制波尔兹曼机

假 设有一个二部图，

每一层的节点之间没有链接，

一层是可视层，

即输入数据层（

v)

，一层是隐藏层< /p>

(h)

，如果假设所有的节点都是随机二

值变量节点（只能取

0

或者

1

值），同时假设全概率分布

p(v,h)

满足< /p>

Boltzmann

分布，我们称这个模型是

Restricted BoltzmannMachine

(RBM)

。

下面我们来看看为什么它是

Deep Learning

方法。首先，这个模

型因为是二部图，

所以在已知

v

的情况下，所有的隐藏节点之间 是条件

独立的

（因为节点之间不存在连接）

，

即

p(h|v)=p(h

1

|v)…p(h

n

|v)

< br>。

同理，

在已知隐藏层

h

的情况下，

所有的可视节点都是条件独立的。

同时又由

于所有的

v

和

h

满足

Boltzmann

分布，因此，当输入

v

的时候，通过

p (h|v)

可以得到隐藏层

h

，而得 到隐藏层

h

之后，通过

p(v|h)< /p>

又能得到

可视层，通过调整参数，我们就是要使得从隐藏层得到的 可视层

v1

与

原来的可视层