简介
课程第二讲：首先介绍了神经网络的三种主要组织结构，然后着重介绍了感知机相关知识
Types of neural network architecture
- Feed-forward neural network(前馈神经网络)
- 第一层为输入层，最后一层为输出层，信息进行单向流通
- The last layer is the output
- 每一层获得输入层的新的表示方式，因此有机会让相似的地方变得不相似，或者让不相似的内容变得相似。
- 以语音识别为例，不同人的同样内容，需要相似输出
- 相同人的不同内容，需要不同输出
- Recurrent neural network（循环神经网络）
- 隐藏神经元->隐藏神经元
- 通常循环神经网络中，每一层循环共享权重
- 之所以具有记忆效应，从图中能看出每一层循环计算出output后，output和input会继续传入下一层循环
- Symmetrically connected network（对称连接网络）
- 循环神经网络的一种，双向权重相等
- 只有一层的对称连接网络：“Hopfield nets”
- 具有隐藏层的对称连接网路：“Boltzmann machines”
- http://blog.csdn.net/omenglishuixiang1234/article/details/49531937
Perceptrons：The first generation of neural networks（感知机）
- 标准的感知机框架
- 输入数据人为转化为特征向量
- 学习感知机中特征向量权重
- 由阈值判断output
- 感知机训练流程
- 设置所有输入权重为1
- 然后将训练样本依次送入感知机进行训练
- 如果输出正确，保持权重不变
- 如果应该输出1，而错误输出了0，将1平均加到所有权重
- 如果应该输出0，而错误输出了1，将1从所有权重中平均减掉
A geometrical view of Perceptrons（感知机的几何表示）
- 想象一个高维空间（weight space）中，每一个点表示所有权重的一种取值
- 每一个训练样本表示空间中的一个平面
- 一个训练样本的某一面的所有点都是正确的，而另一面的所有点都是错误的
- 当输入向量和权重向量位于平面同方向时，输出为正；位于平面反方向时，输出为负。
- 因此当能找到一个区域的点，位于训练样本形成的所有平面的正确区域的共同区域，这些区域中的点都是感知机能正确工作的权重
why the learning works
- 在存在能让所有训练样本正确分类的权重情况下，称有效的权重为feasible weight vector
- 训练过程中，每当有错误分类时，就将权重向量朝输入向量的方向靠近一点
What Perceptrons can’t do
- 感知机的限制主要取决于特征向量的选取
- 比较典型的是异或运算中，感知机无法正确工作
- 在感知机中，需要正反输入数据能够线性可分
- 在感知机中，硬编码的特征具有局限性，仅仅通过学习权重，在应用中受限制，因此需要能够学习到特征。
- 在感知机中增加了隐含层，学习隐含层的权重，实际就是学习输入向量的特征。