多层感知机 图谱介绍
从线性模型的局限出发，逐步构建第一个非线性神经网络，理解反向传播原理，并掌握应对过拟合的工具箱
单层感知机很快就遭遇了瓶颈。1969 年，Minsky 与 Papert 指出，它连 「异或」 这样最基本的非线性关系都无法表达——本质上只是一条直线。
转机在于把多层线性单元叠起来，并在层间插入非线性——多层感知机由此成为第一个能逼近复杂关系的神经网络。
多层感知机是 「深度」 的基础
「全连接层 + 非线性激活」至今仍是几乎所有网络的基本构件 ，而训练它所依赖的反向传播、计算图、批量训练与正则化，也都是深度学习的通用方法。
异或的四个点，一条直线怎么摆都分不开。
全连接层叠加非线性激活，堆出能弯折的网络。
误差沿网络反向回流，逐层算出每个参数的梯度。
把运算拆成图上的节点，沿图自动求出每个梯度。
训练 MLP，在同心圆数据上划出弯曲的决策边界。
每次只用一小批数据更新，训练又快又稳。
留出没见过的数据，检验模型是真学会还是死记。
容量太小学不会，太大死记噪声，中间才刚好。
给大权重加惩罚，逼模型保持简洁。
训练时随机关掉一些神经元，逼网络别依赖单点。