机器学习中的范数规则化-L0,L1和L2范式

http://blog.csdn.net/zouxy09/article/details/24971995/
监督学习的过程可以概括为：最小化误差的同时规则化参数。最小化误差是为了让模型拟合训练数据，规则化参数是为了防止过拟合。参数过多会导致模型复杂度上升，产生过拟合，即训练误差很小，但测试误差很大，这和监督学习的目标是相违背的。所以需要采取措施，保证模型尽量简单的基础上，最小化训练误差，使模型具有更好的泛化能力（即测试误差也很小）。
范数规则化有两个作用：
1）保证模型尽可能的简单，避免过拟合。
2）约束模型特性，加入一些先验知识，例如稀疏、低秩​等。
一般来说，监督学习中最小化的目标函数结构如下：

其中第一项L​用于计算模型预测值与样本真实值之间的误差，优化目标是希望该项尽可能小（即训练误差尽可能小）。第二项Ω用于对参数进行规则化，保证模型尽可能简单，避免过拟合。
规则化函数Ω有多重选择，不同的选择效果也不同，不过一般是模型复杂度的单调递增函数——模型越复杂，规则化值越大​。例如，可以是模型中参数向量的范数。常见的选择包括零范数，一范数，二范数等。下面挑选部分范数简单说明。
1 L0范数和L1范数
L0范数是指向量中非零元素的个数。如果用L0规则化一个参数矩阵W，就是希望W中大部分元素是零，实现稀疏。
L1范数是指向量中各个元素的绝对值之和，也叫”系数规则算子（Lasso regularization