L1范数是向量中各个元素绝对值之和,L1范数可以进行特征选择,即让特征的系数变为0。
L2范数是向量各元素的正兄平方和然后求平方根,L2范数可以防止过拟合,提升模型的泛化能力,有助于处理 condition number不好下的矩阵(数据变化很小矩阵求解后结果变化很大)。
例如2维空间中,向量(3,4)的举迹袭长度是5,那么5就是这个向量的一个范数的值,更确切的说,是欧式范数或者L2范数的值。
扩展资料:
注意事项:
1、当P=0时,也就是L0范数,由此可知L0范数并不是一个真州腊正的范数,它主要被用来度量向量中非零元素的个数。
2、在实际应用中,由于L0范数本身不容易有一个好的数学表示形式,给出上面问题的形式化表示是一个很难的问题,故被人认为是一个NP难问题。所以在实际情况中,L0的最优问题会被放宽到L1或L2下的最优化。
3、由于L1范数的天然性质,对L1优化的解是一个稀疏解,因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏,去掉一些没有信息的特征,例如在对用户的电影爱好做分类的时候,用户有100个特征,可能只有十几个特征是对分类有用的,大部分特征如身高体重等可能都是无用的,利用L1范数就可以过滤掉。
参考资料来源:百度百科-L1范数正则化
参考资料来源:百度百科-范数
标签:范数,L1