登录
原创

机器学习菜鸟的学习笔记(10)

专栏学渣的机器学习之路
发布于 2020-11-10 阅读 46
  • Python
  • 机器学习
原创

写在前面

书接上回,今次将简单分享如何将正则化应用在之前所遇到的逻辑回归和线性回归中。到这个阶段,恭喜恭喜,你已经掌握了一些基础了(毕竟再往后的神经网络就没那么容易理解了)。闲话少叙,让我们从正则化的种类开始。

L1 L2 正则

L1正则由模型的参数的绝对值的和构成,L2范数由模型的参数的平方和构成。

L1正则可以降低模型的复杂度,做特征选择。这是由于当采用L1正则后模型中对于部分特征的权重会置零。这样可以有效的降低有依赖的特征,起到特征选择的作用,同时特征维度降低后模型的复杂度也随之降低。所以L1正则适用于特征有相互依赖,且对权重是0或者非0相当敏感的模型。

L2正则能降低模型结构风险,防止模型过拟合。加上L2正则后的损失要求损失函数降低的同时,特征权重也被限制在较小的范围。这样当特征维度较高时候也能保证模型受高次幂的影响较低,降低模型的复杂度。所以L2正则适用于特征维度高的模型。

损失函数

加上惩罚项

在前面的例子中,如果用一个二次函数来拟合这些数据,对数据会有很好的拟合。然而,如果用一个更高次的多项式去拟合,最终我们可能会得到一个拟合度相当高的结果,但却并不是一个好的结果,因为它过度拟合了数据,泛化比较差。所以加上惩罚项,从而使参数θ3θ4足够的小。
image.png

为了损失最小,那么要让θ3θ4尽可能小。因为在原有代价函数加上1000乘以θ3 这一项 ,那么这个新的代价函数将变得很大。所以,最小化这个新的代价函数时, 要使θ3θ4的值接近于0,如同忽略了这两个值一样。如果能做到使θ3θ4接近0,将得到一个近似的二次函数。
image.png

图示

image.png

增加正则化项

惩罚每个参数

房屋价格预测可能有上百种特征,如果有一百个特征,我们并不知道如何选择关联度更好的参数,如何缩小参数的数目等。因此在正则化里,需要减小代价函数(例子中是线性回归的代价函数)所有的参数值。因此,在这后面添加一项,来达成目的。
image.png

关于λ

图中就是增加了正则化项之后的变化。λ称做正则化参数。λ作用于控制在两个不同的目标中的平衡关系,从而来保持假设函数形式相对简单,来避免过度的拟合。对于房屋价格预测,用非常高的高阶多项式来拟合,将会得到非常弯曲和复杂的曲线函数,现在只需使用正则化的方法,就可以得到一个更加合适的曲线,但这个曲线不是一个真正的二次函数,而是更加的流畅和简单的一个曲线。

image.png

λ 过大

在正则化线性回归中,如正则化参数值λ被设定的非常大,将会非常大地惩罚参数,会使所有这些参数接近于零。相当于去掉了这些项,使假设函数只能表明房屋价格等于θ0的值,类似于拟合了一条水平直线,对于数据来说这就是一个欠拟合 (underfitting)

因此,为了使正则化运作良好,应当选择一个合适的正则化参数 λ

image.png

正则化线性回归

加上正则化项

image.png

梯度下降

image.png

正则化逻辑回归

加上正则化项

image.png

梯度下降

image.png

写在后面

分享着分享着,目前也到第十期了,目前我们的机器学习的简单分享到这个阶段可以划分为初步了解阶段,也可以说是稍稍告一段落了,很有精神!后面的神经网络的难度会逐步加大,对于理解是个很大的考验。

下次将分享一下在这个机器学习初步阶段的感性层面的感悟,毕竟学渣学习不易啊2333333。

评论区

Nexus_G
12粉丝

失学青年面临失业

0

0

0