1. 多变量线性回归(Linear Regression with Multiple Variables)
Last updated
Last updated
目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为)。
话不多说一图流：
n为特征的数量
比方说，上图
那么假设有}=1)，那么上式就可以转换为={\theta_{0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}})，
话不多说再加个图：
求偏导后得：
在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。
以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。
解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。如图：
虽然梯度下降算法在理论上，代价函数可以自行收敛到最小，但是学习率α也是决定收敛效果如何的关键因素。
梯度下降算法的每次迭代受到学习率的影响，如果学习率过小，则达到收敛所需的迭代次数会非常高；如果学习率过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。
正常情况，代价函数J(θ)的变化情况大体如下图所示：
贴一张直观点的图
对于梯度下降何时收敛，我们进行自动收敛测试，也就是用一种算法，告诉你这个梯度下降算法何时收敛，举一个例子，如果J(θ)小于某些阈值，比如0.001、0.01、0.1等时，可以判断梯度下降算法收敛，但是这个阈值很难决定用哪些。
举例，还是房价问题
假设h(θ)如下，={\theta_{0}}+{\theta_{1}}\times{frontage}+{\theta_{2}}\times{depth})
={\theta{0}}+{\theta{1}}area)
所以，灵活利用特征的特征很重要
上例给出数据集如下：
对于这段数据，我们可以给出二次模型来拟合，但是二次函数曲线在size(即area)达到一定数值后就回下降，这显然不符合常理，所以，可以使用三次函数：={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2}+{\theta_{3}}{x_{3}^3})
根据函数图形特性，我们还可以使：
={{\theta&space;}_{0}}\text{+}{{\theta&space;}_{1}}(size)+{{\theta}_{2}}{{(size)}^{2}})
或者:
={{\theta&space;}_{0}}\text{+}{{\theta&space;}_{1}}(size)+{{\theta&space;}_{2}}\sqrt{size})
以期达到这样的效果：
上例总结如下：
如果我们采用多项式回归模型，特征的归一化是必要的，这样才能使数据变得有可比性。
某些时候用正规方程是更好的解决方案；如下图：假设这是一个关于实数θ的二次函数J(θ)
那么我们最小化这个二次函数的方法是对它求导，令导数=0之后求出的就是令J(θ)最小的θ值。
推导过程
}^{-1}}{X^{T}}y) 的推导过程：
=\frac{1}{2m}\sum\limits_{i=1}^{m}{{{\left(&space;{h_{\theta}}\left(&space;{x^{(i)}}&space;\right)-{y^{(i)}}&space;\right)}^{2}}}) 其中：={\theta^{T}}X={\theta_{0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}})
接下来对)偏导，需要用到以下几个矩阵的求导法则:
所以有:
梯度下降与正规方程的比较：
随着我们要讲的学习算法越来越复杂，例如，当我们讲到分类算法，像逻辑回归算法，我们会看到，实际上对于那些算法，并不能使用标准方程法。
}})代表第 个训练实例，是特征矩阵中的第行，是一个向量（vector）。
})代表特征矩阵中第 行的第 个特征，也就是第 个训练实例的第 个特征，如上图的}=3,x_{3}^{\left(&space;2&space;\right)}=2)；
多维特征的假设表示为：={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}})，
那么把转成，即这个n+1维的行向量与n+1维的X相乘，即={\theta^{T}}X)
如图所示，我们假设$\theta_0$项乘以一个$x_0$，那么，常数参数$\theta_0$, $\theta_1$...可以看作是一个向量$\theta$ ，那么看图，梯度下降算法的第二项中被框起来的部分，可以看作是求以向量$\theta$为参数的代价函数的偏导数
即：
最简单的方法是令：，其中 是平均值，是标准差。
所以，还是看J(θ)的变化曲线，并且这个曲线也可以提前报告于你这个算法的运行情况，参考上图的描述，改变α，课程中α的值给的例子是
注意frontage和depth，这两个特征其实可以化成一个特征，即把这两个相乘为面积（），那么假设h(θ)为：
将向量表达形式转为矩阵表达形式，则有=\frac{1}{2}{{\left(&space;X\theta&space;-y\right)}^{2}}) ，其中为行列的矩阵（为样本个数，为特征个数），为行1列的矩阵，为行1列的矩阵，对)进行如下变换
总结一下，只要特征变量的数目并不大，标准方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于一万，通常使用正规方程法，而不使用梯度下降法。
梯度下降
正规方程
不需要
需要多次迭代
一次运算得出
适用于各种类型的模型
只适用于线性模型，不适合逻辑回归模型等其他模型
需要选择学习率
当特征数量大时也能较好适用
