[斯坦福大学2014机器学习教程笔记]第四章-多元梯度降低法

    在这节中，咱们将介绍如何设定该假设的参数，咱们还会讲如何使用梯度降低法来处理多元线性回归。

    首先，咱们回顾一下上节的知识点。

• 假设形式：h_θ(x)=θ^TX=θ₀x₀+θ₁x₁+θ₂x₂+θ₃x₃+……+θ_nx_n。（x₀=1）
• 参数：θ₀，θ₁，θ₂，……，θ_n。咱们也能够把它想象成一个n+1维向量。
• 代价函数：J(θ₀,θ_1，……，θn)=(1/2m)Σ(h_θ(xⁱ)-yⁱ)²。（经过偏差项的平方和来给定）可是，咱们能够不把J看做是这n+1个数的函数，咱们能够把它看做是参数θ这个向量的函数。因此J(θ₀,θ_1，……，θn)也能够写做J(θ)。
• 那么，咱们就能够得出梯度降低的式子，以下所示。

    咱们要不断经过θ_j减去α乘以导数项来更新每一个θ_j参数。

    接下来，让咱们看一下执行梯度降低时是怎么样的。

    咱们先来回顾一下以前讨论过的内容（即当n=1时的状况）。

    在n=1的状况下，咱们有两个独立的更新规则，分别对应参数θ₀和θ₁。

    那么当n≥1时，咱们有

    因此，咱们就能获得可行的用于多元线性回归的梯度降低法。当咱们有多个特征量时，咱们会有多个更新规则来更新参数θ₀，θ₁，θ₂，……。

    当咱们观察θ₀的更新规则，和以前n=1的时候的式子实际上是同样的。它们同样的缘由是，咱们约定了x₀⁽ⁱ⁾=1。当咱们观察θ₁的更新规则，和以前n=1的时候的式子实际上是等效的。可是，咱们要注意，咱们使用了x₁⁽ⁱ⁾来表示第一个特征量。如今咱们有多个特征量，因此咱们也有多个类似的更新规则。