[吴恩达机器学习]2·梯度下降解多元线性回归

吴恩达机器学习系列课程：https://www.bilibili.com/video/BV164411b7dx

多元线性回归

类似于一元的线性回归，不过我们现在有多个自变量 $x_1,x_2,\cdots ,x_n$，即给定的数据集为： $$\{(x_1^{(i)},x_2^{(i)},\cdots ,x_n^{(i)},y^{(i)}),i=1,2,\cdots ,m\}$$ 相应地，回归方程也具有多个参数 ${\theta }_0,{\theta }_1,\cdots ,{\theta }_n$： $$h_{\theta }(x)={\theta }^{T}x={\theta }_0{x}_0+\cdots +{\theta }_n{x}_n$$ 这里我们假定 $x_0$ 恒等于 $1$，并以向量表示自变量和参数：$\theta =({\theta }_0,\cdots ,{\theta }_n{)}^T,x=(x_0,\cdots ,x_n{)}^T$.

梯度下降解多元线性回归

类似的，我们定义代价函数： $$J(\theta )=\frac{1}{2m}\sum _{i=1}^m{({\theta }^T{x}^{(i)}-y^{(i)})}^2$$ 于是， $$\frac{\partial J}{\partial \theta }=\frac{1}{m}\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)})x^{(i)}$$ 梯度下降时，不断作迭代： $$\theta :=\theta -\alpha \cdot \frac{\partial J}{\partial \theta }$$ 即可。

特征缩放与标准化

当我们的不同自变量取值范围相差较大时，梯度下降可能会很慢，这时，我们需要把所有自变量进行缩放、标准化。具体的，只要我们置： $$x_i^{(j)}:=\frac{x_i^{(j)}-{\mu }_i}{{\sigma }_i}$$ 其中，${\mu }_i=\frac{1}{m}\sum _{j=1}^m{x}_i^{(j)}$ 是样本均值，${\sigma }_i=\sqrt{\frac{\sum _{j=1}^m{(x_i^{(j)}-{\mu }_i)}^2}{m-1}}$ 是样本标准差，就完成了归一化。

归一化后样本均值为 $0$，方差为 $1$.

实现

Normalization 函数将数据集标准化，J 函数即计算 $J(\theta )$，partJ 函数计算 $\frac{\partial J}{\partial \theta }$，GradientDescent 进行梯度下降。

import numpy as np
import matplotlib.pyplot as plt

alpha = 0.01
iteration = 10000
Z = []

def Normalization(data):
	return (data - data.mean(axis = 0)) / data.std(axis = 0, ddof = 1)

def J(T, X, Y):
	res = 0
	for i in range(m):
		res += (np.matmul(T.T, X[i:i+1, :].T) - Y[i:i+1, :]) ** 2
	res /= 2 * m;
	return res

def partJ(T, X, Y):
	res = np.zeros((n, 1))
	for i in range(m):
		res += (np.matmul(T.T, X[i:i+1, :].T) - Y[i:i+1, :]) * X[i:i+1, :].T
	res /= m
	return res

def GradientDescent(X, Y):
	T = np.zeros((n, 1))
	for t in range(iteration):
		T = T - alpha * partJ(T, X, Y)
		Z.append(J(T, X, Y)[0][0])
	return T

data = np.genfromtxt("ex1data2.txt", delimiter = ',')
(m, n) = data.shape
data = Normalization(data)
X = np.column_stack((np.ones((m, 1)), data[:, :-1]))
Y = data[:, -1:]
T = GradientDescent(X, Y)
print(T)

p1 = plt.subplot(111)
p1.plot(range(1, iteration+1), Z)
p1.set_xlabel('Iteration')
p1.set_ylabel('Cost')
plt.show()
PYTHON

最后得到的结果：$$.

学习率取为 $$ 时，代价函数值随迭代次数的变化：