机器学习-线性回归模型思想
线性回归模型理解
监督学习：我们给算法一个数据集其中已经包含了正确答案，算法的目的就是找出更多的正确答案。数学可以表达为 已知
x
x
x，
y
y
y 求
f
(
x
)
f(x)
f(x)。
线性回归模型：线性回归模型是监督学习的一种，在知道给定数据集（
x
x
x）和对应结果（
y
y
y）的前提下，寻找一个线性函数可以最大程度的拟合我们已知的数据，从而可以达到得到新的
x
x
x 时可以预测出结果的
y
y
y 的效果。
代价函数：如何把最有可能的直线与我们的数据相拟合（求每个已知的
y
i
y^i
yi 和
h
θ
(
x
i
)
h_theta(x^i)
hθ(xi) 之间差距的总和）
线性回归模型中用到的概念
1. Hypothesis（假设函数）：
h
h
h
θ
theta
θ(
x
x
x)
=
=
=
θ
theta
θ0 +
θ
theta
θ1
x
x
x
2. Parameters（参数）：
θ
theta
θ0 ,
θ
theta
θ1
3. Cost Function（代价函数）：
J
J
J
(
(
(
θ
theta
θ0 ,
θ
theta
θ1
)
)
)
=
=
=
1
2
m
∑
i
=
1
m
[
h
θ
(
x
i
)
−
y
i
]
2
frac{1}{2m}sum_{i=1}^m[h_theta(x^i)-y^i]^2
2m1∑i=1m[hθ(xi)−yi]2
（
h
θ
(
x
i
)
h_theta(x^i)
hθ(xi) 为我们已知的
x
x
x 在我们假设的函数上对应的
y
y
y ，
y
i
y^i
yi 为我们已知的
y
y
y）
4. Goal（代价函数的目的）：
m
i
n
i
m
i
z
e
minimize
minimize
θ
theta
θ0,
θ
theta
θ1
J
J
J
(
(
(
θ
theta
θ0 ,
θ
theta
θ1
)
)
)
5. Gradient descent（梯度下降）：repeat until convergence：
θ
j
theta_j
θj
=
=
=
θ
j
theta_j
θj
−
-
−
α
alpha
α
∂
∂
θ
j
frac{partial}{partialtheta_j}
∂θj∂
J
J
J
(
(
(
θ
theta
θ0 ,
θ
theta
θ1
)
)
)（
α
alpha
α 为学习率，以下山为例就是步长）
基本思路
先假设线性函数的函数表达式为 Hypothesis ，此时我们已知的是 x x x 和 h h h θ theta θ( x x x)，我们会假设几组 θ theta θ0 θ theta θ1将其代入我们的代价函数来检查每个已知的 y i y^i yi 和 h θ ( x i ) h_theta(x^i) hθ(xi) 之间差距的总和，但是我们不可能人为的去尝试 θ theta θ0 , θ theta θ1的数值是多少时，我们的代价函数得出的结果最小，所以我们引入梯度下降算法来帮我们计算出 θ theta θ0 , θ theta θ1为多少时我们的线性函数是与已知的数据最拟合。梯度下降的原理是利用每一个参数的偏导数每次都对步长（学习率）进行更新，而且学习率会随着偏导数的逐渐收敛慢慢变小。但是这种梯度下降的方法只适合于求出局部最优解由于线性回归模型只有全局最优解所以可以直接使用。
多元线性回归模型中用到的概念
1. Hypothesis（假设函数）：
h
h
h
θ
theta
θ(
x
x
x) =
θ
theta
θ
T
T
T
x
x
x = （
θ
theta
θ 和
x
x
x 都是矩阵） =
θ
theta
θ0
x
x
x0 +
θ
theta
θ1
x
x
x1 +
θ
theta
θ2
x
x
x2 + ···· +
θ
theta
θn
x
x
x
n
n
n（
θ
theta
θ 和
x
x
x 都是标量，我们规定
x
x
x0 = 1）
2. Parameters（参数）：
θ
theta
θ
n
n
n （
n
n
n 是特征数，即假设函数中的多少种
x
x
x）
3. Cost Function（代价函数）：
J
(
J(
J(
θ
theta
θ
)
)
) =
1
2
m
∑
i
=
1
m
[
h
θ
(
x
i
)
−
y
i
]
2
frac{1}{2m}sum_{i=1}^m[h_theta(x^i)-y^i]^2
2m1∑i=1m[hθ(xi)−yi]2
5. Gradient descent（梯度下降）：repeat until convergence：
θ
j
theta_j
θj =
θ
j
theta_j
θj =
α
alpha
α
∂
∂
θ
j
frac{partial}{partialtheta_j}
∂θj∂
J
J
J(
θ
theta
θ)
=
>
=>
=>
θ
j
theta_j
θj =
θ
j
theta_j
θj -
α
alpha
α
1
m
∑
i
=
1
m
[
h
θ
(
x
i
)
−
y
i
]
x
j
i
frac{1}{m}sum_{i=1}^m[h_theta(x^i)-y^i]x^i_j
m1∑i=1m[hθ(xi)−yi]xji
基本思路与上方一致
本文章仅仅为本人学习的记录，并不适用于学习