机器学习入门：线性回归 (Linear Regression)

核心思想

试图找到一条直线（或超平面），使得它能最好地拟合所有数据点。

1. 假设函数 (Hypothesis)

我们定义假设函数 为：

写成矩阵形式就是：

2. 损失函数 (Loss Function)

为了衡量模型预测得准不准，我们使用 均方误差 (MSE) 作为损失函数 ：

其中：

• 是样本数量。
• 是为了方便求导时抵消系数。

3. 梯度下降 (Gradient Descent)

我们的目标是最小化 。通过不断沿着梯度的反方向更新参数 ：

其中 是学习率 (Learning Rate)，决定了下山的步子迈多大。

调参坑点

• 学习率太大：可能导致无法收敛，甚至发散。
• 学习率太小：收敛速度极慢，训练时间过长。