目录
1 线性模型的基础概念
1.1 线性模型的本质
1.2 从几何视角理解线性模型
1.3 特征空间与线性可分性
1.4 参数学习与优化
1.5 模型的可解释性
1.6 线性模型的假设与限制
1.7 线性可分与特征转换
1.8 数值稳定性与计算效率
2 线性回归：连续值预测
2.1 线性回归的本质
2.2 损失函数与最小二乘法
2.3 参数估计的数学原理
2.4 梯度下降优化
2.5 模型诊断与评估
2.6 特征工程与数据预处理
2.7 正则化技术
2.8 实践中的挑战与解决方案
2.9 高级线性回归技术
3 逻辑回归：二分类问题的解决方案
3.1 从线性回归到逻辑回归
3.2 逻辑回归的数学原理
3.3 损失函数：交叉熵
3.4 优化算法
3.5 决策边界与分类规则
3.6 模型评估与诊断
3.7 特征工程与数据预处理
3.8 实际应用中的考虑
3.9 高级主题
4 扩展到多分类：Softmax回归
5 处理现实世界的挑战：类别不平衡
1 线性模型的基础概念
1.1 线性模型的本质
线性模型是机器学习中最基础也最优雅的模型之一。其核心思想源于一个简单而深刻的假设：在许多现实问题中，输出变量与输入特征之间存在某种线性关系。
这种关系可以用数学表达式精确描述：
在这个表达式中，每个代表一个输入特征，是对应的权重参数，反映了该特征对输出的影响程度，而b则是偏置项，用于调整模型的整体预测水平。
1.2 从几何视角理解线性模型
从几何角度来看，线性模型实际上是在特征空间中寻找一个超平面。在二维空间中，这个超平面就是一条直线；在三维空间中，它是一个平面；在更高维度的空间中，它则是一个超平面。
这个几何解释帮助我们直观地理解线性模型的工作原理：它试图找到一个最佳的平面位置，使得所有训练数据点到这个平面的某种距离度量（比如垂直距离的平方和）最小。
1.3 特征空间与线性可分性
在线性模型中，每个样本都可以看作特征空间中的一个点，其坐标由特征值确定。线性可分性是一个重要概念：如果存在一个超平面能够完美地将不同类别的样本分开，我们就说这些数据是线性可分的。然而，现实中的数据往往并不是严格线性可分的，这就需要我们引入软间隔的概念，允许一些样本点发生错误分类，但要求总体错误尽可能小。
1.4 参数学习与优化
线性模型的参数学习过程实际上是一个优化问题。我们需要找到一组最优的权重参数和偏置项b，使得模型在训练数据上的预测误差最小。这个过程通常使用梯度下降等优化算法，通过不断调整参数，逐步降低预测误差。这里的误差可以用不同的损失函数来度量，比如均方误差或交叉熵损失，选择什么样的损失函数取决于具体的问题类型。
1.5 模型的可解释性
线性模型最显著的优势之一是其较强的可解释性。每个特征的权重直接反映了该特征对预测结果的影响程度和方向：正权重表示正向影响，负权重表示负向影响，权重的绝对值大小则反映影响程度。这种清晰的解释性使得线性模型在医疗诊断、金融风控等需要高度透明性的领域特别受欢迎。
1.6 线性模型的假设与限制
理解线性模型的基本假设对于正确使用它至关重要。主要的假设包括：
特征之间相互独立（无多重共线性）误差项服从正态分布误差的方差恒定（同方差性）特征与目标变量之间存在线性关系
当这些假设被违反时，模型的性能可能会受到影响。例如，当特征之间存在强相关性时，可能导致参数估计不稳定；当特征与目标变量之间存在强烈的非线性关系时，简单的线性模型可能无法捕捉这种复杂的模式。
1.7 线性可分与特征转换
在实际应用中，原始特征空间中的数据可能并不是线性可分的。这时，我们可以通过特征转换来增加模型的表达能力。常用的方法包括：
多项式特征扩展：将原始特征进行多项式组合交叉特征：将不同特征相乘核技巧：通过核函数将数据映射到高维空间
这些技术虽然在形式上保持了模型的线性结构，但实际上增强了模型捕捉非线性关系的能力。
1.8 数值稳定性与计算效率
线性模型的另一个重要方面是其数值计算特性。在实践中，我们需要考虑：
特征缩放：将不同尺度的特征标准化到相似的范围条件数：避免矩阵求逆时的数值不稳定性计算复杂度：选择合适的优化算法以提高训练效率
这些技术细节直接影响到模型的训练效果和运行效率。
2 线性回归：连续值预测
2.1 线性回归的本质
线性回归是机器学习中最基本也最常用的预测模型，它的核心任务是预测连续的数值输出。想象一个简单的场景：预测房屋价格。房屋的面积、位置、年龄等特征都可能影响其市场价值。线性回归模型假设这些特征与房价之间存在线性关系，并试图找到最佳的参数来描述这种关系。
数学上，可以表示为：
其中代表模型无法解释的随机误差。
2.2 损失函数与最小二乘法
在线性回归中，最常用的损失函数是均方误差（MSE）：
选择MSE作为损失函数有几个重要原因：
一是它在数学上很好处理，可导且连续；二是它对应着最大似然估计（假设误差服从正态分布）；三是它惩罚较大的误差。最小二乘法就是要找到一组参数，使得MSE达到最小值。
2.3 参数估计的数学原理
对于简单线性回归，我们可以通过求导得到解析解：
这个解析解虽然形式优美，但在实际应用中可能面临计算复杂度高、数值不稳定等问题。因此，在特征维度较高或样本量很大时，我们常常转而使用迭代优化方法。
2.4 梯度下降优化
梯度下降是求解线性回归最常用的优化方法。其基本思想是沿着损失函数的负梯度方向更新参数：
其中是学习率，控制每次参数更新的步长。根据具体问题的规模，我们可以选择：
批量梯度下降：使用所有样本计算梯度随机梯度下降：每次只使用一个样本小批量梯度下降：每次使用一小批样本
2.5 模型诊断与评估
线性回归模型的评估不仅要看预测准确性，还要分析模型是否满足基本假设：
残差分析：检查残差是否呈正态分布，是否具有同方差性Q-Q图：直观检验残差的正态性残差图：检查是否存在异方差性或非线性关系VIF（方差膨胀因子）：检测多重共线性
常用的评估指标包括：
R²（决定系数）：衡量模型解释数据变异的程度调整后的R²：考虑特征数量的R²RMSE（均方根误差）：误差的标准衡量MAE（平均绝对误差）：对异常值不太敏感的指标
2.6 特征工程与数据预处理
在应用线性回归之前，适当的数据预处理至关重要：
标准化：将特征缩放到相似范围，避免不同尺度导致的训练困难归一化：当特征分布严重偏斜时使用缺失值处理：可以使用均值、中位数填充，或更复杂的插值方法异常值处理：识别和处理可能影响模型性能的极端值
特征工程是提升模型性能的关键：
特征选择：去除无关或冗余特征特征转换：如对数变换、多项式特征特征交叉：创建特征组合以捕捉交互效应
2.7 正则化技术
为了防止过拟合，我们常常在线性回归中加入正则化项：
Ridge回归（L2正则化）：Lasso回归（L1正则化）：Elastic Net：同时使用L1和L2正则化
不同的正则化方法有不同的特点：Ridge倾向于平滑权重，Lasso能产生稀疏解，而Elastic Net则结合了两者的优点。
2.8 实践中的挑战与解决方案
实际应用中常见的挑战包括：
数据量不足：可以使用交叉验证评估模型异常值影响：考虑使用稳健回归方法非线性关系：引入多项式特征或考虑非线性模型特征选择：使用逐步回归或正则化方法
2.9 高级线性回归技术
除了基本的线性回归，还有一些高级变体：
加权线性回归：给不同样本赋予不同权重局部加权线性回归：在预测时动态确定样本权重分位数回归：预测条件分位数而不是均值岭回归和LASSO的变体：自适应LASSO、组LASSO等
这些高级技术能够处理更复杂的问题，但也需要更多的计算资源和调参经验。
3 逻辑回归：二分类问题的解决方案
3.1 从线性回归到逻辑回归
逻辑回归虽然名字中带有"回归"，但实际上是一个用于解决分类问题的模型。它的诞生源于这样一个问题：如何将线性模型应用到分类任务中？关键的突破在于引入了sigmoid函数（也称为逻辑函数），将线性模型的连续输出值映射到[0,1]区间，从而得到类别的概率预测。sigmoid函数的数学表达式为：
其中z是线性模型的输出。
sigmoid函数图像
3.2 逻辑回归的数学原理
在逻辑回归中，我们直接对类别的后验概率建模：
这个式子表明，给定输入特征x，模型输出的是样本属于正类的概率。从概率论的角度看，这实际上是在用伯努利分布对分类标签建模。通过取对数比（log odds），我们可以得到：
这个式子清楚地展示了逻辑回归的本质：它假设特征与对数比之间存在线性关系。
3.3 损失函数：交叉熵
逻辑回归使用交叉熵作为损失函数：
选择交叉熵而不是均方误差有深刻的统计学原因：
它是最大似然估计在伯努利分布假设下的自然推导结果它提供了更好的梯度信息，避免了sigmoid函数在远离原点处梯度消失的问题它对错误分类的惩罚是非线性的，对错误预测更敏感
3.4 优化算法
尽管逻辑回归的损失函数是凸函数，保证了全局最优解的存在，但它没有解析解。因此，我们需要使用迭代优化算法：
梯度下降法：最基本的优化方法，更新规则为：其中梯度可以推导出为： 牛顿法和拟牛顿法：利用损失函数的二阶导信息，收敛更快但计算成本更高随机梯度下降及其变体：
Mini-batch SGDAdamRMSprop 这些方法在大规模数据集上特别有效
3.5 决策边界与分类规则
逻辑回归的决策边界是一个超平面，由方程确定。分类规则通常是：
如果P(y=1∣x)>0.5P(y=1|x) > 0.5P(y=1∣x)>0.5，预测为正类如果P(y=1∣x)<0.5P(y=1|x) < 0.5P(y=1∣x)<0.5，预测为负类如果P(y=1∣x)=0.5P(y=1|x) = 0.5P(y=1∣x)=0.5，这是决策边界上的点
阈值0.5并不是固定的，可以根据具体问题调整，这涉及到模型的精确率和召回率的权衡。
3.6 模型评估与诊断
逻辑回归模型的评估涉及多个层面：
分类指标：
准确率（Accuracy）精确率（Precision）召回率（Recall）F1分数ROC曲线和AUC值
概率校准：
可靠性图（Reliability diagram）Brier分数 这些指标检验模型输出的概率是否可靠
模型诊断：
残差分析异常点检测多重共线性检验
3.7 特征工程与数据预处理
逻辑回归对特征工程和数据预处理特别敏感：
特征缩放：
标准化（Standardization）归一化（Normalization） 这一步对于梯度下降的收敛性至关重要
特征选择：
L1正则化自动特征选择基于信息增益的特征选择基于相关性的特征选择
特征工程：
连续特征离散化类别特征编码（One-hot编码等）特征交互项
3.8 实际应用中的考虑
在实际应用中需要注意以下几点：
类别不平衡：
过采样（SMOTE等）欠采样调整类别权重使用合适的评估指标
正则化：
L1正则化（产生稀疏解）L2正则化（防止过拟合）弹性网络（Elastic Net）
处理缺失值：
均值/中位数填充使用特殊值标记基于模型的填充
特征编码：
数值特征：标准化、离散化类别特征：One-hot、Target编码时间特征：周期性编码
3.9 高级主题
多类别逻辑回归：
One-vs-Rest策略One-vs-One策略Softmax回归
正则化变体：
Fused LassoGroup LassoElastic Net
核逻辑回归： 使用核技巧处理非线性分类问题贝叶斯逻辑回归：
引入参数的先验分布获得预测的不确定性估计
逻辑回归虽然是一个相对简单的模型，但它在实践中仍然被广泛使用，原因在于：
模型可解释性强训练速度快输出值具有概率解释对特征之间的关系有较好的建模能力可以自然地整合领域知识（通过特征工程）
4 扩展到多分类：Softmax回归
当我们面对需要将样本分类到多个类别（超过两个）的问题时，逻辑回归就需要进行扩展。Softmax回归（也称为多项逻辑回归）是这个问题的自然延伸。最典型的例子是手写数字识别，我们需要将输入图像分类为0-9这10个数字类别之一。Softmax回归保持了逻辑回归的概率解释性，同时能够处理多个类别的分类问题。
Softmax函数是逻辑回归中sigmoid函数的多维推广。对于K个类别的分类问题，Softmax函数将K维实数向量转换为K维概率向量：
这个公式确保了所有类别的概率和为1，使得模型能够有效地处理多分类问题。
这个函数有几个重要特性：
输出值均为正数（因为使用了指数函数）所有输出值的和为1（满足概率的定义）保持单调性（输入值越大，对应的输出概率也越大）具有平滑性（处处可导，便于优化）
对于K类分类问题，Softmax回归模型包含K组参数向量，每组对应一个类别：
每个类别k有自己的参数向量wkw_kwk总参数矩阵W的维度为d×K，其中d是特征维度可以选择是否为每个类别添加偏置项bkb_kbk
注意到其中一组参数是冗余的（因为概率和为1的约束），因此我们通常可以固定一组参数为0，这称为参数标准化。
5 处理现实世界的挑战：类别不平衡
在实际应用中，我们经常遇到类别不平衡的问题，即不同类别的样本数量差异很大。解决这个问题有几种常用方法：数据层面的解决方案包括过采样（增加少数类样本）和欠采样（减少多数类样本）；算法层面的解决方案包括调整不同类别的权重，使用对不平衡数据不敏感的评估指标如F1分数或AUC。