吴恩达，机器学习笔记

### 吴恩达，机器学习笔记 #### 一、引言（第一周） ##### 1.1 什么是机器学习？ 机器学习是计算机科学的一个分支，它使计算机能够在没有明确编程的情况下学习并改进其性能。本课程由斯坦福大学教授吴恩达讲授，通过Coursera平台提供在线学习资源。 ##### 1.2 监督学习 监督学习是一种常见的机器学习方法，其中模型通过给定的带有标签的数据集进行训练，以便能够预测新的未知数据的标签或结果。例如，在房价预测问题中，给定一系列房屋特征（如面积、卧室数量等）以及相应的售价，目标是建立一个模型来预测新房屋的价格。 ##### 1.3 非监督学习 非监督学习则是在没有标记的数据上训练模型，目的是发现数据中的结构或模式。这类问题通常包括聚类分析、异常检测等。例如，对顾客购买行为进行分组以识别不同类型的客户群。 #### 二、线性回归与单变量（第一周） ##### 2.1 模型表示 在单变量线性回归中，我们使用函数\( h_\theta(x) = \theta_0 + \theta_1x \)来表示模型，其中\( x \)是输入特征，\( \theta_0 \)和\( \theta_1 \)是参数，目标是最小化预测值与实际值之间的差距。 ##### 2.2 成本函数 成本函数用于量化模型的误差。对于线性回归，我们通常使用均方误差(MSE)作为成本函数：\( J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})^2 \)，其中\( m \)是训练样本的数量。 ##### 2.3 梯度下降 梯度下降是一种迭代优化算法，用于最小化成本函数。基本思想是沿着成本函数的梯度方向更新参数，直到达到局部最小值。公式为：\( \theta_j := \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta_0, \theta_1) \)，其中\( \alpha \)是学习率。 #### 三、线性代数基础 ##### 3.1 矩阵运算 - **矩阵加法**：两个相同维度的矩阵相加，得到的结果是对应元素相加的新矩阵。 - **标量乘法**：将一个标量乘以矩阵的每个元素。 - **矩阵-向量乘法**：将矩阵的每一行与向量相乘后求和。 - **矩阵-矩阵乘法**：两个矩阵\( A \)和\( B \)相乘得到\( C \)，其中\( C_{ij} = \sum_k A_{ik}B_{kj} \)。 - **矩阵逆**：如果存在一个矩阵\( A^{-1} \)，使得\( AA^{-1} = A^{-1}A = I \)，则称\( A \)可逆。 - **矩阵转置**：交换矩阵的行和列，得到转置矩阵\( A^T \)。 #### 四、多变量线性回归（第二周） ##### 4.1 多个特征 当有多个输入特征时，线性回归模型可以扩展为\( h_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2 + ... + \theta_nx_n \)。 ##### 4.2 梯度下降 对于多变量的情况，梯度下降同样适用，只是更新规则涉及所有参数\( \theta_j \)。为了加快收敛速度，需要对特征进行缩放，使其处于相似的尺度上。 ##### 4.3 学习率的选择 选择合适的学习率对于梯度下降非常重要。如果学习率太小，则收敛速度慢；如果太大，则可能无法收敛甚至发散。可以通过实验来确定最佳学习率。 ##### 4.4 多项式回归 在某些情况下，线性模型可能无法很好地拟合数据。通过引入更高阶的多项式特征，可以提高模型的灵活性和拟合能力。 ##### 4.5 正规方程 正规方程是另一种求解线性回归参数的方法，它可以直接计算出参数的最优解而无需迭代过程。适用于特征数量较小的情况。 #### 五、逻辑回归（第三周） ##### 5.1 分类问题 逻辑回归主要用于解决二分类问题，即预测结果只有两种可能性。模型假设为\( h_\theta(x) = g(\theta^Tx) \)，其中\( g(z) = \frac{1}{1+e^{-z}} \)是sigmoid函数。 ##### 5.2 决策边界 决策边界是划分不同类别的边界。逻辑回归的决策边界取决于\( \theta \)的值，不同的\( \theta \)值会产生不同的边界形状。 ##### 5.3 成本函数 逻辑回归的成本函数不能直接使用线性回归的成本函数，因为会导致非凸函数，从而无法保证全局最优解。正确形式为：\( J(\theta) = -\frac{1}{m}\sum_{i=1}^m[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x^{(i)}))] \)。 ##### 5.4 多分类问题 对于多分类问题，可以采用一对一或者一对多的方法。一对多方法中，构建多个逻辑回归模型，每个模型负责区分一类与其它所有类。 #### 六、正则化 ##### 6.1 过拟合问题 过拟合是指模型在训练数据上表现很好，但在新数据上表现较差的现象。通过正则化技术可以减轻过拟合问题。 ##### 6.2 正则化成本函数 正则化的成本函数在原始成本函数的基础上加上一个惩罚项：\( J(\theta) = J_{original}(\theta) + \lambda\sum_{j=1}^n\theta_j^2 \)，其中\( \lambda \)是正则化参数，控制着惩罚力度。 ##### 6.3 正则化线性回归 在正则化的线性回归中，梯度下降的更新规则变为：\( \theta_j := \theta_j(1-\alpha\lambda/m) - \alpha\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \)。 #### 七、神经网络介绍（第四周） ##### 7.1 非线性假设 神经网络能够处理更复杂的非线性关系。通过堆叠多层节点，可以实现非常复杂的函数映射。 ##### 7.2 神经网络模型 神经网络的基本单元是神经元，每个神经元接受前一层的输出，并通过激活函数产生输出。常见的激活函数包括sigmoid函数和tanh函数。 ##### 7.3 前向传播 前向传播是从输入层到输出层逐层计算神经网络输出的过程。通过矩阵运算可以高效地实现这一过程。 ##### 7.4 反向传播 反向传播是一种高效的计算梯度的方法，用于更新神经网络中的权重。该方法通过从输出层向输入层反向传播误差信号来实现。 #### 八、神经网络成本函数（第五周） ##### 8.1 成本函数 神经网络的成本函数通常是交叉熵损失函数：\( J(\Theta) = -\frac{1}{m}\sum_{i=1}^m\sum_{k=1}^K\left[y_k^{(i)}\log((h_\Theta(x^{(i)}))_k) + (1-y_k^{(i)})\log(1-(h_\Theta(x^{(i)}))_k)\right] \)。 ##### 8.2 梯度检查 梯度检查是一种验证梯度计算是否正确的有效方法。通过比较数值梯度与反向传播得到的梯度，可以确保计算无误。 #### 九、应用机器学习的建议（第六周） ##### 9.1 决策下一步 在实际应用机器学习的过程中，需要根据模型的表现来决定下一步的操作。这可能包括增加数据量、调整特征、修改模型架构等。 ##### 9.2 评估假设 评估假设是指通过测试数据来评估模型的性能。这有助于了解模型是否具有良好的泛化能力。 ##### 9.3 模型选择 在训练过程中，可以通过交叉验证来选择最优的模型。通常会将数据分为训练集、验证集和测试集，其中验证集用于调整超参数。 ##### 9.4 诊断偏差与方差问题 偏差是指模型过于简单，无法捕捉数据的真实趋势。方差则是指模型过于复杂，导致过拟合。通过学习曲线可以帮助诊断这些问题。 ##### 9.5 学习曲线 学习曲线显示了随着训练样本数量的变化，模型在训练集和验证集上的表现。它有助于识别是由于偏差还是方差导致的问题。 #### 十、机器学习系统设计 ##### 10.1 优先级设定 在设计机器学习系统时，需要优先考虑最重要的任务。这可能涉及到错误分析、特征工程等方面的工作。 ##### 10.2 错误分析 错误分析是指通过检查模型预测错误的样本，来发现模型的弱点。这有助于针对性地改进模型。 ##### 10.3 错误指标 对于不平衡分类问题，精确率和召回率是非常重要的错误指标。它们分别衡量了模型正确预测正面案例的能力和识别所有正面案例的能力。 ##### 10.4 精确率与召回率权衡 在实际应用中，可能需要在精确率和召回率之间做出权衡。通过调整决策阈值，可以在两者之间取得平衡。 以上是对吴恩达教授的《机器学习》课程内容的概述，涵盖了从基础知识到高级主题的广泛内容。这些知识点不仅为初学者提供了入门指导，也为专业人士提供了深入理解机器学习领域的途径。