【自用】深度学习期末复习资料

"深度学习期末复习资料" 本文档提供了深度学习期末复习资料，涵盖了深度学习的基本概念、机器学习流程、梯度下降法、交叉熵、学习率、过拟合和欠拟合、线性可分与线性不可分、激活函数、卷积运算等知识点。 1. 深度学习基本概念： 深度学习是一种基于对数据进行表征学习的方法，用多层次和计算手段，得到结果的一种方法。机器学习是通过学习算法从数据中学习模型的过程，通过算法使机器从大量数据中学习规律，从而能对新的数据做出识别，或者对未来做出预测。深度学习是机器学习的一个分支。 2. 机器学习流程： 机器学习流程包括数据预处理、特征提取、特征转化、预测四个步骤。 3. 梯度下降法： 梯度下降法是一种优化算法，旨在最小化损失函数。其原理是沿着函数负梯度下降，并且用学习率控制步长的大小。基本步骤包括计算梯度、更新参数、重复计算梯度和更新参数直至收敛。 4. 交叉熵： 交叉熵是一个用来比较两个概率分布 p 和 q 的度量公式。交叉熵越低，这个策略就越好，最低的交叉熵也就是使用了真实分布所计算出来的信息熵。 5. 学习率： 学习率是监督学习和深度学习中重要的超参数，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。 6. 过拟合和欠拟合： 过拟合是指机器学习模型或深度学习模型在训练样本中表现得过于优越，导致在验证数据集和测试数据集中表现不佳。解决办法包括正则化、减少网络规模和使用 dropout 方法。欠拟合是指训练样本被提取的特征比较少，导致训练出来的模型不能很好地匹配。解决办法包括增加网络复杂度和增加多点特征点。 7. 线性可分与线性不可分： 线性可分是指能够使用线性组合组成的超平面将两类集合分开。线性不可分是指没有能将两类集合分开的超平面。 8. 激活函数： 激活函数是一种非线性函数，能够使神经网络具有非线性表征能力。激活函数的特点包括连续并可导、简单、值域在合适的区间内。 9. 卷积运算： 卷积运算是一种图像特征提取的方法，能够从输入特征图中提取不同特征。卷积层的作用是提取输入的不同特征，池化层的作用是降低特征维数和减少参数数量。 10. 卷积神经网络： 卷积神经网络的基本结构包括输入层、隐含层和输出层。隐含层包含卷积层、池化层、Inception 模块和全连接层。卷积神经网络的特点包括能够处理图像数据、具有 translation 等变性和能够学习图像特征。