模式识别与机器学习1

preview
试读
476页
机器学习
需积分: 0 1 下载量 166 浏览量 更新于2022-08-03 收藏 19.79MB PDF 举报
《模式识别与机器学习》是深入理解人工智能领域的重要教材，主要涵盖了统计学习理论的基础知识，包括曲线拟合、概率论、决策论等多个关键概念。以下是这些知识点的详细解释： 1. **多项式曲线拟合**：在数据分析和建模中，多项式曲线拟合是一种常用方法，通过找到一组最佳的多项式系数来近似数据点，使得拟合曲线尽可能地贴合数据。这在处理非线性关系时非常有用。 2. **概率论**：概率论是研究随机现象的数学理论，提供了一种量化不确定性的方式。它包括事件的概率、独立事件、条件概率等概念。 3. **概率密度**：在连续随机变量的情况下，概率密度函数描述了变量取值的概率分布。概率密度函数的积分在任意区间内等于该区间内取值的概率。 4. **期望和协方差**：期望是随机变量的平均值，表示其可能取值的中心趋势。协方差则衡量两个随机变量之间的线性关系，如果它们的变化趋势一致，协方差为正；如果变化趋势相反，协方差为负。 5. **贝叶斯概率**：贝叶斯概率是一种统计推理方法，根据先验概率和观测数据更新对未知参数的信念。它是概率论中的一个重要概念，尤其是在贝叶斯统计和机器学习中。 6. **高斯分布**：也称为正态分布或均值分布，是最常见的连续概率分布，具有钟形曲线，广泛应用于自然科学和社会科学中，因为它可以很好地描述许多自然现象的数据分布。 7. **重新考察曲线拟合问题**：在贝叶斯框架下，曲线拟合不仅仅是找到最佳拟合曲线，而是考虑所有可能的模型，并根据数据和先验信息分配每个模型的概率。 8. **贝叶斯曲线拟合**：这是一种利用贝叶斯统计方法进行曲线拟合的方法，它同时考虑了数据和模型的不确定性，可以给出更全面的预测和模型选择。 9. **模型选择**：在机器学习中，模型选择涉及选取一个在训练集上表现良好且泛化能力较强的模型。这通常需要权衡模型复杂度和预测性能。 10. **维度灾难**：随着数据特征数量的增加，模型的复杂性和过拟合风险会急剧上升，这是所谓的维度灾难。降低维度可以避免这个问题，如主成分分析（PCA）和特征选择。 11. **决策论**：决策论是研究如何在不确定环境中做出最优决策的理论。它涉及到定义损失函数、最小化期望损失以及引入拒绝选项等策略。 12. **最优化错误分类率**：在分类问题中，目标是找到能最小化错误分类的模型。这通常是通过比较不同模型的分类误差来实现的。 13. **回归问题的损失函数**：在回归任务中，损失函数衡量模型预测值与真实值之间的差异。常见的损失函数有均方误差、绝对误差和Huber损失等。 14. **信息论**：信息论研究信息的量化、传输和处理。相对熵（Kullback-Leibler散度）和互信息是衡量两个概率分布之间相似度和信息关联性的量。 以上就是《模式识别与机器学习》一书中涉及的一些核心概念，它们构成了现代机器学习算法的基础，对于理解和应用机器学习技术至关重要。
模式识别与机器学习
马春鹏
October 26, 2014
1
⽬录
1绪论 9
1.1 例⼦：多项式曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.1 概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.2 期望和协⽅差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.3 贝叶斯概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.2.4 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.2.5 重新考察曲线拟合问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.2.6 贝叶斯曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3 模型选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.4 维度灾难 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.5 决策论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.5.1 最⼩化错误分类率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.5.2 最⼩化期望损失 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.5.3 拒绝选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.5.4 推断和决策 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.5.5 回归问题的损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.6 信息论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.6.1 相对熵和互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2概率分布 52
2.1 ⼆元变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.1.1 Beta分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.2 多项式变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.2.1 狄利克雷分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.3 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.3.1 条件⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.3.2 边缘⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.3.3 ⾼斯变量的贝叶斯定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.3.4 ⾼斯分布的最⼤似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.3.5 顺序估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.3.6 ⾼斯分布的贝叶斯推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.3.7 学⽣t分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.3.8 周期变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
2.3.9 混合⾼斯模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
2.4.1 最⼤似然与充分统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
2.4.2 共轭先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
2.4.3 ⽆信息先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
2.5 ⾮参数化⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.5.1 核密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.5.2 近邻⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3回归的线性模型 101
3.1 线性基函数模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.1.1 最⼤似然与最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
3.1.2 最⼩平⽅的⼏何描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.1.3 顺序学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2
3.1.4 正则化最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.1.5 多个输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
3.2 偏置-⽅差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.3 贝叶斯线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.3.1 参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.3.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
3.3.3 等价核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
3.4 贝叶斯模型⽐较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
3.5 证据近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.5.1 计算证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.5.2 最⼤化证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.5.3 参数的有效数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
3.6 固定基函数的局限性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4分类的线性模型 130
4.1 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.1.1 ⼆分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.1.2 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
4.1.3 ⽤于分类的最⼩平⽅⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
4.1.4 Fisher线性判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
4.1.5 与最⼩平⽅的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
4.1.6 多分类的Fisher判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.1.7 感知器算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
4.2 概率⽣成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
4.2.1 连续输⼊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
4.2.2 最⼤似然解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
4.2.3 离散特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
4.2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
4.3 概率判别式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
4.3.1 固定基函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
4.3.2 logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
4.3.3 迭代重加权最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
4.3.4 多类logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
4.3.5 probit回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
4.3.6 标准链接函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
4.4 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
4.4.1 模型⽐较和BIC ................................... 155
4.5 贝叶斯logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.5.1 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.5.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
4.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5神经⽹络 161
5.1 前馈神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.1.1 权空间对称性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.2 ⽹络训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.2.1 参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.2.2 局部⼆次近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
5.2.3 使⽤梯度信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
5.2.4 梯度下降最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
5.3 误差反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
3
5.3.1 误差函数导数的计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
5.3.2 ⼀个简单的例⼦ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
5.3.3 反向传播的效率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
5.3.4 Jacobian矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
5.4 Hessian矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
5.4.1 对⾓近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
5.4.2 外积近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
5.4.3 Hessian矩阵的逆矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
5.4.4 有限差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
5.4.5 Hessian矩阵的精确计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
5.4.6 Hessian矩阵的快速乘法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
5.5 神经⽹络的正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
5.5.1 相容的⾼斯先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
5.5.2 早停⽌ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
5.5.3 不变性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
5.5.4 切线传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
5.5.5 ⽤变换后的数据训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
5.5.6 卷积神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
5.5.7 软权值共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
5.6 混合密度⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
5.7 贝叶斯神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
5.7.1 后验参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
5.7.2 超参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
5.7.3 ⽤于分类的贝叶斯神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
5.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
6核⽅法 206
6.1 对偶表⽰ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
6.2 构造核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
6.3 径向基函数⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
6.3.1 Nadaraya-Watson模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
6.4 ⾼斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
6.4.1 重新考虑线性回归问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
6.4.2 ⽤于回归的⾼斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
6.4.3 学习超参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.4.4 ⾃动相关性确定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
6.4.5 ⽤于分类的⾼斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
6.4.6 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
6.4.7 与神经⽹络的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
6.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
7稀疏核机 228
7.1 最⼤边缘分类器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.1.1 重叠类分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
7.1.2 与logistic回归的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
7.1.3 多类SVM ....................................... 236
7.1.4 回归问题的SVM ................................... 237
7.1.5 计算学习理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
7.2 相关向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
7.2.1 ⽤于回归的RVM ................................... 241
7.2.2 稀疏性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
7.2.3 RVM⽤于分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
4
7.3 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
8图模型 251
8.1 贝叶斯⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
8.1.1 例⼦：多项式回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
8.1.2 ⽣成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
8.1.3 离散变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
8.1.4 线性⾼斯模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
8.2 条件独⽴ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
8.2.1 图的三个例⼦ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
8.2.2 d-划分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.3 马尔科夫随机场 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
8.3.1 条件独⽴性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
8.3.2 分解性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
8.3.3 例⼦：图像去噪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
8.3.4 与有向图的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
8.4 图模型中的推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
8.4.1 链推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
8.4.2 树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
8.4.3 因⼦图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
8.4.4 加和-乘积算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.4.5 最⼤加和算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
8.4.6 ⼀般图的精确推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
8.4.7 循环置信传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
8.4.8 学习图结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
8.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
9混合模型和EM 293
9.1 K均值聚类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
9.1.1 图像分割与压缩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
9.2 混合⾼斯 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
9.2.1 最⼤似然 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
9.2.2 ⽤于⾼斯混合模型的EM .............................. 300
9.3 EM的另⼀种观点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
9.3.1 重新考察⾼斯混合模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
9.3.2 与K均值的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
9.3.3 伯努利分布的混合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
9.3.4 贝叶斯线性回归的EM算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
9.4 ⼀般形式的EM算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
9.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
10 近似推断 316
10.1 变分推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
10.1.1 分解概率分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
10.1.2 分解近似的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
10.1.3 例⼦：⼀元⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
10.1.4 模型⽐较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
10.2 例⼦：⾼斯的变分混合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
10.2.1 变分分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
10.2.2 变分下界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
10.2.3 预测概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
10.2.4 确定分量的数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
5

剩余475页未读，继续阅读

资源推荐
资源评论
周林深
  • 粉丝: 57
  • 资源: 290
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源