【学习笔记】【统计学习方法】第0章——引言

学习教材

这里学习的教材采用《统计学习方法（第2版）》，做者为李航，出版社为清华大学出版社。

如下附上该书的目录：
目录
第1篇 监督学习
 第1章 统计学习及监督学习概论 3
  1.1 统计学习 3
  1.2 统计学习的分类 5
  1.3 统计学习方法三要素 15
  1.4 模型评估与模型选择 19
  1.5 正则化与交叉验证 23
  1.6 泛化能力 24
  1.7 生成模型与判别模型 27
  1.8 监督学习应用 28
 本章概要 33
 继续阅读33
 习题 33
 参考文献 34
 第2章 感知机 35
  2.1 感知机模型 35
  2.2 感知机学习策略 36
  2.3 感知机学习算法 38
 本章概要 46
 继续阅读 46
 习题 46
 参考文献 47
 第3章 k近邻法 49
  3.1 k近邻算法 49
  3.2 k近邻模型 50
  3.3 k近邻法的实现：kd树 53
 本章概要 57
 继续阅读 57
 习题 58
 参考文献 58
 第4章朴素贝叶斯法 59
  4.1 朴素贝叶斯法的学习与分类 59
  4.2 朴素贝叶斯法的参数估计 62
 本章概要 65
 继续阅读 66
 习题 66
 参考文献 66
 第5章 决策树 67
  5.1 决策树模型与学习 67
  5.2 特征选择 71
  5.3 决策树的生成 76
  5.4 决策树的剪枝 78
  5.5 CART算法 80
 本章概要 87
 继续阅读 88
 习题 89
 参考文献 89
 第6章 逻辑斯谛回归与优选熵模型 91
  6.1 逻辑斯谛回归模型 91
  6.2 优选熵模型 94
  6.3 模型学习的化算法 103
 本章概要 108
 继续阅读 109
 习题 109
 参考文献 109
 第7章 支持向量机 111
  7.1 线性可分支持向量机与硬间隔优选化 112
  7.2 线性支持向量机与软间隔优选化 125
  7.3 非线性支持向量机与核函数 133
  7.4 序列小化算法 142
 本章概要 149
 继续阅读 152
 习题 152
 参考文献 153
 第8章 提高方法 155
  8.1 提高方法AdaBoost算法 155
  8.2 AdaBoost算法的训练偏差分析 160
  8.3 AdaBoost算法的解释 162
  8.4 提高树 166
 本章概要 172
 继续阅读 172
 习题 173
 参考文献 173
 第9章 EM算法及其推广 175
  9.1 EM算法的引入 175
  9.2 EM算法的收敛性 181
  9.3 EM算法在高斯混合模型学习中的应用 183
  9.4 EM算法的推广 187
 本章概要 191
 继续阅读 192
 习题 192
 参考文献 192
 第10章 隐马尔可夫模型 193
  10.1 隐马尔可夫模型的基本概念 193
  10.2 几率计算算法 197
  10.3 学习算法 203
  10.4 预测算法 207
 本章概要 212
 继续阅读 212
 习题 213
 参考文献 213
 第11章 条件随机场 215
  11.1 几率无向图模型 215
  11.2 条件随机场的定义与形式 218
  11.3 条件随机场的几率计算问题 224
  11.4 条件随机场的学习算法 227
  11.5 条件随机场的预测算法 231
 本章概要 235
 继续阅读 235
 习题 236
 参考文献 236
 第12章 监督学习方法总结 237

---

第2篇 无监督学习
 第13章 无监督学习概论 245
  13.1 无监督学习基本原理 245
  13.2 基本问题 246
  13.3 机器学习三要素 249
  13.4 无监督学习方法 249
 本章概要 253
 继续阅读 254
 参考文献 254
 第14章 聚类方法 255
  14.1 聚类的基本概念 255
  14.2 层次聚类 261
  14.3 k均值聚类 263
 本章概要 267
 继续阅读 268
 习题 269
 参考文献 269
 第15章 奇异值分解 271
  15.1 奇异值分解的定义与性质 271
  15.2 奇异值分解的计算 282
  15.3 奇异值分解与矩阵近似 286
 本章概要 292
 继续阅读 294
 习题 294
 参考文献 295
 第16章 主成分分析 297
  16.1 整体主成分分析 297
  16.2 样本主成分分析 310
 本章概要 317
 继续阅读 319
 习题 320
 参考文献 320
 第17章 潜在语义分析 321
  17.1 单词向量空间与话题向量空间 321
  17.2 潜在语义分析算法 327
  17.3 非负矩阵分解算法 331
 本章概要 335
 继续阅读 337
 习题 337
 参考文献 337
 第18章 几率潜在语义分析 339
  18.1 几率潜在语义分析模型 339
  18.2 几率潜在语义分析的算法 345
 本章概要 347
 继续阅读 348
 习题 348
 参考文献 349
 第19章 马尔可夫链蒙特卡罗法 351
  19.1 蒙特卡罗法 351
  19.2 马尔可夫链 355
  19.3 马尔可夫链蒙特卡罗法 367
  19.4 Metropolis-Hastings算法 370
  19.5 吉布斯抽样 375
 本章概要 379
 继续阅读 381
 习题 381
 参考文献 383
 第20章 潜在狄利克雷分配 385
  20.1 狄利克雷分布 385
  20.2 潜在狄利克雷分配模型 390
  20.3 LDA的吉布斯抽样算法 396
  20.4 LDA的变分EM算法 401
 本章概要 411
 继续阅读 413
 习题 413
 参考文献 413
 第21章 PageRank算法 415
  21.1 PageRank的定义 415
  21.2 PageRank的计算 423
 本章概要 430
 继续阅读 432
 习题 432
 参考文献 432
 第22章 无监督学习方法总结 435
  22.1 无监督学习方法的关系和特色 435
  22.2 话题模型之间的关系和特色 437
 参考文献 438
 附录A 梯度降低法 439
 附录B 牛顿法和拟牛顿法 441
 附录C 拉格朗日对偶性 447
 附录D 矩阵的基本子空间 451
 附录E KL散度的定义和狄利克雷分布的性质 455
 索引 457

推荐视频

（学完了再回来补）
大概进度：（√表明已更新基础知识，删除线 表明已完结）

• 7.4 1-统计学习及监督学习概论
• 7.6 2-感知机
• 7.8 3-k近邻
• 7.10 4-朴素贝叶斯
• 7.13 5-决策树
• 7.15 6-逻辑斯蒂回归与最大熵模型
• 7.18 7-支持向量机
• 7.20 8-提高方法
• 7.22 9-EM算法及其推广
• 7.24 10-隐马尔可夫模型
• 7.26 11-条件随机场
• 7.27 12-监督学习方法总结
• 7.28 13-无监督学习概论
• 7.30 14-聚类方法
• 8.1 15-奇异值分解
• 8.3 16-主成分分析
• 8.4 17-潜在语义分析
• 8.5 18-几率潜在语义分析
• 8.8 19-马尔可夫链蒙特卡罗法
• 8.11 20-潜在狄利克雷分布
• 8.13 21-PageRank算法
• 8.14 22-无监督学习方法总结