《统计学习方法（第 2 版）》 李航

1. 统计学习方法概论

1. 统计学习
2. 监督学习
   1. 基本概念
   2. 问题的形式化
3. 统计学习三要素
   1. 模型
   2. 策略
   3. 算法
4. 模型评估与模型选择
   1. 训练误差与测试误差
   2. 过拟合与模型选择
5. 正则化与交叉验证
   1. 正则化
   2. 交叉验证
6. 泛化能力
   1. 泛化误差
   2. 泛化误差上界
7. 生成模型与判别模型
8. 分类问题
9. 标注问题
10. 回归问题

2. 感知机

1. 感知机模型
2. 感知机学习策略
   1. 数据集的线性可分性
   2. 感知机学习策略
3. 感知机学习算法
   1. 感知机学习算法的原始形式
   2. 算法的收敛性
   3. 感知机学习算法的对偶形式

3. 众近邻法

3.1 k 近邻算法 3.2 k 近邻模型 3.2.1 模型 3.2.2 距离度量 ·3.2.3 k 值的选择 3.2.4 分类决策规则 3.3k 近邻法的实现：kd 树 3.3.1 构造 af 树 3.3.2 搜索 af 树

4. 朴素贝叶斯法

4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法的参数估计 4.2.1 极大似然估计 4.2.2 学习与分类算法 4.2.3 贝叶斯估计

5. 决策树

5.1 决策树模型与学习 5.1.1 决策树模型 5.1.2 决策树与 isthen 规则 5.1.3 决策树与条件概率分布 5.1.4 决策树学习 5.2 特征选择 5.2.1 特征选择问题 5.2.2 信息增益 5.2.3 信息增益比 5.3 决策树的生成 5.3.11d3 算法 5.3.2 c4.5 的生成算法 5.4 决策树的剪枝 5.5cart 算法 5.5.1cart 生成 5.5.2cart 剪枝

6. 逻辑斯谛回归与最大熵模型

6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 6.1.2 项逻辑斯谛回归模型 6.1.3 模型参数估计 6.1.4 多项逻辑斯谛回归 6.2 最大熵模型 6.2.1 最大熵原理 6.2.2 最大熵模型的定义 6.2.3 最大熵模型的学习 6.2.4 极大似然估计 6.3 模型学习的最优化算法 6.3.1 改进的迭代尺度法 6.3.2 拟牛顿法

7. 支持向量机

7.1 线性可分支持向量机与硬间隔最大化 7.1.1 线性可分支持向量机 7.1.2 函数间隔和几何间隔 7.1.3 间隔最大化 7.1.4 学习的对偶算法 7.2 线性支持向量机与软间隔最大化 7.2.1 线性支持向量机 7.2.2 学习的对偶算法 7.2.3 支持向量 7.2.4 合页损失函数 7.3 非线性支持向量机与核函数 7.3.1 核技巧 7.3.2 定核 7.3.3 常用核函数 7.3.4 非线性支持向量分类机 7.4 序列最小最优化算法 7.4.1 两个变量二次规划的求解方法 7.4.2 变量的选择方法 7.4.3smo 算法

8. 提升方法

8.1 提升方法 adaboost 算法 8.1.1 提升方法的基本思路 8.1.2adaboost 算法 8.1.3 adaboost 的例子 8.2adaboost 算法的训练误差分析 8.3 adaboost 算法的解释 8.3.1 前向分步算法 8.3.2 前向分步算法与 ad9boost 8.4 提升树 8.4.1 提升树模型 8.4.2 提升树算法 8.4.3 梯度提升

9. em 算法及其推广

9.1em 算法的引入 9.1.1em 算法 9.1.2em 算法的导出 9.1.3em 算法在非监督学习中的应用 9.2em 算法的收敛性 9.3em 算法在高斯混合模型学习中的应用 9.3.1 高斯混合模型 9.3.2 高斯混合模型参数估计的 em 算法 9.4em 算法的推广 9.4.1f 函数的极大极大算法 9.4.2gem 算法

10. 隐马尔可夫模型

10.1 隐马尔可夫模型的基本概念 10.1.1 隐马尔可夫模型的定义 10.1.2 观测序列的生成过程 10.1.3 隐马尔可夫模型的 3 个基本问题 10.2 概率计算算法 10.2.1 直接计算法 10.2.2 前向算法 10.2.3 后向算法 10.2.4 一些概率与期望值的计算 10.3 学习算法 10.3.1 监督学习方法 10.3.2baum-welch 算法 10.3.3baum-welch 模型参数估计公式 10.4 预测算法 10.4.1 近似算法 10.4.2 维特比算法

11. 条件随机场

1. 概率无向图模型
   1. 模型定义
   2. 概率无向图模型的因子分解
2. 条件随机场的定义与形式
   1. 条件随机场的定义
   2. 条件随机场的参数化形式
   3. 条件随机场的简化形式
   4. 条件随机场的矩阵形式 11.3 条件随机场的概率计算问题 11.3.1 前向后向算法 11.3.2 概率计算 11.3.3 期望值的计算 11.4 条件随机场的学习算法 11.4.1 改进的迭代尺度法 11.4.2 拟牛顿法 11.5 条件随机场的预测算法