3. 模型选择和评估

3. 模型选择和评估

• 3.1 交叉验证：评估估算器的表现
  • 3.1.1 计算交叉验证的指标
    • 3.1.1.1 cross_validate 函数和多度量评估
    • 3.1.1.2 通过交叉验证获取预测
  • 3.1.2 交叉验证迭代器
    • 3.1.2.1 交叉验证迭代器–循环遍历数据
      • 3.1.2.1.1 K 折
      • 3.1.2.1.2 重复 K-折交叉验证
      • 3.1.2.1.3 留一交叉验证 (LOO)
      • 3.1.2.1.4 留 P 交叉验证 (LPO)
      • 3.1.2.1.5 随机排列交叉验证 a.k.a. Shuffle & Split
    • 3.1.2.2 基于类标签、具有分层的交叉验证迭代器
      • 3.1.2.2.1 分层 k 折
      • 3.1.2.2.2 分层随机 Split
    • 3.1.2.3 用于分组数据的交叉验证迭代器
      • 3.1.2.3.1 组 k-fold
      • 3.1.2.3.2 留一组交叉验证
      • 3.1.2.3.3 留 P 组交叉验证
      • 3.1.2.3.4 Group Shuffle Split
    • 3.1.2.4 预定义的折叠 / 验证集
    • 3.1.2.5 交叉验证在时间序列数据中应用
      • 3.1.2.5.1 时间序列分割
  • 3.1.3 A note on shuffling
  • 3.1.4 交叉验证和模型选择
• 3.2 调整估计器的超参数
  • 3.2.1 网格追踪法–穷尽的网格搜索
  • 3.2.2 随机参数优化
  • 3.2.3 参数搜索技巧
    • 3.2.3.1 指定目标度量
    • 3.2.3.2 为评估指定多个指标
    • 3.2.3.3 复合估计和参数空间
    • 3.2.3.4 模型选择：开发和评估
    • 3.2.3.5 并行机制
    • 3.2.3.6 对故障的鲁棒性
  • 3.2.4 暴力参数搜索的替代方案
    • 3.2.4.1 模型特定交叉验证
    • 3.2.4.2 信息标准
    • 3.2.4.3 出袋估计
• 3.3 模型评估: 量化预测的质量
  • 3.3.1 scoring 参数: 定义模型评估规则
    • 3.3.1.1 常见场景: 预定义值
    • 3.3.1.2 根据 metric 函数定义您的评分策略
    • 3.3.1.3 实现自己的记分对象
    • 3.3.1.4 使用多个指数评估
  • 3.3.2 分类指标
    • 3.3.2.1 从二分到多分类和 multilabel
    • 3.3.2.2 精确度得分
    • 3.3.2.3 Balanced accuracy score
    • 3.3.2.4 Cohen’s kappa
    • 3.3.2.5 混淆矩阵
    • 3.3.2.6 分类报告
    • 3.3.2.7 汉明损失
    • 3.3.2.8 精准，召回和 F-measures
      • 3.3.2.8.1 二分类
      • 3.3.2.8.2 多类和多标签分类
    • 3.3.2.9 Jaccard 相似系数 score
    • 3.3.2.10 Hinge loss
    • 3.3.2.11 Log 损失
    • 3.3.2.12 马修斯相关系数
    • 3.3.2.13 多标记混淆矩阵
    • 3.3.2.14 Receiver operating characteristic (ROC)
    • 3.3.2.15 零一损失
    • 3.3.2.16 Brier 分数损失
  • 3.3.3 多标签排名指标
    • 3.3.3.1 覆盖误差
    • 3.3.3.2 标签排名平均精度
    • 3.3.3.3 排序损失
  • 3.3.4 回归指标
    • 3.3.4.1 解释方差得分
    • 3.3.4.2 最大误差
    • 3.3.4.3 平均绝对误差
    • 3.3.4.4 均方误差
    • 3.3.4.5 均方误差对数
    • 3.3.4.6 中位绝对误差
    • 3.3.4.7 R² score, 可决系数
  • 3.3.5 聚类指标
  • 3.3.6 虚拟估计
• 3.4 模型持久化
  • 3.4.1 持久化示例
  • 3.4.2 安全性和可维护性的局限性
• 3.5 验证曲线: 绘制分数以评估模型
  • 3.5.1 验证曲线
  • 3.5.2 学习曲线