学习曲线 如果你使用一个高阶的多项式回归，你可能发现它的拟合程度要比普通的线性回归要好的多。例如，图 4-14 使用一个 300 阶的多项式模型去拟合之前的数据集，并同简单线性回归、2 阶的多项式回归进行比较。注意 300 阶的多项式模型如何摆动以尽可能接近训练实例。 图 4-14：高阶多项式回归 当然，这种高阶多项式回归模型在这个训练集上严重过...

绘制学习曲线 绘制学习曲线 假设你有一个非常小的训练集，仅有 100 个样本 。那么你可以从中随机选择 10 个样本来训练你的算法，然后是 20 个，30 个，100 个，每次增加 10 个样本。然后使用 10 个数据点来绘制你的学习曲线。你可能会发现，在较小规模的训练集上，曲线看起来带有点噪声（这意味着这些值比预期的要高/低）。 当只使用 10 ...

三、验证曲线 && 学习曲线 3.1 验证曲线 3.2 学习曲线 三、验证曲线 && 学习曲线 3.1 验证曲线 验证曲线给出了estimator 因为某个超参数的不同取值在同一个测试集上预测性能曲线。 它的作用是执行超参数调优。 validation_curve 用于生成验证曲线，其原型为： sklearn . model_s...

解读学习曲线：高偏差 解读学习曲线：高偏差 假设你的开发误差曲线如下图所示： 我们之前提到，如果开发误差曲线趋于平稳，则不太可能通过添加数据来达到预期的性能，但也很难确切地知道红色的开发错误曲线将趋于何值。如果开发集很小，或许会更加不确定，因为曲线中可能含有一些噪音干扰。 假设我们把训练误差曲线加到上图中，可以得到如下结果： 现在可以绝...

解读学习曲线：其它情况 解读学习曲线：其它情况 考虑下面的学习曲线： 这张图表示的是高偏差？高方差？还是两者都有？ 蓝色训练误差曲线相对较低，红色的开发误差曲线比蓝色训练误差高得多。因此，偏差很小，但方差很大。添加更多的训练数据可能有助于缩小开发误差和训练误差之间的差距。 现在考虑下面的情况： 这种情况下，训练误差很大，它比期望的性能...

诊断偏差与方差：学习曲线 诊断偏差与方差：学习曲线 我们现在已经知道了一些方法，来估计可避免多少由偏差与方差所导致的误差——人们通常会估计最优错误率，以及算法在训练集和测试集上的误差。下面让我们来讨论一项更有帮助的技术：绘制学习曲线。 学习曲线可以将开发集的误差与训练集样本的数量进行关联比较。想要绘制出它，你需要设置不同大小的训练集运行算法。假设有...

诊断偏差与方差：学习曲线 绘制训练误差曲线 解读学习曲线：高偏差 解读学习曲线：其它情况 绘制学习曲线

2.5.3 ROC与AUC 2.5.3 ROC与AUC 如上所述：学习器对测试样本的评估结果一般为一个实值或概率，设定一个阈值，大于阈值为正例，小于阈值为负例，因此这个实值的好坏直接决定了学习器的泛化性能，若将这些实值排序，则排序的好坏决定了学习器的性能高低。ROC曲线正是从这个角度出发来研究学习器的泛化性能，ROC曲线与P-R曲线十分类似，都是...

绘制训练误差曲线 绘制训练误差曲线 随着训练集大小的增加，开发集（和测试集）误差应该会降低，但你的训练集误差往往会随之增加。 让我们来举例说明一下。假设你的训练集只有两个样本：一张猫图和一张非猫图。学习算法很轻易地就可以“记住”训练集中这两个样本，并且训练集错误率为 0%. 即使有一张或两张的样本图片被误标注了，算法也能够轻松地记住它们。 现在假...