1. 模型评估

智能钛机器学习平台内置多种模型评估可视化组件，您可快速辨别模型的质量，并对该模型进行优化。您只需拖拽组件即可轻松使用本服务。本文使用混淆矩阵（BinaryEvaluator）进行模型评估，在预测运行完成后，单击【评估节点】即可查看模型评估的可视化结果，效果直接悬浮呈现，模型优劣，一眼立断。

1.1. Binary Evaluator

算法说明

Binary Evaluator 用于评估二分类算法的预测结果。预测的结果必须是0 - 1的概率值，评估结果包括混淆矩阵和 ROC/PR AUC 等指标。

• P（precision）= TP / (TP + FP)

• R（recall）= TP / (TP + FN) 下图所展示的是 ROC 曲线与 AUC：

• 对角线对应于“随机猜测”的模型。

• 点（0,1）对应于将所有正例排在所有反例之前的“理想模型”。
• AUC 对应于 ROC 曲线下的面积，AUC 越大，则模型效果越好。

输入

• 数据形式：Dense
• 格式：| label | score |
• label：样本真实的label，通过参数中的标签列指定。
• score：预测值，模型预测的0~1.0之间的概率值所在的列，通过参数中的预测列指定。

参数

• 标签列（labelCol）：标签所在列，从0开始计数。
• 预测列（scoreCol）：预测值所在列，从0开始计数。
• 预测阈值
  • 范围：0 - 1的值，预测值大于该阈值，则预测为1；否则为0。
  • 说明：在真实的 CTR 预估中，预测的概率值都比较小，因此要视真实情况设定该参数。

输出

• True class 和 Hypothesized class 的混淆矩阵。
• ROC/PR AUC 值。

1.2. Multi Evaluator

算法说明

Multi Evaluator 用于评估多分类算法的预测结果。样本的预测结果是模型预测的类别；模块将会统计类别真实类列和预测类别的混淆矩阵和各个类别的 f1、precision、recall。

输入

• 数据形式：Dense
• 格式：| label | predict |
• label：样本真实的 label，保存的是样本真实的类别，通过参数中的标签列指定。
• score：预测值，保存的是模型预测的类别，通过参数中的预测列指定。

参数

• 标签列（labelCol）：标签所在列，从0开始计数。
• 预测列（predictCol）：预测的类别所在列，从0开始计数。

输出

• True class 和 Hypothesized class 的混淆矩阵。
• 不同类别的 f1、precision、recall。

1.3. Regression Evaluator

算法说明

Regression Evaluator 用于评估回归算法的预测结果。输入的是真实的值和模型预测值；模型将计算 MAE、MSE、rMAE、R2 等指标。

输入

• 数据形式：Dense
• 格式：| label | predict |
• 说明：以空格连接各字段。
• label：样本真实的label，通过参数中的标签列指定。
• predict：预测值，通过参数中的预测列指定。

参数

• 标签列（labelCol）： 标签所在列，从0开始计数。
• 预测列（scoreCol）：预测值所在列，从0开始计数。

输出

MAE、MSE、rMAE、R2 等指标。