四、LocallyLinearEmbedding

  1. LocallyLinearEmbedding是 scikit-learn提供的LLE模型，其原型为：

    1. class sklearn.manifold.LocallyLinearEmbedding(n_neighbors=5, n_components=2, 
    3. reg=0.001,eigen_solver='auto', tol=1e-06, max_iter=100, method='standard',
    5. hessian_tol=0.0001,modified_tol=1e-12, neighbors_algorithm='auto',
    7. random_state=None)

    • n_neighbors：一个整数，指定近邻参数 四、LocallyLinearEmbedding - 图1 。

    • n_components：一个整数，指定降维后的维数。

    • reg：一个浮点数，指定正则化项的系数。

    • eigen_solver：一个字符串，指定求解特征值的算法，可以为：

      • 'auto'：由算法自动选取。
      • 'arpack'：使用 Arnoldi分解算法。
      • 'dense'：使用一个直接求解特征值的算法（如LAPACK）。

    • tol：一个浮点数，指定求解特征值算法的收敛阈值（当eigen_solver='dense'时，该参数无用）。

    • max_iter：一个浮点数，指定求解特征值算法的最大迭代次数（当eigen_solver='dense'时，该参数无用）。

    • method：一个字符串，用于指定LLE算法的形式。可以为：

      • 'standard'：使用标准的LLE算法。
      • 'hessian'：使用Hessian eignmap算法。
      • 'modified'：使用modified LLE算法。
      • 'ltsa'：使用local tangent space alignment算法。

    • hessian_tol：一个浮点数，用于method='hessian'时收敛的阈值。

    • modified_tol：一个浮点数，用于method='modified'时收敛的阈值。

    • neighbors_algorithm：一字符串，指定计算最近邻的算法。可以为：

      • 'ball_tree'：使用 BallTree算法。
      • 'kd_tree：使用 KDTree算法。
      • 'brute'：使用暴力搜索法。
      • 'auto'：自动决定最合适的算法。

    • random_state：一个整数或者一个RandomState实例，或者None，指定随机数种子。

      它用于 eigen_solver='arpack' 。

  2. 属性：

    • embedding_vectors_：给出了原始数据在低维空间的嵌入矩阵。
    • reconstruction_error_：给出了重构误差。

  3. 方法：

    • fit(X[, y])：训练模型。
    • transform(X)：执行降维，返回降维后的样本集。
    • fit_transform(X[, y])：训练模型并执行降维，返回降维后的样本集。

  4. 示例：鸢尾花数据集分别降低到4、3、2、1 维时，重构误差分别为：

    1. reconstruction_error(n_components=4) : 7.19936880176e-07
    3. reconstruction_error(n_components=3) : 3.8706050149e-07
    5. reconstruction_error(n_components=2) : 6.64141991211e-08
    7. reconstruction_error(n_components=1) : -1.74047846991e-15

    该指标并不能用于判定降维的效果的好坏，它只是一个中性指标。

    不同的k 降维到2维后的样本的分布图如下所示。可以看到 k=1,5 时，近邻范围过小，同样发生了断路现象。

    LocallyLinearEmbedding_k

    不同的k 降维到1维后的样本的分布图如下所示。

    LocallyLinearEmbedding_k_d1