6.5. 加载其他数据集

6.5.1. 样本图片

scikit 在通过图片的作者共同授权下嵌入了几个样本 JPEG 图片。这些图像为了方便用户对 test algorithms （测试算法）和 pipeline on 2D data （二维数据管道）进行测试。

调用描述
load_sample_images()Load sample images for image manipulation.
load_sample_image(image_name)Load the numpy array of a single sample image

http://sklearn.apachecn.org/cn/0.19.0/_images/sphx_glr_plot_color_quantization_0011.png

警告 默认编码的图像是基于 uint8 dtype 到空闲内存。通常，如果把输入转换为浮点数表示，机器学习算法的效果最好。另外，如果你计划使用 matplotlib.pyplpt.imshow 别忘了尺度范围 0 - 1，如下面的示例所做的。

示例:

6.5.2. svmlight或libsvm格式的数据集

scikit-learn 中有加载svmlight / libsvm格式的数据集的功能函数。此种格式中，每行 采用如 <label> <feature-id>:<feature-value><feature-id>:<feature-value> … 的形式。这种格式尤其适合稀疏数据集，在该模块中，数据集 X 使用的是scipy稀疏CSR矩阵， 特征集 y 使用的是numpy数组。

你可以通过如下步骤加载数据集:

  1. >>> from sklearn.datasets import load_svmlight_file
  2. >>> X_train, y_train = load_svmlight_file("/path/to/train_dataset.txt")
  3. ...

你也可以一次加载两个或多个的数据集:

  1. >>> X_train, y_train, X_test, y_test = load_svmlight_files(
  2. ...     ("/path/to/train_dataset.txt", "/path/to/test_dataset.txt"))
  3. ...

这种情况下，保证了 X_train 和 X_test 具有相同的特征数量。 固定特征的数量也可以得到同样的结果:

  1. >>> X_test, y_test = load_svmlight_file(
  2. ...     "/path/to/test_dataset.txt", n_features=X_train.shape[1])
  3. ...

相关链接:

svmlight / libsvm 格式的公共数据集: https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets

更快的API兼容的实现: https://github.com/mblondel/svmlight-loader

6.5.3. 从openml.org下载数据集

openml.org是一个用于机器学习数据和实验的公共存储库，它允许每个人上传开放的数据集。

在sklearn.datasets包中，可以通过sklearn.datasets.fetch_openml函数来从openml.org下载数据集．

例如，下载gene expressions in mice brains（老鼠大脑中的基因表达）数据集:

  1. >>> from sklearn.datasets import fetch_openml
  2. >>> mice = fetch_openml(name='miceprotein', version=4)

要完全指定数据集，您需要提供名称和版本，尽管版本是可选的，但请参见下面的dataset Versions。数据集共包含8个不同类别的1080个样本:

  1. >>> mice.data.shape
  2. (1080, 77)
  3. >>> mice.target.shape
  4. (1080,)
  5. >>> np.unique(mice.target)
  6. array(['c-CS-m', 'c-CS-s', 'c-SC-m', 'c-SC-s', 't-CS-m', 't-CS-s', 't-SC-m', 't-SC-s'], dtype=object)

通过查看DESCR和details属性，您可以获得关于数据集的更多信息:

  1. >>> print(mice.DESCR)
  2. **Author**: Clara Higuera, Katheleen J. Gardiner, Krzysztof J. Cios
  3. **Source**: [UCI](https://archive.ics.uci.edu/ml/datasets/Mice+Protein+Expression) - 2015
  4. **Please cite**: Higuera C, Gardiner KJ, Cios KJ (2015) Self-Organizing
  5. Feature Maps Identify Proteins Critical to Learning in a Mouse Model of Down
  6. Syndrome. PLoS ONE 10(6): e0129126...
  8. >>> mice.details
  9. {'id': '40966', 'name': 'MiceProtein', 'version': '4', 'format': 'ARFF',
  10. 'upload_date': '2017-11-08T16:00:15', 'licence': 'Public',
  11. 'url': 'https://www.openml.org/data/v1/download/17928620/MiceProtein.arff',
  12. 'file_id': '17928620', 'default_target_attribute': 'class',
  13. 'row_id_attribute': 'MouseID',
  14. 'ignore_attribute': ['Genotype', 'Treatment', 'Behavior'],
  15. 'tag': ['OpenML-CC18', 'study_135', 'study_98', 'study_99'],
  16. 'visibility': 'public', 'status': 'active',
  17. 'md5_checksum': '3c479a6885bfa0438971388283a1ce32'}

DESCR包含的自由文本描述数据,而details包含openml存储的字典格式的元数据,如数据集id。有关详细信息,请参阅openml文档.小鼠蛋白质数据集的data_id是40966,你可以使用这个id(或名称),以从openml网站获得更多关于这个数据集的信息:

  1. >>> mice.url
  2. 'https://www.openml.org/d/40966'

data_id是OpenML中数据集的唯一标识:

  1. >>> mice = fetch_openml(data_id=40966)
  2. >>> mice.details
  3. {'id': '4550', 'name': 'MiceProtein', 'version': '1', 'format': 'ARFF',
  4. 'creator': ...,
  5. 'upload_date': '2016-02-17T14:32:49', 'licence': 'Public', 'url':
  6. 'https://www.openml.org/data/v1/download/1804243/MiceProtein.ARFF', 'file_id':
  7. '1804243', 'default_target_attribute': 'class', 'citation': 'Higuera C,
  8. Gardiner KJ, Cios KJ (2015) Self-Organizing Feature Maps Identify Proteins
  9. Critical to Learning in a Mouse Model of Down Syndrome. PLoS ONE 10(6):
  10. e0129126. [Web Link] journal.pone.0129126', 'tag': ['OpenML100', 'study_14',
  11. 'study_34'], 'visibility': 'public', 'status': 'active', 'md5_checksum':
  12. '3c479a6885bfa0438971388283a1ce32'}

6.5.3.1. 数据集版本

数据集由其data_id惟一指定，但不一定由其名称指定。可以存在多个具有相同名称的数据集的不同“版本”，它们可以包含完全不同的数据集。如果发现数据集的某个特定版本包含重要问题，则可能将其停用。使用名称指定数据集将生成仍处于活动状态的数据集的最早版本。这意味着，如果早期版本无效，fetch_openml(name="miceprotein")可以在不同的时间产生不同的结果。您可以看到，我们在上面获取的data_id=40966的数据集是“miceprotein”数据集的版本1:

  1. >>> mice.details['version']  
  2. '1'

事实上，这个数据集只有一个版本。而另一方面，iris数据集有多个版本:

  1. >>> iris = fetch_openml(name="iris")
  2. >>> iris.details['version']  
  3. '1'
  4. >>> iris.details['id']  
  5. '61'
  7. >>> iris_61 = fetch_openml(data_id=61)
  8. >>> iris_61.details['version']
  9. '1'
  10. >>> iris_61.details['id']
  11. '61'
  13. >>> iris_969 = fetch_openml(data_id=969)
  14. >>> iris_969.details['version']
  15. '3'
  16. >>> iris_969.details['id']
  17. '969'

通过名称“iris”指定数据集将生成最低版本，版本1，即data_id＝61。为了确保总是得到这个准确的数据集，最安全的方法是通过data_id指定它。另一个数据集data_id 969是版本3(版本2已失效)，包含数据的二进制版本:

  1. >>> np.unique(iris_969.target)
  2. array(['N', 'P'], dtype=object)

您还可以指定名称和版本，这也唯一地标识数据集:

  1. >>> iris_version_3 = fetch_openml(name="iris", version=3)
  2. >>> iris_version_3.details['version']
  3. '3'
  4. >>> iris_version_3.details['id']
  5. '969'

参考

6.5.4. 从外部数据集加载

scikit-learn使用任何存储为numpy数组或者scipy稀疏数组的数值数据。 其他可以转化成数值数组的类型也可以接受，如pandas中的DataFrame。

以下推荐一些将标准纵列形式的数据转换为scikit-learn可以使用的格式的方法:

  • pandas.io 提供了从常见格式(包括CSV,Excel,JSON,SQL等)中读取数据的工具.DateFrame 也可以从由 元组或者字典组成的列表构建而成.Pandas能顺利的处理异构的数据，并且提供了处理和转换 成方便scikit-learn使用的数值数据的工具。
  • scipy.io 专门处理科学计算领域经常使用的二进制格式，例如.mat和.arff格式的内容。
  • numpy/routines.io 将纵列形式的数据标准的加载为numpy数组
  • scikit-learn的datasets.load_svmlight_file处理svmlight或者libSVM稀疏矩阵
  • scikit-learn的 datasets.load_files 处理文本文件组成的目录，每个目录名是每个 类别的名称，每个目录内的每个文件对应该类别的一个样本

对于一些杂项数据，例如图像，视屏，音频。您可以参考:

存储为字符串的无序(或者名字)特征(在pandas的DataFrame中很常见)需要转换为整数，当整数类别变量 被编码成独热变量(sklearn.preprocessing.OneHotEncoder)或类似数据时，它或许可以被最好的利用。 参见预处理数据.

注意：如果你要管理你的数值数据，建议使用优化后的文件格式来减少数据加载时间,例如HDF5。像 H5Py, PyTables和pandas等的各种库提供了一个Python接口，来读写该格式的数据。