paddle.io
paddle.io 目录下包含飞桨框架数据集定义、数据读取相关的API。具体如下:
多进程数据读取器相关API
API名称 | API功能 |
---|---|
多进程数据读取器 | |
获取当前子进程相关信息 | |
多进程DataLoader中默认组batch函数 | |
多进程DataLoader中默认转换函数,在多进程DataLoader中不组batch时使用,只将数据转换为Tensor而不组batch |
数据集定义相关API
API名称 | API功能 |
---|---|
映射式(map-style)数据集基类定义接口 | |
迭代式(iterable-style)数据集基类定义接口 | |
张量(Tensor)数据集基类定义接口 |
数据集操作相关API
API名称 | API功能 |
---|---|
数据集样本级联接口 | |
数据集字段组合接口 | |
| 数据集取子集接口 |
采样器相关API
API名称 | API功能 |
---|---|
采样器基类定义接口 | |
顺序采样器接口 | |
随机采样器接口 | |
带权重随机采样器接口 |
批采样器相关API
API名称 | API功能 |
---|---|
批采样器接口 | |
分布式批采样器接口, 用于分布式多卡场景 |