IterableDataset

class paddle.io. IterableDataset [源代码]

概述迭代式数据集的方法和行为的抽象类。

迭代式(iterable style)数据集需要继承这个基类，迭代式数据集为只能依次迭代式获取样本的数据集，类似Python中的迭代器，所有迭代式数据集须实现以下方法：

__iter__: 依次返回数据赝本。

注解

迭代式数据集不需要实现 __getitem__ 和 __len__，也不可以调用迭代式数据集的这两个方法。

见 paddle.io.DataLoader 。

代码示例

  1. import numpy as np
  2. from paddle.io import IterableDataset
  4. # define a random dataset
  5. class RandomDataset(IterableDataset):
  6.     def __init__(self, num_samples):
  7.         self.num_samples = num_samples
  9.     def __iter__(self):
  10.         for i in range(self.num_samples):
  11.             image = np.random.random([784]).astype('float32')
  12.             label = np.random.randint(0, 9, (1, )).astype('int64')
  13.             yield image, label
  15. dataset = RandomDataset(10)
  16. for img, lbl in dataset:
  17.     print(img, lbl)

当 paddle.io.DataLoader 中 num_workers > 0 时，每个子进程都会遍历全量的数据集返回全量样本，所以数据集会重复 num_workers 次，如果需要数据集样本不会重复返回，可通过如下两种方法避免样本重复，两种方法中都需要通过 paddle.io.get_worker_info 获取各子进程的信息。

  1. 通过 __iter__ 函数划分各子进程的数据

代码示例1

  1. import math
  2. import paddle
  3. import numpy as np
  4. from paddle.io import IterableDataset, DataLoader, get_worker_info
  6. class SplitedIterableDataset(IterableDataset):
  7.     def __init__(self, start, end):
  8.         self.start = start
  9.         self.end = end
  11.     def __iter__(self):
  12.         worker_info = get_worker_info()
  13.         if worker_info is None:
  14.             iter_start = self.start
  15.             iter_end = self.end
  16.         else:
  17.             per_worker = int(
  18.                 math.ceil((self.end - self.start) / float(
  19.                     worker_info.num_workers)))
  20.             worker_id = worker_info.id
  21.             iter_start = self.start + worker_id * per_worker
  22.             iter_end = min(iter_start + per_worker, self.end)
  24.         for i in range(iter_start, iter_end):
  25.             yield np.array([i])
  27. dataset = SplitedIterableDataset(start=2, end=9)
  28. dataloader = DataLoader(
  29.     dataset,
  30.     num_workers=2,
  31.     batch_size=1,
  32.     drop_last=True)
  34. for data in dataloader:
  35.     print(data)
  36. # outputs: [2, 5, 3, 6, 4, 7]
  1. 通过各子进程初始化函数 worker_inif_fn 划分子进程数据

代码示例2

  1. import math
  2. import paddle
  3. import numpy as np
  4. from paddle.io import IterableDataset, DataLoader, get_worker_info
  6. class RangeIterableDataset(IterableDataset):
  7.     def __init__(self, start, end):
  8.         self.start = start
  9.         self.end = end
  11.     def __iter__(self):
  12.         for i in range(self.start, self.end):
  13.             yield np.array([i])
  15. dataset = RangeIterableDataset(start=2, end=9)
  17. def worker_init_fn(worker_id):
  18.     worker_info = get_worker_info()
  20.     dataset = worker_info.dataset
  21.     start = dataset.start
  22.     end = dataset.end
  23.     num_per_worker = int(
  24.         math.ceil((end - start) / float(worker_info.num_workers)))
  26.     worker_id = worker_info.id
  27.     dataset.start = start + worker_id * num_per_worker
  28.     dataset.end = min(dataset.start + num_per_worker, end)
  30. dataloader = DataLoader(
  31.     dataset,
  32.     num_workers=2,
  33.     batch_size=1,
  34.     drop_last=True,
  35.     worker_init_fn=worker_init_fn)
  37. for data in dataloader:
  38.     print(data)
  39. # outputs: [2, 5, 3, 6, 4, 7]