imikolov

imikolov的简化版数据集。

此模块将从 http://www.fit.vutbr.cz/~imikolov/rnnlm/ 下载数据集，并将训练集和测试集解析为paddle reader creator。

• paddle.dataset.imikolov.build_dict(min_word_freq=50)[源代码]

从语料库构建一个单词字典，字典的键是word，值是这些单词从0开始的ID。

• paddle.dataset.imikolov.train(word_idx, n, data_type=1)[源代码]

imikolov训练数据集的creator。

它返回一个reader creator, reader中的每个样本的是一个单词ID元组。

• 参数：
• • word_idx (dict) – 词典
  • n (int) – 如果类型是ngram，表示滑窗大小；否则表示序列最大长度
  • data_type (数据类型的成员变量(NGRAM 或 SEQ)) – 数据类型 (ngram 或 sequence)

返回： 训练数据集的reader creator

返回类型：callable

imikolov测试数据集的creator。

它返回一个reader creator, reader中的每个样本的是一个单词ID元组。

• 参数：
• • word_idx (dict) – 词典
  • n (int) – 如果类型是ngram，表示滑窗大小；否则表示序列最大长度
  • data_type (数据类型的成员变量(NGRAM 或 SEQ)) – 数据类型 (ngram 或 sequence)

返回： 测试数据集的reader creator

返回类型：callable

• paddle.dataset.imikolov.convert(path)

将数据集转换为recordio格式。