embedding

  • paddle.fluid.embedding(input, size, is_sparse=False, is_distributed=False, padding_idx=None, param_attr=None, dtype='float32')[源代码]

该OP根据input中的id信息从embedding矩阵中查询对应embedding信息,函数会根据输入的size (vocab_size, emb_size)和dtype自动构造一个二维embedding矩阵。

输出的Tensor的shape是在输入Tensor shape的最后一维后面添加了emb_size的维度。

注:input中的id必须满足 0 =< id < size[0],否则程序会抛异常退出。

  1. Case 1:
  2.  
  3. inputTensor, padding_idx = -1
  4. input.data = [[1, 3], [2, 4], [4, 127]]
  5. input.shape = [3, 2]
  6. size = [128, 16]
  7. 输出为Tensor:
  8. out.shape = [3, 2, 16]
  9. out.data = [[[0.129435295, 0.244512452, ..., 0.436322452],
  10. [0.345421456, 0.524563927, ..., 0.144534654]],
  11.  
  12. [[0.345249859, 0.124939536, ..., 0.194353745],
  13. [0.945345345, 0.435394634, ..., 0.435345365]],
  14.  
  15. [[0.945345345, 0.435394634, ..., 0.435345365],
  16. [0.0, 0.0, ..., 0.0 ]]] # padding data
  17. 输入的padding_idx小于0,则自动转换为padding_idx = -1 + 128 = 127, 对于输入id127的词,进行padding处理。
  18.  
  19. Case 2:
  20.  
  21. inputlod level 1LoDTensor, padding_idx = 0
  22. input.lod = [[2, 3]]
  23. input.data = [[1], [3], [2], [4], [0]]
  24. input.shape = [5, 1]
  25. size = [128, 16]
  26. 输出为LoDTensor:
  27. out.lod = [[2, 3]]
  28. out.shape = [5, 1, 16]
  29. out.data = [[[0.129435295, 0.244512452, ..., 0.436322452]],
  30. [[0.345421456, 0.524563927, ..., 0.144534654]],
  31. [[0.345249859, 0.124939536, ..., 0.194353745]],
  32. [[0.945345345, 0.435394634, ..., 0.435345365]],
  33. [[0.0, 0.0, ..., 0.0 ]]] # padding data
  34. 输入的padding_idx = 0,则对于输入id0的词,进行padding处理。
  • 参数:
    • input (Variable) - 存储id信息的Tensor或LoDTensor,数据类型必须为:int64。input中的id必须满足 0 =< id < size[0]
    • size (tuple|list) - embedding矩阵的维度。必须包含两个元素,第一个元素为vocab_size(词表大小), 第二个为emb_size(embedding层维度)。
    • is_sparse (bool) - 是否使用稀疏的更新方式,这个参数只会影响反向的梯度更新的性能,sparse更新速度更快,推荐使用稀疏更新的方式。但某些optimizer不支持sparse更新,比如 AdadeltaOptimizerAdamaxOptimizerDecayedAdagradOptimizerFtrlOptimizerLambOptimizerLarsMomentumOptimizer ,此时is_sparse必须为False。默认为False。
    • is_distributed (bool) - 是否使用分布式的方式存储embedding矩阵,仅在多机分布式cpu训练中使用。默认为False。
    • padding_idx (int|long|None) - padding_idx需在区间[-vocab_size, vocab_size),否则不生效,padding_idx<0时,padding_idx 会被改成 vocab_size + padding_idx,input中等于padding_index的id对应的embedding信息会被设置为0,且这部分填充数据在训练时将不会被更新。如果为none,不作处理,默认为None。
    • param_attr (ParamAttr) - 指定权重参数属性的对象。默认值为None,表示使用默认的权重参数属性。具体用法请参见 ParamAttr 。此外,可以通过 param_attr 参数加载用户自定义或预训练的词向量。只需将本地词向量转为numpy数据格式,且保证本地词向量的shape和embedding的 size 参数一致,然后使用 NumpyArrayInitializer 进行初始化,即可实现加载自定义或预训练的词向量。详细使用方法见代码示例2。
    • dtype (str|core.VarDesc.VarType) - 输出Tensor或LoDTensor的数据类型,数据类型必须为:float32,float64,默认为float32。

返回:input映射后embedding Tensor或LoDTensor,数据类型和dtype定义的类型一致。

返回类型:Variable

代码示例:

  1. import paddle.fluid as fluid
  2. data = fluid.layers.data(name='sequence', shape=[1], dtype='int64', lod_level=1)
  3.  
  4. # 示例 1
  5. emb_1 = fluid.embedding(input=data, size=[128, 64])
  6.  
  7. # 示例 2: 加载用户自定义或预训练的词向量
  8. weight_data = np.random.random(size=(128, 100)) # numpy格式的词向量数据
  9. w_param_attrs = fluid.ParamAttr(
  10. name="emb_weight",
  11. learning_rate=0.5,
  12. initializer=fluid.initializer.NumpyArrayInitializer(weight_data),
  13. trainable=True)
  14. emb_2 = fluid.embedding(input=data, size=(128, 100), param_attr=w_param_attrs, dtype='float32')