157种语言的词向量

我们发布了之前训练的 157 种语言的词向量，这些词向量是用 fasttext 在 Common Crawl 和 Wikipedia 上训练得出的

这些词向量是由 CBOW 训练而成，而且所使用的 CBOW 模型考虑了位置权重，包含了 300个 维度，并且也考虑了长度为 5，包含十个负样本的大小为 5 的窗体的字符 N 元模型。

并且我们也发布了三种新的可供分析的数据集，分别是法语，印地语和波兰语。

格式

我们可以按照二进制和文本格式查看这些词向量

当使用二进制时，可以用如下命令查看在词汇表以外的单词向量

$ ./fasttext print-word-vectors wiki.it.300.bin < oov_words.txt

其中 oov_words.txt 文件包含了词汇表之外的单词

在文本格式下，每一行包含一个单词，并且它的向量紧随其后

每个值都被空格分开，并且单词按照出现次数降序排列

只需要使用如下的代码，这些文本模型能在Python中轻松的下载：

import io
def load_vectors(fname):
    fin = io.open(fname, 'r', encoding='utf-8', newline='\n', errors='ignore')
    n, d = map(int, fin.readline().split())
    data = {}
    for line in fin:
        tokens = line.rstrip().split(' ')
        data[tokens[0]] = map(float, tokens[1:])
    return data

分词

我们使用 Stanford word segmenter 对汉语分词，使用 Mecab 对日语分词，使用 UETsegmenter 对越南语分词

对于使用拉丁文，西里尔文，希伯来文或希腊文的语言，我们用来自于 Europarl 的预处理工具进行分词

剩下的语言，我们用 ICU 进行分词

想要了解更多关于这些模型训练的信息，可以查看这篇文章 Learning Word Vectors for 157 Languages.

许可证明

这些词向量发布在 Creative Commons Attribution-Share-Alike License 3.0 上面

参考资料

如果你使用这些词向量，请引用下面这些文章：

E. Grave*, P. Bojanowski*, P. Gupta, A. Joulin, T. Mikolov, Learning Word Vectors for 157 Languages

@inproceedings{grave2018learning,
  title={Learning Word Vectors for 157 Languages},
  author={Grave, Edouard and Bojanowski, Piotr and Gupta, Prakhar and Joulin, Armand and Mikolov, Tomas},
  booktitle={Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018)},
  year={2018}
}

评估数据集

在上面所描述的可供分析的评估数据集可以在下面的地址中得到：
法语, 印地语, 波兰语.

模型

这些词向量可以从如下地址下载