语言识别

说明

我们发布了两种语言识别模型，可以识别 176 种语言（请参阅下面的 ISO 代码列表）。 这些模型是通过 Wikipedia ， Tatoeba 和 SETimes 的数据进行训练的，在 CC-BY-SA 下使用。

我们发布两个版本的模型：

  • lid.176.bin ，这个模型更快更准确，但有一个文件的大小有 126 MB;
  • lid.176.ftz ，这是个只有 917 kB 的压缩版的模型。

这些模型都是使用 UTF-8 数据进行训练的，因此需要使用 UTF-8 作为输入。

许可

这些模型根据 Creative Commons Attribution-Share-Alike License 3.0 进行发布。

支持的语言列表

  1. af als am ar ar as as ast av az azb ba bar bcl be bg bh bn bo bpy br bs bxr ca cbk ce ceb ckb co cs cv c cy cy de deqq dsb dty dv el eml en eo es et eu faf fr fr fyy ga gd gl gn gom gu gv he hi hif hr hsb ht hu hyia id ie ieo io is it ja jbo jv ka kk km kn ko krc ku kv kw ky la lb lez li lmo lo lrc lt lv mai mg mhr min mk ml mn mr mrj ms mt mwl my mym mzn nah nap nds ne new nl nn no oc or os pa pam pfl pl pms pnb ps pt qu rm ro ru rue sa sah scn sco sd sh si sl sl so sq sr su sv sw ta te tg th t t t tr t t tyv ug uk ur uz vec vep vi vls vo wa war wuu xal xmf yi yo yue zh

参考

如果您使用这些模型，请引用以下论文：

[1] A. Joulin, E. Grave, P. Bojanowski, T. Mikolov, Bag of Tricks for Efficient Text Classification

  1. @article{joulin2016bag,
  2.   title={Bag of Tricks for Efficient Text Classification},
  3.   author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Mikolov, Tomas},
  4.   journal={arXiv preprint arXiv:1607.01759},
  5.   year={2016}
  6. }

[2] A. Joulin, E. Grave, P. Bojanowski, M. Douze, H. Jégou, T. Mikolov, FastText.zip: Compressing text classification models 

  1. @article{joulin2016fasttext,
  2.   title={FastText.zip: Compressing text classification models},
  3.   author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Douze, Matthijs and J{\'e}gou, H{\'e}rve and Mikolov, Tomas},
  4.   journal={arXiv preprint arXiv:1612.03651},
  5.   year={2016}
  6. }