若您想在自定义数据集上完成Fine-tune，请查看PaddleHub适配自定义数据完成Fine-tune

hub.dataset

Class hub.dataset.ChnSentiCorp

ChnSentiCorp 是中文情感分析数据集，其目标是判断一段文本的情感态度。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.ChnSentiCorp()

数据集样例

  1. label   text_a
  2. 1       选择珠江花园的原因就是方便，有电动扶梯直接到达海边，周围餐馆、食廊、商场、超市、摊位一应俱全。酒店装修一般，但还算整洁。 泳池在大堂的屋顶，因此很小，>不过女儿倒是喜欢。 包的早餐是西式的，还算丰富。 服务吗，一般
  3. 1       15.4寸笔记本的键盘确实爽，基本跟台式机差不多了，蛮喜欢数字小键盘，输数字特方便，样子也很美观，做工也相当不错
  4. 0       房间太小。其他的都一般。。。。。。。。。
  5. ...

以上类别“0”表示反对态度，“1”表示支持态度。每个字段以tab键分隔。

Class hub.dataset.LCQMC

LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问答匹配中文数据集，其目标是判断两个问题的语义是否相同。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.LCQMC()

数据集样例

  1. text_a    text_b    label
  2. 喜欢打篮球的男生喜欢什么样的女生        爱打篮球的男生喜欢什么样的女生  1
  3. 我手机丢了，我想换个手机        我想买个新手机，求推荐  1
  4. 大家觉得她好看吗        大家觉得跑男好看吗？    0
  5. ...

以上类别“0”表示语义相同，“1”表示语义相反。每个字段以tab键分隔。

Class hub.dataset.NLPCC_DPQA

NLPCC_DPQA 是由国际自然语言处理和中文计算会议NLPCC于2016年举办的评测任务，其目标是选择能够回答问题的答案。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.NLPCC_DPQA()

数据集样例

  1. qid    text_a    text_b    label
  2. 0       黑缘粗角肖叶甲触角有多大？      触角近于体长之半，第1节粗大，棒状，第2节短，椭圆形，3、4两节细长，稍短于第5节，第5节基细端粗，末端6节明显粗大。 1
  3. 0       黑缘粗角肖叶甲触角有多大？      前胸前侧片前缘直；前胸后侧片具粗大刻点。        0
  4. 0       黑缘粗角肖叶甲触角有多大？      足粗壮；胫节具纵脊，外端角向外延伸，呈弯角状；爪具附齿。        0
  5. 1       暮光闪闪的姐姐是谁？    暮光闪闪是一匹雌性独角兽，后来在神秘魔法的影响下变成了空角兽（公主），她是《我的小马驹：友情是魔法》（英文名：My Little Pony：Friendship is Magic）中的主角之一。       0
  6. 1       暮光闪闪的姐姐是谁？     她是银甲闪闪（Shining Armor）的妹妹，同时也是韵律公主（Princess Cadance）的小姑子。    1
  7. ...

以上qid表示问题的序号，类别“0”表示相应问题的错误答案，类别“1”表示相应问题的正确答案。每个字段以tab键分隔。

Class hub.dataset.MSRA_NER

MSRA-NER(SIGHAN 2006) 数据集由微软亚研院发布，其目标是命名实体识别，是指识别中文文本中具有特定意义的实体，主要包括人名、地名、机构名等。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.MSRA-NER()

数据集样例

  1. text_a    label
  2. 海^B钓^B比^B赛^B地^B点^B在^B厦^B门^B与^B金^B门^B之^B间^B的^B海^B域^B。  O^BO^BO^BO^BO^BO^BO^BB-LOC^BI-LOC^BO^BB-LOC^BI-LOC^BO^BO^BO^BO^BO^BO
  3. 这^B座^B依^B山^B傍^B水^B的^B博^B物^B馆^B由^B国^B内^B一^B流^B的^B设^B计^B师^B主^B持^B设^B计^B，^B整^B个^B建^B筑^B群^B精^B美^B而^B恢^B宏^B。      O^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO
  4. 但^B作^B为^B一^B个^B共^B产^B党^B员^B、^B人^B民^B公^B仆^B，^B应^B当^B胸^B怀^B宽^B阔^B，^B真^B正^B做^B到^B“^B先^B天^B下^B之^B忧^B而^B忧^B，^B后^B天^B下^B之^B乐^B而^B乐^B”^B，^B淡^B化^B个^B人^B的^B名^B利^B得^B失^B和^B宠^B辱^B悲^B喜^B，^B把^B改^B革^B大^B业^B摆^B在^B首^B位^B，^B这^B样^B才^B能^B超^B越^B自^B我^B，^B摆^B脱
  5. ^B世^B俗^B，^B有^B所^B作^B为^B。    O^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO^BO
  6. ...

以上label是针对每一个字的标签，并且一句话中的每个字以不可见字符“\002”分隔（如上述“^B”）。每个字段以tab键分隔。标注规则如下表：

标签定义
B-LOC地点的起始位置
I-LOC地点的中间或结束位置
B-PER人名的起始位置
I-PER人名的中间或结束位置
B-ORG机构名的起始位置
I-ORG机构名的中间或者结束位置
O不关注的字

Class hub.dataset.Toxic

Toxic 是英文多标签分类数据集，其目标是将一段话打上6个标签，toxic(恶意),severetoxic(穷凶极恶),obscene(猥琐),threat(恐吓),insult(侮辱),identityhate(种族歧视)，这些标签并不是互斥的。即这段话可以打上多个标签。 如

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.Toxic()

数据集样例

  1. id,comment_text,toxic,severe_toxic,obscene,threat,insult,identity_hate
  2. 0000997932d777bf,"Explanation
  3. Why the edits made under my username Hardcore Metallica Fan were reverted? They weren't vandalisms, just closure on some GAs after I voted at New York Dolls FAC. And please don't remove the template from the talk page since I'm retired now.89.205.38.27",0,0,0,0,0,0
  4. 000103f0d9cfb60f,"D'aww! He matches this background colour I'm seemingly stuck with. Thanks.  (talk) 21:51, January 11, 2016 (UTC)",0,0,0,0,0,0
  5. 0002bcb3da6cb337,COCKSUCKER BEFORE YOU PISS AROUND ON MY WORK,1,1,1,0,1,0
  6. ...

每个字段以”,”分隔。第一列表示样本ID，第二列表示样本文本数据，第3-8列表示相应样本是否含有对应的标签（0表示没有对应列的标签，1表示有对应列的标签）。如示例数据中的第三条数据，表示文本”COCKSUCKER BEFORE YOU PISS AROUND ON MY WORK”有标签toxic、severe_toxic、obscene和insult。

Class hub.dataset.SQUAD

SQuAD 是英文阅读理解数据集，给定一个段落文本以及一个问题，其目标是在该段落中找到问题的答案位置。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.SQUAD()

关于该数据集详细信息可以参见SQuAD官网介绍

Class hub.dataset.GLUE

GLUE是一个英文数据集集合，包含9项自然语言理解任务数据集：

  • 文本分类任务数据集CoLA，其目标是给定一个句子，判断其语法正确性。

  • 情感分析任务数据集吧SST-2，其目标是给定一个句子，判断其情感极性。

  • 句子对分类任务数据集MRPC，其目标是给定两个句子，判断它们是否具有相同的语义关系。

  • 回归任务数据集STS-B，其目标是给定两个句子，计算它们的语义相似性。

  • 句子对分类任务数据集QQP，其目标是给定两个句子，判断它们是否具有相同的语义关系。

  • 文本推理任务数据集MNLI，其目标是给定前提与假设，判断它们的逻辑关系（“矛盾“ / “中立” / “蕴含”）。该数据集又分为“匹配”与“不匹配”两个版本，“匹配”与“不匹配”指的是训练集与测试集的数据来源是否一致，是否属于相同领域风格的文本。在PaddleHub中，您可以通过“MNLI_m”和”MNLI_mm”来指定不同的版本

  • 问题推理任务QNLI，其目标是给定问题，判断它的回答是否正确。

  • 文本蕴含任务RTE，其目标是给定两个句子，判断它们是否具有蕴含关系。

  • 文本蕴含任务WNLI，其目标是给定两个句子，判断它们是否具有蕴含关系。由于该数据集存在一些问题，我们暂时没有实现该数据集。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.GLUE(sub_dataset='SST-2')
  4. MNLI_Matched = hub.dataset.GLUE(sub_dataset='MNLI_m')
  5. MNLI_MisMatched = hub.dataset.GLUE(sub_dataset='MNLI_mm')

关于该数据集详细信息可以参见GLUE官网介绍

Class hub.dataset.XNLI

XNLI是一个跨语言自然语言推理数据集，其目标是给定前提与假设，判断它们的逻辑关系（“矛盾“ / “中立” / “蕴含”）。XNLI的验证集与测试集包含15种语言版本，在BERT与ERNIE中，它的训练集来自英文数据集MNLI，将其翻译至对应的语言版本即可。我们采用了相同的数据集方案，并划分了15种语言的数据集：

ar - Arabicbg - Bulgariande - German
el - Greeken - Englishes - Spanish
fr - Frenchhi - Hindiru - Russian
sw - Swahilith - Thaitr - Turkish
ur - Urduvi - Vietnamesezh - Chinese

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.XNLI(language='zh')

以中文数据集为例：

  1. premise hypo    label
  2. 从 概念 上 看 , 奶油 收入 有 两 个 基本 方面 产品 和 地理 .     产品 和 地理 是 什么 使 奶油 抹 霜 工作 .       neutral
  3. 我们 的 一个 号码 会 非常 详细 地 执行 你 的 指示       我 团队 的 一个 成员 将 非常 精确 地 执行 你 的 命令    entailment
  4. 男 女 同性恋 .  异性恋者        contradiction

每个字段以tab键分隔。类别netral表示中立，类别entailment表示蕴含，类别contradiction表示矛盾。

Class hub.dataset.TNews

TNews是今日头条中文新闻（短文本）分类数据集，其目标是为短新闻进行分类。该数据集总共15个类别，包括 “news_story”, “news_culture”, “news_entertainment”, “news_sports”, “104”: “news_finance”, “news_house”, “news_car”, “news_edu”, “news_tech”, “news_military”, “news_travel”, “news_world”, “stock”, “news_agriculture”, “news_game”。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.TNews()

数据集样例：

  1. 6552277613866385923_!_104_!_news_finance_!_股票中的突破形态_!_股票
  2. 6553229876915077646_!_102_!_news_entertainment_!_他是最帅的古装男神，10国语言六门武术，演技在线却常演配角！_!_三生三世十里桃花,张智尧,杨门女将之女儿当自强,陆
  3. 小凤,印象深刻,陆小凤传奇,杨宗保,花满楼,古剑奇谭
  4. 6553551207028228622_!_102_!_news_entertainment_!_陈伟霆和黄晓明真的有差别，难怪baby会选择黄晓明_!_陈伟霆,黄晓明,粉丝

每个字段以“_!_”进行分隔，第一列表示数据ID，第二列表示类别ID， 第三列表示类别，第四列表示短新闻文本，第五列表示文本关键词。

Class hub.dataset.INews

INews是一个互联网情感分析任务，其目标是判断中文长文本的情感倾向，数据集总共分3类（0，1，2）。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.INews()

数据集样例：

  1. label_!_id_!_title_!_content
  2. 1_!_bbf2e8a4824149bea36e703bbe8b0795_!_问大家一下，g20峰会之后，杭州的外国人是不是一下子多起来了_!_问大家一下，g20峰会之后，杭州的外国人是不是一下子多起来了，尤其是在杭州定居的外国人？

每个字段以“_!_”进行分隔，第一列表示类别，第二列表示数据ID， 第三列表示新闻标题，第四列表示新闻文本。

Class hub.dataset.DRCD

DRCD是台达阅读理解数据集，属于通用领域繁体中文机器阅读理解数据集。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.DRCD()

数据格式和SQuAD相同，关于该数据集详细信息参见DRCD。

Class hub.dataset.CMRC2018

CMRC2018聚焦基于篇章片段抽取的中文阅读理解，给定篇章、问题，其目标是从篇章中抽取出连续片段作为答案。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.CMRC2018()

数据格式和SQuAD相同，关于该数据集详细信息参见CMRC

Class hub.dataset.BQ

BQ是一个智能客服中文问句匹配数据集，该数据集是自动问答系统语料，共有120,000对句子对，并标注了句子对相似度值。数据中存在错别字、语法不规范等问题，但更加贴近工业场景。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.BQ()

数据集样例：

  1. 请问一天是否都是限定只能转入或转出都是五万。    微众多少可以赎回短期理财        0
  2. 微粒咨询电话号码多少    你们的人工客服电话是多少        1
  3. 已经在银行换了新预留号码。      我现在换了电话号码，这个需要更换吗      1

每个字段以tab键分隔，第1，2列表示两个文本。第3列表示类别（0或1，0表示两个文本不相似，1表示两个文本相似）。

Class hub.dataset.IFLYTEK

IFLYTEK是一个中文长文本分类数据集，该数据集共有1.7万多条关于app应用描述的长文本标注数据，包含和日常生活相关的各类应用主题，共119个类别：”打车”:0,”地图导航”:1,”免费WIFI”:2,”租车”:3,….,”女性”:115,”经营”:116,”收款”:117,”其他”:118(分别用0-118表示)。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.IFLYTEK()

数据集样例：

  1. 70_!_随意发SendAnywherePro是一款文件分享工具，你可以快速的将分享手机中的照片、视频、联系人、应用、文件、文件夹等任何文件分享给其他人，可以在手机之前发送或接收，也可以通过官网www.sendweb.com不许要注册账号，只需输入一次key即可接收。

每个字段以“_!_”键分隔，第1列表示类别ID。第2列表示文本数据。

Class hub.dataset.THUCNEWS

THUCNEWS是一个中文长文本分类数据集，该数据集共有4万多条中文新闻长文本标注数据，共14个类别，包括”体育”, “娱乐”, “家居”, “彩票”, “房产”, “教育”, “时尚”, “时政”, “星座”, “游戏”, “社会”, “科技”, “股票”, “财经”。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.THUCNEWS()

数据集样例：

  1. 0_!_体育_!_97498.txt_!_林书豪拒绝中国篮协邀请 将随中华台北征战亚锦赛　　信息时报讯 (记者 冯爱军) 中国篮协比中华台北篮协抢先一步了。据台湾媒体报道，刚刚成功签...倘若顺利，最快明年东亚区资格赛与亚锦赛就有机会看到林书豪穿上中华台北队球衣。”

每个字段以“_!_”键分隔，第1列表示类别ID，第2列表示类别，第3列表示文本数据。

Class hub.dataset.DogCatDataset

DOGCAT是由Kaggle提供的数据集，用于图像二分类，其目标是判断一张图片是猫或是狗。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.DogCatDataset()

数据集样例：

  1. dog/4122.jpg 1
  2. dog/6337.jpg 1
  3. cat/3853.jpg 0
  4. cat/5831.jpg 0

每个字段以空格键分隔。第一列表示图片所在路径，第二列表示图片类别，1表示属于，0表示不属于。

Class hub.dataset.Food101

FOOD101 是由Kaggle提供的数据集，含有101种类别，其目标是判断一张图片属于101种类别中的哪一种类别。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.Food101()

关于该数据集详细信息参见Kaggle Food101

Class hub.dataset.Indoor67

INDOOR数据集是由麻省理工学院发布，其包含67种室内场景，其目标是识别一张室内图片的场景类别。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.Indoor67()

关于该数据集详细信息参见Indoor67

Class hub.dataset.Flowers

Flowers数据集是是公开花卉数据集，数据集有5种类型，包括”roses”，”tulips”，”daisy”，”sunflowers”，”dandelion”。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.Flowers()

数据集样例：

  1. dandelion/7148085703_b9e8bcd6ca_n.jpg 4
  2. roses/5206847130_ee4bf0e4de_n.jpg 0
  3. tulips/8454707381_453b4862eb_m.jpg 1

每个字段以空格键分隔。第一列表示图片所在路径，第二列表示图片类别ID。

Class hub.dataset.StanfordDogs

StanfordDogS数据集是斯坦福大学发布，其包含120个种类的狗，用于做图像分类。

示例

  1. import paddlehub as hub
  3. dataset = hub.dataset.StanfordDogs()

关于该数据集详细信息参考StanfordDogs