Skip to content

下游任务数据集

Li Yudong edited this page Apr 5, 2021 · 26 revisions

CLUE 数据集

CLUE 是一个中文语言理解测评基准,包括分类、命名实体识别和机器阅读理解任务。CLUE中的数据集为JSON格式。对于分类和命名实体识别数据集,我们将JSON格式转换为TSV格式,以便UER可以直接加载它们;对于机器阅读理解数据集,我们保留原始格式,并将数据集预处理相关代码放在项目中。

分类:

数据集 链接
TNEWS https://share.weiyun.com/maExfIeO
CSL https://share.weiyun.com/LftIGlIT
CMNLI https://share.weiyun.com/hn3kTeKm
OCNLI https://share.weiyun.com/3DlKxB3q
AFQMC https://share.weiyun.com/CdlEKMON
IFLYTEK https://share.weiyun.com/ldiLjnZJ
CLUEWSC2020 https://share.weiyun.com/RLL1ShBi

机器阅读理解:

数据集 链接
CMRC2018 https://share.weiyun.com/p3Y9INyC
C3 项目中
ChID https://share.weiyun.com/Mix4q2ns

命名实体识别:

数据集 链接
CLUENER2020 https://share.weiyun.com/smSMtLkn

百度 ERNIE

ERNIE1.0提供了5个中文数据集,并在这些数据集上测试ERNIE的效果。

数据集 链接
ChnSentiCorp 项目中
LCQMC https://share.weiyun.com/5Fmf2SZ
XNLI https://share.weiyun.com/mcd8EApl
MSRA-NER 项目中
NLPCC-DBQA https://share.weiyun.com/5HJMbih
Clone this wiki locally