Readme update (PaddlePaddle#446)

* Update README.md * Update README.eng.md update ERNIE-GEN description * Update README.md 更新 ERNIE-GEN 中文描述 * Update README.md * Update README.eng.md Co-authored-by: kirayummy <shi.k.feng@gmail.com> Co-authored-by: Meiyim <chen_xuyi@outlook.com>
Meiyim · May 20, 2020 · d98187b · d98187b
1 parent defa38e
commit d98187b
Show file tree

Hide file tree

Showing 2 changed files with 39 additions and 23 deletions.
diff --git a/README.eng.md b/README.eng.md
@@ -10,15 +10,23 @@ ERNIE 2.0 builds a strong basic for nearly every NLP tasks: Text Classification,
 
 # News
 
-- May.20.2020: Try ERNIE in "`dygraph`", with:
-
-	- Pretrain and finetune ERNIE with [PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8).
-	- Eager execution with `paddle.fluid.dygraph`.
-	- Distributed training.
-	- Easy deployment.
-	- Learn NLP in Aistudio tutorials.
-	- Backward compatibility for old-styled checkpoint
-	- Release **[ERNIE-GEN](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen)**, a state-of-the-art pre-trained model for generation tasks: base/large/large-160G
+- May.20.2020:
+
+    - Try ERNIE in "`dygraph`", with:
+    	- Pretrain and finetune ERNIE with [PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8).
+    	- Eager execution with `paddle.fluid.dygraph`.
+    	- Distributed training.
+    	- Easy deployment.
+    	- Learn NLP in Aistudio tutorials.
+    	- Backward compatibility for old-styled checkpoint
+
+    - [`ERNIE-GEN`](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen) is **avaliable** now! ([link here](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen))
+    	- the **state-of-the-art** pre-trained model for generation tasks, accepted by `IJCAI-2020`.
+        	- A novel **span-by-span generation pre-training task**.
+        	- An **infilling generation** echanism and a **noise-aware generation** method.
+        	- Implemented by a carefully designed **Multi-Flow Attention** architecture.
+    	- You are able to `download` all models including `base/large/large-160G`.
+
 - Apr.30.2020: Release [ERNIESage](https://github.com/PaddlePaddle/PGL/tree/master/examples/erniesage), a novel Graph Neural Network Model using ERNIE as its aggregator. It is implemented through [PGL](https://github.com/PaddlePaddle/PGL)
 - Mar.27.2020: [Champion on 5 SemEval2020 sub tasks](https://www.jiqizhixin.com/articles/2020-03-27-8)
 - Dec.26.2019: [1st place on GLUE leaderboard](https://www.technologyreview.com/2019/12/26/131372/ai-baidu-ernie-google-bert-natural-language-glue/)
@@ -60,7 +68,7 @@ print(pooled.numpy())                        # convert  results to numpy
 Don't have GPU? try ERNIE in [AIStudio](https://aistudio.baidu.com/aistudio/index)!
 (please choose the latest version and apply for a GPU environment)
 
-1. [ERNIE for beginners](https://aistudio.baidu.com/aistudio/projectdetail/266623)
+1. ERNIE for beginners
 1. [Sementic Analysis](https://aistudio.baidu.com/aistudio/projectdetail/427482)
 2. [Cloze Test](https://aistudio.baidu.com/aistudio/projectdetail/433491)
 3. [Knowledge Distillation](https://aistudio.baidu.com/aistudio/projectdetail/439460)

diff --git a/README.md b/README.md
@@ -2,20 +2,28 @@
 
 ![./.metas/ERNIE_milestone.png](./.metas/ERNIE_milestone.png)
 
+ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架，该框架将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的知识，实现模型效果不断进化。ERNIE在情感分析、文本匹配、自然语言推理、词法分析、阅读理解、智能问答等16个公开数据集上全面显著超越世界领先技术，在国际权威的通用语言理解评估基准GLUE上，得分首次突破90分，获得全球第一。在今年3月落下帷幕的全球最大语义评测SemEval 2020上，ERNIE摘得5项世界冠军， 该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道，相关创新成果也被国际顶级学术会议AAAI、IJCAI收录。ERNIE在工业界得到了大规模应用，如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。
+
 **提醒: ERNIE老版本代码已经迁移至[repro分支](https://github.com/PaddlePaddle/ERNIE/tree/repro)，欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发。另外，也欢迎上[EasyDL](https://ai.baidu.com/easydl/pro)体验更丰富的功能（如ERNIE 2.0、ERNIE 2.1、ERNIE领域模型等）。**
 
-ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架，该框架将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的知识，实现模型效果不断进化。ERNIE在情感分析、文本匹配、自然语言推理、词法分析、阅读理解、智能问答等16个公开数据集上全面显著超越世界领先技术，在国际权威的通用语言理解评估基准GLUE上，得分首次突破90分，获得全球第一。在今年3月落下帷幕的全球最大语义评测SemEval 2020上，ERNIE摘得5项世界冠军， 该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道，相关创新成果也被国际顶级学术会议AAAI、IJCAI收录。ERNIE在工业界得到了大规模应用，如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。
 
 # 新闻
 
-- 2020.5.20: 欢迎试用`动态图`实现的 ERNIE:
-    - 基于[PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8)使用 ERNIE 进行 Pretrain 和 Finetune.
-    - 动态执行, 所见即所得。
-    - 大规模分布式训练。
-    - 易于部署。
-    - 通过Aistudio 教程快速入门NLP。
-    - 向后兼容老版 checkpoint。
-    - 发布目前效果最佳的生成预训练模型 **[ERNIE-GEN](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen)** base/large/large-160G 版本，ERNIE能力扩展至文本生成任务。
+- 2020.5.20:     
+    - 欢迎试用`动态图`实现的 ERNIE:
+        - 基于[PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8)使用 ERNIE 进行 Pretrain 和 Finetune.
+        - 动态执行, 所见即所得。
+        - 大规模分布式训练。
+        - 易于部署。
+        - 通过Aistudio 教程快速入门NLP。
+        - 向后兼容老版 checkpoint。
+    -  `ERNIE-GEN` 模型正式开源! ([点击进入](ernie-gen))
+        - 最强文本生成预训练模型正式开源，相关工作已被 `IJCAI-2020` 收录。
+            - 首次把 ERNIE 预训练技术能力扩展至文本生成领域，在多个典型任务上取得最佳。
+            - 您现在即可下载论文报告的所有模型（包含 [`base/large/large-160G`](ernie-gen/README.zh.md#预训练模型)）。
+        - 首次在预训练阶段加入span-by-span 生成任务，让模型每次能够生成一个语义完整的片段。
+        - 提出填充式生成机制和噪声感知机制来缓解曝光偏差问题。
+        - 精巧的 Mulit-Flow Attention 实现框架。
 - 2020.4.30 发布[ERNIESage](https://github.com/PaddlePaddle/PGL/tree/master/examples/erniesage)， 一种新型图神经网络模型，采用ERNIE做为aggreagtor. 由[PGL](https://github.com/PaddlePaddle/PGL)实现。
 - 2020.3.27 [在SemEval2020五项子任务上夺冠](https://www.jiqizhixin.com/articles/2020-03-27-8)。
 - 2019.12.26 [GLUE榜第一名](https://www.technologyreview.com/2019/12/26/131372/ai-baidu-ernie-google-bert-natural-language-glue/)。
@@ -28,7 +36,7 @@ ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框
 
 * [教程](#教程)
 * [安装](#安装)
-* [Fine-tuning任务](#fine-tuning-任务)
+* [支持的NLP任务](#支持的nlp任务)
 * [预训练(ERNIE 1.0)](#预训练-ernie-10)
 * [在线预测](#在线预测)
 * [蒸馏](#蒸馏)
@@ -57,7 +65,7 @@ print(pooled.numpy())                        # convert  results to numpy
 手边没有GPU？欢迎在[AIStudio](https://aistudio.baidu.com/aistudio/index)中直接试用 ERNIE. 
 (请选择最新版本的教程并申请GPU运行环境)
 
-1. [从0开始学ERNIE](https://aistudio.baidu.com/aistudio/projectdetail/266623)
+1. 从0开始学ERNIE
 1. [情感识别](https://aistudio.baidu.com/aistudio/projectdetail/427482)
 2. [完形填空](https://aistudio.baidu.com/aistudio/projectdetail/433491)
 3. [知识蒸馏](https://aistudio.baidu.com/aistudio/projectdetail/439460)
@@ -127,7 +135,7 @@ data/xnli
 |[CMRC2018](https://ernie-github.cdn.bcebos.com/data-cmrc2018.tar.gz)|CMRC2018 是中文信息学会举办的评测，评测的任务是抽取类阅读理解。[链接](https://github.com/ymcui/cmrc2018)
 
 
-# Fine-tuning 任务
+# 支持的NLP任务
 
 - 使用 `动态图` 模型进行finetune:
 
@@ -250,7 +258,7 @@ ids = np.expand_dims(ids, -1) # ids.shape==[BATCH, SEQLEN, 1]
 若希望复现 paper 中的所有实验，请切换至本repo的`repro`分支。
 
 ### 讨论组
-
+- [ERNIE官方主页](https://www.paddlepaddle.org.cn/ernie)
 - [Github Issues](https://github.com/PaddlePaddle/ERNIE/issues): bug reports, feature requests, install issues, usage issues, etc.
 - QQ 群: 760439550 (ERNIE discussion group).
 - [Forums](http://ai.baidu.com/forum/topic/list/168?pageNo=1): discuss implementations, research, etc.