使用 Paddle 实现 CANINE-S 模型。
世界上存在海量的语言与词汇，在处理多语言场景时，传统预训练模型采用的 Vocab 和 Tokenization 方案难免会遇到 out of vocabulary 和 unkonw token 的情况。 Canine 提供了 tokenization-free 的预训练模型方案，提高了模型在多语言任务下的能力。
论文链接：CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation 参考repo：google-research/language，huggingface/transformers。
本次复现使用 tydiqa 数据集 tydiqa 官方repo，数据处理操作参考了 canine/tydiqa 官方。
TydiQA 为多语言阅读理解数据集。Tydi数据库中包含了 18万+篇 wiki 百科语料，20万+ 文章与问题对，共涉及 11 种不同的语言。Canine 在TydiQA 上实现了 Selection Passage Task 66% F1及 Minimum Answer Span Task 58% F1 的精度，比 TydiQA 基线（mBERT）高出约 2%。
| TydiQA 任务 | Canine 论文精度 | 本仓库复现精度 |
|---|---|---|
| Passage Selection Task (SELECTP) | 66.0% | 65.92% |
| Minimal Answer Span Task (MINSPAN) | 52.8% | 55.04% |
指标为macro F1；本仓库展示的复现结果为多次微调、预测、评估后的平均值。
- 硬件：GPU V100 32G；内存32GB或以上。
- 框架：paddlepaddle==2.3.0
canine paddle依赖：
paddlenlp==2.3.1
h5py权重转换及tydiQA任务环境：
transformers==4.19.2
torch==1.11.0
absl-pymkdir data/tydi || echo "dir exist"
wget -O data/tydi/tydiqa-v1.0-dev.jsonl.gz https://storage.googleapis.com/tydiqa/v1.0/tydiqa-v1.0-dev.jsonl.gz
wget -O data/tydi/tydiqa-v1.0-train.jsonl.gz https://storage.googleapis.com/tydiqa/v1.0/tydiqa-v1.0-train.jsonl.gz【备选】可以直接在 tydiqa 仓库 Download the Dataset中下载，放置在 data/tydi 目录下。
备注： 详细的数据处理配置在 tydi_canine 文件夹中查看。
方案一：直接下载并解压处理好的训练和测试数据。
下载后将两个 h5df 数据库放在 data/tydi 目录，如下：
./canine_paddle # 仓库根目录
|--data # 仓库数据目录
| ├── tydi # tydi数据
| ├── dev.h5df # 从tydiqa-v1.0-dev.jsonl.gz提取的测试数据
| ├── train.h5df # 从tydiqa-v1.0-train.jsonl.gz提取的训练数据 方案二：处理官方的原数据集
执行以下代码生成测试数据集，用时约30分钟，生成数据大小2.5GB，包括35万+个样本。
python3 -m tydi_canine.prepare_tydi_data \
--input_jsonl="**/tydiqa-v1.0-dev.jsonl.gz" \
--output_dir=data/tydi/dev.h5df \
--max_seq_length=2048 \
--doc_stride=512 \
--max_question_length=256 \
--is_training=false执行以下代码生成训练数据集，用时约2小时，生成数据大小1.4GB，包括46万+ 个样本。
python3 -m tydi_canine.prepare_tydi_data \
--input_jsonl="**/tydiqa-v1.0-train.jsonl.gz" \
--output_dir=data/tydi/train.h5df \
--max_seq_length=2048 \
--doc_stride=512 \
--max_question_length=256 \
--include_unknowns=0.1 \
--is_training=truepaddle权重已上传到 huggingface.co。使用 model.from_pretrained('canine-s') 时会自动下载。
根据torch 权重进行预训练权重转换
- 下载 torch 权重到本地：
mkdir -p data/torch_weight || echo "dir exist"
wget -O data/torch_weight/pytorch_model.bin https://huggingface.co/google/canine-s/resolve/main/pytorch_model.bin【备选】或在 huggingface canine-s 网站手动下载，保存到 data/torch_weight/pytorch_model.bin
- 权重转换：
mkdir -p data/paddle_weight || echo "dir exist"
python -m reproduction_utils.weight_convert_files.convert_weight \
--pytorch_checkpoint_path=data/torch_weight/pytorch_model.bin \
--paddle_dump_path=data/paddle_weight/model_state.pdparams \
--layer_mapping_file=reproduction_utils/weight_convert_files/torch_paddle_layer_map.json--pytorch_checkpoint_path ：torch权重路径。
--paddle_dump_path：转换paddle权重输出路径。
--layer_mapping_file：提供从torch layer对应到paddle layer的json文件
（执行该步需要安装torch与transformers）请在 CPU 环境下进行前项传导核对。
python -m reproduction_utils.token_check
python -m reproduction_utils.forward_ppg_check验证过程中，运行 torch canine 模型时会出现 Using unk_token, but it is not set yet. ，属于正常提示。经过多次随机样本验证，paddle模型与huggingface模型精度能保持在
from canine import CanineTokenizer
from canine import CanineModel
tokenizer = CanineTokenizer.from_pretrained("canine-s")
model = CanineModel.from_pretrained("canine-s")
text = ["canine is tokenization-free"]
inputs = tokenizer(text,
padding="longest",
return_attention_mask=True,
return_token_type_ids=True, )
pd_inputs = {k: paddle.to_tensor(v) for (k, v) in inputs.items()}
seq_outputs, pooling_outputs = model(**pd_inputs)训练参数信息可在 run_tydi.py 中查看。关于训练的超参、优化器、loss等选择，请查看根目录下的 note.md。
注意： 由于官方论文中并没有提到微调的参数配置，因此本次复现参考并分别尝试了 canine官方仓库 的微调配置（batch_size=512，epoch=10, lr=5e-5），以及 tydiqa 基线仓库 的微调配置（batch_size=16,epoch=3, lr=5e-5）。其中 batch_size=512 通过梯度累加来近似模拟。
实验中发现，10个epoch训练存在明显的过拟合，并且3个epoch的效果普遍比10个epoch高出2-3%。
单卡 V100 32G 训练需要8小时（多卡仅需改动--selected_gpus 为 0,1,2,3）。
python -m paddle.distributed.launch --selected_gpus='0' run_tydi.py \
--train_input_dir=data/tydi/train.h5df \
--do_train \
--max_seq_length=2048 \
--train_batch_size=16 \
--learning_rate=5e-5 \
--num_train_epochs=3 \
--warmup_proportion=0.1 \
--logging_steps=2000 \
--seed=2020 \
--fp16 \
--gradient_accumulation_steps=1 \
--output_dir=data/tydiqa_baseline_model/train--train_input_dir：存放 h5df 数据集的路径。
--output_dir：输出模型权重、训练日志的文件夹路径。
根据 tydi 官方 指示进行评测。 我们使用训练结束的权重进行测试，不考虑中间的checkout poing。
步骤一： 运行以下代码，生成任务评测文件 pred.jsonl ，由于 tydiQA任务的评估方式较为特殊，因此可以采用单卡或者多卡进行（多卡仅需改动--selected_gpus 为 0,1,2,3）：
【备注】 pred.jsonl 为格式满足 TydiQA 评测要求的文件，格式要求可以参考：TydiQA 评测文件示例。
python3 -m paddle.distributed.launch --selected_gpus='0' run_tydi.py \
--state_dict_path=data/tydiqa_baseline_model/train \
--predict_file=data/tydi/tydiqa-v1.0-dev.jsonl.gz \
--precomputed_predict_file=data/tydi/dev.h5df \
--do_predict \
--max_seq_length=2048 \
--max_answer_length=100 \
--candidate_beam=30 \
--predict_batch_size=32 \
--logging_steps=100 \
--seed=2020 \
--output_dir=data/tydiqa_baseline_model/predict \
--output_prediction_file=data/tydiqa_baseline_model/predict/pred.jsonl--state_dict_path：存放微调权重的文件路径；若为文件夹路径，则会读取该文件夹下的 tydi_seed_{seed}.pdparams 权重。
--predict_file：从官方下载的 tydiqa-v1.0-dev.jsonl.gz 文件路径。
--output_dir：输出运行日志
--output_prediction_file：输出 JSON 评估文件路径。
步骤二： 运行 tydi 官方跑分程序：将 predictions_path 对应到上一步中的 pred.jsonl 位置。
其中 Tydi 测评所需要的 tydi_eval.py, eval_utils.py 源于 tydi 官方。
python3 official_tydi/tydi_eval.py \
--gold_path=data/tydi/tydiqa-v1.0-dev.jsonl.gz \
--predictions_path=data/tydiqa_baseline_model/predict/pred.jsonl--gold_path：从官方下载的 tydiqa-v1.0-dev.jsonl.gz 文件路径。
--predictions_path：步骤一种输出 JSON 评估文件的路径。
得到运行结果如下图：
步骤三： 清理过程文件
在 data/tydiqa_baseline_model/predict 文件夹下会生成用于储存 logits 的 results_gpu_*.pickle 文件。测试结束后可以将其删除。
以下复现结果为多次微调、预测、评估后的 macro F1 平均值：
| TydiQA 任务 | Canine 论文精度 | 本仓库复现精度 |
|---|---|---|
| Passage Selection Task (SELECTP) | 66.0% | 65.92% |
| Minimal Answer Span Task (MINSPAN) | 52.8% | 55.04% |
各次微调的日志、评估文件等可以在 logs 文件夹中查看。训练结果整理：
| batch size | acc grad steps | 理论 batch size | seed | epoch | TydiQA SelectP F1 | TydiQA MinSpan F1 | |
|---|---|---|---|---|---|---|---|
| V100 | 16 | 1 | 16 | 2021 | 3 | 66.01% | 55.77% |
| V100 | 16 | 1 | 16 | 666 | 3 | 67.02% | 56.17% |
| v100 | 16 | 32 | 512 | 5121 | 10 | 64.35% | 53.58% |
| v100 | 16 | 32 | 512 | 555 | 4 | 66.29% | 54.12% |
| 3090*4 | 14 | 9 | 504 | 5123 | 4 | 65.93% | 55.60% |
| - | - | - | - | 平均 | 65.92% | 55.04% |
此外，以下展示了 所有 复现过程中进行过的其他微调结果，由于参数配置问题，他们不被计入论文复现精度，但仍可以为该模型在Tydi任务上的训练效果提供一些信息。
| 设备 | batch size | acc grad steps | 理论 batch size | seed | 混合精度训练 | epoch | warm up | TydiQA SelectP F1 | TydiQA MinSpan F1 |
|---|---|---|---|---|---|---|---|---|---|
| V100*1 | 20 | 25 | 500 | 6 | 否 | 10 | 0.01 | 64.38% | 53.73% |
| 3090*4 | 10 | 12 | 480 | 6 | 否 | 10 | 0.01 | 65.23% | 53.49% |
| 3090*4 | 10 | 1 | 40 | 6 | 否 | 10 | 0.01 | 67.31% | 53.11% |
| V100*4 | 16 | 1 | 64 | 2022 | 是 | 3 | 0.01 | 67.26% | 56.41% |
| V100*4 | 16 | 1 | 64 | 2020 | 是 | 3 | 0.01 | 67.29% | 56.42% |
| V100*4 | 8 | 1 | 32 | 2020 | 是 | 3 | 0.1 | 67.26% | 56.37% |
| A4000*4 | 8 | 1 | 32 | 2020 | 是 | 3 | 0.1 | 67.43% | 55.91% |
| - | - | - | - | - | - | - | 平均 | 66.59% | 55.06% |
备注：
- 官方 warm up 比例为 0.1；
- 此处
理论 batch_size=batch_size*accumulate_gradient_steps*number_GPU - 除上述两者外，其他训练配置均与官方相同。
- 在 Tydi Leaderboard 上，TydiQA SelectP 任务的 Top5/Top1 成绩为 72.5%/79.5%。而 TydiQA MinSpan 的 Top5/Top1 成绩为 63.4%/72.35%。canine 与 SOTA 还是有点差距的。
建议进入test_tipc文件夹查看详细信息。
建议进入test_tipc文件夹查看详细信息。
本项目的发布受Apache 2.0 license许可认证。