010-深度学习.md

深度学习

• 基础
• 模型
  • CNN
  • RNN
  • Attention
  • Transformer/BERTs
• 专题
  • 编程框架
  • 表示学习
  • 迁移学习
  • 不平衡学习

---

基础

• 激活函数
• 损失函数
• 过拟合与正则化

模型

CNN

• CNN基础

RNN

• RNN基础

Attention

• 常见的Attention计算方法

Transformer/BERTs

• Transformer/BERT 系列模型
  • 常见面试问题
• CRF 在神经网络模型中的作用 (BERT+CRF)

专题

编程框架

深度学习编程

• 使用爱因斯坦标记法操作张量（PyTorch）

表示学习

• 基于对比学习的训练框架
  • Sentence-BERT 相关问题整理
• 支持向后兼容的表示学习
• 基于互信息的表示学习（TODO）

迁移学习

• 预训练模型的轻量化微调方法

不平衡学习

• 不平衡学习概述
  • 综述-2019-Johnson

    介绍了目前在深度学习中常用的不平衡学习方法，主要包括从数据角度和算法角度提出的方法；

• 论文选读
  • 论文-2022-YiboYang

    基于“神经坍缩”现象，使用等角紧框架向量初始化分类头且不参与训练，以缓解不平衡问题