知识点小记.md

求导

数值求导

符号求导

自动求导

正项求导 O(n) O(1)

反向求导 O(n) O(n)

Logistic Regression

逻辑回归，二分类问题

Softmax Regression

实际是分类问题

对逻辑回归算法在多分类问题上的推广

Huber's Robust Loss

huber鲁棒损失

softlabel

数据集

不要把验证数据集当作训练数据集来用

不要把测试数据集当作验证数据集来用

K-fold交叉验证

非大数据集上使用

模型容量（模型复杂度）

拟合各种函数的能力

模型容量要匹配数据复杂度，否则可能导致欠拟合或过拟合

艺术 工程 科学

艺术 不知道为什么

工程 证明这个东西行

科学 解释这个东西为什么行

实践先于理论

偏差 方差

HPO

正则化

L2正则化

dropout正则化

正则项只在训练中使用：它们影响模型参数的更新

Xavier初始化（没听懂）

激活函数选择建议

用relu