Limit of Linear Model

实际要调整的参数很多

如果有N个Class，K个Label，需要调整的参数就有(N+1)K个

Linear Model不能应对非线性的问题
Linear Model的好处
- GPU就是设计用于大矩阵相乘的，因此它们用来计算Linear Model非常高效
- Stable：input的微小改变不会很大地影响output
- 求导方便：线性求导是常数
我们想要参数函数是线性的，但整个model是非线性的
所以需要对各个线性模型做非线性组合
- 最简单的非线性组合：分段线性函数（RELU）