9.3.3.-simple-failing-example.md

9.3.3. Simple Failing Example

이번 chapter에서는 $$ x \sim \mathrm{Ber}(\theta)$$를 따르는 $$x$$에 대한 간단한 예제를 보겠습니다.

$$ f(x,\theta) = x(1-\theta) + (1-x)(1+\theta) $$일 때, $$\mathcal{L} $$은 다음과 같이 정의됩니다.

                                             $$ \mathcal{L} = \mathbb{E}_x[f(x;\theta)]$$

                                                 $$=  \sum_x{p(x;\theta)}f(x)$$

                                                 $$ = \sum_x p(x;\theta)(x(1-\theta)+(1-x)(1+\theta))$$

                                                 $$ = (\theta (1(1-\theta)+0(1+\theta))) + ((1-\theta)(0(1-\theta)+ 1(1+\theta))$$

                                                  $$ =-2 \theta^2+\theta + 1$$

이 때, 그냥 2차 미분까지 한다면 다음과 같습니다.

                                       $$ \nabla_{\theta}\mathcal{L} = -4\theta+1 $$

                                       $$\nabla^2_\theta\mathcal{L} = -4 $$

SL을 사용한 미분은 다음과 같습니다.

                                 $$( \nabla_{\theta}\mathcal{L})_{\mathrm{SL}} = -4\theta + 1$$

                                 $$( \nabla^2_{\theta}\mathcal{L})_{\mathrm{SL}} = -2$$ 

                                 \($$\hat{f}$$를 어떻게 세워야 나올지 개념은 이해했는데, 여기에 적용이 어려웠습니다.\)

sampling을 아무리 많이한다해도 SL estimator는 잘못된 2차 미분값을 내놓습니다. 만약 이런 잘못된 estimate이 2차 미분을 이용하는 Newton-Raphson method같은 optimization method와 결합된다면 절대 $$\theta$$는 바른값에 수렴하지 못할 것입니다. 반대로 정확한 gradient를 갖는다면 이는 단한번에도 수렴할 수 있습니다.

이번 예제에서 보여주는 점은 $$\theta$$가 stochastic sample에 의해 regularization될 때, 비슷하게 일어날 것이라는 것을 보여줍니다. 예를들면 soft Q-learning에서도 reward에 entropy penalty를 줌으로써 policy를 regularization하는데, 이 penalty는 policy parameter $$ \theta$$에 의존적입니다. 또한 state에 대해서도 의존적인데, 이는 차례로 stochastically sampled action에 의해 영향을 받습니다. 결과적으로, entropy를 통해 regularization을 하는 RL objective는 모두 위에서의 문제처럼 SL의 접근이 실패할 것임을 암시합니다. 이는 차 gradient에서만 일어나는 것이 아닌, $$\theta$$의 복잡성에 따라도 달려있음을 보입니다. 이처럼 regularized objective를 가진 이차 gradient를 사용하는 method는 다른 대체 방법을 찾아야합니다.