9.4.1-implement-of-dice.md

9.4.1 Implement of DiCE

DiCE의 처음부터 실용적인 논문임을 강조했는데, 이는 단순한 구현방법에 있습니다. MagicBox는 두가지 특성을 만족하면 됐었는데, 이는 다음과 같이 정의함으로써 두가지 성질을 다 가져갈 수 있습니다. 아래선 위를 확인하도록 합니다.

                                                             $$ \square (\mathcal{W}) = \exp(\tau - \bot(\tau))$$

                                                             $$ \tau = \sum_{w \in \mathcal{W}} \log(p(w;\theta))$$

$$ \bot $$은 $$ \nabla_x \bot(x) = 0 $$이 되도록 하는 gradient를 안흐르도록 하는 operator로 pytorch의 detach같은 역할을 합니다. $$\bot(x) \rightarrow x $$이므로, $$\square (\mathcal{W}) \rightarrow 1$$임이 자명합니다. 이로써 첫번째 성질이 증명되었습니다. 바로 두번째 성질을 증명하면 다음과 같습니다.

                                                     $$ \nabla_\theta \square (\mathcal{W}) = \nabla_\theta\exp(\tau-\bot(\tau))$$

                                                                         $$= \exp(\tau-\bot(\tau))\nabla_\theta(\tau-\bot(\tau))$$

                                                                         $$=\square(\mathcal{W})(\nabla_\theta\tau-0)$$

                                                                         $$=\square(\mathcal{W})\sum_{w \in \mathcal{W}}\nabla_\theta \log(p(w;\theta))$$

그리고 magicbox operator를 구현하게되면, 주로 objective와 바로 연관지어 구현하는게 가장 간단한데, 일반적인 RL에선 $$J = \mathbb{E}[\sum r_t]$$로 나타낼 때, DiCE의 objective는 $$ J_\square= \sum_t \square({a_{t'},t'\leq t})r_t$$로 나타내야합니다. (이는 이전의 action에 따라 reward에 stochastic하게 영향을 주기 때문입니다.