使用混合策略的可能性

[hyskylord]

目前Mortal的策略是使用q值最大的选项，如果改为根据q值按一定概率执行的混合策略是否有可能提高对局的成绩？

[Equim-chan]

online training 的时候不就是这么做的吗。

[hyskylord]

可能表述的不是很清楚，我并不是指训练时的随机性而是实际对局中使用的策略。

主要考虑的问题是在非完全信息博弈中永远选择期望最高的选项的单一策略会暴露手牌的信息（被人读牌），所以理论上说最优解一般是某种类似a%概率选择1，b%概率选择2的混合策略。在其他的非完全信息游戏中（比如德州扑克, page 2）AI也是根据混合策略设计的。

我在MortalV2上稍微验证了一下发现结果并不是很好（3万场1v3对局中相同模型下temp=0.1的challenger仅得到了-0.3的平均pt），可能当前模型中q值仅仅作为pt期望的估计并不能很好地反应纳什均衡状态下的策略概率分布。

[Equim-chan]

是说想把 value-based 当成 policy-based 来用吧，的确后者理论上自带 stochastic policy，然后博弈色彩浓厚的游戏是用不了 deterministic policy 的，例如猜拳，deterministic policy 必被剥削。

然而，尽管麻将也是非完全信息的游戏，但与 poker、军棋这类游戏相比，我认为麻将的博弈成分可能显得 overrated 了，在麻将里也较少听闻 exploit、bluffing 等这类带有浓厚 game theory 色彩的战术，而更常听到的是牌效、手役、攻守判断等可能被 underrated 的基本功，然后比较有博弈色彩的场景，例如反读牌、骗筋骗早外、甚至 bluffing 等，相比基本功场景出现的频率也是很低的。

另一方面，在与对手水平相当的情况下，麻将的容错性可能会差一些，导致一些非贪心解(非 argmax action)的损失可能比预期来得要大，造成了你观察到的现象，在低频博弈场景下采取 stochastic policy 的利益可能难以弥补在高频的基本功场景下采取 stochastic policy 的损失。

[Equim-chan]

说起来，Mortal 在还未开源之前最开始也是 policy-based 的，用的 PPO，但是发现很难控制，策略太随机了坏处还是很明显的。后来在 exploitation vs exploration 之间带有妥协意味地选了前者，然后用了很朴素的 value-based，意外地发现效果还不错，起码比之前用 PPO 的时候好。当然也不排除是当时弄错了什么实现细节才导致的 PPO 效果较差。

[hyskylord]

原来如此。这个想法是受到了一些凤凰位的打法的启发，从频率上看确实应该属于低频事件，不过不清楚对高段位人类选手的对局来说会不会有更大的影响。总之感谢解答。