博弈论-多智能体强化学习基础

博弈是多智能体强化学习中的常用理论。本文介绍几种基本的博弈游戏。

1 囚徒困境

在囚徒困境博弈中,两名犯罪的囚犯一起被警察盘问,每个罪犯都有两种选择:一种是与警察合作来对付同伙;另一种是与同伙串通而对警察撒谎。如果两名罪犯相互配合而不承认犯罪,则只会在监狱里呆几个月的时间。但如果他们中的一个为对付同伙而与警察合作,另一个却维护同伙而对警察撒谎,则这个与同伙合作并欺骗警察的罪犯将会做很长时间的牢。

(1)如果罪犯配合很好,欺瞒了警察,则会同时获得奖励5,并关几个月。

(2)如果一个罪犯向警察认罪,而另一个罪犯撒谎,则前者获得奖励10并释放,后者获得奖励0并获得终身监禁。

(3)如果都向警察认罪,则都会获得奖励1并关几年。

大多数理性的人都会选择(3)而尽量减少在监狱的时间。

选择坦白交代的行为称为纳什均衡(NE)。如果一个具有机器学习能力的智能体不断重复地玩该游戏,

那么会学习到在任何情况下都100%地选择坦白。这就是所谓的纯策略博弈。

2 猜硬币

两个小孩各有一枚硬币,然后各自选择显示硬币正面或反面。如果都同时显示两个正面或反面,则玩家1获胜并得到回报1,而玩家2输且回报为-1。若两枚硬币正反各不相同,则玩家2获胜。每玩一局都有一个玩家会赢而一个玩家会输,这就是所谓的零和矩阵博弈。

该游戏的最优策略,或其纳什均衡,是一种以50%概率选择硬币正面同时50%概率选择硬币反面的混合策略。这称为混合策略博弈。

3 剪刀石头布

剪刀石头布的规则是每次可以出石头(拳头)、剪刀或布的手势。而布能盖住(赢)石头,石头能击毁(赢)剪刀,剪刀能割开(赢)布。如果两个玩家出的一样,那么就是平局。这个游戏是一种混合策略的零和博弈。显然,解决方案应该是随机以33%的概率选择石头、剪刀或布的手势。唯不同的是该游戏可以选择3种行为。

猜你喜欢

转载自blog.csdn.net/weixin_44727682/article/details/128728466