多智能体信用分配怎么计算？用 COMA 反事实基线核对优势

AI小管家 • 9小时前 • AI教程 • 阅读 0

团队得到同一奖励时，如何评价某一个体当前动作？COMA 使用集中式 critic 的动作价值，在固定其他个体动作时，将该个体可能动作按自身策略概率平均，作为反事实基线。下面只算一次基线与优势，不训练 critic，不把自造 Q 值当真实因果贡献。

固定其他个体，再比较自身动作

有 A、B 两个个体，各可选 L、R。Q 的行对应 A、列对应 B，矩阵为 [[4,1],[2,3]]；这是我们指定的集中价值表。A 策略为 π(L)=0.25、π(R)=0.75。实际 B 固定 L，A 实际选 L，当前 Q 为 4。

基线 b_A=Σ动作 π_A(动作)Q(A候选动作,B固定动作)，因此 b_A=0.25×4+0.75×2=2.5，优势为 4−2.5=1.5。COMA 原论文的反事实基线边缘化自身动作并保留其他个体的动作；不能把两个人都换掉再称为该个体的基线。

运行并检查加权优势为零

保存 coma_baseline.py，运行 python coma_baseline.py。函数检查概率和、非负性和矩阵列数。示例仅两行两列，真实算法还需要相应训练数据、critic 和策略更新。

from math import isclose
Q=[[4.0,1.0],[2.0,3.0]]
pi=[0.25,0.75]
def advantages(other_action):
    if len(Q)!=len(pi) or any(len(row)!=2 for row in Q):
        raise ValueError("shape mismatch")
    if any(p<0 for p in pi) or not isclose(sum(pi),1.0):
        raise ValueError("invalid policy")
    if other_action not in (0,1):
        raise ValueError("invalid other action")
    vals=[row[other_action] for row in Q]
    baseline=sum(p*q for p,q in zip(pi,vals))
    adv=[q-baseline for q in vals]
    assert isclose(sum(p*a for p,a in zip(pi,adv)),0.0,abs_tol=1e-12)
    return baseline,adv
baseline,adv=advantages(0)
print("B=L baseline and advantages:",baseline,adv)
assert baseline==2.5 and adv==[1.5,-0.5]
baseline2,adv2=advantages(1)
print("B=R baseline and advantages:",baseline2,adv2)
assert baseline2==2.5 and adv2==[-1.5,0.5]