[AAAI2020] Neighborhood Cognition Consistent Multi-Agent Reinforcement Learning 笔记

前言

社会心理学和真实经验展示了，认知一致性在保持人类社会有序方面扮演了重要角色。如果人们对于他们的环境具有更一致的认知，他们更可能实现更好的合作。同时，只有一个邻居范围内的认知一致性才重要，因为人们只直接与邻居交互。这篇文章将neighborhood cognitive consistency（NCC）引入MARL，提出一个整体的设计。
社会心理学中，认知一致性理论展示人们通常试图以一种简单一致的方式理解环境。不一致会不舒服，并趋于一致。维护邻居认知一致性通常足够保证系统级（system-level）协作。
作者通过三步实现邻居认知一致性，第一，将多智能体环境建模为图，使用图卷积网络从邻居agents的联合观察中提取高层表征；第二，然后将这个高层表征分解为一个agent-specific认知表征和一个neighborhood-specific认知表征；第三，假设每个neighborhood有一个真隐藏认知变量，然后所有的邻居agent学习通过这个真隐藏认知变量进行变分推断（variational inference）来对齐他们的neig