我应该使用强化学习将哪些内容保存到文件/数据库中？

Question

我正在尝试进入机器学习领域，并决定自己尝试一些东西。我写了一个小的井字游戏。到目前为止，计算机使用随机移动与自己对弈。

现在，我想通过编写一个代理来应用强化学习，该代理将根据它对董事会当前状态的知识进行探索或利用。

我不明白的部分是这样的:代理用什么来为当前状态训练自己？假设一个RNG机器人玩家这样做:

[..][..][..]

[…][x][o]

[..][..][..]

现在代理必须决定最好的行动应该是什么。一个训练有素的人会选择第一，第三，第七或第九。它是否在数据库中查找了导致他获胜的类似状态？因为如果是这样的话，我认为我需要将每一步棋都保存到数据库中，直到最终的结束状态(赢/输/平状态)，对于一场比赛来说，这将是相当多的数据？

如果我考虑错了，我想知道如何正确做到这一点。

Answer 1

学习

1）观察当前的板状态;

2） 根据所有可用 V（s） 的下一步行动的分布进行下一步行动。严格来说，选择通常基于玻尔兹曼的 V（s' 分布），但可以简化为最大值移动（贪婪），或者，在某种概率 epsilon 的情况下，您使用的随机移动;

3）按顺序记录s'；

4)如果游戏结束，它更新序列中被访问状态的值，并重新开始；否则，请转到1)。

博弈

1）观察当前的板状态;

2） 根据下一步所有可用V（s’）的分布进行下一步移动；

3）直到游戏结束并重新开始;否则，请转到 1）。

关于您的问题，是的，游戏阶段的查找表是在学习阶段建立的。每次从所有 V（s） 中选择状态时，最大可能数量为 3^9=19683。下面是一个由 Python 编写的示例代码，它在训练中运行 10000 个游戏。