NIM游戏和AI玩家使用Minimax算法-AI做出失败的动作

Question

我有一个任务，要写一个有人类玩家和人工智能玩家的NIM游戏。游戏是玩“Misere”（最后一个必须拿起棍子的人输了）。人工智能应该使用极小极大算法，但它的动作让它输得更快，我不知道为什么。我已经陷入死胡同好几天了。极小极大算法的目的是不输，如果它处于输的位置，尽可能推迟输的动作，对吗？

考虑以下因素：

NIMBoard board=新NIMBoard（34，2）；

• 34=杆的二进制编码位置，2堆2杆
• 2=桩的数量

所以我们从这个场景开始，这个*字符代表一根棍子：

Row 0: **
Row 1: **

在这种特殊的电路板情况下，Minimax算法总是会提出“从第1行移除2根棍子”的动作。这显然是一个糟糕的举动，因为它在第0行留下了2根棍子，人类玩家可以从第0行中拾取1根棍子并赢得比赛。

AI玩家应该选择从任何一堆中选择一根棍子。这留给人类玩家：

Row 0: *
Row 1: **

所以无论人类玩家现在做出哪一步棋，当计算机在这之后做出下一步棋时，人类玩家总是会输。明明是更好的策略，但为什么算法没有建议这一步棋？

public class Minimax
{

    public Move nextMove;

    public int evaluateComputerMove(NIMBoard board, int depth)
    {
        int maxValue = -2;
        int calculated;
        if(board.isFinal())
        {
            return -1;
        }
        for(Move n : this.generateSuccessors(board))
        {
            NIMBoard newBoard = new NIMBoard(board.getPos(), board.getNumPiles());
            newBoard.parseMove(n);
            calculated = this.evaluateHumanMove(newBoard, depth + 1);
            if(calculated > maxValue)
            {
                maxValue = calculated;
                if(depth == 0)
                {
                    System.out.println("Setting next move");
                    this.nextMove = n;
                }
            }

        }

        if(maxValue == -2)
        {
            return 0;
        }
        return maxValue;
    }

    public int evaluateHumanMove(NIMBoard board, int depth)
    {
        int minValue = 2;
        int calculated;
        if(board.isFinal())
        {
            return 1;
        }
        for(Move n : this.generateSuccessors(board))
        {
            NIMBoard newBoard = new NIMBoard(board.getPos(), board.getNumPiles());
            newBoard.parseMove(n);
            calculated = this.evaluateComputerMove(newBoard, depth + 1);
            // minValue = Integer.min(this.evaluateComputerMove(newBoard, depth + 1), minValue);
            if(calculated < minValue)
            {
                minValue = calculated;
            }
        }
        if(minValue == 2)
        {
            return 0;
        }

        return minValue;
    }

    public ArrayList<Move> generateSuccessors(NIMBoard start)
    {
        ArrayList<Move> successors = new ArrayList<Move>();
        for(int i = start.getNumPiles() - 1; i >= 0; i--)
        {
            for(long j = start.getCountForPile(i); j > 0; j--)
            {
                Move newMove = new Move(i, j);
                successors.add(newMove);
            }
        }

        return successors;
    }
}

public class NIMBoard
{
    /**
     * We use 4 bits to store the number of sticks which gives us these
     * maximums:
     * - 16 piles
     * - 15 sticks per pile
     */
    private static int PILE_BIT_SIZE = 4;
    private long pos;
    private int numPiles;
    private long pileMask;

    /**
     * Instantiate a new NIM board
     * @param pos Number of sticks in each pile
     * @param numPiles Number of piles
     */
    public NIMBoard(long pos, int numPiles)
    {
        super();
        this.pos        = pos;
        this.numPiles   = numPiles;

        this.pileMask   = (long) Math.pow(2, NIMBoard.PILE_BIT_SIZE) - 1;
    }

    /**
     * Is this an endgame board?
     * @return true if there's only one stick left
     */
    public boolean isFinal()
    {
        return this.onePileHasOnlyOneStick();
    }

    /**
     * Figure out if the board has a pile with only one stick in it
     * @return true if yes
     */
    public boolean onePileHasOnlyOneStick()
    {        
        int count = 0;

        for(int i = 0; i < this.numPiles; i++)
        {
            count += this.getCountForPile(i);
        }

        if(count > 1)
        {
            return false;
        }

        return true;
    }


    public int getNumPiles()
    {
        return this.numPiles;
    }

    public long getPos()
    {
        return this.pos;
    }


    public long getCountInPile(int pile)
    {
        return this.pos & (this.pileMask << (pile * NIMBoard.PILE_BIT_SIZE));
    }

    public long getCountForPile(int pile)
    {
        return this.getCountInPile(pile) >> (pile * NIMBoard.PILE_BIT_SIZE);
    }

    public void parseMove(Move move)
    {
        this.pos = this.pos - (move.getCount() << (move.getPile() * NIMBoard.PILE_BIT_SIZE));
    }

    @Override
    public String toString()
    {
        String tmp = "";
        for(int i = 0; i < this.numPiles; i++)
        {
            tmp += "Row " + i + "\t";
            for(int j = 0; j < this.getCountForPile(i); j++)
            {
                tmp += "*";
            }
            tmp += System.lineSeparator();
        }

        return tmp.trim();
    }

}

Answer 1

对于人类玩家，你不应该有不同的功能。你应该假设两个玩家都使用最好的策略，因为你在实施它，所以两个玩家的代码应该是相同的。

该算法的思想不是将状态id分配给当前状态，该状态id等于最小状态id，该最小状态id不会与可能结束的状态的任何状态id重叠。如果可以移动并达到id为0、1和3的状态，则当前状态应具有状态id 2。任何丢失的状态都应具有id 0。

如果你的当前状态为id 0，无论你做什么动作，你都不会输。否则，你可以找到一个将棋盘移动到id 0状态的动作，这意味着另一个玩家会输。

Answer 2

你认为对人工智能来说是更好的一步，实际上并不是更好的一步。在这种棋盘游戏的情况下，人类玩家会从第一排拿走两根棍子，而计算机仍然会被卡在最后一根棍子上。这并不能保证您的程序正常工作，但我认为您应该尝试一些不同的测试用例。例如，如果你假设人类玩家会输，那么看看AI会做什么。