字符串标记器的奇怪行为

Question

    String str="ABC~DEF~GHI~JKL~~MNO";// Input String
     while(stk.hasMoreTokens()){
            obj[i]=stk.nextToken();
            i++;
        }
        for(Object ob:obj){
            System.out.print(ob+"~>");
        }

我使用StringTokenizer将字符串分成标记，但是每当连续分隔符出现在中间而没有任何空格时，StringTokenizer就跳过它并取下一个标记

实际产出

ABC~>DEF~>GHI~>JKL~>MNO~>null~>

想要的Outupt

ABC~>DEF~>GHI~>JKL~>null~>MNO~> // Don't want to skip consecutive tokens

Answer 1

StringTokenizer有一个私有标志(returnDelims)，默认为false。上面写着

如果returnDelims标志为true，则分隔符字符也将作为标记返回。每个分隔符作为长度为1的字符串返回。如果标志为false，则跳过分隔符字符，仅用作令牌之间的分隔符。

StringTokenizer有另一个构造函数用于为其设置值。您应该将true传递给returnDelims标志，如下所示

    String str = "ABC~DEF~GHI~JKL~~MNO";// Input String
    final String token = "~";
    StringTokenizer stk = new StringTokenizer(str, token, true);
    Object[] obj = new Object[10];
    int i = 0;
    String lasToken = "";
    while (stk.hasMoreTokens()) {
        String nexToken = stk.nextToken();
        if (!token.equals(nexToken)) {
            obj[i] = nexToken;
            i++;
        } else if (token.equals(lasToken)) {
            i++;
        }
        lasToken = nexToken;
    }
    for (i = 0; i < obj.length; i++) {
        System.out.print(obj[i] + "~>");
    }