使用\R模式的Java扫描仪（缓冲区边界问题）

Question

执行摘要：在Java的Scanner（尤其是关于内部缓冲区边界条件）中，\R（或其他regex模式）的使用是否有任何警告/已知问题？

详细信息:因为我想对潜在的多平台输入文件进行多行模式匹配，所以我使用了带有< code>\R的模式，根据< code>Pattern javadoc:

任何Unicode换行符序列，都等价于\u000D\u000A|[\u000A\u000B\u000C\u000D]

总之，我在一个测试文件中注意到，应该解析十六进制转储块的循环被截断了。经过一些调试，我注意到它结束的行是Scanner内部缓冲区的末尾。

这是我编写的一个测试程序来模拟这种情况：

public static void main(String[] args) throws IOException {
    testString(1);
    testString(1022);
}

private static void testString(int prefixLen) {
    String suffix = "b\r\nX";
    String buffer = new String(new char[prefixLen]).replace("\0", "a") + suffix;

    Scanner scanner = new Scanner(buffer);
    String pattern = "b\\R";
    System.out.printf("=================\nTest String (Len=%d): '%s'\n'%s' found with horizon=0 (w/o bound): %s\n", buffer.length(), convertLineEndings(
        buffer), pattern, convertLineEndings(scanner.findWithinHorizon(pattern, 0)));
    System.out.printf("'X' found with horizon=1: %b\n", scanner.findWithinHorizon("X", 1) != null);
    scanner.close();
}

private static String convertLineEndings(String string) {
    return string.replaceAll("\\n", "\\\\n").replaceAll("\\r", "\\\\r");
}

...这将产生以下输出(为了格式化/简洁起见进行了编辑):

=================
Test String (Len=5): 'ab\r\nX'
'b\R' found with horizon=0 (w/o bound): b\r\n
'X' found with horizon=1: true
=================
Test String (Len=1026): 'a ... ab\r\nX'
'b\R' found with horizon=0 (w/o bound): b\r
'X' found with horizon=1: false

对我来说，这看起来像一个错误！我认为扫描仪应该以同样的方式将< code >后缀与模式相匹配，而不管它们出现在输入文本中的什么位置(只要< code >前缀不与模式相关)。(我还发现了可能相关的开放式JDK错误8176407和8072582，但这是针对常规Oracle JDK 8u111的)。

但我可能遗漏了一些关于scanner或特定\R模式用法的建议（或者Open JDK和Oracle有相同的（？？）在这里实现相关类？）。。。于是问题来了！

Answer 1

两条建议：

我认为你应该这样测试X：

System.out.printf("'X' found with horizon=1: %b\n", 
    scanner.findWithinHorizon("X", prefixLen) != null);

（因为除0以外的任何参数都将搜索限制在一定数量的字符。这已经在方法的名称中。地平线是方法看到的最远的地方。）

也许您的文件编码有问题。您的扫描仪可能会选择错误的默认编码。试试这样的方法：

new Scanner(file, "utf-8");

Answer 2

我在Ideone上测试了这段代码，在最新版本的Java上它不再返回“false”。

https://www.ideone.com/4wwYSj

但是，如果我被困在旧版本或仍然显示错误的版本上，并且我需要一个通用解决方案而不是这个示例的解决方法，那么我可能会尝试制作一个类似于\R的正则表达式，但在\r的情况下，它会强制查看额外的字节。请注意，留档中所谓的“等效”模式并不是真正等效的，因为它实际上需要是一个原子分组。所以您可能会得到这样的结果：

<代码>(？