导入带有字符的csv问题

Question

当我导入包含一些国家/地区的CSV文件时，我遇到了一些字符的问题。它没有很好的编码然后我得到了？标记，而不是CSV文件中写入的字符。这里有一些国家让我面临这个问题：奥兰群岛、圣巴特勒米、科特迪瓦、库拉索岛。

下面是导入csv文件的代码：

ICsvBeanReader beanReader = new CsvBeanReader(new InputStreamReader(new FileInputStream(file), StandardCharsets.UTF_8),
                    new CsvPreference.Builder(CsvPreference.STANDARD_PREFERENCE).useQuoteMode(new AlwaysQuoteMode()).build());

首先我使用了FileReader，所有这些国家都出现了问题，然后我改为InputStreamReader并添加了这个UTF-8字符集，问题几乎解决了。当我使用字符集UTF-8时，我只在阅读这个国家的“奥兰群岛”时遇到问题，结果我得到了“兰群岛”。作为charset，我也尝试过ISO_8859_1和Windows-1252，但“奥兰群岛”总是存在同样的问题。

有人知道我应该用哪个字符集来解决这个问题吗？

Answer 1

Java文件阅读器不处理字节顺序标记。我希望这就是问题所在。

不同的版本处理它不同。

用下面的方法包装输入流。它检测文件类型。此方法可在comons-io中使用。如果你没有公共资源-io，从那个库中抓取代码。大约10到20行。希望这管用。

    public static InputStreamReader getInputStreamReader(InputStream inputStream) throws IOException
    {
        BOMInputStream bOMInputStream = new BOMInputStream(inputStream, false, ByteOrderMark.UTF_8,
               ByteOrderMark.UTF_16BE, ByteOrderMark.UTF_16LE,
               ByteOrderMark.UTF_32BE, ByteOrderMark.UTF_32LE);
        ByteOrderMark bom = bOMInputStream.getBOM();
        String charsetName = bom == null ? "UTF-8" : bom.getCharsetName();
        return new InputStreamReader(bOMInputStream, charsetName);
    }