读取excel时如何跳过一些无效字符

Question

使用poi读取某些excel失败，遇到此错误

Caused by: org.xml.sax.SAXParseException; systemId: file://; lineNumber: 105; columnNumber: 147342; An invalid XML character (Unicode: 0xffff) was found in the element content of the document.
    at java.xml/com.sun.org.apache.xerces.internal.util.ErrorHandlerWrapper.createSAXParseException(ErrorHandlerWrapper.java:204)
    at java.xml/com.sun.org.apache.xerces.internal.util.ErrorHandlerWrapper.fatalError(ErrorHandlerWrapper.java:178)
    at java.xml/com.sun.org.apache.xerces.internal.impl.XMLErrorReporter.reportError(XMLErrorReporter.java:400)

从xl/sharetrings.xml，存在

如何能成功读取并忽略这些无效字符？

aaa <ffff> bbb ==> aaa bbb




Answer 1

在我下面的例子中，文件都有无效字符

xl/sharedStrings.xml
xl/worksheets/sheet1.xml
xl/worksheets/sheet8.xml

应该处理所有这些xml

opcPackage.getPartsByName(Pattern.compile("(/xl/sharedStrings.xml)|(/xl/worksheets/.+\\.xml)"))

Answer 2

这些无效字符不应该在XML中，Excel本身不会将它们放入其中。因此，有人可能在使用Excel以外的其他东西创建该文件时做错了什么。应该避免该错误，而不是试图忽略症状。

但我知道依赖别人的工作是什么感觉，即使是在遥远的将来，也会有其他的工作要做。所以一个人需要即兴发挥。但在这种情况下，只有使用丑陋的低级方法才能做到这一点。由于XML无效，因此无法解析XML。因此，只能更换字符串。

在APACHE POI EXCEL XmlException：中是无效的XML字符，有什么方法可以预处理excel文件吗？我已经介绍过了。在这种情况下，要替换在XML中也无效的UTF-16-代理-对数字字符引用。

在下面，我将展示一个代码，如果需要，它可以更灵活地将多个其他修复操作添加到/xl/share dStrings.xml。

原理是使用OPCPackage，即。xlsx压缩包，用于取出共享字符串。xml作为文本字符串。然后进行所需的更换，并将修复后的字符串放入。xml返回到OPCPackage中。然后从修复后的OPCPackage创建XSSFWorkbook，而不是从损坏的文件创建。

import java.io.*;

import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.apache.poi.openxml4j.opc.*;

import java.util.regex.Pattern;
import java.util.regex.Matcher;

class RepairSharedStringsTable {
    
 static String removeInvalidXmlCharacters(String string) {
  String xml10pattern = "[^"
                    + "\u0009\r\n"
                    + "\u0020-\uD7FF"
                    + "\uE000-\uFFFD"
                    + "\ud800\udc00-\udbff\udfff"
                    + "]";
  string = string.replaceAll(xml10pattern, "");
  return string;     
 }
    
 static void repairSharedStringsTable(OPCPackage opcPackage) {
  for (PackagePart packagePart : opcPackage.getPartsByName(Pattern.compile("/xl/sharedStrings.xml"))) {
   
   String sharedStrings = "";
   try (BufferedInputStream inputStream = new BufferedInputStream(packagePart.getInputStream());
        ByteArrayOutputStream sharedStringsBytes = new ByteArrayOutputStream() ) {
    byte[] buffer = new byte[1024];
    int length;
   
    while ((length = inputStream.read(buffer)) != -1) {
     sharedStringsBytes.write(buffer, 0, length);
    }
    sharedStrings = sharedStringsBytes.toString("UTF-8");
   } catch (Exception ex) {
    ex.printStackTrace();
   }
    
   System.out.println(sharedStrings);
   //sharedStrings = replaceUTF16SurrogatePairs(sharedStrings);
   sharedStrings = removeInvalidXmlCharacters(sharedStrings);
   //sharedStrings = doSomethingElse(sharedStrings);
   System.out.println(sharedStrings);

   try (BufferedOutputStream outputStream = new BufferedOutputStream(packagePart.getOutputStream()) ) {
    outputStream.write(sharedStrings.getBytes("UTF-8"));
   } catch (Exception ex) {
    ex.printStackTrace();
   }
  }  
 }

 public static void main(String[] args) throws Exception {
  try (XSSFWorkbook workbook = new XSSFWorkbook(new FileInputStream("./Excel.xlsx"))) {
   System.out.println("success");
  } catch (Exception ex) {
   System.out.println("failed");
   ex.printStackTrace();
  }

  OPCPackage opcPackage = OPCPackage.open(new FileInputStream("./Excel.xlsx"));
  repairSharedStringsTable(opcPackage);
  opcPackage.flush();
  
  try (XSSFWorkbook workbook = new XSSFWorkbook(opcPackage);
       FileOutputStream out = new FileOutputStream("./ExcelRepaired.xlsx");) {
   workbook.write(out);
   System.out.println("success");
  } catch (Exception ex) {
   System.out.println("failed");
   ex.printStackTrace();
  }
 }
}