问题：
内存不足，无法处理大型文本文件并将其写回xml
丌官炎彬
我是java编程的新手，现在我遇到了处理大文本文件的问题。我正在编写代码来处理整个文件的字符串，将其解析为一个类，在这个类中将其转换为XML。挑战在于我只能处理少于70K行的输出；如果我的内存超过800K，它将抛出一个错误“Java.lang.OutofMemoryError：Java堆空间”。下面是我的示例文件和代码。
H|20090908|
D|ABASTECEDORA NAVAL Y INDUSTRIAL, S.A. ,N|10 |9|4PANAMA |9|8 | | |1|20090908|AMLA |
D|ABDELNUR, NURY DE JESUS ,NULL |15 |9|0PANAMA |9|8 | | |1|20090908|AMLA |
D|ACECHILLY ,NULL |22 |9|0UNKNOWN |9|8 | | |1|20090908|AMLA |
D|ACEFROSTY ,NULL |24 |9|0UNKNOWN |9|8 | | |1|20090908|AMLA |
D|ACEFROSTY SHIPPING CO., LTD. ,NULL |25 |9|0MALTA |9|8 | | |1|20090908|AMLA |
T|0000013413|
import java.text.SimpleDateFormat;
public class WatchlistParser {
public Object receiveExternal(Object callback) {
Object result = null;
try {
result = this.process("external_watchlist", callback);
} catch (Exception e) {
System.out.println(e.getMessage());
}
return result;
}
public Object receiveInternal(Object callback) {
Object result = null;
try {
result = this.process("internal_watchlist", callback);
} catch (Exception e) {
System.out.println(e.getMessage());
}
return result;
}
public Object process(String filename, Object data) {
java.util.Scanner scanner = new java.util.Scanner(data.toString());
java.util.List<WatchlistEntryObject> list = new java.util.Vector<WatchlistEntryObject>();
int entryCount = 1;
String prefix="113";
if (filename.equalsIgnoreCase("internal_watchlist")) {
prefix = "113INT";
}
if (filename.equalsIgnoreCase("external_watchlist")) {
prefix = "113EXT";
}
//
// read all watchlist entry and store it into a list
SimpleDateFormat dateformatYYYYMMDD = new SimpleDateFormat("yyyyMMdd");
while (scanner.hasNext()) {
String line = scanner.nextLine();
// Get data lines
if (line.startsWith("D")) {
// System.out.println("-"+line);
// parse the data line
line = line.replace("&", "&");
line = line.replace("'", "''");
line = line.replace(">", ">");
line = line.replace("<", "<");
String fields[] = line.split("\\|");
// do validation
// field.size must 4
if (fields.length == 12) {
// do work
WatchlistEntryObject wo = new WatchlistEntryObject();
wo.setName(fields[1].trim());
wo.setId(fields[2].trim());
wo.setIdType(fields[3].trim());
wo.setAltID(fields[4].trim());
wo.setAltIDType(fields[5].trim());
wo.setReason(fields[6].trim());
try {
java.util.Date dob = dateformatYYYYMMDD.parse(fields[7].trim());
wo.setDob(dateformatYYYYMMDD.format(dob));
} catch (Exception e) {
wo.setDob("");
}
//wo.setDob(fields[7].trim());
wo.setRemark(fields[8].trim());
// Set critical will map Y/1 to 1 N/2 to 2
wo.setCriticalID(fields[9].trim());
wo.setFileName(filename);
wo.setLastMaintainDate(fields[10].trim());
wo.setLastMaintainUser(fields[11].trim());
wo.setWatchlistEntryID(wo.generateID(prefix, entryCount));
wo.setLocation(entryCount);
list.add(wo);
entryCount++;
}
} // end of if
} // end of while
StringBuffer sb = new StringBuffer();
sb.append("<Statement>DELETE FROM tbl_watch_list WHERE filename = '" + filename + "'</Statement>\n");
java.util.Iterator<WatchlistEntryObject> iterator = list.iterator();
while (iterator.hasNext()) {
WatchlistEntryObject entry = iterator.next();
sb.append(entry.getInsertSQL() + "\n");
//System.out.println(entry.getInsertSQL());
}
return encloseInXml(sb.toString());
}
//return sb.toString();
}
public String encloseInXml(String sql) {
StringBuffer sb = new StringBuffer();
sb.append("<?xml version ='1.0' encoding = 'UTF-8' standalone = 'no'?>\n");
sb.append("<VREMIT>\n");
sb.append(sql);
sb.append("</VREMIT>\n");
return sb.toString();
}
}
public class WatchlistEntryObject implements Cloneable{ //-----------------------[1]
private String name;
private String id;
private String idType;
private String altID;
private String altIDType;
private String reason;
private String dob;
private String remark;
private String criticalID;
private String lastMaintainDate;
private String lastMaintainUser;
private String watchlistEntryID;
private String fileName;
private String location;
/**
* Generate id in this format xxx-ddmmyy-nnnnnn
* where nnnnnn is the count.
* @param count
* @return
*/
public static String generateID(String prefix,int count) {
Date dateNow = new Date ();
SimpleDateFormat dateformatYYYYMMDD = new SimpleDateFormat("yyMMdd");
StringBuilder nowYYYYMMDD = new StringBuilder(dateformatYYYYMMDD.format(dateNow));
String temp = String.format(prefix+"-"+nowYYYYMMDD.toString() + "-%06d", count);
return temp;
}
public static String convertCID( String s) {
return s;
}
// replace critical id from y to 1, n to 2
/**
* @return the watchlistEntryID
*/
public String getWatchlistEntryID() {
return watchlistEntryID;
}
/**
* @param watchlistEntryID the watchlistEntryID to set
*/
public void setWatchlistEntryID(String watchlistEntryID) {
this.watchlistEntryID = watchlistEntryID;
}
/**
* @return the name
*/
public String getName() {
return name;
}
/**
* @param name the name to set
*/
public void setName(String name) {
this.name = name;
}
/**
* @return the id
*/
public String getId() {
return id;
}
/**
* @param id the id to set
*/
public void setId(String id) {
this.id = id;
}
/**
* @return the idType
*/
public String getIdType() {
return idType;
}
/**
* @param idType the idType to set
*/
public void setIdType(String idType) {
try {
Byte.parseByte(idType);
this.idType = idType;
}catch (Exception e){
this.idType ="9";
}
// this.idType = idType;
}
/**
* @return the altID
*/
public String getAltID() {
return altID;
}
/**
* @param altID the altID to set
*/
public void setAltID(String altID) {
this.altID = altID;
}
/**
* @return the altIDType
*/
public String getAltIDType() {
return altIDType;
}
/**
* @param altIDType the altIDType to set
*/
public void setAltIDType(String altIDType) {
try {
Byte.parseByte(altIDType);
this.altIDType = altIDType;
}catch (Exception e){
this.altIDType ="9";
}
}
/**
* @return the reason
*/
public String getReason() {
return reason;
}
/**
* @param reason the reason to set
*/
public void setReason(String reason) {
try {
Byte.parseByte(reason);
this.reason = reason;
}catch (Exception e){
this.reason ="7";
}
}
/**
* @return the dob
*/
public String getDob() {
return dob;
}
/**
* @param dob the dob to set
*/
public void setDob(String dob) {
this.dob = dob;
}
/**
* @return the remark
*/
public String getRemark() {
return remark;
}
/**
* @param remark the remark to set
*/
public void setRemark(String remark) {
this.remark = remark;
}
/**
* @return the criticalID
*/
public String getCriticalID() {
return criticalID;
}
// inspect Critical Id and return "Y to 1" else set to "2".
/**
* @param criticalID the criticalID to set
*/
public void setCriticalID(String myID) {
if (myID.equalsIgnoreCase("N") || myID.equalsIgnoreCase("2")) {
this.criticalID = "2";
}else{
this.criticalID = "1";
}
}
/**
* @return the lastMaintainDate
*/
public String getLastMaintainDate() {
return lastMaintainDate;
}
/**
* @param lastMaintainDate the lastMaintainDate to set
*/
public void setLastMaintainDate(String lastMaintainDate) {
this.lastMaintainDate = lastMaintainDate;
}
/**
* @return the lastMaintainUser
*/
public String getLastMaintainUser() {
return lastMaintainUser;
}
/**
* @param lastMaintainUser the lastMaintainUser to set
*/
public void setLastMaintainUser(String lastMaintainUser) {
this.lastMaintainUser = lastMaintainUser;
}
/**
* @return the fileName plus with date e.g yyMMdd
*/
public String getFileName() {
return fileName;
}
/**
* @param fileName the fileName to set
*/
public void setFileName(String fileName) {
this.fileName = fileName;
}
// get location
public String getLocation() {
return location;
}
/**
* @param getting the location = object count
*/
public void setLocation(int loc) {
this.location = Integer.toString(loc);
}
public String getInsertSQL() {
return " <Statement> INSERT INTO tbl_watch_list( watch_entry_id,entry_data,id,id_type,alt_id,alt_id_type,reason,date_of_birth,remark,critical_identifier,filename,dt_last_chg,username,location) VALUES ('"+watchlistEntryID+"','"+name+"','"+id+"','"+idType+"','"+altID+"','"+altIDType+"','"+reason+"','"+dob+"','"+remark+"','"+criticalID+"','"+fileName+"', getDate() ,'Xgate','"+location+"'); </Statement>";
}
}
public class TestParser {
/**
* @param args the command line arguments
*/
public static void main(String[] args) throws IOException {
// read the file into a string
String data = "";
try {//reading the files and convert it to UTF-8
data = new String(readFile("H:\\external_watchlist.txt"), "UTF-8");
} catch (Exception e) {
Trace.error("Encoding Exception", e);//catch all exceptions
}
WatchlistParser parser = new WatchlistParser();
String sql = (String) parser.receiveExternal(data);
System.out.println(sql);
}
public static byte[] readFile(String path) {
try {
//java.io.BufferedReader br = new java.io.BufferedReader(new java.io.FileReader(path));
java.io.FileInputStream fis = new java.io.FileInputStream(path);
java.io.ByteArrayOutputStream bos = new java.io.ByteArrayOutputStream();
byte[] buffer = new byte[1024];
while (fis.available() > 0) {
int len = fis.read(buffer);
bos.write(buffer, 0, len);
}
bos.flush();
bos.close();
fis.close();
return bos.toByteArray();
} catch (Exception e) {
Trace.error("Read File Exception", e);
}
return null;
}
}
共有1个答案
方和顺
现在，您正在尝试将整个输入文件读入内存(RAM)。这导致了您的错误。
您不需要分配更多的内存，而是需要读取文件的小块，为小块生成XML，并将该XML附加到输出文件中。不要尝试一次将整个文件保存在内存中。
类似资料：
-
问题内容： 我有一个很大的xml文件，其中包含许多子元素。我希望能够运行一些xpath查询。我尝试在Java中使用vtd- xml，但有时会出现内存不足错误，因为xml太大，无法容纳到内存中。是否有替代方法来处理如此大的xml。 问题答案： 尝试http://code.google.com/p/jlibs/wiki/XMLDog 它使用sax执行xpaths，而无需创建xml文档的内存表示形式。
-
为了加载几个大的(~200MB) JSON文件，执行了以下代码: 以下是 Pycharm 的自定义 VM 选项的外观（最大 30GB 堆大小，RAM 为 32GB）： 已应用“使缓存失效/重新启动”的流行建议。 加载2个文件（总计约400MB）后，在第三次加载期间，引发异常“MemoryError”。 我不明白为什么如果我有高达30GB的堆大小，内存错误抛出后只有400MB？
-
问题内容： 从Apache Commons使用Base64 我正在为移动设备制作小型应用程序。 问题答案： 您不能像下面这样将整个文件加载到内存中： 而是逐块加载文件并对其进行部分编码。Base64是一种简单的编码，一次加载3个字节并对其进行编码就足够了（编码后将产生4个字节）。出于性能原因，请考虑加载3字节的倍数，例如3000字节- 应该很好。还可以考虑缓冲输入文件。 一个例子： 请注意，您不能
-
基于@ari答案的解决方案我已经更新了代码。现在它被优化到只使用1MB（我不知道这是否是将进程分成块的最佳方式，但现在它似乎得到了改进，并且不提供OOM）。我将尝试通过检测可以使用多少堆内存来进一步优化它，但我不确定是否可以实现这一点。直到比这似乎是最好的选择。再次感谢@Ari。
-
我想写一个字节向量，
-
问题内容： 我正在尝试将大的ResulSet（〜1mm行）写入单个文件。在Java 1.6中，有没有一种首选/有效的方法来做到这一点？ 问题答案： 这取决于所使用的JDBC驱动程序。您需要指示JDBC驱动程序 不要事先将其全部加载到Java内存中，而应在每次调用时逐行加载。然后，在循环内部，您需要 立即 将数据写入文件，而不是将其保存在文件中。 不清楚您使用的是哪种JDBC驱动程序，但是例如，可以