OutofMemoryError при чтении больших файлов



Я пытаюсь прочитать несколько больших файлов (более 100 МБ). И до сих пор он всегда трескается посередине с ошибкой OutofMemory. Есть ли какие-то решения для этого?



           FileInputStream fstream = new FileInputStream(f);
// Get the object of DataInputStream
DataInputStream dain = new DataInputStream(fstream);
// BufferedReader br = new BufferedReader(new InputStreamReader(in));

BufferedReader in = new BufferedReader(new InputStreamReader(dain));
String text = in.readLine();
while(text != null) {
stat(text);
text = in.readLine();
}


Исключение выглядит так:



    Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Arrays.java:2694)
at java.lang.String.<init>(String.java:234)
at java.io.BufferedReader.readLine(BufferedReader.java:349)
at java.io.BufferedReader.readLine(BufferedReader.java:382)


Вот что делает Stat:



    public void stat(String text) {
String postTypeId = this.getXmlValue(text, "PostTypeId");
String viewCountStr = this.getXmlValue(text, "ViewCount");
String answerCountStr = this.getXmlValue(text, "AnswerCount");
String userId = this.getXmlValue(text, "OwnerUserId");
String postId = this.getXmlValue(text, "Id");
String parentId = this.getXmlValue(text, "ParentId");
String backUpId = this.getXmlValue(text, "LastEditorUserId");
//Add post rel
if(parentId==null) {
if(!postTable.containsKey(postId))
postTable.put(postId, new PostRel());
} else {
try{
postTable.get(parentId).addAnswer(postId);
}catch(Exception exp) {
}
}
generalCount(postTypeId,viewCountStr,answerCountStr,userId,postId,parentId,backUpId);


}



И в generalCount я попытался вставить другую таблицу:



            if(userTable.containsKey(userId)) {
userTable.get(userId).addPost(postId);
if(parentId!=null)
userTable.get(userId).addAnswer(parentId);
} else{
UserPostInfo newInfo = new UserPostInfo();
newInfo.addPost(postId);
if(parentId!=null)
newInfo.addAnswer(parentId);
userTable.put(userId, newInfo);
545   1  

1 ответ:

  1. Дайте JVM больше памяти для работы с
  2. Используйте меньше памяти при чтении файлов (можете ли вы работать с потоковыми данными вместо этого?)
  3. Работа с файлами, отображенными в памяти

Comments

    Ничего не найдено.