OutofMemoryError при чтении больших файлов
Я пытаюсь прочитать несколько больших файлов (более 100 МБ). И до сих пор он всегда трескается посередине с ошибкой OutofMemory. Есть ли какие-то решения для этого?
FileInputStream fstream = new FileInputStream(f);
// Get the object of DataInputStream
DataInputStream dain = new DataInputStream(fstream);
// BufferedReader br = new BufferedReader(new InputStreamReader(in));
BufferedReader in = new BufferedReader(new InputStreamReader(dain));
String text = in.readLine();
while(text != null) {
stat(text);
text = in.readLine();
}
Исключение выглядит так:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Arrays.java:2694)
at java.lang.String.<init>(String.java:234)
at java.io.BufferedReader.readLine(BufferedReader.java:349)
at java.io.BufferedReader.readLine(BufferedReader.java:382)
Вот что делает Stat:
public void stat(String text) {
String postTypeId = this.getXmlValue(text, "PostTypeId");
String viewCountStr = this.getXmlValue(text, "ViewCount");
String answerCountStr = this.getXmlValue(text, "AnswerCount");
String userId = this.getXmlValue(text, "OwnerUserId");
String postId = this.getXmlValue(text, "Id");
String parentId = this.getXmlValue(text, "ParentId");
String backUpId = this.getXmlValue(text, "LastEditorUserId");
//Add post rel
if(parentId==null) {
if(!postTable.containsKey(postId))
postTable.put(postId, new PostRel());
} else {
try{
postTable.get(parentId).addAnswer(postId);
}catch(Exception exp) {
}
}
generalCount(postTypeId,viewCountStr,answerCountStr,userId,postId,parentId,backUpId);
}
И в generalCount я попытался вставить другую таблицу:
if(userTable.containsKey(userId)) {
userTable.get(userId).addPost(postId);
if(parentId!=null)
userTable.get(userId).addAnswer(parentId);
} else{
UserPostInfo newInfo = new UserPostInfo();
newInfo.addPost(postId);
if(parentId!=null)
newInfo.addAnswer(parentId);
userTable.put(userId, newInfo);
1 ответ:
- Дайте JVM больше памяти для работы с
- Используйте меньше памяти при чтении файлов (можете ли вы работать с потоковыми данными вместо этого?)
- Работа с файлами, отображенными в памяти
Comments