Java

OutOfMemoryError avec gros fichier

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : OutOfMemoryError avec gros fichier

zizou771

http://mobiles.forumpro.fr

Slt,

je veut copier le contenu d'un fichier (10G) dans un autre fichier, donc je fait comme ceci:

IOUtils.copy(is, out);
out.close();
is.close();

où 'is' est l'inputStream de mon fichier source et 'out' est l'outputStream de mon fichier cible.

Seulement voila, dès que mon fichier source commence à faire 1G ou plus j'ai l'erreur OutOfMemoryError.

Quelqu'un aurait une autre idée pour ne pas avoir cet erreur?

Merci d'avance pour votre aide.

Publicité

noldor

Rockn'roll

faire ça de manière plus intelligente, en passant par un buffer ?

souk

Tourist

en utilisant nio plutot que commons-io ?

zizou771

http://mobiles.forumpro.fr

ben j'la trouve intelligente ma maniere
mais j'vais regarder avec un buffer, merci pour ton avis

zizou771

http://mobiles.forumpro.fr

ah j'connais pas nio j'vais regarder merci

noldor

Rockn'roll

parait que CopyUtils.copy gère mieux les gros fichiers

zizou771

http://mobiles.forumpro.fr

CopyUtils est Deprecated...

noldor

Rockn'roll

ah, ok, je savais pas

zizou771

http://mobiles.forumpro.fr

avec les buffer j'ai la meme erreur:
j'ai fait:

BufferedInputStream is = new BufferedInputStream(myInputStream);
long l = is.available();

BufferedOutputStream out = new BufferedOutputStream(myOutputStream);
for(long i=0;i<l;i++) {
out.write(is.read());
}
out.flush();
out.close();
is.close();

où 'myInputStream' est l'inputStream de mon fichier source et 'myOutputStream' est l'outputStream de mon fichier cible.

souk

Tourist

donc maintenant tu vas regarder nio j'imagine ? [:itm]

Code :

// Create channel on the source
        FileChannel srcChannel = new FileInputStream("srcFilename" ).getChannel();
    
        // Create channel on the destination
        FileChannel dstChannel = new FileOutputStream("dstFilename" ).getChannel();
    
        // Copy file contents from source to destination
        dstChannel.transferFrom(srcChannel, 0, srcChannel.size());
    
        // Close the channels
        srcChannel.close();
        dstChannel.close();

(je mets pas le code pour la gestion d'exception, le block finally tout ca hein [:dawao] )

Publicité

zizou771

http://mobiles.forumpro.fr

En fait je vient de me rendre compte que ce n'est pas au moment de la copie de fichier que j'ai l'erreur OutOfMemoryError, c'est lorsque je recupere l'inputStream du fichier source:
Code :

InputStream in = file.getContent().getInputStream();

Comment faire autrement? (file est un FileObject de l'API commons-VFS)

Message cité 1 fois

benou

zizou771 a écrit :

InputStream in = file.getContent().getInputStream();
Comment faire autrement? (file est un FileObject de l'API commons-VFS)

bha, surement que ca lit le fichier ... te sers pas de cet objet .... utilise un FileInputStream direct ...

sinon, pour ceux qui veule un code compatible java < 1.4, vla une classe que j'ai souvent l'occasion de refourguer :

Code :

import java.io.*;
/**
* This class contains usefull methods usually needed when working with streams
*/
public class StreamUtils {
/**
* the default buffer size is 1Ko
*/
public static final int DEFAULT_BUFFER_SIZE = 1024;
/**
* copy the data from the input stream to the output stream using the default buffer size
* @see #DEFAULT_BUFFER_SIZE
*/
public static void copy(InputStream inStream, OutputStream outStream) throws IOException {
copy(inStream, outStream, DEFAULT_BUFFER_SIZE);
}
/**
* copy the data from the input stream to the output stream using a buffer with the specied size
*/
public static void copy(InputStream inStream, OutputStream outStream, int bufferSize) throws IOException {
byte[] buffer = new byte[bufferSize];
int nbRead;
while ((nbRead = inStream.read(buffer)) != -1) {
outStream.write(buffer, 0, nbRead);
}
}
/**
* copy the data from the reader to the writer using the default buffer size
* @see #DEFAULT_BUFFER_SIZE
*/
public static void copy(Reader reader, Writer writer) throws IOException {
copy(reader, writer, DEFAULT_BUFFER_SIZE);
}
/**
* copy the data from the reader to the writer using a buffer with the specied size
*/
public static void copy(Reader reader, Writer writer, int bufferSize) throws IOException {
char[] buffer = new char[bufferSize];
int nbRead;
while ((nbRead = reader.read(buffer)) != -1) {
writer.write(buffer, 0, nbRead);
}
}
/**
* read the data in the input stream using the default JVM charset and return it in a String
*/
public static String toString(InputStream inStream) throws IOException {
return toString(inStream, null);
}
/**
* read the data in the input stream using the specified charset and return it in a String
*/
public static String toString(InputStream inStream, String charSet) throws IOException {
InputStreamReader reader = (charSet == null) ? new InputStreamReader(inStream) : new InputStreamReader(inStream, charSet);
return toString(reader);
}
/**
* read the data in the reader and return it in a String
*/
public static String toString(Reader reader) throws IOException {
CharArrayWriter writer = new CharArrayWriter();
copy(reader, writer);
return writer.toString();
}
}

et ca s'utilise comme ça :

Code :

FileChannel src= new FileInputStream("srcFilename" );
FileChannel dest= new FileOutputStream("dstFilename" );
StreamUtils.copy(src, dest);
src.close();
dest.close();

(avec une gestion d'exception qui va bien )

zizou771

http://mobiles.forumpro.fr

FileInputStream c'est pour du local...

Message cité 1 fois

benou

zizou771 a écrit :

FileInputStream c'est pour du local...

oui, ben ca marche aussi avec n'importe quel Inpustream que tu auras récupéré de n'importe quelle façon ...

zizou771

http://mobiles.forumpro.fr

mais c'est dès que je veux recuperer l'Inpustream que ca plante:
InputStream in = file.getContent().getInputStream();

benou

ben faut pas que tu fasses getContent ...

zizou771

http://mobiles.forumpro.fr

j'ai pas trop le choix si je veux récupérer le contenu non?

zizou771

http://mobiles.forumpro.fr

je suis en train de tester avec RandomAccessContent (equivalent a RandomAccessFile) et j'ai OutofMemoryError des que je veut lire dans le fichier.

Code :

RandomAccessContent racIn = file.getContent().getRandomAccessContent(RandomAccessMode.READ);
RandomAccessContent racOut = flow.getContent().getRandomAccessContent(RandomAccessMode.READ);
int tailleBuffer=5;
byte [] tab=new byte[tailleBuffer];
logger.info(racIn.length());//affiche 1418633216
logger.info("!!"+racIn.getFilePointer());//affiche 0
racIn.readByte();

j'ai essayé de lire par tout les moyen j'ai toujours la meme erreur.
que ce soit avec:

Code :

byte [] tab=new byte[5];
racIn.readFully(tab,0,4);

ou encore

Code :

byte [] tab=new byte[5];
racIn.readFully(tab);

rien y fait je ne comprend pas!! :cry:

souk

Tourist

t'as été voir les sources de common-VFS ? histoire de voir comment il fait pour les fichiers distants ? parce que si ca se trouve il tente de faire un gros cache local ... [:dawa]

Bidem

Citation :

file est un FileObject de l'API commons-VFS

Montre nous le code de construction de la variable file

zizou771

http://mobiles.forumpro.fr

en fait dans les sources il font un:
final InputStream instr = file.getContent().getInputStream();

pour récuperer le contenu du fichier source.
Et ca plante si le fichier est enorme!!

souk

Tourist

ton FileObject c'est quoi comme classe concrete ? (FileObject n'est qu'une interface)

zizou771

http://mobiles.forumpro.fr

sftpfileobject

souk

Tourist

ben regarde le code source de SftpFileObject et vois comment ce getContent est fait [:dawa]
comme ca tu verras ce qui merde dedans ! ou pas remarque [:joce]

Message édité par souk le 04-10-2006 à 18:17:53

benou

ben vu que ca fait un OutOfMemory c'est sûr qu'ils récupèrent le flux entier en mémoire => c'est une API de merde ...

Publicité

FORUM HardWare.fr

Programmation

Java

OutOfMemoryError avec gros fichier

Sujets relatifs
aide pour vérifier si un fichier est uploadé	[DELPHI] Comment transférer un fichier sur un site ...
[C#.NET] Afficher une zone d'un fichier PDF dans une fenetre ?	[Ksh] inverser un fichier pour le lire à l'envers
Expoter un fichier SWF en un fichier image	Comment ajouter adsense dans un fichier JS
[PHP] Afficher derniere ligne d'un fichier texte	Ecrire la valeur ascii dans un fichier
Problème d'accentuation avec un fichier XML	Parsing de fichier?
Plus de sujets relatifs à : OutOfMemoryError avec gros fichier

Page générée en 0.083 secondes