replaceAll bei sehr großen String

[keksen]

Hi,

ich hab folgendes Problem. Ich speicher mir den Inhalt einer Datei in einen String. Dabei ist die Datei mehrere MB groß. Nun möchte ich verschiedene Zeichen in diesem String ersetzen wie zb.: newlines, tabs oder Sonderzeichen.
Mit den Sonderzeichen und den tabs funktioniert es auch einwandfrei, aber wenn ich mit der Funktion replaceAll die newlines ersetzten will, bekomme ich folgende Fehlermeldung:

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:2882)
at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:100)
at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:390)
at java.lang.StringBuffer.append(StringBuffer.java:224)
at java.util.regex.Matcher.appendReplacement(Matcher.java:748)
at java.util.regex.Matcher.replaceAll(Matcher.java:813)
at java.lang.String.replaceAll(String.java:2189)
at FileTester.main(FileTester.java:45)

Die Funktion rufe ich wie folgt auf:

summary = summary.replaceAll("\n", " ");

Bei kleineren Strings funktioniert es aber. Gibt es eine andere Möglichkeit alle newlines zu ersetzten, oder soll ich mir den String ich kleinere String zerlegen und auf diese dann die Funktion anwenden.

 

[Marco13]

Wie man am Stacktrace sieht, verwendet replaceAll intern Regular Expressions. Die sind zwar praktisch, können aber schrecklich ineffizient sein (sowohl bezüglich performance als auch bezüglich Speicherverbrauch). Eine brute-force-Lösung könnte sowas wie

StringBuilder sb = new StringBuilder();
for (int i=0; i<input.length(); i++)
{
    char c = input.charAt(i);
    if (c == '\n') sb.append(' ');
    else sb.append(c);
}

könnte das Speicherproblem lösen. Vielleicht (!) wäre es effzienter, mit string.indexOf('\n') die Stellen zu suchen, und die übrigen Stellen "blockweise" anzuhängen, aber es kann auch sein, dass das keinen großen Unterschied macht...

 

[bygones]

wie liest du die Datei ein ?
da du dort ja auch denk ich mal "blockweise" liest kannst du ja schon auf den Blöcken dein replace machen ?!

 

[keksen]

Ich benutzte Tika zum einlesen der Dateien. Damit ist es mir möglich verschiedene Dateiformate einzulesen. Von Tika bekomme ich dann den Inhalt der Datei, daher ist es nicht möglich beim einlesen den String schon zu bearbeiten.

FileSystemManager mgr = VFS.getManager();
String url = "/home/gast/Dokumente/Lucene/Search/groß/text.txt";
FileObject file = mgr.resolveFile(url);
input = file.getContent().getInputStream();

ContentHandler textHandler = new BodyContentHandler(-1);
Metadata metadata = new Metadata();
AutoDetectParser parser = new AutoDetectParser();
parser.parse(input, textHandler, metadata, new ParseContext());

String summary = textHandler.toString();
summary = summary.replaceAll("\n", " ");

Der Ansatz von Marco13 scheint schonmal zu funktionieren. Danke.