mehrer Textdateien Inhalte in eine TXT Datei

[fantrixx]

Hi all,

also mein Ziel ist es hundert .txt Dateien mit 20000 Messergebnissen in eine txt Datei zusammen zu fassen.
Das heißt also 100 * 20000 Messergebnisse.
Eine Messergebniss Datei sieht so in etwa aus:

01.12.2005	12:43:38	20000	20000
9,86938477
9,99755859
10,49530029
10,67474365
10,06805420
9,89929199
9,94201660
9,85870361
9,99755859
10,08941650
.......
.....
...

und immer so weiter....

Also ich habe da auch schon angefangen ABER das lesen einer Datei dauert schon richtig lange so um die 3 - 4 min. für eine Datei und ich weiss Leider noch keinen anderen Ansatz dafür ?

public class Main {

	private int anzahlDateien = 1;
	private String readPath = "C:\\Dokumente und Einstellungen\\timur\\Desktop\\TC\\TC\\A\\Messung0.txt";
	private String writePath;
	private String name;
	RandomAccessFile f1;
	private String[] gesamtText = new String[100];
	private String loadLine;
	
    public Main() {
    	cutOut();	
    	write();
    }
    
    //schneidet die Texte aus dem einzelnen TXT dateien raus und speichert es in einen String Array
    public void cutOut() {
    	for(int i = 0; i <= anzahlDateien; i++) {
    		System.out.println("Anfang der "+i+" Datei zu lesen");
    		
    		// Hier den Pfad der zu lesenen Dateien angeben
    		readPath = "C:\\Dokumente und Einstellungen\\timur\\Desktop\\TC\\TC\\A\\Messung"+ i +".txt";
    		try {
    			f1 = new RandomAccessFile(readPath, "rw");
    			while((loadLine = f1.readLine())!= null) {
                             gesamtText[i] += loadLine + "\n";
                             
            }
    		} catch(Exception ex) { System.out.println(ex); };
    		System.out.println("Fertig mit der "+i+" Datei LESEN");
    	}
    	//System.out.println(gesamtText[0]);		
    }
    
    //schreibt die einzelnen Texte aus dem String Array in eine Datei
    public void write() {
    	
    	//hier den Pfad der zusammen hängenen schreiben Dateien angeben
    	writePath = "C:\\Dokumente und Einstellungen\\timur\\Desktop\\TC\\a.txt";
    	try{
    		f1 = new RandomAccessFile(writePath, "rw");
    	}catch(Exception ex) { System.out.println(ex); }
    	
    	for(int i = 0; i <= anzahlDateien; i++) {
    		System.out.println("Anfang der "+i+" Datei zu schreiben");
    		try {
    			
    			f1.writeBytes(gesamtText[i]);
    			//f1.close();
    		} catch(Exception ex) { System.out.println(ex); }
    		System.out.println("Fertig mit der"+i+" Datei SCHREIBEN");
    	}
    }
}

Ich hoffe ihr könnt mir eine andere Lösung vorschlagen ?

Danke

 

[The_S]

Wie groß ist denn so eine Datei?

 

[SlaterB]

statt
while((loadLine = f1.readLine())!= null) {
gesamtText += loadLine + "\n";

}
probiere mal
while((loadLine = f1.readLine())!= null) {
}

das geht hoffentlich deutlich schneller, das ist schon eine recht ordentliche lese-Operation,
noch schneller wäre, in einem Schritt ein byte[1000] oder evtl. char[1000] zu lesen falls das geht,
zumindest beim byte[] würdest du dich aber wohl von der Stringverarbeitung entfernen

wenn du beim Zeilen-Lesen bleibts, probiere auch mal BufferedReader
--------

ganz bös ist auf jeden Fall
gesamtText += loadLine + "\n";
da werden ständig neue sehr große Strings erzeugt,

verwende StringBuilder oder in 1.4 StringBuffer

 

[fantrixx]

Nicht so sonderlich groß bei 20000 Messergebnissen ist jede Datei 254 KB groß/klein.

 

[SlaterB]

falls übersehen: mein Post vor deinem,

und noch ein Hinweis für StringBuider/ Buffer:
am besten gleich die benötigte Initialgröße angeben, 254*1024 oder so?
evtl. eine Datei einlesen und String-Länge anschauen

 

[The_S]

Schau mal ob das schneller ist (nicht getestet)

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.channels.FileChannel;

public class FastCopy {

	public static void main(String[] args) throws IOException {
		
		if (args.length < 2) {
			System.out.println("Zuerst die Zieldatei, anschliessend alle zu kopierenden Daten eingeben");
		}
		else {
			FileOutputStream fos = new FileOutputStream(new File(args[0]), true);
			FileChannel out = fos.getChannel();
			for (String str : args) {
				File f = new File(str);
				new FileInputStream(f).getChannel().transferTo(0, f.length(), out);
			}
			out.close();
			fos.close();
		}
	}
}

 

[fantrixx]

statt
while((loadLine = f1.readLine())!= null) {
gesamtText += loadLine + "\n";

}
probiere mal
while((loadLine = f1.readLine())!= null) {
}

Moment mal die schleifen sind beide gleich oder was meinst du ?

Zu StringBuilder: Also wie ich es verstanden habe ist der Vorteil hierbei das man die größe des Array Strings vorher angibt und daruch wohl den Rechner einiges an Arbeit weg nimmt oder ?

Also cih werde mir mal gleich den StringBuilder anschauen und verscuhen zu verstehen.

 

[SlaterB]

> die schleifen sind beide gleich oder was meinst du?
ne, sind nicht gleich,
einmal werden die bösen Strings erzeugt und einmal nicht

StringBuider verwendet intern wohl char[], aber hast weitgehend recht

solch schicken Sachen wie FileChannel (siehe vorheriges Post) kenne ich nicht,
ist vielleicht viel komfortabler

 

[The_S]

solch schicken Sachen wie FileChannel (siehe vorheriges Post) kenne ich nicht,
ist vielleicht viel komfortabler

Ich hab damit mal testweise 4 Dateien mit insgesamt 603 MB zusammengefügt ... ich muss sagen, das Ergebnis von 52469 Millisekunden beeindruckt mich im Vergleich dazu, dass du, um eine Textdatei mit einigen KB auszulesen, mehrere Minuten benötigst

Wenn du einen Zeilenumbruch oder sonstige Trennzeichen zwischen den einzelnen Dateien in deinem neuen File haben möchtest, kannst du diese einfach nach jedem

new FileInputStream(f).getChannel().transferTo(0, f.length(), out);

via

fos.write(' ');

einfügen.

 

[fantrixx]

@Hobbit

Also ich steige durch das programm oben FastCopy nicht ganz durch. Kansst du mir das mal erklären was der da macht ?

erstmal die for-schleife

for (String str : args) {
            File f = new File(str);
            new FileInputStream(f).getChannel().transferTo(0, f.length(), out);
}

was ist den die Bedingung da oben in der Schleife ?

Ich wollte das eigentlich so haben das ich in zwei String erstmal angebe was die Ziel Datei und die zu kopierende Datei ist.
Ich werde es mal versuchen deinen Code bischen umzuändern.

 

[fantrixx]

So ich habe es an meine Bedürfnisse angepasst und das Programm läuft Super Schnell danke

hier nochmal den veränderte Code:

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.channels.FileChannel;

public class FastCopy {
   public String[] readPath = new String[100];
   public String savePath = "C:\\Dokumente und Einstellungen\\timur\\Desktop\\TC\\a.txt";
      
   public FastCopy() {
      copy();
   }
   
   public void copy() {
      for(int i = 0; i <= 5; i++) {
            readPath[i] = "C:\\Dokumente und Einstellungen\\timur\\Desktop\\TC\\TC\\A\\Messung"+i+".txt";
            System.out.println(readPath[i]);
      }
      
      try {
      	System.out.println("Start mit dem Lesen");
      	FileOutputStream fos = new FileOutputStream(new File(savePath), true);
      	FileChannel out = fos.getChannel();
      	for (String str : readPath) {
      		File f = new File(str);
      		new FileInputStream(f).getChannel().transferTo(0, f.length(), out);
     	}
      	out.close();
      	fos.close();
      } catch(Exception ex) { System.out.println(ex); }
   }
   
   public static void main(String[] args) {
   		new FastCopy();
   }
   
   
}

 

[The_S]

Gut, besteht immernoch Erklärungsbedarf für das Programm, oder hat sich das jetzt erledigt?

 

[fantrixx]

Klingt zwar komisch, aber ich habe immer noch nicht die Bedingung in der For-schleifen verstanden also im meinem Falle:

for (String str : readPath) {
            File f = new File(str);
            new FileInputStream(f).getChannel().transferTo(0, f.length(), out);
}

 

[The_S]

Das ist eine For-Each Schleife (gibts ab Java 5). Damit wird jedes Element im Array "readPath" durchgegangen, und für jeden Schleifendurchgang das aktuelle Element in der Variablen "str" gespeichert.

 

[fantrixx]

Achso okay verstanden, kein wunder das ich das nicht kannte ist ja aus Java 5 mit der Version hänge ich bischen zurück.

 

[fantrixx]

So ich habe mich nun entschloßen die Struktur der Datei ein bischen zu ändern:

Das jetzige Programm schreibt die Werte aus vielen einzelnen Dateien so in eine Textdatei:

Messung1
10.000001
10.000002
10.000003
.
.
.
Messung2
10.000001
10.000002
10.000003
.
.
.

Also untereinander

jetz möchte ich gerne das die Messungen neben einander stehen:

Messung1   Messung2
10.000001  10.000001 
10.000002  10.000002
10.000003  10.000003
.                .
.                .
.                .

Nur weiss ich jetzt nicht wo ich im Code das so verändern sollte ? Sollte ich als trennzeichen Sodnezeichen nehmen oder es bei einem Leerzeichen beibehalten ?

Hier der jetzige Code:

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.channels.FileChannel;

public class FastCopy {
   public String[] readPath = new String[100];
   public String savePath = "C:\\Dokumente und Einstellungen\\timur\\Desktop\\TC\\a.txt";
   public int numberData = 99;
      
   public FastCopy() {
      copy();
   }
   
   public void copy() {
      for(int i = 0; i <= numberData; i++) {
            readPath[i] = "C:\\Dokumente und Einstellungen\\timur\\Desktop\\TC\\TC\\A\\Messung"+i+".txt";
            System.out.println(readPath[i]);
      }
      
      try {
      	System.out.println("START mit dem Lesen");
      	FileOutputStream fos = new FileOutputStream(new File(savePath), true);
      	FileChannel out = fos.getChannel();
      	for (String str : readPath) {
      		File f = new File(str);
      		new FileInputStream(f).getChannel().transferTo(0, f.length(), out);
     	}
      	out.close();
      	fos.close();
      } catch(Exception ex) { System.out.println(ex); }
      System.out.println("ENDE mit dem Lesen");
   }
   
   public static void main(String[] args) {
   		new FastCopy();
   }
}

 

[SlaterB]

> Sollte ich als trennzeichen Sodnezeichen nehmen oder es bei einem Leerzeichen beibehalten ?

inhaltliche Fragen sind ja etwas merkwürdig..,
ein Sonderzeichen ist später besser zu finden als ein Leerzeichen,
wenn du aber nur Inhalte wie '10.000001' ohne eigenes Leerzeichen hast,
dann ist das Leerzeichen ja praktisch ein Sonderzeichen..

musst du selber wissen

------

dass du hier mit FileChannel weiterkommst bezweifle ich, weiß ich aber nicht,
der klassische Weg sieht wiederum das Einlesen der Datei vor,

etwas komfortabler aber langsamer aber dennoch ganz ordentlich:
BufferedReader und Strings, zeilenweises einlesen,
hauptsache StringBuilder um die Strings zusammenzuketten statt +,

könntest natürlich auch immer nur jeweils eine Zeile einlesen und gleich rausschreiben,
dann musst du dir gar nix merken,


etwas schneller noch: Dateiinhalte als char-Array oder byte-Array im großen Stil einlesen (1000+-Array) und dann geschickt zusammenschnipseln,
(nach Zeilenumbrüchen suchen, aus Array A Zeichen 6 bis 29 nach Array B kopieren usw.)

alles was man an Objektorientierung und Übersichtlichkeit verliert,
gewinnt man an Speed