txt nach Zeilen splitten.

[Desilusionado]

Hi @ all:


Ich habe vor, folgendes Programm zu verwirklichen:


Es liegt eine txt datei vor mit sehr vielen Zeilen (in meinem fall 39,7 Mio).
Sinn des Programms soll es sein, diese Datei auf mehrere kleinere zu verteilen.


das Programm soll ungefähr so aufgebaut sein:

"Die Datei hat xy Zeilen"
"Nach welchen zeilen möchten sie die datei spltten?"

Benutzereingabe: 1 000 000

Und nun soll das programm das Txt file immer nach 1mio zeilen zerlegen... Also bei 39,7mio zeilen in 40 dateien.


Die zeilen hab ich jetz einfach mal so ermittelt:

BufferedReader br = new BufferedReader(new FileReader(datei));

 	while( (zeile = br.readLine()) != null) {
				i++;
			}
	System.out.println("Die Datei hat "+i+" Zeilen");

und die anzahl der Splits wird auch schon richtig berechnet... Nun ist die große preisfrage: Wie legt das Programm immer neue dateien an?

An sich müsste das ja mit son paar schleifen zu machn sein... Also immer schön zeilenweise nen counter um eins erhöhen und wenn die besagte splitzahl erreicht ist, muss ein gewisses event ausgelöst werden... In dem fall halt ne neue datei anlegen und darin weiterschreiben... Vom ansatz so richtig, oder hab ich schon jetzt nen denkfehler drin?^^


Hoffe auf Tipps und Hilfen


mfg

 

[The_S]

nö, kein Denkfehler.

 

[Desilusionado]

k... ich hab n problem^^


also mein code sieht jetz folgender maßen aus:

import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.BufferedWriter;
import java.io.FileWriter;



public class split {

	public static void main(String[] args) {

	try{

	String zeile;
	int zeilengesamt = 0;
	int i = 1;
	int splitline = 1000000;
	int subsplit = 1;

	File datei = new File("nohitsfile");

	BufferedReader br = new BufferedReader(new FileReader(datei));







//Start Berechnung Zeilen gesamt

 	while( (zeile = br.readLine()) != null)

 			{
				zeilengesamt++;
			}

//Ende Zeilen gesamt





	System.out.println("Die Datei hat "+i+" Zeilen");




// Start Berechnung Anzahl Splitdateien


	int splits = zeilengesamt / splitline;

	if(i % 1000000 > 0){ splits = splits + 1;}


// Ende Berechnung Anzahl Splitdateien



	System.out.println(splits +" Dateien");



		i = 1;

	BufferedReader br2 = new BufferedReader(new FileReader(datei));

		while(i != zeilengesamt)

		{


			BufferedWriter bw = new BufferedWriter(new FileWriter("split"+subsplit));


			while( i < splitline && (zeile = br2.readLine()) != null)

			{

				bw.write(zeile+"\n");
				i++;



			}

			subsplit = subsplit + 1;
			splitline = splitline + splitline;


		}




		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException x) {
			x.printStackTrace();
		}
	}

	}

In groben zügen klappt das system, so wie ich es will... aber eben nur in groben zügen^^

Ich bekomme jetz als ausgabe

eine datei "split1" die 999042 Zeilen hat... also keine ganze Million
split2 sieht auch so aus aber ab split3 haut dann garnix mehr hin...

split3 hat 1,9mio zeilen... und split4-7 toppen sich gegenseitig in der zeilenanzahl. Nachdem split7 fertig ist, ackert der rechner ne ganze weile und spuckt mir dann auf einmal 42.000 leere dateien aus, die da heissen split000, split010 und dann bis hin zu split42393...


Ich hab keine ahnung, wo der fehler liegt^^


PLS Help!

 

[The_S]

Warum splitline + 1? Irgendwie läuft da gewaltig was falsch. Am besten löschen, nochmal drüber nachdenken, neu machen .

 

[madboy]

ohne jetzt eine Lösung zu haben, aber du testest mit knapp VIER MILLIONEN Zeilen? :shock:
Nimm zum Testen lieber Dateien mit insgesamt 10-100 Zeilen...

 

[SlaterB]

....

testen..

nimm eine Datei mit 4 Zeilen und splitte die in 4/ 3/ 2/ 1 Dateien..

 

[Desilusionado]

Warum splitline + 1?

Zur erklärung:

bei Zeile 91:

subsplit = subsplit + 1;
splitline = splitline + splitline;

subsplit +1 erhöht den index der datei für den FileWriter um 1... also dass er dann halt anfängt in split2, split3, usw. zu schreiben...


splitline+splitline macht dann aus der 1mio vom anfang 2mio... weil er ja in die datei split2 schreiben soll, bis i dann quasi 2mio sind. In die split3 bis i=3mio, usw...




Aber warum funzt es in den ersten 2 split-dateien und danach nich mehr?^^

 

[Desilusionado]

k... jetz gehts... Hab mal die abbruchbedingung für die schleife geändert...

import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.BufferedWriter;
import java.io.FileWriter;



public class split {

	public static void main(String[] args) {

	try{

	String zeile;
	int zeilengesamt = 0;
	int i = 1;
	int splitline = 1000000;
	int subsplit = 1;

	File datei = new File("nohitsfile");

	BufferedReader br = new BufferedReader(new FileReader(datei));







//Start Berechnung Zeilen gesamt

 	while( (zeile = br.readLine()) != null)

 			{
				zeilengesamt++;
			}

//Ende Zeilen gesamt





	System.out.println("Die Datei hat "+i+" Zeilen");




// Start Berechnung Anzahl Splitdateien


	int splits = zeilengesamt / splitline;

	if(i % 1000000 > 0){ splits = splits + 1;}


// Ende Berechnung Anzahl Splitdateien



	System.out.println(splits +" Dateien");



		i = 1;

	BufferedReader br2 = new BufferedReader(new FileReader(datei));

		while(subsplit <= splits)

		{


			BufferedWriter bw = new BufferedWriter(new FileWriter("split"+subsplit));


			while( i < splitline && (zeile = br2.readLine()) != null)

			{

				bw.write(zeile+"\n");
				i++;



			}

			i=1;
			subsplit = subsplit + 1;


		}




		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException x) {
			x.printStackTrace();
		}
	}

	}

 

[Leroy42]

splitline = splitline + splitline;

Du verdoppelst ja bei jedem (Datei-)Durchlauf den Wert
von splitline.
Warum das denn? :shock:

 

[Desilusionado]

verdammt stimmt^^

Ich wollt ja immer nur ne million drauf haben... dann is klar, warum das nur bei den ersten 2 files geklappt hat...

Naja... hab jetz einfach i zurückgesetzt und lass es neu bis 1mio hochzählen...

Jetz funzts...