Datei mit 2 Spalten und millionen Zeilen

[Ironcurtain]

Hallo Leute der Titel ist vielleicht nicht sehr schön aber mir ist nichts besseres eingefallen

ich habe eine Datei vorliegen mit folgendem Inhalt:

	1.0	999.7
	2.0	999.7
	2.0	977.4
	3.0	977.4
	3.0	902.3
	3.0	902.3
	4.0	775.3
         ...

Wie man sieht ist die linke Spalte bereits sortiert. Ich bräuchte jetzt eine Jave Programm, dass diese Datei durchgeht und wenn ein Wert in der linken Zeile doppelt oder auch mehrfach vorkommt soll er aus den zugehörigen Werte in der rechten Spalte den Mittelwert bilden und am besten das Ergebnis auch schon mal auf bzw. abrunden. Als Beispiel für den oberen Ausschnitt müsste das Programm dann folgendes in eine neue Datei schreiben:

	1	1000
	2	989
	3	927
	4	775
         ...

Wie löst man sowas am besten? Ich hatte mir schon gedacht, die erste Spalte in ein Array zu schreiben und die 2te Spalte in ein anderes Array. Aber es können durchaus mehrere millionen Zeilen zusammenkommen und ich hab keine Ahnung, ob dann so ein Array vielleicht an seine Grenzen stößt.

Ich hoffe ihr könnt mir weiterhelfen.

Mfg Ironcurtain

 

[Ruzmanz]

- Zeilenweise einlesen
- Wert aus der zweiten Spalte addieren, sofern sich die erste Spalte nicht geändert hat.
- Hat sich der Wert aus der ersten Spalte geändert, dann durch die Anzahl der erhaltenen Werte teilen und diesen in eine neue Textdatei schreiben.

So ungefähr, würde das in Java aussehen:

double oldKey = 1.0;
double sumValues = 0;
int countValues = 1;

while(reader.hasNextRow()) {
  double newKey = reader.getKey();
  double newValue =  reader.getValue();

  if(oldKey  == newKey ) {
     sumValues += newValue;
     countValues++;
  } else {
    System.out.println(oldKey + "\t" + (sumValues/countValues));
    oldKey = newKey;
    sumValues = newValue;
   countValues = 1;
  }
}

Bei primitiven Typen kannst du den benötigten RAM ungefähr ausrechnen. Doubles sind 64 Bit groß und dann mit der Anzahl der benötigten Plätze multiplizieren.

 

[turtle]

Nein, ich würde mir eine Datenstruktur bauen, die alle Daten in einem Objekt zusammenhält. Ich mag es nicht, wenn mehrere Arrays zusamen funktionieren, weil die Werte am selben Index "kleben".

Ich glaube, dass du eine Map von Double-Werten zu einer Liste von double-Werten benötigst.
Dann kannst du alle Werte zu einer Zahl (der Key) in einer Liste halten und einfach Durchschnitt oder anderes berechnen, indem du über die Liste iterierst.

Wenn da wirklich mehrere Millionen Datensätze kommen, ist es eine Frage des Speichers der JVM und/oder was du anschliessend mit der Ausgabe machst. Jedenfalls ist Java locker in der Lage Map/Listen/Arrays mit mehreren Millionen Einträgen zu verkraften.
Ich habe mal ein kleines Beispiel zu deinen Daten geschrieben und gibt als Ausgabe:
3.0:927
2.0:1000
1.0:1000
4.0:775

Das Einlesen der Daten aus einer Datei überlasse ich dem Leser zur Übung

import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import java.util.Set;

public class Test {
	Map<Double, List<Double>> map = null;

	public Test() {
		map = new HashMap<>();
		putElement(1.0, 999.7);
		putElement(2.0, 999.7);
		putElement(2.0, 999.7);
		putElement(3.0, 977.4);
		putElement(3.0, 902.3);
		putElement(3.0, 902.3);
		putElement(4.0, 775.3);
	}

	private void putElement(double key, double value) {
		List<Double> list = map.get(key);
		if (list == null) {
			list = new ArrayList<>();
			map.put(key, list);
		}
		list.add(value);
	}

	public static void main(String[] args) {
		Test test = new Test();
		test.ausgabe();
	}

	private void ausgabe() {
		Set<Entry<Double, List<Double>>> entrySet = map.entrySet();
		for (Entry<Double, List<Double>> entry : entrySet) {
			List<Double> list = entry.getValue();
			double summe = 0;
			for (Double double1 : list) {
				summe += double1;
			}
			double durchschnitt = summe / list.size();
			DecimalFormat decimalFormat = new DecimalFormat("#0");
			System.out.println(entry.getKey() + ":"
					+ decimalFormat.format(durchschnitt));
		}
	}
}

 

[Ironcurtain]

Vielen Dank für eure Antworten.

@turtle ist da absichtlich ein Fehler eingebaut? Ich habe deinen Code gerade rüberkopiert und wollte ihn testweise mal starten und in Zeile 13 kommt:

Test.java:13: illegal start of type
map= new HashMap<">"();



Test.java:26: illegal start of type
map= new ArrayList<">"();


Stelle die ihm nicht gefällt ist mit " " deklariert.


Mfg Ironcurtain

 

[Ruzmanz]

Das ist ein Diamantoperator, der seit Java 7 zur Verfügung steht. In den spitzen Klammern musst du die Datentypen eintragen, damit der Code bei dir läuft.

 

[turtle]

Mein Code ist Java 7, daher weiss der Compiler (Java-7) aus der z.B. Deklaration Map<Double, List<Double>> bereits welche Datentypen gemeint ist, wenn er das Objekt instanzieren möchte bei map = new HashMap<>();

 

[Ironcurtain]

Ich versuche gerade das einlesen von der Datei hinzubekommen aber irgendwie will das nicht funktionieren. So sieht es bei mir aus:

 import java.io.*; 
    import java.text.DecimalFormat;
    import java.util.ArrayList;
    import java.util.HashMap;
    import java.util.List;
    import java.util.Map;
    import java.util.Map.Entry;
    import java.util.Set;
     
    public class Test {
        Map<Double, List<Double>> map = null;
        static int lineNum=0;
     
        public Test() {
            map = new HashMap();
            try{
              FileInputStream fstream = new FileInputStream("sortiert.txt"); 
              DataInputStream in = new DataInputStream(fstream); 
              BufferedReader br = new BufferedReader(new InputStreamReader(in)); 
              String strLine; 
              lineNum=0;
              while ((strLine = br.readLine()) != null) { 
                putElement(in.readLine());
                lineNum++;   
              }
            } 
        catch(Exception e){
          System.out.println("Fehler!");
          }
        }
     
        private void putElement(double key, double value) {
            List<Double> list = map.get(key);
            if (list == null) {
                list = new ArrayList();
                map.put(key, list);
            }
            list.add(value);
        }
     
        public static void main(String[] args) {
            Test test = new Test();
            test.ausgabe();
        }
     
        private void ausgabe() {
            Set<Entry<Double, List<Double>>> entrySet = map.entrySet();
            for (Entry<Double, List<Double>> entry : entrySet) {
                List<Double> list = entry.getValue();
                double summe = 0;
                for (Double double1 : list) {
                    summe += double1;
                }
                double durchschnitt = summe / list.size();
                DecimalFormat decimalFormat = new DecimalFormat("#0");
                System.out.println(decimalFormat.format(entry.getKey()) + "\t"
                        + decimalFormat.format(durchschnitt));
            }
        }
    }

Der meckert bei der Zeile: "putElement(in.readline());"

 

[BuddaKaeks]

Ja, putElement möchte zwei double-Werte, du gibst ihm aber einen String!

Und verwende das nächste mal die

-Tags anstelle der [code]-Tags

Edit: Ok hast du schön geändert :)

 

[turtle]

Wie BuddaKeks, wieder schneller als ich;(, richtig bemerkte, nimmt die Routine putElement zwei double-Werte als Parameter.

Also musst du die gelesene Zeile, wenn da zwei Werte, getrennt durch Leerzeichen, stehen, parsen, in double-Werte konvertieren und an putElement durchreichen:

			NumberFormat numberFormat = NumberFormat.getInstance(Locale.US);
				String[] strings = strLine.split(" ");
				Number key = numberFormat.parse(strings[0]);
				Number value = numberFormat.parse(strings[1]);
				putElement(key.doubleValue(), value.doubleValue());

 

[Ironcurtain]

Meiner Meinung nach jetzt zu double umgewandelt aber es funktioniert immernoch nicht.

    import java.io.*; 
    import java.text.DecimalFormat;
    import java.util.ArrayList;
    import java.util.HashMap;
    import java.util.List;
    import java.util.Map;
    import java.util.Map.Entry;
    import java.util.Set;
    import java.text.NumberFormat;
    import java.util.Locale;
     
    public class Test {
        Map<Double, List<Double>> map = null;
        //static int lineNum=0;
     
        public Test() throws Exception {
          map = new HashMap();
          try {
          FileInputStream fstream = new FileInputStream("sortiert.txt"); 
          DataInputStream in = new DataInputStream(fstream); 
          BufferedReader br = new BufferedReader(new InputStreamReader(in)); 
		      String zeile = null;                
        
          //Bis Ende auslesen 
          for (int i=0;i<=24000;i++){
            zeile=in.readLine();
        NumberFormat numberFormat = NumberFormat.getInstance();    
			  String[] results=zeile.split(" * ");
        Number key = numberFormat.parse(results[1]);
        Number value = numberFormat.parse(results[2]);
        putElement(key.doubleValue(), value.doubleValue());
        }
	   	}
	   catch (IOException e) {
	   	e.printStackTrace();
	   }
          }
     
        private void putElement(double key, double value) {
            List<Double> list = map.get(key);
            if (list == null) {
                list = new ArrayList();
                map.put(key, list);
            }
            list.add(value);
        }
     
        public static void main(String[] args) throws Exception  {
            Test test = new Test();
            test.ausgabe();
        }
     
        private void ausgabe() {
            Set<Entry<Double, List<Double>>> entrySet = map.entrySet();
            for (Entry<Double, List<Double>> entry : entrySet) {
                List<Double> list = entry.getValue();
                double summe = 0;
                for (Double double1 : list) {
                    summe += double1;
                }
                double durchschnitt = summe / list.size();
                DecimalFormat decimalFormat = new DecimalFormat("#0");
                System.out.println(decimalFormat.format(entry.getKey()) + "\t"
                        + decimalFormat.format(durchschnitt));
            }
        }
    }

Jetzt kommt die Fehlermeldung: Test.java uses or overrides a deprecated API

 

[BuddaKaeks]

die ganze Fehlermeldung mit Stacktrace bitte

 

[BuddaKaeks]

OK, recherche ergab:

Dein Compiler hat diese Flagg aktiviert: error, if using deprecatet methods or classes.

wenn du eclipse verwenest, kannst du das unter Window->Preferences->Java->Compiler->Errors and Warnings abschalten

 

[Ironcurtain]

Habe mir gerade Eclipse installiert aber dort geht es auch nicht. Die Fehlermeldung lautet:

Exception in thread "main" java.text.ParseException: Unparseable number: " 1.0 999.7"
at java.text.NumberFormat.parse(Unknown Source)
at Test.<init>(Test.java:28)
at Test.main(Test.java:48)


Er fängt also irgendwie an, macht aber nicht weiter...

 

[turtle]

zeile.split(" * ");

Also müssen danach die Zahlen in einer Zeile durch * getrennt sein. Kontrollier dies mal bitte.
Desweiteren hatte ich bei mir als Zahl 999.75 stehen. das fürtr aber zu Problemen bei deutscher Locale, da darin eigentlich 999,75 stehen müsste. Daher wurde bei mir Numberformat für eine amerikanische Locale verwendet.

 

[ARadauer]

Exception in thread "main" java.text.ParseException: Unparseable number: " 1.0 999.7"

Relativ klar oder? " 1.0 999.7" ist keine zahl...

 

[Ironcurtain]

Ich hab das jetzt soweit, dass er die Datei einliest und etwas ausgibt. Aber die Werte passen leider überhaupt nicht.

    import java.io.*; 
    import java.text.DecimalFormat;
    import java.util.ArrayList;
    import java.util.HashMap;
    import java.util.List;
    import java.util.Map;
    import java.util.Map.Entry;
    import java.util.Set;
    import java.text.NumberFormat;
    import java.util.Locale;
     
    public class Test {
        Map<Double, List<Double>> map = null;
        //static int lineNum=0;
     
        public Test() throws Exception {
          map = new HashMap();
          try {
          FileInputStream fstream = new FileInputStream("sortiert.txt"); 
          DataInputStream in = new DataInputStream(fstream); 
          BufferedReader br = new BufferedReader(new InputStreamReader(in)); 
		      String strLine;              

          //Bis Ende auslesen 
          while ((strLine = br.readLine()) != null) {
            NumberFormat numberFormat = NumberFormat.getInstance();    
			      String[] results=strLine.split(" ");
            Number key = numberFormat.parse(results[1]);
            Number value = numberFormat.parse(results[2]);
            putElement(key.doubleValue(), value.doubleValue());
            }
	   	   }
	   catch (IOException e) {
	   	e.printStackTrace();
	   }
          }
     
        private void putElement(double key, double value) {
            List<Double> list = map.get(key);
            if (list == null) {
                list = new ArrayList();
                map.put(key, list);
            }
            list.add(value);
        }
     
        public static void main(String[] args) throws Exception  {
            Test test = new Test();
            test.ausgabe();
        }
     
        private void ausgabe() {
            Set<Entry<Double, List<Double>>> entrySet = map.entrySet();
            for (Entry<Double, List<Double>> entry : entrySet) {
                List<Double> list = entry.getValue();
                double summe = 0;
                for (Double double1 : list) {
                    summe += double1;
                }
                double durchschnitt = summe / list.size();
                //DecimalFormat decimalFormat = new DecimalFormat("#0");
                System.out.println(entry.getKey() + "\t"
                        + durchschnitt);
            }
        }
    }

Das wird eingelesen:

 1 999.7
 2 999.7
 2 977.4
 10 47.7
 10 5.764
 11 5.764
 12 999.7
 337 861.6
 337 1230.0
 337 1098.0
 2630 30995.0
 2630 32945.0
 2630 32960.0
 3926 43364.0
 3926 67660.0
 3927 67660.0

Und das wird ausgegeben:

2630.0  323000.0
337.0   10632.0
12.0    9997.0
11.0    5764.0
2.0     9885.5
1.0     9997.0
10.0    3120.5
3926.0  555120.0
3927.0  676600.0

Also irgendwie passt das mit der Durchschnittberechnung nicht und wie der bei der 10 auf die 3120.5 kommt ist mir völlig unklar.

EDIT: Ich hab den Fehler gefunden. Er sieht den "." nicht als Komma. Jetzt scheint es zu funktionieren :idea:

 

[Ironcurtain]

Hallo Leute,

ich habe wieder ein Problem. Mir liegen jetzt 2 Textdateien vor "sortiert.txt" und "ergebnis.txt". Ausschnittsweise sieht das so aus:

ergebnis.txt

 1 100
 2 25 
 3 75 
 4 12 
 5 100

sortiert.txt
 1 999,7
 2 988,6
 3 939,8
 4 838,8
 5 695,2

Ich möchte jetzt im Prinzip zeilenweise in beiden dateien einlesen, in jeder zeile den Wert in der 2ten Spalte miteinander verrechnen und das Ergebnis in die "temp.txt" schreiben.

Mein Code dafür sieht so aus:

import java.io.*; 


public class Test { 

    public static void main(String args[]) throws Exception {
        int sigma_ref=67500;                                                      
        int s=1;                                                                            
        int Iterationen=1;                                                       
        int count=0;
        double temp_old;                                                         
        double sigma;
        double temp_neu;
        
        try{
          BufferedReader in_sortiert = new BufferedReader(new FileReader("sortiert.txt"));
          BufferedReader in_ergebnis = new BufferedReader(new FileReader("ergebnis.txt"));
          FileWriter leer = new FileWriter ("temp.txt", false);
          String zeile_sortiert=null;
          String zeile_ergebnis=null;
          for (int i=1;i<=14;i++)
          {
          zeile_sortiert=in_sortiert.readLine();
          zeile_ergebnis=in_ergebnis.readLine();
			    String[] results_sortiert=zeile_sortiert.split(" ");
          String[] results_ergebnis=zeile_ergebnis.split(" ");
          sigma= Double.parseDouble(results_sortiert[2]);
          temp_old= Double.parseDouble(results_ergebnis[2]);
          temp_neu=temp_old+s*(sigma-sigma_ref);
          try{
            FileWriter writer = new FileWriter ("temp.txt", true);
            BufferedWriter buffer = new BufferedWriter(writer);
            buffer.write(count+", "+temp_neu);
            buffer.newLine();                                                       
            buffer.close();            
          }
          catch(Exception e){
          System.out.println("Fehler!");
          }
          }
          }
          catch(Exception e){
          System.out.println("Fehler!");
      }
	  } 
}

Der Compiler selbr spuckt keinen Fehler aus, in der Ausgabe wird nur 1mal die Meldung "Fehler ausgespuckt" und die temp.txt bleibt leer.


Mfg Ironcurtain

 

[turtle]

Also, ich bin ja gerne bereits zu helfen, aber...

Ich erwarte von meinem Gegenüber auch immer etwas Engagement, um ein Problem zu lösen. Nur zu sagen, es funzt nicht, reicht da bei Weitem nicht

Was spricht denn dagegen, in das Programm mehrer System.out.println()'s einzubauen und zu schauen, welche Werte da benutzt werden. Somit solltest du in der Lage sein, das Problem einzukreisen.

Als Hilfe gebe ich zu Protokoll, das mir Zeilen wie

for (int i=1;i<=14;i++)

SEHR suspekt vorkommen.

Und Zeilen, wie

  System.out.println("Fehler!");

macht man NIE NICHT. Das da eine Exception gekommen ist, sehe ich, aber was der Fehler ist, sehen wir nicht:noe:
Eigentlich macht man da immer ein Logging/Ausgabe
[EDIT]e.printStackTrace();[/EDIT]

 

[Ironcurtain]

Hallo ich möchte diese Problemstellung nochmal aufgreifen. Mein Programm funktioniert soweit, allerdings werden die Dateien ständig von einer .txt Datei in die nächste geschrieben und das kostet sehr viel Zeit. Ich versuche nun das ganze zu beschleunigen und bei mir sieht es zur Zeit so aus:

import java.io.*;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.Random;
import java.util.Scanner;
import java.text.DecimalFormat;
import java.util.HashMap;
import java.util.TreeMap;
import java.util.Map;
import java.util.Map.Entry;
import java.util.Set;
import java.text.NumberFormat;
import java.util.Locale;
import java.text.DecimalFormatSymbols;
import java.text.ParseException;
/**
 *
 * @author DyckE
 */
public class Main {
    Map<Double, List<Double>> map = null;

    public Main() throws Exception {
        map = new TreeMap<Double, List<Double>>();
        int skipLines=616840;
        try {
            FileInputStream fstream = new FileInputStream("Step1.dat");
            DataInputStream in = new DataInputStream(fstream);
            BufferedReader br = new BufferedReader(new InputStreamReader(in));
            String strLine;

            for (int i=0;i<=skipLines;i++){
                br.readLine();
            }

            //Bis Ende auslesen
            while ((strLine = br.readLine()) != null) {
                NumberFormat numberFormat = NumberFormat.getInstance();
                String[] results = strLine.split(" * ");
                Number key = numberFormat.parse(results[2]);
                Number value = Double.parseDouble(results[3]);
                //System.out.println("Knoten: "+key+"Summe:"+value);
                putElement(key.doubleValue(), value.doubleValue());
                //System.out.println("Test 123"+results[2]);
            }
            in.close();
            br.close();
        } catch (ArrayIndexOutOfBoundsException ex) {
            //System.out.println("Fehler");
        }
    }

     private void putElement(double key, double value) {
        List<Double> list = map.get(key);
        if (list == null) {
            list = new ArrayList();
            map.put(key, list);
        }
        list.add(value);
    }

     public static void main(String[] args) throws Exception {
        Main test = new Main();
        test.ausgabe();
    }

     private void ausgabe() {
        Set<Entry<Double, List<Double>>> entrySet = map.entrySet();
        for (Entry<Double, List<Double>> entry : entrySet) {
            List<Double> list = entry.getValue();
            double summe = 0;
            for (Double double1 : list) {
                summe += double1;
            }
            double durchschnitt = summe / list.size();
            DecimalFormat decimalFormat = new DecimalFormat("#0");
            System.out.println(entry.getKey() + ":"                    + decimalFormat.format(durchschnitt));
        }
    }
}

Bei diesem Beispiel wird allerdings nur eine Datei verarbeitet "Step1.dat" und als Ergebnis kommt hierbei heraus:
Knoten : Spannung
1.0 : 990.01
2.0 : 1027.38
3.0 : 523.38
4.0 : 842.27
....

Allerdings besitze ich mehrere solcher "*.dat" Dateien und würde meine Treemap gerne mit den Informationen aus den anderen "*.dat" Dateien erweitern. Ich würde im nächsten Schritt gerne die "Step2.dat" Datei einlesen und als Ergebnis kommt als Erweiterung heraus:

Knoten : Spannung ; Spannung
1.0 : 990.01 ; 852.17
2.0 : 1027.38 ; 257.37
3.0 : 523.38 ; 1024.46
4.0 : 842.27 ; 587.56
....

Die Treemap wächst also um eine zusätzliche Spalte. Die "Step2.dat" enthält ebenfalls Spannungswerte in Abhängigkeit von den Knoten und der Mittelwert zu jedem Knoten soll genauso sortiert in dieser neuen Spalte aufgeführt werden wie bereits bei der ersten Spannungs-Spalte. Ich surfe nun bereits die ganze Zeit im Netz, finde aber keine Lösung. Vielleicht ist das auch ein völlig falscher Ansatz. Ich hoffe ihr könnt mir weiterhelfen.

Mfg Ironcurtain

 

[fastjack]

Du musst halt alle "Step*.dat" einlesen und damit die Map füllen, wo liegt das Problem genau? Mach Dir eine Methode, um eine step.dat zu lesen und rufe sie für alle step.dat's in einer Schleife auf.