180 MB CSV-datei einlesen. Problem!

[Guest]

Hallo zusammen,
kann mir vielleicht jemand ein Tipp geben wie ich eine 180MB Datei am besten einlesen kann.
Sollte möglichst reibungslos gehen. Bisher dauerts über 3 Stunden ist das normal?

Mit Bufferedinputstream oder so?

Benutze die Daten dann um sie als Graphen anzuzeigen.

 

[Wildcard]

Nein, normal ist das nicht
Code?

 

[Guest]

Code kann ich erst morgen posten, aber wie lange sollte das denn maximal dauern. 10 Minuten?

 

[Wildcard]

Hängt ganz davon ab was du damit machst und von welcher Quelle du liest.

 

[Illuvatar]

Also einfach nur einlesen sollte - von einer normalen Festplatte - höchstens eine Minute dauern. Wenn du damit noch eine Weltformel berechnen willst kann das schon ein paar Jährchen dauern (aber die Antwort ist ja eh 42...)

 

[niemand]

Ich glaube, das hängt auch ein wenig von deinem Rechner ab. Auf einer Maschine mit 8MB RAM, einer 66MHz-CPU und knapp bemessenem Swap-Space kann das auch gerne einen Tag und mehr dauern.

cu

 

[Leroy42]

(aber die Antwort ist ja eh 42...)

:shock: Ja!?, hier! :shock:

 

[Gast]

Servus, jetzt eine nähere Beschreibung meines Problems:
Habe eine csv mit 10.000.000 Werten aus einer Simulation heraus --> 180 MB grosse CSV Datei.

Meine Aufgabe ist es nun, eine Häufigkeitsverteilung aus dieser datei zu erstellen, also der Wert 0 kommt 10mal vor, der Wert 151 5mal usw....
Leider kann ich immer nur 1 Mio Werte einlesen und daraus die Häufigkeitsverteilung berechnen, weil mir sonst immer mein rechner hochgeht... (2GB RAM, AMD Duo Core).... Wie kann ich also am einfachsten aus meiner datei so ne Häufigkeitsverteilung erstellen. Aktuell bin ich noch bei 4 Minuten, jedoch habe ich zehn Häufigkeitsverteilungen von je 1Mio werte und weis nicht, wie ich das zusammen bekommen. Merce

Hier der Code:

	public /*double[][]*/ void getFrequency2 (String fileName, int loop){
		
		String row;
		double[] tempLoss;
		double[][] tempFreq;
		
		try{
			File file = new File(fileName);
			FileReader freader = new FileReader(file);
			BufferedReader reader = new BufferedReader(freader);
			
//hilfsklasse zum schreiben einer datei... mit Methode addToFile()
			FileMaster myTempFreqFileMaster = new FileMaster("C:\\Diplomarbeit/Daten/20061016/Tempfreq",true,false);
			
			for (int i = 0; i < loop; i++) {
				tempLoss = new double[1000000];
				for (int j = 0; j < tempLoss.length; j++){
					row = reader.readLine();
					//System.out.println(j);
					if (row != null){
						StringTokenizer token = new StringTokenizer(row, /*";"*/ ",");
						tempLoss[j] = Double.parseDouble(token.nextToken());
					}
					else{
						break;
					}
				}
				tempFreq = fastFreq(tempLoss);
				myTempFreqFileMaster.addToFile(tempFreq);
				System.out.println(i);
			}
		}
		catch (FileNotFoundException e) {
			System.err.println("Datei nicht gefunden" + e.getMessage());
		} catch (IOException e) {
			System.err.println("Lesefehler" + e.getMessage());
		}
	}
	
	private double[][] fastFreq (double[] tempLoss){
		int size = 1000000;
		int runner = 0;
		double[][] tempFreq = new double[size][2];
		
		quicksort(tempLoss, 0, tempLoss.length-1);
		
		tempFreq[0][0] = tempLoss[0];
		tempFreq[0][1] = 1;
		
		for(int i = 1; i < tempLoss.length; i++){
			//System.out.println(runner);
			if(tempFreq[runner][0] == tempLoss[i]){
				tempFreq[runner][1]++;
			}
			else{
				if(size < runner-1){
					size = 2*size;
					double[][] tempFreq2 = new double[size][2];
					for(int j = 0; j <= runner; j++){
						tempFreq2 [j][0] = tempFreq [j][0];
						tempFreq2 [j][1] = tempFreq [j][1];
					}
					tempFreq = tempFreq2;
					tempFreq2 = null;
				}
				runner++;
				tempFreq[runner][0] = tempLoss[i];
				tempFreq[runner][1] = 1;
			}
		}
		return tempFreq;
		
	}

 

[Wildcard]

Mach dir doch einen Wrapper um eine Hashmap die bei put nur ein Argument bekommt und dann den entsprechenden value in der echten Hashmap um 1 erhöht. Dann kannst du die Verteilung on the fly für einen beliebig großen Wertebereich vornehmen.

 

[Guest]

Super Tipp mit der Hashmap!

Hashmap schaut jetzt so aus

import java.util.HashMap;
import java.util.Iterator;

public class DoubleListe extends HashMap {

   private static final long serialVersionUID = 1L;

   public DoubleListe () {
       super();
   }

   public void setzeDoubleKeyInDieListe(Double value) {
       // falls der Double bereits in der Hashmap, dann Anzahl + 1
       if (containsKey(value))
           put(value, new Integer(((Integer) get(value)).intValue() + 1));
       // ansonsten neuen Eintrag hinzufügen
       else
           put(value, new Integer(1));
   }

   public Double[] getAlleDoubleKeys() {
       Iterator i = keySet().iterator();
       Double[] doubleArray = new Double[keySet().size()];
       int j = 0;
       while (i.hasNext()) {
           doubleArray[j] = (Double) i.next();
           j++;
       }
       return doubleArray;
   }

   public int wieOftKommtDerDoubleKeyVor(Double value) {
       Object o = get(value);
       if (o == null)
           return 0;
       else
           return ((Integer) o).intValue();
   }
}

Gracias

 

[Gast]

Servus wildcard und alle anderen zusammen,
jetzt habe ich aber noch ein anderes Problem. Hashmap funktioniert super genial, nur brauche ich jetzt noch eine sortierte liste ;-)
soll heissen aktuell bekomme ich ja raus Wert 100 1mal Wert 65 5mal Wert 120 3mal

Ich bräuchte aber für berechnungen und dateiausgaben
Wert 65 5mal
Wert 100 1mal
Wert 120 3mal
usw.

vielen dank im voraus - gracias

 

[Gast]

Dumme Frage hinterher, kann man Double vergleichen? Ich hätte da nämlich einen schönen QUicksort geschrieben, aber irgendwie mag der meine Double nicht und es sprengt ihn wieder bei folgender Situation:
Die Werte selbst sind sehr feingranular, heisst 100,00 ist nicht 100,01.
Somit kann es sein, dass 10KK Werte auch in der Häufigkeitstabelle mit 10KK unterschiedlichen Werten auskommt.
Wenn ich mir diese mit public Double[] getAlleDoubleKeys() hole in ein Double[] --> Memory out...
Merci für die Unterstützung

 

[Wildcard]

Nimm eine TreeMap, die kann man sortieren.

 

[Gast]

Servus, vielen Dank. Funktioniert so weit echt spitze....
Aber ich habe ein weiteres Problem:
Eine weitere CSV Datei enthält auch 10.000.000 Werte. Wie kann ich diese sortieren, da die meisten der Werte unterschiedlich sind und sich mit einer Häufigkeitstabelle wie oben erstellt nicht bearbeiten lassen?!?! Vielen Dank für die Hilfe und Unterstützung!!!

 

[Gast]

Juhu ich habs ;-) einfach den mitgegeben speicher erhöhen!!!! Vielen Dank für die Hilfe!!!