Projektarbeit - Problem

[Guest]

Hallo zusammen,

also ich hab da ein gravierendes problem. hatte erst eine woche ein seminar über java grundlagen und jetzt muss ich ein projekt machen bzw. ein programm schreiben. ich geb euch grad mal die aufgabenstellung zum besseren verständnis:

Verarbeitung von log Dateien: statistische Auswertungen, Filtering. Die log Dateien enthalten zu jedem Request den Returncode (des Servers), die Größe der Response (in Byte), die Antwortzeit (in Millisekunden) sowie die Größe des Request (in Byte).

Für eine log Datei sind nun folgende Werte zu berechnen bzw. auszugeben:
1.Minimum, Maximum und Durchschnitt der Größen von Response und Request sowie der Antwortzeiten.
2.Eine Tabelle mit den absoluten Häufigkeiten der Returncodes.
3.Zudem sollen alle Requests ausgegeben werden, die einen von x verschiedenen Returncode haben.

Die Ausgabe soll in eine Datei erfolgen.

so eine Zeile davon sieht dann so aus:

Host-IP User Datum und Zeit Http Request 1 2 3 4
Method URL Version
------------------------------------------------------------------------------------------------------------------------------------------ xxx.xxx.xxx.xx xxx - [26/Nov/2007:07:59:32 +0100] "POST /xxx/xx/xxxxxxx-xxxx HTTP/1.1" xxx xxx xxx xxx

1 = Returncode
2 = Response (byte)
3 = Time (ms)
4 = Request (byte)

So, natürlich hab ich mir schon gedanken darüber gemacht, wie ich das realisieren kann bzw. aufbaue:

- einlesen (Zeilenweise: das wollt ich mit nem BufferdReader machen)
- stückeln in die einzelen Infos (wollt ich mit StringTokenizer machen)
- Dann muss überprüft werden ob auf alle Infos in einer "Zeile" vorhanden sind, ansonsten muss halt ne
Fehlermeldung kommen. aber das ist ja nicht so schwer...

- Minimum, Maximum und Durchschnitt berechnen (wie ich das ungefähr mach weiss ich auch schon)
- Häufigkeit verschiedener Returncodes ausrechen und dann soll das in einer Tabelle nachher stehen (da hab ich
ehrlich gesagt noch keinen plan wie ich das machen soll..)
- Alle log-Dateien ausgeben die einen anderen Returncode als x haben (kann man ja mit if else machen, denk ma das
wird net so schwer)
- und zum schluss muss das halt alles in eine neue Datei geschrieben werden. (theoretisch auch kein problem, hab ich
schonmal gemacht)

Also, das is alles nur ein grundkonzept, klar das dann noch schleifen rein müssen und noch mehr dazu kommt.

Meine Frage oder mein Problem ist aber: Also in einer Datei stehen ja mehrere "Zeilen" oder Datensätze halt und lieg ich da richtig, das ich ja eigentlich das net alles immer zeilenweise machen kann, sondern erst alle einlesen muss, dann die berechnungen machen und nachher erst alles wieder in eine datei schreiben kann?
Also, müsst ich ja das alles mit arrays machen oder?

 

[Guest]

Host-IP User Datum und Zeit Http Request 1 2 3 4

xxx.xxx.xxx.xx xxx [26/Nov/2007:07:59:32 +0100] "POST /xxx/xx/xxxxxxx-xxxx HTTP/1.1" xxx xxx xxx xxx

so siehts wirklich aus, sorry, hat sich verzogen in dem post oben...

 

[SlaterB]

> sondern erst alle einlesen muss, dann die berechnungen machen und nachher erst alles wieder in eine datei schreiben kann?

die Berechnungen können auch nebenbei beim Einlesen geschehen,
die Ergebnisse hast du natürlich erst am Ende,
erst dann kannst du die Ergebnisse in eine Datei schreiben
(bis auf 'Zudem sollen alle Requests ausgegeben werden, die einen von x verschiedenen Returncode haben. ',
die könnten auch sofort beim Auftreten in die Datei geschrieben werden, wenn sie nicht am Ende nach den anderen Ergebnissen auftauchen sollen)

> Also, müsst ich ja das alles mit arrays machen oder?

nicht unbedingt, ist aber denkbar,
allerdings wirst du vielleicht lieber Listen statt Arrays fester Größen verwenden wollen,

wenn du riesige Log-Files hast (Millionen Einträge) dann wirst du bald erkennen, dass du ohne Zwischenspeicherung besser dran bist


> Häufigkeit verschiedener Returncodes ausrechen und dann soll das in einer Tabelle nachher stehen

hier könntest du gleich dein erstes Array einsetzen,
ein Array von 0 bis max-Code, und bei jedem Auftauchen eines Codes die Zahl im entsprechenden Array-Feld erhöhen,
oder eine Map verwenden, aber die kennst du wohl noch nicht

 

[Guest]

vielen dank schonmal *g*

 

[Guest]

ich bins schon wieder.
hab kaum angefangen, meinen plan da umzusetzen schon hab ich probleme damit *mich ärger*

also:
ich will das ja zeilenweise einlesen und dann in einem array speichern.
problem: der ich muss ja vorher wissen wie groß der aray ist, weiss ich aber nicht, da diese log-dateien unterschiedlich viele zeilen haben können.
so gedacht hab ich mir: das man das vielleicht irgendwie mit i machen kann und das läuft dann bis zum letzten buchstaben.
geht das überhaupt???
hab mich mal im internet umgesehen, da wurde bei so problemen eher ein vektor vorgeschlagen, damit kenn ich mich aber überhaupt nichts aus, also noch nie was von gehört bzw. mit in berührung gekommen.

wäre nett, wenn mir da vielleicht jemand auf die sprünge helfen könnte!

 

[DocRandom]

Hi!

poste mal Deinen Code der Einleseroutine, ich zeig Dir dann wo der Vector hingehört!

lg
DocRandom

 

[Guest]

BufferedReader einlesen = new BufferedReader(new FileReader("LogDatei.txt"));
String zeile;
while ((zeile=einlesen.readLine())!=null) cont.add(zeile);
einlesen.close();

das hab ich jetzt. aber funktionieren tuts net so

 

[Guest]

aber in der while muss ja das dann noch gespeichert werden irgendwo rein

 

[MASTERmind]

Nimmst Du ArrayList

List<String> readedLies = new ArrayList<String>();
readedLines.add(line);

Wobei die ArrayList natürlich über der Schleife stehen sollte und das adden in der Schleife

 

[Guest]

ich seh grad das cont steht da einfach nur rum das soll das halt irgendwie zählen können. also ich weiss halt net wie

 

[Guest]

ok, ich guck mir mal an was das is. will ja auch verstehen was ich da mach
aber vielen dank schonmal für den tip

 

[DocRandom]

package gast;

import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.Vector;

public class Auswertung {

	private Vector<String> lines;
	
	public Auswertung() {
		lines = new Vector<String>();
	}
	
	public void einlesen(String dateiname) {
		// pruefe ob Vector leer!
		if (lines.size() > 0)
			lines.clear();
		
		BufferedReader einlesen;
		try {
			einlesen = new BufferedReader(new FileReader(dateiname));
			String zeile;
			
			while ((zeile = einlesen.readLine()) != null) 
				lines.add(zeile);
			
			einlesen.close();
		
		} catch (FileNotFoundException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
}

..und die Main

package gast;

public class Main {

	public static void main(String[] args) {
		Auswertung aw = new Auswertung();
		aw.einlesen("LogDatei.txt");

	}

}

..so in der Klasse Azuswertug steht jetzt der Inhalt deines Files, Zeile für Zeile im Vector!
Die Methoden zu Deiner Auswertung mußt Du in der Klasse noch hinzufügen!

lg
DocRandom

 

[Guest]

ok, vielen dank, jetzt wird mir doch so einiges klar
da hab ich schon mal en super anfang, für das ganze dingen

 

[Guest]

so, hab alles soweit verstanden und funktioniert auch, ich hab mich nur gefragt wozu ich bei "public void einlesen(String dateiname) " den string dateiname brauche, also klar, der steht nochmal im BufferedReader aber, was wird darin gespeichert?

 

[Guest]

habs selbst herausgefunden tz

 

[Guest]

das funktioniert ja alles super, blos:

wenn ich dann die eingelesen zeilen (also lines) an eine andere klasse übergeben will, die dafür zuständig ist, diese dann zu zerlegen, wirds schwer.

denn, dann muss ich ja mit get arbeiten und dann muss die methode einlesen einen wert zurückgeben, der natürlich Vector<String> ist. blos scheint mir so das sie dann auch nur en Vector<String> übernehmen kann, also bei mir in eclipse ist dann (String dateiname) rot unterstrichen, wenn ich da Vector<String> hinschreibe nicht. blos ist es ja kein Vector<String>. kann man das irgendwie umgehen?

 

[Guest]

hier ich hab da wieder ein problem, en kollege hat mir vorhin en bisschen was erklärt und was mit mir zusammen weitergemacht. jetzt hab ich alleine weiter geschrieben und steh wieder vor einem problem, das kommt aber daher, weil dann doch net ganz im detail verstanden hab, was ich da mit ihm zusammen gemacht hab.
ich geb einfach mal die syntax an:

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

public class main {

	public static void main(String[] args) throws IOException {

		//Eingeben des Dateipfads!
		BufferedReader eingabe = new BufferedReader(new InputStreamReader(System.in));

		System.out.println("Bitte geben Sie den Pfad der einzulesenden Datei ein!\n");
		String dateiName = eingabe.readLine();

		// fuer class Einlesung
		LogFile ef = new LogFile();
		ef.einlesen(dateiName);
	}
}




import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.Vector;

public class LogFile {
	public Vector<LogFileZeile> lines;
	 	  
	   public LogFile() {
	      lines = new Vector<LogFileZeile>();
	   }
	   
	   public Vector<LogFileZeile> einlesen(String dateiName) {
		
		  // pruefe ob Vector leer!
	      if (lines.size() > 0)
	         lines.clear();
	      
	      //liest Datei ein!
	      BufferedReader einlesen;
	      try {
	         einlesen = new BufferedReader(new FileReader(dateiName));
	         String zeile;
	         
	         while ((zeile = einlesen.readLine()) != null){
	              lines.add(new LogFileZeile (zeile));
	      	           
	         }
	         einlesen.close();
	         System.out.println(lines);
	         }  
	         catch (IOException e) {
	               e.printStackTrace();
	         }
	         return lines;  
	   } 
}




import java.util.StringTokenizer;
import java.util.Vector;

public class LogFileZeile {

	private String myZeile;
	private String hostIp;
	                                                                            private String user;
	                                                                            private String httpRequestMethod;
	                                                                            private String httpRequestUrl;
	                                                                            private String httpRequestVersion;
	                                                                            private String returncode;
	                                                                            private String response;
	                                                                            private String time;
	                                                                            private String request;

	public LogFileZeile(String zeile) {
		init(zeile);
	}

	public String toString() {
		return hostIp;
		                                                                     return user;
		                                                                     return httpRequestMethod;
		                                                                     return httpRequestUrl;
		                                                                     return httpRequestVersion;
		                                                                     return returncode;
		                                                                     return response;
		                                                                     return time;
		                                                                     return request;
				                   
	}
	
	private void init(String zeile) {
		myZeile = zeile;
		StringTokenizer Zerleger = new StringTokenizer(myZeile, " ");
		int i = 0;
		String currentToken;
		while (Zerleger.hasMoreTokens()) {
			i++;
			currentToken = Zerleger.nextToken();
			if (i == 1) {
				hostIp = currentToken;
			} if (i == 2) {
				user = currentToken;
			} if (i == 3) {
				httpRequestMethod = currentToken;
			} if (i == 4) {
				httpRequestUrl = currentToken;
			} if (i == 5) {
				httpRequestVersion = currentToken;
			} if (i == 6) {
				returncode = currentToken;
			} if (i == 7) {
				response = currentToken;
			} if (i == 8) {
				time = currentToken;
			} if (i == 9) {
			       request = currentToken;
			}
		}
	}
}

das extrem eingerückte, ist halt der Teil den ich noch allein geschrieben habe.
bei der string totring methode funktionieren halt net die mehreren returns. ich hatte schon versucht ob der mit eine schleife vielleicht geht, also so ähnlich wie die schleife in der init methode aufgebaut ist. aber ging nicht wirklich. das problem ist halt, ich komm wahrscheinlich auch nicht auf die lösung, weil ich nicht ganz genau weiss was überhaupt alles in der letzten klasse genau bezwegt. ich raff zwar schon das grobe drumherum, so ist es nicht, aber wahrscheinlich net die genauen kleinigkeiten...

 

[Guest]

hallo, es wäre echt super wenn da noch mal jemand was zu sagen könnte. sitz die ganze zeit da und probier rum, bekomms aber net hin... :bahnhof:

 

[MASTERmind]

Die toString Methode gibt dir aus der entsprechenden Klasse die MEmbervariablen zurück!
Bedeutet: Ein return und dann halt Deine Member!

 return " IP: " + hostIp + " " +  user + " " + httpRequestMethod; // usw....

Die toString()- Methode muss bei mir immer ein @Override haben
also:

@override
public toString()
{

}

 

[MASTERmind]

noch was: einen Vector nimmt man nur dann wenn das ganze serialisierbar sein muss, ansonsten ArrayList von List geerbt.
Man muss auch bisschen ökonomisch proggen.....also max das nehmen was wirklich nötig is.

 

[HoaX]

zu blöd dass auch eine arraylist serialisierbar ist

der größte unterscheid zwischen beiden ist afaik dass die methoden von Vector alle synchronized sind.

 

[MASTERmind]

scheisse...^^ synchronized muss ich meinen...richtig!

 

[Guest]

vielen dank, habs dann auch gehlöst gehabt. ich schon richtig so mit dem vektor, also das ich den genommen habe, wurde mir jedenfalls gesagt...

 

[Guest]

so, also ich hab jetzt soeit fast alle teilaufgaben gemacht.
mir fehlt nur:
2.Eine Tabelle mit den absoluten Häufigkeiten der Returncodes.

ich hab ehrlich gesagt null ahnung wie ich das anstellen soll, weshalb ich sie ja jetzt auch als letztes mache...

also, wenn ich mir das mal so vorstell, muss da nachher eine Tabelle stehen, die wie folgt aussieht:

Returncode|Häufigkeit
-------------|------------
xxx | 2
xxxx | 5
xxxxxxx | 1


so ungefähr...
d.h. das programm muss sich die returncodes nehmen, gucken was das für einer ist (ihn quasie mit den anderen vergleichen) und zählen wie oft er vorkommt.

ich wüsst ja, wie ichs machen könnt, wenn es nur returncodes gebe die mir bekannt sind. dann würd ich die einfach durch if abfragen durchgehen. aber das is nicht der fall, also mir sind die verschiedenen returncodes nicht bekannt.

kann mir da vielleicht wieder jemand einen tip begeben?

 

[MASTERmind]

??? wie jetzt???was soll den gezählt werden?...wie oft ein return aufgerufen wurde oder wie oft die IP zb auftritt???

 

[Guest]

nein, das programm ließt ja verschiedene logfiles ein und zerteilt sie dann in ihre elemente (unteranderem auch der returncode).
so und wenn ich eine datei einlese, hab ich ja lauter verschiedene logfiles (z.b. 234).
also in dem fall auch 234 returncodes, die unterschiedlich seien können, aber auch teilweise gleich.

und hier will ich ausgegeben bekommen, welche returncodes vorkamen und wie oft sie vorkamen.
also die häufigkeit, der einzelnen returncodes.