get HTTP Headers

[oldshoe]

Ich versuche die HTTP Headers auslesen, die mir z.B. mit dem FirefoxPlugIn Live HTTP Headers angezeigt werden. Aber irgendwie bekomme ich mit meinem momentanen Ansatz nicht alle. Hat jemand eine Idee?

private void getHeaders() throws IOException {
		System.out.println("...start");
		URL url = new URL("http://www.sennheiser.com/sennheiser/home_de.nsf/root/private_headphones_audiophile-headphones_500319");
		URLConnection conn = url.openConnection();

		for (int i = 0;; i++) {
			String name = conn.getHeaderFieldKey(i);
			String value = conn.getHeaderField(i);
			if (name == null && value == null) {
				break;
			}
			if (name == null) {
				System.out.println("Server HTTP version, Response code:");
				System.out.println(value);
				System.out.print("\n");
			} else {
				System.out.println(name + "=" + value);
			}
		}

	}

 

[Atze]

was kommt denn an, und was nicht? sieht eigentlich ganz ok aus

 

[oldshoe]

Ich glaube alle Request die durch javascript erzeugt werden fallen schon mal runter. Die muss man doch irgendwie abfangen können.

 

[Atze]

welche header brauchst du denn? die des ersten requests hast du ja alle, oder? der rest sind requests für bilder, flash-geschichten usw. brauchst du die auch alle?

 

[oldshoe]

ja der rest wie beispielsweise flash würde mich auch interessieren

 

[Dow Jones]

Ich glaube alle Request die durch javascript erzeugt werden fallen schon mal runter. Die muss man doch irgendwie abfangen können.

Ähm - man verbessere mich wenn ich mich irre (habe mit URLConnection bisher noch nie was gemacht), aber er würde mich sehr wundern wenn bei deinem Codeschnipsel überhaupt weitere Requests erzeugt werden. So eine Connection sorgt doch lediglich für den Transport von Request und Response, ohne sich darum zu kümmern was für Daten übertragen werden. Und dementsprechend wird ein übertragenes HTML-Dokument auch nicht von URLConnection interpretiert, woraus folgt, das auch keine weiteren Requests (durch Bilder, Javascript, Flash oder was auch immer) stattfinden. Du müsstest schon die komplette Response einlesen und diese dann selber interpretieren um herauszufinden welche zusätzlichen Inhalte die Webseite nachladen möchte (und dann natürlich für jedes Object auch wieder einen einzelnen Request zum Server schicken).

Je nach dem was du schlußendlich vor hast könnten folgende Bibliotheken für dich interessant sein:

- HtmlCleaner Project Home Page ist eine Bib die html nach xhtml wandelt und auch einfachen Zugriff darauf mittels XPath bereitstellt. Zum Auffinden von Links u.ä. in einer Webseite reicht das völlig

- HtmlUnit, JRex etc. sind "Browser ohne GUI", also dafür gedacht Html zu interpretieren ohne eine grafische Ausgabe zu erzeugen. Da kannst du dich mit Sicherheit irgendwo einhängen und die für dich interessanten Daten abfangen

- mit JDIC kannst du den Internet Explorer (und andere Browser) in deine Javaprogramme einbinden. Spätestens der sollte die Webseiten vollständig interpretieren können. Allerdings weiss ist jetzt nicht inwieweit der IE dir das auch mitteilt, welche Requests er gerade raushaut. Naja, notfalls musst du dir eben einen Proxy schreiben, dann bekommste alles mit.