Website Quelltext auslesen - Javaskripte im Hintergrund?

[UncleChicken]

Hi,
beim Versuch den Quelltext einer Seite auszulesen, komme ich leider nicht weiter.
Es werden wohl im Hintergrund Inhalte geladen. (Die Artikel eines shops)
Ich hatte es mit dem Framework jSoup versucht, leider ohne Erfolg. (Artikel haben immer gefehlt)
Beim weiteren googlen bin ich dann noch auf HTMLUNIT gestoßen, womit es eigentlich hätte gehen müssen... aber mir fehlen noch immer die benötigten Inhalte...

Hier mal beispielhaft die Methode

	public static void testGoogle() throws FailingHttpStatusCodeException, MalformedURLException, IOException, InterruptedException{
		WebClient webClient = new WebClient();
		HtmlPage currentPage = webClient.getPage("http://de.wikipedia.org/wiki/Google");
		String textSource = currentPage.asText();
		String xmlSource = currentPage.asXml();
		
		System.out.println(xmlSource);
		
		
	}

Hätte jemand eine Idee, woran das liegen könnte? Bzw. was ich noch machen könnte?

Vielen Dank schonmal

 

[Qler]

Hi UncleChicken,
ich kenn mich leider mit HTML Unit nicht wirklich aus, jedoch hatte ich auch schonmal ein ähnliches Problem wie du und habe dann Selenium benutzt, um eine sehr javascript intensive Website auszulesen.
Kommt natürlich immer auf den Anwendungsfall an, ob selenium benutzt werden kann, da selenium ein richtiges Browserfenster öffnet und dadurch keinen HTTP Aufruf in java simuliert sondern wirklich durch einen Browser rendern lässt.

Alternativ könntest du auch den AJAX/ Javascript call, den die Seite macht isolieren und dann manuell die benötigten Daten über den spezielleren GET/POST request abrufen.

 

[DrZoidberg]

Erstmal solltest du die Entwickler tools deines Webbrowsers aufrufen (mit F12) und dann auf den Netzwerk Tab klicken. Dann lädst du die Seite des Shops neu und dein Brower sollte dir dann anzeigen welche Daten wie übertragen werden.

 

[UncleChicken]

Hallo!
Danke für deine Rückmeldung!
Gestern Nacht bin ich beim googlen noch auf HTMLUNIT Driver gestoßen. (was wohl Selenium entspricht?!)
Und damit scheints zu klappen... zumindest bin ich damit ein Stück weiter gekommen.

Ich bin noch nicht allzu erfahren, daher werde ich mir damit

Alternativ könntest du auch den AJAX/ Javascript call, den die Seite macht isolieren und dann manuell die benötigten Daten über den spezielleren GET/POST request abrufen.

wohl schwer tun?!

 

[DrZoidberg]

Das ist nicht sehr schwer. Über java.net.URL.openConnection erhältst du ein HttpURLConnection Objekt. Damit kannst du dann per setRequestMethod und setRequestProperty bestimmen welche Anfrage an den Server gesendet wird.
Du musst halt nur erst über die Entwicklertools deines Browsers feststellen, wie die Anfrage aussehen muss.