automatische datensammlun

[Guest]

Hallo zusammen,

ich habe folgendes vor:

für ein projekt brauche ich kraftstoffpreise innerhalb der eu

diese infos bekomme ich unter www.aral.de/toolserver/retaileurope/europeancountryselector.do?categoryId=4000528&contentId=58632

dort wähle ich dann ein land aus und bekomme die dazugehörigen preise.

nun möchte ich aber nicht jeden tag, jedes land auswählen und die daten von hand in einer excetabelle eingeben.

nun zu meiner frage:

besteht die möglichkeit das ganze aus java heraus automatisch ablaufen zu lassen, sprich die combobox komplett zu durchlaufen, die werte ( land und preise ) auszulesen, und dann alles in einer csv datei zu speichern?

vielen dank für eure hilfe

mfg
matze

 

[Gast]

ja, die möglichkeit besteht, und es ist garnichtmal so schwer wie man denkt.

Kleiner Tip:

Das Formular das abgeschickt wird verarbeitet neben post auch get Requests

http://www.aral.de/toolserver/retaileurope/europeanfuelprices.do?countryLookupId=10010029

gibt z.B. die serbische Seite zurück.

 

[Guest]

vielen dank für den hinweis.
leider hab ich keine ahnung wie ich das umsetzten soll?
kannst du mir vielleicht n beispiel geben, oder n link wo ich infos dazu finde?

 

[pc-world]

vielen dank für den hinweis.
leider hab ich keine ahnung wie ich das umsetzten soll?
kannst du mir vielleicht n beispiel geben, oder n link wo ich infos dazu finde?

Zum HTML-Code runterladen empfehle ich den HttpClient von den Jakarta Commons. Beispiele: http://www.theserverside.com/tt/articles/article.tss?l=HttpClient_FileUpload
Aber über die Java-API geht das auch irgendwie.

Zum parsen guck mal http://www.htmlparser.org/ an (hab allerdings noch nie damit gearbeitet).

 

[ARadauer]

ich ich hab da mal jtidy benutzt (jtidy.sourceforge.net)

ging ganz fix
so kann man sich einen dom baum parsen lassen

	private Document loadPage(String urlString) throws IOException{
		URLConnection connection = null;
		InputStream is = null;
		try {
			URL url = new URL(urlString);
			connection = url.openConnection();
			is = connection.getInputStream();
			Tidy tidy = new Tidy();
			tidy.setQuiet(true);
			tidy.setShowWarnings(false);
			return tidy.parseDOM(is, null);
		} finally{
			if(is!=null)
				is.close();		
		}
	}

 

[Guest]

vielen dank an alle