Anfrage an eine Webseite

[Luser_k]

Hi,

ich wusste nicht, wo ich den Thread eingeben soll.

Ich will mittels Java Daten aus einer Homepage auslesen / abfragen.

z.B. Webseite, wo mittels Abfragen Daten erfragt werden können

Ich würde gerne ein Java Programm schreiben, die die gewünschten Daten abfragt
und in eine Datenbank speichert.

Wie funktioniert das? Muss ich vom Betreiber eine Webschnittstelle verlangen?
Oder gibt es da Java API´s, die das schon können?

Luser_k

 

[dieta]

Schau' dir mal die klasse URLConnection an.

 

[Luser_k]

Hi,

Danke, die API ist sehr interessant, jedoch konnte ich da nicht ableiten, wie man die Anfragen an die Webseite,
die ja die Anfrage weiterleitet, stellt.

User: Gibt in ein Textbox oder TextField auf der Webseite manuell die Anfrage ab. z.B. Ebay oder Google, ...
Anfrage könnte eine direkte Eingabe oder über Auswahlkriterien sein.

Softwareseite: Wie wird die Abfrage gestellt? Stelle ich die Abfrage direkt an den Server?

Hat jemand ein kleines Beispiel?

 

[dieta]

Website aufrufen:

Url url = new Url("http://www.einewebsite.de/");
URLConnection conn = new URLConnection(url);
conn.connect();
InputStream stream = conn.getInputStream();

//Mach was mit stream... Webseiteninhalte lesen z.B.

An die URL kannst du dann ja die Rückgabewerte, z.B. für formularfelder anhängen.

 

[Gelöschtes Mitglied 9001]

Hier ist Handarbeit gefragt.
Du mußt die den Quelltext der Webseite ansehen um herauszufinden, mit welchen Namen die Eingabefelder, Checkboxen etc. versehen sind.
Soll Dein Programm an diese Webseite Eingaben senden, so gibt es zwei Möglichkeiten: Übertragung mittels POST oder GET.
Bei GET werden die Daten an die URL angehangen. z.B. so:

www.webseite.de/?Name=Mustermann&Vorname=Max

Die Daten müssen dann freilich als Strings so maskiert werden, daß eine gültige URL entsteht. Leider habe ich entsprechende Java-Funktionen jetzt nicht parat.

Zu bemerken ist noch, daß je nach Webseite mehr oder weniger Aufwand entsteht. Ich hatte mir mal ein Skript geschrieben, welches mir die persönlichen Fahrpläne von der Bahn herunterholt. Das war gut zu realisieren. Der Umgang mit Onlinebankingwebseiten dürfte wesentlich schwieriger sein...

 

[ARadauer]

ich habe mal einen parser für www.geizhals.at in java geschrieben. der hat für verschiedene produkte fesch die bestpreise ausgelesen.

also das funktioniert schon


http://commons.apache.org/net/ könnte die sache vielleicht noch vereinfachen, hab ich aber noch nicht benutzt