HTTP Mit Java HTML Codeauslesen um damit zu arbeiten

[KalU]

MoinMoin,

ich wollte erstmal in Erfahrung bringen, ob ich mit einem Java-Programm eine Website navigieren kann.
Über eine URLConnection kann ich Verbindung zu einer Website aufbauen um mir dann den HTML Code ausgeben zu lassen. Nun könnte ich den Code auf, für mich, relevante Daten schneiden lassen, z. B. Bilder oder Texte um mir diese dann ausgeben lassen.

Kann ich jedoch, irgendwie, mit dem Code interagieren? Also eine Art Bot erstellen, welcher mir sagt, klick auf das Bild XY. Das Bild hat dann eine Funktion, also entweder ein hRef/Verlinkung oder eine VergrößereFunktion.
Wenn ich dann z. B. auf einer neuen Seite lande, dann möchte ich einen dort integrierten Time beobachten, wenn dieser einen bestimmten Wert erreicht, dann soll wieder interagiert werden.

Ist Java für sowas gemacht oder würdet ihr was andere empfehlen?

Freundliche Grüße

 

[sascha-sphw]

Du kannst Dir z.B. mal jsoup anschauen, wenn Du es gerne in Java machen möchtest.
https://jsoup.org/

Die Logic die Du beschreibst klingt nach Web-Crawler, die musst Du selbst implementieren. Hierfür wird in der Praxis sehr häufig Python eingesetzt.

 

[KalU]

Na super, mit Python habe ich noch nie gearbeitet.
Was genau meinst Du mit "selbst implementieren"? Selber schreiben oder muss das auf den Server, letzteres würde ja nicht gehen. Oder in den Browser implementieren, das wäre meine nächste Frage gewesen, wie verbinde ich den "Quellcode" mit der Seite... Ich kenne sowas von früher (weit vor meiner Programmierzeit) da gab es ein AddOn z. B. für FireFox, dann implementiert man eine Datei (das Script) und konnte durch das implementieren des Scripts Konfigurationen vornehmen (das war bei den Anfängen von Shakes&Fidget)

 

[sascha-sphw]

Ich bin mir nicht mehr Sicher, ob ich Dich richtig verstanden habe. Ich bin davon ausgegangen, dass Du eine Webseite aufrufen möchtest. HTML dann parsen und Dir Elemente wie z.B. <a href="url">text</a> raus ziehen und dann zu "url" navigieren möchtest. Das was ein Web-Crawler halt so tut...

Vielleicht beschreibst Du etwas genauer was Du machen möchtest, nicht das wir aneinander vorbei reden.

 

[KalU]

Ich glaube auch, dass wir aneinander vorbei reden, den ein Webcrawler durchsucht eine Website, das würde ich auch mit Java hinbekommen. Ich möchte eine art Bot erstellen... na eigl. ist es ein Bot.
Ich will zum Beispiel eine Zeitauslesen (ein Timer der rückwärts läuft), wenn dieser Timer auf 00:00:00 gesetzt wurde, dann soll ein Button, welcher auf der Seite implementiert ist, aktivieren/drücken.
Anderes Beispiel: Mal angenommen ich möchte Goldpreise ablesen, wenn der Goldpreis einen bestimmten Werterreicht hat, dann soll zum Beispiel auf ein Button (kaufen/verkaufen) auf der Website drücken.
Also ein Bot, eine Automatisierung.

 

[sascha-sphw]

Das würde ich dann, wenn die Trading Seite keine API hat, wahrscheinlich mit einem Brower-Plugin realisieren. Die sind in Firefox und Chrome mit JavaScript zu machen.

 

[KalU]

Top. Ich beschäftige mich derzeit mit HTML5, CSS3 (is ja nicht so schwer) und JS gehört ja eh dazu, dann lern ich das erstmal und dann komme ich wohl automatisch in diese Schiene. Sascha, ich danke Dir 🙂

 

[mrBrown]

Ansonsten ist uU noch Selenium einen Blick wert 😉