HTML einer Webseite 1:1 so bekommen wie es auch der Browser anzeigt?

[sirbender]

Man kann in Chrome, Firefox, Brave, Opera, usw. bekanntermassen auf "Show Source" klicken und bekommt den HTML code angezeigt. Heutzutage wird viel des HTML auch dynamisch generiert oder per Javascript in irgendeiner Form nachgeladen. Wenn ich aber den HTML zwischen Browsern vergleiche ist dieser sehr ähnlich.

Wenn ich jetzt versuche denselben HTML code per Java code zu bekommen, bekomme ich selten HTML der ähnlich dem HTML ist, den irgendein Browser liefert. Oft fehlen ganze Bereiche des HTML - ich nehme an nicht-statischer Code der irgendwie nachgeladen wird? Das Ergebnis kann man verbessern, indem man z.B. einen "User-Agent" eines Browsers definiert und dem "Connection" Object als Request-Property hinzufügt. Wirklich TOLL bzw. nahe dem Browser-HTML ist das "von Java geholte HTML" dadurch in vielen Fällen aber nicht.

Gibt es irgendeine Library in Java, die ähnlichen HTML code zurückliefert, wie dies auch ein Browser tun würde?

 

[yfons123]

was willst du denn mit der website dann tun ?

 

[sirbender]

was willst du denn mit der website dann tun ?

Gewissen Text rausholen. Nur wenn der Text nicht da ist, kann ich den natürlich auch nicht rausholen. Zum Beispiel will ich ein Keyword definieren. Ist das Keyword weg, gibt es einen Alarm. Das Keyword ist Teil der Website. Nun checke ich alle Stunde ob das Keyword noch da ist. Wird die Website abgeändert und das Keyword verschwindet, gibt es den Alarm. Im Browser ist der HTML code korrekt und das Keyword ist da. In Java kriege ich sehr durchwachsenen HTML zurück. Je nach Website ist das was ich zurückbekomme manchmal ausreichend um ein Keyword zu finden, dass für den Alarm geschaffen ist. In den allermeisten Fällen aber nicht.
Im Browser-HTML ist das Keyword immer da und ich könnte auf der Basis damit arbeiten.

 

[KonradN]

Macht es da nicht Sinn, eine Tool wie Selenium zu nutzen, das halt mehr oder weniger den Browser automatisiert?

Und auch der Hinweis: Das ist natürlich nur eine Krücke. Gibt es bei der Webseite keine API? Oder Webhooks für das Ereignis, das Dich interessiert?

 

[Neumi5694]

Gewissen Text rausholen. Nur wenn der Text nicht da ist, kann ich den natürlich auch nicht rausholen. Zum Beispiel will ich ein Keyword definieren. Ist das Keyword weg, gibt es einen Alarm. Das Keyword ist Teil der Website. Nun checke ich alle Stunde ob das Keyword noch da ist. Wird die Website abgeändert und das Keyword verschwindet, gibt es den Alarm. Im Browser ist der HTML code korrekt und das Keyword ist da. In Java kriege ich sehr durchwachsenen HTML zurück. Je nach Website ist das was ich zurückbekomme manchmal ausreichend um ein Keyword zu finden, dass für den Alarm geschaffen ist. In den allermeisten Fällen aber nicht.
Im Browser-HTML ist das Keyword immer da und ich könnte auf der Basis damit arbeiten.

Naja, alle Browser haben eine eigene Engine, die eben genau all die Aufgaben erledigt, Scripte ausführt usw.

Du brauchst also entweder eine auf Java basierende Engine oder eine Möglichkeit, den Quelltext aus deinem Browserfenster abzugreifen.

Als Plugin für letzteren wäre das Ganze vielleicht sinnvoller

 

[yfons123]

Du brauchst also entweder eine auf Java basierende Engine oder eine Möglichkeit, den Quelltext aus deinem Browserfenster abzugreifen.

javafx webview hat eine web engine und kann javascript ausführen und der seite direkt hinzufügen ... wäre vllt eine möglichkeit
dass javafx sozusagen nur den job übernimmt einen alarm zu geben und die html seite zu laden und javascript hinzuzufügen

damit kannst du dir nach lust laune javascript erweiterungen schreiben

 

[sirbender]

Macht es da nicht Sinn, eine Tool wie Selenium zu nutzen, das halt mehr oder weniger den Browser automatisiert?

Und auch der Hinweis: Das ist natürlich nur eine Krücke. Gibt es bei der Webseite keine API? Oder Webhooks für das Ereignis, das Dich interessiert?

Das soll ein allgemeines Tool sein. Nicht auf eine einzige Website oder API zugeschnitten.

Ich kenne mich mit Selenium nicht aus. Ich schau es mir mal an. Danke.

 

[sirbender]

Macht es da nicht Sinn, eine Tool wie Selenium zu nutzen, das halt mehr oder weniger den Browser automatisiert?

Und auch der Hinweis: Das ist natürlich nur eine Krücke. Gibt es bei der Webseite keine API? Oder Webhooks für das Ereignis, das Dich interessiert?

Selenium funktioniert. Recht nervig, dass immer ein Firefox-Browser aufgeht. Ich frage mich, ob man das Browser-Fenster irgendwie nicht sichtbar aufrufen kann. Ich bin unter Linux. Vielleicht auf einem anderen Workspace? Oder man legt die Position und Grösse des Browserfensters fest um es so unsichtbar zu machen. Muss ich mal alles googeln...ausser jemand weiss, dass das unmöglich ist?

Vielen Dank. Der HTML code passt jetzt.

P.S.: verstecken geht. Headless 😉

 

[yfons123]

du kannst dir von dem link eine webapp anlegen hat linux mitn vor installiert

 

[sirbender]

du kannst dir von dem link eine webapp anlegen hat linux mitn vor installiert

Ich weiss nicht ob ich das verstehe. Wie gesagt, es geht mir nicht um eine bestimmte Website/URL. Ich will ein generelles Tool schreiben.

 

[yfons123]

die webapp nimmt wie javafx eine website und simuliert sie in eine desktop anwendung rein mehr oder weniger und diese kannst du dann ausbauen und javascript anklinken... solange du den link hast wird das auch mit jedem link gehen

 

[sirbender]

die webapp nimmt wie javafx eine website und simuliert sie in eine desktop anwendung rein mehr oder weniger und diese kannst du dann ausbauen und javascript anklinken... solange du den link hast wird das auch mit jedem link gehen

Puhhh...klingt kompliziert. Selenium funktioniert tadellos. Sehr langsam (weil es jedesmal erst einen echten Browser im Hintergrund startet) aber es funktioniert. Praktisch 1:1 das HTML, dass auch z.B. Firefox liefern würde.

 

[yfons123]

import java.io.IOException;
import javafx.application.Application;
import javafx.scene.Scene;
import javafx.scene.layout.VBox;
import javafx.scene.web.WebView;
import javafx.stage.Stage;

public class JavaFXwebView extends Application {
    @Override
    public void start(Stage stage) throws Exception { 
        stage.setTitle("title");
        WebView webView = new WebView();
        webView.getEngine().load("http://google.com");
        VBox vBox = new VBox(webView);
        Scene scene = new Scene(vBox, 960, 600);
        stage.setScene(scene);
        stage.show();   
    }
    public static void main(String[] args) throws IOException {
        launch(args);
    }
}

für javascript gibts eine "add" methode dann wird der javascript string unten an das geladene html dokument dran geheftet
javscript wird als string übergeben

javafx öffnet keinen browser sondern startet seine eigene web engine ( die dein browser auch hat ) um javascript usw ausführen zu können

 

[sirbender]

import java.io.IOException;
import javafx.application.Application;
import javafx.scene.Scene;
import javafx.scene.layout.VBox;
import javafx.scene.web.WebView;
import javafx.stage.Stage;

public class JavaFXwebView extends Application {
    @Override
    public void start(Stage stage) throws Exception {
        stage.setTitle("title");
        WebView webView = new WebView();
        webView.getEngine().load("http://google.com");
        VBox vBox = new VBox(webView);
        Scene scene = new Scene(vBox, 960, 600);
        stage.setScene(scene);
        stage.show();  
    }
    public static void main(String[] args) throws IOException {
        launch(args);
    }
}

für javascript gibts eine "add" methode dann wird der javascript string unten an das geladene html dokument dran geheftet
javscript wird als string übergeben

javafx öffnet keinen browser sondern startet seine eigene web engine ( die dein browser auch hat ) um javascript usw ausführen zu können

Danke. Und an den HTML code des WebView kommt man leicht ran?

 

[yfons123]

naja du hast halt das Document wie du es von javascript kennst

Document document = webEngine.getDocument();

damit hast du zugriff auf DOM