HTTP Interpretierten Seitenquellcode anzeigen

[Nemesys88]

Hallo zusammen!

Ich möchte mir gerne mit JSoup den Seitenquelltext einer Website holen.
Leider habe ich dabei das Problem, dass genau das div, das ich brauche,
über Javascript gesteuert wird...
Lasse ich mir den Quelltext mit Chrome anzeigen, sehe ich aber zb. den Inhalt des Divs -
Chrome scheint hier den bereits interpretierten Quelltext anzuzeigen.
Geht das auch irgendwie programmatisch?

Wichtiger Hinweis: Es handelt sich um eine Confluence - Seite.

Mein Aufruf startet ca. so:

                Document doc = Jsoup
                        .connect("https://confluence....")
                        .userAgent("Chrome/60.0.3112.113")
                        .get();

Habe da schon mit userAgent etc. probiert, was mich aber nicht weitergebracht hat...
Auch andere Verfahren, um eine Website per Java auszulesen habe ich probiert, Scanner u.v.m.
Aber die zeigen mir alle nicht den vollständig interpretierten Code an.

Was kann ich tun?

Vielen Dank.

 

[Flown]

Da JSoup nur ein HTML parser ist und keine Browserengine. Verwende doch Selenium. Mit dem passendem WebDriver. Dann kannst du bequem die gerenderte Seite parsen.

 

[Flown]

Oder es ist natürlich möglich herauszufinden, wie der AJAX call aufgebaut ist, dann funktioniert das auch nur mit JSoup: https://stackoverflow.com/a/27723314/4105457

 

[Thallius]

Wenn die Seite serverseitig erzeugt wird bekommst du den "echten" Quelltext natuerlich nicht sondenr immer schon die aufbereitete Seite. Wenn Du also wissen willst wie die etwas berechnen oder so, dann bleibt das deren Geheimnis.

 

[sascha-sphw]

Hast du mal nachgesehen, ob du die Infos die du brauchst nicht auch über die RestAPI bekommen kannst?
https://developer.atlassian.com/server/confluence/confluence-server-rest-api/

 

[Nemesys88]

Habe es jetzt mit Selenium probiert, allerdings mit dem gleichen Ergebnis, dass ich das von mir gewünschte div nicht sehe. Code dazu sieht so aus, aber evtl ist hier auch etwas falsch.. ?!

            System.setProperty("webdriver.chrome.driver", "C:/ams/chrome/chromedriver.exe");
            WebDriver browser = new ChromeDriver();
            browser.get("https://confluence.servicedesk...");
            System.out.println(browser.getPageSource());
            browser.close();

// Ja, Rest-API habe ich auch schon versucht, auch da das gleiche Ergebnis.

 

[Flown]

Musst du irgendetwas klicken oder warten, bis dein div erscheint?

 

[Nemesys88]

Nein, nur Rechtsklick und Seitenquelltext anzeigen und dann runterscrollen
Sehe das auch nur in Chrome, in anderen Browsern nicht.

Ich weiss nicht, ob das hilft, aber das Div fängt so an:

        <div id="main-content" class="wiki-content">
                         
        <p><ul class="childpages-macro conf-macro output-block" data-hasbody="false" data-macro-name="children">

dann kommen ganz viele <li> ...

und am Ende wird es so geschlossen:

</ul><span class="confluence-anchor-link conf-macro output-inline" id="xxx" data-hasbody="false" data-macro-name="anchor"> </span></p>

        </div>

Und im Prinzip geht es mir darum, dass ich (den Inhalt) der li's brauche.

 

[JCODA]

Bau mal ein Thread.sleep(3); nach dem get ein. Kommt nun das erwartete Ergebnis?
Ansonsten kannst du mal nach WebDriverWait googlen, damit kannst du auf bestimmte Dinge "warten".

 

[Nemesys88]

Funktioniert leider nicht...
Ich versuche mal mit dem Word-Export zu arbeiten, da steht wenigstens der komplette Seitenquellcode drin.
Danke erstmal.

 

[mihe7]

Das mit dem Warten sollte schon funktionieren. Vielleicht reichen aber 3 Sekunden nicht aus: mir fällt spontan keine Web-Anwendung ein, bei der das Ressourcen/Leistungsverhältnis von Confluence/Jira übertroffen wird.

 

[mrBrown]

// Ja, Rest-API habe ich auch schon versucht, auch da das gleiche Ergebnis.

Was ist denn bei der REST-Api das gleiche Ergebnis?

Da es dort weder Javascript noch Html gibt, wäre es sehr ungewöhnlich, wenn das problem da die fehlende Javascript-Ausführung und das somit nicht gerenderte Html ist...

 

[Xyz1]

Da es dort weder Javascript noch Html gibt

Woher weißt du das, oder worauf beruht deine Annahme?

JavaScript ist zwar nicht Java, aber eine Frage bleibt offen, ob er/sie gerendertes HTML sehen möchte oder dessen Inhalt oder beides.

Bei Ersterem ist Selenium genau der richtige weg.

 

[mrBrown]

Woher weißt du das, oder worauf beruht deine Annahme?

Aus der hier schon verlinkten Doku. Die Rest-Api gibt JSON zurück, und soweit ich das bisher gesehen hab enthält das nirgends eingebettetes html oder ausführbares Javascript.

 

[Thallius]

Wir wissen ja immer noch gar nicht was er eigentlich haben will bzw was er sich davon erhofft

 

[Xyz1]

Wir wissen ja immer noch gar nicht was er eigentlich haben will bzw was er sich davon erhofft

Das stimmt auch wiederum... Also, TE, bitte dein Problem genauer beschreiben.

 

[Nemesys88]

Okay, ist leider ein bisschen schwer ohne Screenshots machen zu können (wegen Firmeninterna etc.), aber ich deute es einfach mal an (siehe Anhang).
Wer Confluence kennt, erkennt bestimmt, dass da wo das große X ist der Seiteninhalt steht.
In meinem Fall handelt es sich um eine Liste von Links zu Unterseiten, aber das ist ja eigentlich egal.
Zzt. muss ich diese Liste händisch per Copy&Paste in eine lokale Datei kopieren, um sie von dort aus weiterverarbeiten zu können, was logischerweise unbefriedigend ist...
Deswegen wollte ich gerne über den Seitenquelltext an den Seiteninhalt kommen.
Gehe ich (funktioniert nur im Chrome) mit Rechtsklick auf "Seitenquelltext anzeigen" und scrolle etwas runter, sehe ich den vollständigen Div (siehe conf_div) mit dem kompletten Inhalt. (Also da wo ich die Punkte angedeutet habe sieht man den vollständigen (HTML-) Inhalt)
Hole ich mir den Seitenquelltext aber über.. Jsoup, Selenium, Conf-REST, Scanner, (...) dann bekomme ich nicht den gesamten Quelltext, den ich zb. im Chrome sehe...

Ich hoffe, man kann jetzt etwas Besser verstehen, was ich gerne haben möchte... ;-)

 

[httpdigest]

Was dir der Webserver (bzw. Confluence) genau sendet, hängt auch davon ab, welche Request Header du beim Request mitsendest. Also, was du als Content-Type akzeptierst und häufig auch, welchen User-Agent du verwendest.
Schaue mal ganz genau in den F12-Tools von Chrome bei dem Request auf die Hauptseite, welche Header mitgesendet werden, und verwende exakt dieselben Header.
Sollte in etwa so aussehen:

Außerdem musst du dich höchstwahrscheinlich auch als angemeldet/authentifiziert ausgeben, sonst erhältst du sicherlich eine Anmeldemaske als Ergebnis.

 

[mihe7]

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.support.ui.ExpectedCondition;
import org.openqa.selenium.support.ui.WebDriverWait;

public class Test {
    public static void main(String[] args) {
        WebDriver driver = new FirefoxDriver();
        driver.get("https://apereo.atlassian.net/wiki/spaces/LIC/pages/103503027/maven-notice-plugin");
        new WebDriverWait(driver, 20).until(new ExpectedCondition<Boolean>() {
            public Boolean apply(WebDriver d) {
                return d.getTitle().toLowerCase().startsWith("maven");
            }
        });
      
        System.out.println(driver.findElement(By.id("content-body")).getAttribute("innerHTML"));

      
    }
}

Funktioniert bei mir einwandfrei.

 

[Nemesys88]

Jaaa... das sieht schon sehr gut aus, den Inhalt bekomme ich schon.
Musste allerdings ChromeDriver nehmen:

        System.setProperty("webdriver.chrome.driver","D:/chromedriver.exe");
        WebDriver driver = new ChromeDriver();
        driver.get("https://confluence.servicedesk-....");
        new WebDriverWait(driver, 20).until(new ExpectedCondition<Boolean>() {
            @Override
            public Boolean apply(WebDriver d) {
               return d.getTitle().startsWith("Lokale");
            }
        });
    
        System.out.println(driver.findElement(By.id("main-content")).getAttribute("innerHTML"));

Jetzt habe ich nurnoch das "Problem", dass ich beim "Betreten" der Seite händisch die Login-Daten eingeben muss - hat da nochmal jemand einen Tipp?

 

[httpdigest]

Jetzt habe ich nurnoch das "Problem", dass ich beim "Betreten" der Seite händisch die Login-Daten eingeben muss - hat da nochmal jemand einen Tipp?

Wenn du dich einloggst, bekommst du im Response einen Set-Cookie Header (enthält eine CONFLUENCESESSIONID), den du als "Cookie"-Header im nächsten Request mitsenden musst. Schaue dir in den F12-Tools einfach an, was im /dologin.action Request als Response zurückkommt.

 

[JCODA]

Jetzt habe ich nurnoch das "Problem", dass ich beim "Betreten" der Seite händisch die Login-Daten eingeben muss - hat da nochmal jemand einen Tipp?

Du suchst dir die Textfields aus, die die Logendaten beinhalten sollen, diese füllst du nach dem driver.get() und loggst dich ein. Das kann Selenium alles...

 

[Nemesys88]

Läuft!

        driver.findElement(By.id("os_username")).sendKeys("xxx");
        driver.findElement(By.id("os_password")).sendKeys("xxx");
        driver.findElement(By.id("loginButton")).click();

Herzliches DANKESCHÖN an Alle!

 

[mihe7]

Noch ein Hinweis: Du musst nicht über die content-id gehen, sondern kannst Dir die Elemente, die Du brauchst, z. B. auch direkt per XPath oder CSS-Selektor rauslesen. Dann brauchst Du kein HTML zu parsen.

 

[Nemesys88]

Ok, danke für den Tipp, kann ich nochmal versuchen! Das Parsen war jetzt aber nicht das Problem, mit:

        String content = driver.findElement(By.id("main-content")).getAttribute("innerHTML"); 
        driver.close();       
        List<String> allMatches = new ArrayList<>();
        Matcher m = Pattern.compile("[>][A-Z_-]{2,}[<]") //$NON-NLS-1$
            .matcher(content);

hatte ich das, was ich brauchte, zusammen. =)

 

[Xyz1]

Musste allerdings ChromeDriver nehmen:

Mit Firefox sollte das auch gehen.

hatte ich das, was ich brauchte, zusammen.

Eigentlich ist das kein echtes "Parsen".

per XPath oder CSS-Selektor

Insofern das Login Formular noch identifier hat ist findElement(By.id()) eigentlich nicht falsch.

 

[mihe7]

Insofern das Login Formular noch identifier hat ist findElement(By.id()) eigentlich nicht falsch.

Ich meinte nicht das Login-Formular, sondern die Elemente, die er aus der Seite extrahieren will

 

[Xyz1]

Alles klar

 

[sascha-sphw]

Das was du beschreibst geht hervorragend mit der RestAPI, habe ich selber schon mal für ein Projekt umgesetzt. Natürlich musst Du dann immer noch HTML parsen und dir deine Elemente entsprechend suchen. Der große Vorteil dabei ist aber, es sind reine Daten ohne JavaScript.

 

[Nemesys88]

Hallo zusammen!

Ich verwende mal meinen alten Thread wieder.

Ich möchte jetzt gerne, den Seiteninhalt der Confluence-Seite verändern.
Dabei komme ich soweit bis zur Bearbeitung, aber das mit dem Speichern klappt noch nicht.
Also erstmal Code:

            JavascriptExecutor js = (JavascriptExecutor) driver;
            new Actions(driver).sendKeys("e").perform(); //$NON-NLS-1$
            new WebDriverWait(driver, 20).until(new ExpectedCondition<Boolean>() {
                @Override
                public Boolean apply(WebDriver d) {
                   return driver.findElement(By.id("wysiwygTextarea")).isDisplayed();  //$NON-NLS-1$
                }
            });
            js.executeScript("var ele=arguments[0]; ele.innerHTML += 'Seiteneigenschaften';", driver.findElement(By.id("wysiwygTextarea"))); //$NON-NLS-1$ //$NON-NLS-2$
            driver.findElement(By.id("qed-publish-button")).click(); //$NON-NLS-1$

Also eigentlich geht es darum, dass das Ganze in mehreren Schleifen läuft und ich bei ca. 2000 einzelnen Seiten, das Confluence-Seiteneigenschaften-Makro einbauen möchte.

Dabei habe ich folgende 2 Probleme:

a) Weiss ich nicht, wie ich das mit dem Makro so schreiben muss, dass er IN das Makro das jetzige "ele.innerHTML" einbettet.
b) funktioniert auch das einfache Hinzufügen eines Textes so wie im Code oben zu sehen, noch nicht. Man sieht dem ChromeDriver aber auch nicht an, dass er da Text hinzufügt. Auch vom Buttonklick sieht man nichts...

Würde mich über Hilfe sehr freuen.

MfG

 

[thecain]

Mit der Rest Api müsste das doch einfach gehen