Website login Problem - Jsoup, wie bisher, klappt nicht!

[torresbig]

Hallo,

ich spiele ein online Fußballmanager und habe mir da ein Tool gebastelt, welches mir Informationen von unterschiedlichen Webseiten (ligainsider, comunio...) liefert und in einer Gui anzeigt.

Bisher bin ich für den Login und alles über die alte Website https://classic.comunio.de/login.phtml gegangen und habe mich mittels JSoup eingeloggt und konnte auch so alle Daten laden.
So sah dies bisher aus:

    if (login) {
                loginForm = Jsoup.connect("https://classic.comunio.de/login.phtml").method(Connection.Method.GET)
                        .userAgent(USER_AGENT).data("login", username).data("pass", password).execute();
            }

            Document doc = Jsoup.connect(website).data("cookieexists", "false").data("login", username)
                    .data("pass", password).cookies(loginForm.cookies()).post();

            values = doc.select(divFilter);

Jetzt würde ich dies gerne auf die neue Website von denen umstellen, aber dort gibt es keine Login-Page mehr. https://www.comunio.de/ dort muss man nun auf den Loginbutton klicken und es geht ein Fenster auf, indem man sich anmelden muss. Aber wie mache ich das jetzt? Hab wirklich absolut keinen Plan und war froh mit JSoup und der alten Seite klar zu kommen

Bin auch kein gelernter Programmierer, daher verzeiht es mir, wenn ich mich ggf. schlecht ausdrücke.
ich weiß leider überhaupt nicht, wo ich mich hier einlesen kann, da ich nicht weiß mit was dieses Loginfenster gemacht ist. Ist das Javascript? Also Anhaltspunkte wären auch schon mal hilfreich, aber natürlich die direkte Lösung noch besser :-D

Über ein paar Tipps würde ich mich sehr freuen. Schonmal Danke.


Hier mal das Bild von der Webseite:

 

[torresbig]

hier noch zwei screeshots aus google chrome wenn ich die webseite Untersuche

habe auch schon bei dem oben genannten code die Url vom ersten Bild genommen und auch passwort und username verwendet. Aber geht nicht.

 

[Oneixee5]

Es gibt ein Webservice-API, s. FAQ. Der Zugang erfolgt über einen "servicekey". Das Parsen der Webseite ist also vermutlich gar nicht notwendig.
@see https://mkyong.com/webservices/jax-ws/jax-ws-wsimport-tool-example/

 

[torresbig]

Es gibt ein Webservice-API, s. FAQ. Der Zugang erfolgt über einen "servicekey". Das Parsen der Webseite ist also vermutlich gar nicht notwendig.
@see https://mkyong.com/webservices/jax-ws/jax-ws-wsimport-tool-example/

ah, ok. hab mal kurz ein wenig danach gegoogelt.. bin genau so schlau wie vorher. :-D
gibt es dafür eine Bibliothek, die ich nutzen kann? programmiere meine app mit Eclipse

kenne mich mit webservice oder so gar nicht aus.

EDIT: hab jetzt gefunden, wie man die Daten von so einer API auslesen kann, aber wie der login geht finde ich leider nirgends. Need help

 

[Oneixee5]

Es steht doch aber in den FAQ, auf deutsch, mit Buchstaben ... !?

 

[torresbig]

Es steht doch aber in den FAQ, auf deutsch, mit Buchstaben ... !?

So leid es mir tut... Hier im forum in der FAQ finde ich nichts und auf der von Dir verlinkten Seite gibt es keine FAQ. Entweder bin ich zu doof, kapier einfach nicht was du meinst oder beides zusammen. 🤣🙈

 

[Oneixee5]

https://www.comunio.de/infos/faq Nr. 17

 

[torresbig]

https://www.comunio.de/infos/faq Nr. 17

Ah, OK. Da ist aber dann das Problem, dass ich kein Pro Player bin. Deswegen mache ich das ja, um mir alle relevanten Daten von der Seite zu ziehen und dann mit Infos von anderen Seiten aufwerten.

 

[KonradN]

Auf den ersten Blick ist es ja einfach eine Angular Applikation, die ihre Daten von einem Webservice bezieht.

Evtl. reicht es, die Request der App auszuwerten um dies dann nach zu bauen. Denn die Chance ist groß, dass da übliche Wege gegangen wurden.

Nur weil die Analyse ggf. einfach ist, muss das aber nicht heißen, dass man das einfach nachbauen kann.

Und natürlich: mit jeder neuen Bersion kann sich die API komplett ändern, daher ist das nicht wirklich der Weg, der viel Sinn macht.

 

[torresbig]

Auf den ersten Blick ist es ja einfach eine Angular Applikation, die ihre Daten von einem Webservice bezieht.

Evtl. reicht es, die Request der App auszuwerten um dies dann nach zu bauen. Denn die Chance ist groß, dass da übliche Wege gegangen wurden.

Nur weil die Analyse ggf. einfach ist, muss das aber nicht heißen, dass man das einfach nachbauen kann.

Und natürlich: mit jeder neuen Bersion kann sich die API komplett ändern, daher ist das nicht wirklich der Weg, der viel Sinn macht.

Das mit den Änderungen ist klar.
Sinn des Projektes ist, mich zu beschäftigen, mein Kopf anzustrengen und was zu tun zu haben. Warum das so ist, ist ja egal.

Mir macht der Manager viel Spaß und will die gebaute App auch nur für mich nutzen. Mag es die gui zu basteln und Daten anzuzeigen.
Das ist der ganze Sinn.

Wie ich den request auswerte, weiß ich grob. Aber ich weiß nicht, wie ich mich einloggen kann und dann eingeloggt dir ganzen Seiten abzufragen. Das ist das ganze Problem

 

[KonradN]

Wie ich den request auswerte, weiß ich grob. Aber ich weiß nicht, wie ich mich einloggen kann und dann eingeloggt dir ganzen Seiten abzufragen. Das ist das ganze Problem

Hast Du denn die Requests der Angular App einmal angeschaut? Wird da beim Login ein Request abgesendet?

Und wie sehen die folgenden Requests aus?

Ich habe nicht vor, mich mit der Webseite näher zu beschäftigen, aber das ist auf den ersten Blick (Ich habe das einfach mal aufgerufen und ein Login versucht) ist ein einfacher POST Request bei dem eine Form Übertragen wird.

Request Header

1. Request URL:
   
   https://www.comunio.de/api/login
2. Request Method:
   POST
3. Status Code:
   400
4. Remote Address:
   46.245.181.140:443
5. Referrer Policy:
   strict-origin-when-cross-origin

Payload Form-Data:

1. username:
   ccc
2. password:
   ccc
3. tzoffset:
   2

Das sollte man also nachstellen können. Der Request sendet auch Cookie-Daten mit. Ggf. muss man da erst einmal ein Request auf die Seite machen um den ersten Coockie zu bekommen (muss man halt ausprobieren) und ggf. werden gewisse Daten vom Browser benötigt, ohne die der Request sonst abgelehnt wird (Anbieter wollen halt so Bots nicht und haben oft zumindest minimalen Schutz - aber das merkt man dann).

Aber ich sehe da gerade keine besondere Komplexität.

 

[torresbig]

Hast Du denn die Requests der Angular App einmal angeschaut? Wird da beim Login ein Request abgesendet?

Und wie sehen die folgenden Requests aus?

Ich habe nicht vor, mich mit der Webseite näher zu beschäftigen, aber das ist auf den ersten Blick (Ich habe das einfach mal aufgerufen und ein Login versucht) ist ein einfacher POST Request bei dem eine Form Übertragen wird.

Request Header

1. Request URL:
   
   https://www.comunio.de/api/login
2. Request Method:
   POST
3. Status Code:
   400
4. Remote Address:
   46.245.181.140:443
5. Referrer Policy:
   strict-origin-when-cross-origin

Payload Form-Data:

1. username:
   ccc
2. password:
   ccc
3. tzoffset:
   2

Das sollte man also nachstellen können. Der Request sendet auch Cookie-Daten mit. Ggf. muss man da erst einmal ein Request auf die Seite machen um den ersten Coockie zu bekommen (muss man halt ausprobieren) und ggf. werden gewisse Daten vom Browser benötigt, ohne die der Request sonst abgelehnt wird (Anbieter wollen halt so Bots nicht und haben oft zumindest minimalen Schutz - aber das merkt man dann).

Aber ich sehe da gerade keine besondere Komplexität.

ich sehe da auch absolut nix komplexes. weiß halt überhaupt nicht wie man das macht 🙃
werde aber mal weiter Googlen und mal die Angular App testen und mich belesen. Schonmal danke.

 

[mihe7]

Installier Dir Postman (GUI) oder curl (Befehlszeile), dann kannst Du die Requests einfach ausprobieren ohne gleich Code schreiben zu müssen. Mit curl z. B.

curl -i -H "Content-Type: application/x-www-form-urlencoded" -X POST -F username=ccc -F password=ccc -F tzoffset=2 https://www.comunio.de/api/login

 

[torresbig]

Installier Dir Postman (GUI) oder curl (Befehlszeile), dann kannst Du die Requests einfach ausprobieren ohne gleich Code schreiben zu müssen. Mit curl z. B.

curl -i -H "Content-Type: application/x-www-form-urlencoded" -X POST -F username=ccc -F password=ccc -F tzoffset=2 https://www.comunio.de/api/login

Danke für den Tipp.
aber komme da auch nicht wirklich weiter.
Hab jetzt Postman installier und alles eingetragen. Das ist der Link, der erstellt wurde. hab statt username auch input_login (oder mit - ) und bei password das selbe. auch ohne dieses tzoffset...

https://www.comunio.de/api/login?username=MEINUSERNAME&password=MEINPASSWORT&tzoffset=2

Methode ist POST!

folgendes kommt immer zurück

{
    "code": 400,
    "message": "InvalidArgumentsError"
}

 

[KonradN]

Das liegt vermutlich einfach daran, dass die Daten eben nicht URLEncoded erwartet werden.

Evtl. einfach mal damit anfangen, dass Du Dich mit dem http Protokoll und wie man da Daten übertragen kann, beschäftigen … und ehe man eine fremde Webseite automatisieren möchte erst mal selbst etwas damit spielen.

 

[mihe7]

hab statt username auch input_login (oder mit - ) und bei password das selbe. auch ohne dieses tzoffset...

Keine Verzweiflungstaten, bitte In Deinen Screenshots sieht man eindeutig, dass es sich um Formularfelder username, password und tzoffset handelt. Man sieht auch, dass die im Body und nicht in der URL mitgeschickt werden, daher ist

https://www.comunio.de/api/login?username=MEINUSERNAME&password=MEINPASSWORT&tzoffset=2

nicht korrekt (natürlich könnte es sein, dass der Endpunkt auch damit umgehen kann; das wissen wir aber nicht, daher halten wir uns einfach an das, was der Browser spricht).

Falls Du auch mit curl experimentierst, kannst Du mal statt den -Fkey=value auch einfach mal --data-raw 'username=ccc&password=ccc&tzoffset=2' versuchen (evtl. überschreibt -F den Content-Type auf multipart/form-data)

Das liegt vermutlich einfach daran, dass die Daten eben nicht URLEncoded erwartet werden.

Doch, der Content-Type im Browser-Request für diesen Login ist tatsächlich application/x-www-form-urlencoded (habs extra ausprobiert)

 

[torresbig]

OK, sind mal wieder ein paar neue Anhaltspunkte. Auch wenn ich wirklich null plan habe 🤣🙈 ich verstehe es einfach nicht, daher die Verzweiflungstaten.
Curl werde ich mal testen und schauen was da so raus kommt und ob ich damit dann überhaupt was anfangen kann.

Ich berichte! Falls jemand noch mehr Tipps für wirkliche Neulinge was das Thema hier angeht, gerne her.

 

[mihe7]

Falls jemand noch mehr Tipps für wirkliche Neulinge was das Thema hier angeht, gerne her.

Du solltest Dich ein wenig mit HTTP, Mediatypen usw. beschäftigen. Das ist alles keine Zauberei.

 

[KonradN]

Doch, der Content-Type im Browser-Request für diesen Login ist tatsächlich application/x-www-form-urlencoded (habs extra ausprobiert)

Hmm, ich hatte es ja auch ausprobiert aber ich habe tatsächlich den Irrtum begangen, dass ich beim Chrome nicht gut genug auf den Request Header geachtet hatte. Beim Reiter Payload stand halt Form-Data:



Das ist da aber halt vermutlich immer die Überschrift und nicht das Encoding... Das ist im Request Header tatsächlich:


Daher auf jeden Fall Danke für den Hinweis und die Richtigstellung.

 

[torresbig]

Kurzes update. Also die Verbindung bekomme ich jetzt hin (siehe unteres Bild)
Der Tipp mit dem Body war super. Danke.
wenn ich nun eine andere Seite von der API auslesen möchte, lässt er es nicht zu, wegen Authentifizierung.

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=401,
URL=[https://www.comunio.de/api/communities/MEINECOMUNITY/users/ICH/news?group=true&originaltypes=true&start=0&limit=20]

Im Respons sind keine Cookies und denke da muss ich jetzt mal schauen was ich da machen muss, um diese zu bekommen oder zu erstellen.
So sieht das aus, wenn ich z.B. das dashboard untersuche:

 

[Jw456]

Du bekomnst ja sicher ein cookie.
Das brauchst du dann auch immer. Damit dich der Server auch erkennt.

 

[Jw456]

Du bekommst aber doch ein zugangs Token. Das muss natürlich imner mit bei jedem weiteren request.

 

[torresbig]

Du bekommst aber doch ein zugangs Token. Das muss natürlich imner mit bei jedem weiteren request.

Genau. Da bin ich mir noch nicht sicher wie ich den wieder mitschicke. Konnte aber auch aktuell nicht weiter testen und probieren.

Du bekomnst ja sicher ein cookie.
Das brauchst du dann auch immer. Damit dich der Server auch erkennt.

Bestimmt. Aber da weiß ich auch noch nicht wo ich den abfragen kann. 🤣🙈

 

[mihe7]

wenn ich nun eine andere Seite von der API auslesen möchte, lässt er es nicht zu, wegen Authentifizierung.

Ja, Du bekommst als Antwort auf den Login ein JSON-Objekt zurück, in dem sich unter anderem ein Access-Token befindet. Den Wert dieses Tokens musst Du bei den folgenden Aufrufen im Authentication-Header als Bearer-Token mitschicken.

curl -H "Authentication: Bearer d1473..." ...

EDIT: Der Wert d1473... kommt natürlich aus dem access_token von oben.

 

[torresbig]

Ja, Du bekommst als Antwort auf den Login ein JSON-Objekt zurück, in dem sich unter anderem ein Access-Token befindet. Den Wert dieses Tokens musst Du bei den folgenden Aufrufen im Authentication-Header als Bearer-Token mitschicken.

curl -H "Authentication: Bearer d1473..." ...

EDIT: Der Wert d1473... kommt natürlich aus dem access_token von oben.

ähhh... joa. danke an alle, aber hier bin ich raus. Mir fehlt einfach das Grundverständnis.

ich holen mir hier den Token und speicher den:

Response test = Jsoup.connect( "https://www.comunio.de/api/login")
                        .userAgent(USER_AGENT)
                        .header("Content-Type", "application/json;charset=UTF-8")
                        .method(Connection.Method.POST)
                        .requestBody(payload())
                        .ignoreContentType(true)
                        .execute();
                }
String token = test.body().split("\"access_token\":\"")[1].split("\",\"expires_in\"")[0];

wenn ich dann eine Neue Verbindung machen wir zu der richigen URL, weiß ich einfach nicht was ich machen soll. Vielleicht ist Connection als Lib schlechte dafür, aber ich kenne nix anderes.
wo muss da jetzt was mit der Authentifikation und dem Token hin?

doc = Jsoup.connect("https://www.comunio.de/api/communities/884xxx/users/5981xxx/news?group=true&originaltypes=true&start=0&limit=20").post();

 

[Jw456]

Das musst du in den Header packen

URL url = new URL("https://...");
HttpURLConnection http = (HttpURLConnection)url.openConnection();
http.setRequestProperty("Accept", "application/json");
http.setRequestProperty("Authorization", "Bearer {token}");

System.out.println(http.getResponseCode() + " " + http.getResponseMessage());
http.disconnect();

OAuthAuthenticationProvider xref

https://roytuts.com/httpsurlconnection-rest-api-call-auth-token-and-proxy-server/

 

[mihe7]

ähhh... joa. danke an alle, aber hier bin ich raus. Mir fehlt einfach das Grundverständnis.

Deswegen solltest Du dich auch erst ein wenig mit den Grundlagen beschäftigen.

Das ist nicht sonderlich schwer. Ein HTTP-Request besteht im Wesentlichen aus einem Verb, einem Pfad (z. B. POST /api/login), einem Satz von Kopfzeilen (Header wie Content-Type, Authentication usw.) und ggf. einem Body.

HTTP ist ein zustandsloses Protokoll, d. h. dass alle Informationen, die zur Verarbeitung benötigt werden, in jeder Anfrage enthalten sein müssen. Der Server weiß nicht, welche Anfrage zuvor gestellt wurde, in welchem Zustand sich die Anwendung zu diesem Zeitpunkt befand usw.

Heißt: wenn Du in einer Anfrage Zugangsdaten schickst, weiß der Server davon in der nächsten Anfrage nichts mehr.

Deswegen müssen Informationen zur Authentifizierung immer mitgeschickt werden. Das kann man auf verschiedene Weise machen. Die einfachste besteht darin, bei jeder Anfrage Benutzername und Passwort mitzuschicken (HTTP Basic Authentication). Einer der großen Nachteile dabei: der Server muss jedesmal zur Datenbank gehen und fragen, ob die Informationen korrekt sind.

Eine andere Möglichkeit ist, dass der Server eine "Session" einrichtet (im RAM) und ein Session-Cookie setzt, anhand dessen er eine Session identifizieren und finden kann. Mit der Session verknüpft der Server beliebige Informationen, z. B. ob der Benutzer eingeloggt ist, welcher Benutzername, welche Rechte, wie sein Warenkorb aussieht usw. Der Browser schickt in jeder weiteren Anfrage automatisch das Session-Cookie mit (über HTTP-Header). Der Server braucht jetzt die Datenbank nicht mehr jedesmal zu fragen, ob Benutzername und Passwort korrekt sind, weil er anhand der Sitzungsdaten weiß, ob der Anwender angemeldet ist.

Die Seite, um die es hier geht, verwendet Tokens (token authentication). Das funktioniert ähnlich wie im Hotel: beim Checkin "tauschst" Du Deine Buchungsbestätigung durch einen Zimmerschlüssel (Token) ein. Mit dem Zimmerschlüssel kannst Du nun Dein Zimmer (die geschützte Ressource) verwenden.

Nichts anderes passiert hier: Du tauschst Benutzername und Passwort im ersten Schritt gegen ein Token ein und mit dem Token kannst Du dann den Rest der API verwenden.

Wie das technisch funktioniert, hat Dir @Jw456 bereits gezeigt.

 

[torresbig]

Super Erklärung, Danke.
Soweit war mir das grundsätzlich auch bewusst, aber bei mir scheitert es dann immer an der Umsetzung.

Leider war das alles recht Ergebnislos, da ich jetzt vor einem nächsten Problem stehe.
wenn ich die webseite wie vorher auf der classic comunio Seite auslesen möchte (also HTML zerlege), geht das hier nicht, da der HTML-Code nicht drin steht.

wenn ich den Pfad aufrufen möchte, der meine Informationen hat, kommt wieder 401

https://www.comunio.de/api/communities/884691/users/5981249/news?group=true&originaltypes=true&start=0&limit=10

wobei es mit dem Link

https://www.comunio.de/dashboard

funktioniert.

muss ich hier den Pfad auch über den Header übergeben, denn auch im Browser kommt bei dem Pfad mit der News 401
verstehe das alles nicht.

so hab ich mir das mit dem header gedacht???

Document doc = Jsoup.connect("https://www.comunio.de")
                     .header("path", "/api/communities/884691/users/5981249/news?group=true&originaltypes=true&start=0&limit=10")
                     .header("Accept", "application/json, text/plain, */*")
                     .header("Authorization", "Bearer {" + token + "}")
                     .get();

ist schwer für euch zu erklären. ich weiß ja selbst nicht was ich brauch

 

[mihe7]

Änder mal Zeile 4 zu

    .header("Authorization", "Bearer " + token);

Die geschweiften Klammern gehören da nicht hin.

 

[Jw456]

401 heißt die Authorization hat nicht geklappt.

 

[Jw456]

Code:
https://www.comunio.de/dashboard
funktioniert.

dafür brauchst du scheinbar keine Authorization

da hast du wolh die Seite bekommen zum einloggen

 

[torresbig]

Oh mein Gott. ich heule gleich

Vielen vielen Dank an alle. 😍

Jetzt hab ich Anhaltspunkte und kann weiter machen.
Bekomme jetzt genau das, was ich brauch