HTTP Website-Login

[Gelöschtes Mitglied 62019]

Hallo zusammen,

ich möchte in einem Programm Daten von einer Website verarbeiten. Um an die Daten zu kommen, habe ich folgenden Code-Schnipsel genommen:

try {
            URL url = new URL("https://www.java-forum.org/thema/website-login-via-java.90216/");
            URLConnection conn = url.openConnection();
          
            BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream()));
            String str;
            while ((str = in.readLine()) != null) {
                System.out.println(str);
            }
            in.close();
} catch (MalformedURLException e) { 
            e.printStackTrace();
} catch (IOException e) { 
            e.printStackTrace();
}

Bei der URL im Quellcode funktioniert das auch super, aber eigentlich möchte ich Daten von https://www.mytischtennis.de/public/home verarbeiten und dort funktioniert das aus einem mir unbekanntem Grund nicht.

Ich bin für jede Hilfe dankbar!
MfG, Haronsku

PS: Mir ist leider erst im Nachhinein aufgefallen, dass der Titel nicht ganz passt. Ich wusste da noch nicht so ganz, wie ich das Problem formulieren soll. Sorry dafür, ich bin hier noch relativ neu

 

[M.L.]

Auch hallo

So etwas nennt man "Web Scraping" Und wie dort erwähnt kann sich ein Webseitenbetreiber versuchen sich dagegen zu schützen (evtl. gilt das auch für mytischtennis.de). Oder man muss sich dort einloggen, 'nur' mytischtennis.de im Code angeben,... Oder eine andere Programmiersprache versuchen: https://www.rosettacode.org/wiki/Web_scraping

 

[LimDul]

Was heißt den auch funktioniert nicht? Gibt es eine Exception? Gibt es irgendeine Ausgabe?

 

[M.L.]

dort funktioniert das aus einem mir unbekanntem Grund nicht.

Selbstversuch mit Eclipse und den genannten Codebeispielen (unter Auskommentierung von MalformedURLException): es gibt keine Ausgabe und eine "Terminated"-Meldung (zumindest mit https://www.mytischtennis.de etc. als Versuchsobjekt). Evtl. hilft es die Seite im Browser aufzurufen, auf Quelltext-Ansicht zu gehen, den Code von dort in eine lokale Datei zu speichern und diese mit Java weiterzuverarbeiten.

 

[mihe7]

Der Server erwartet einen Accept-Encoding-Header.

 

[M.L.]

Das Stichwort Accept Encoding ist der Gewinner, Quellcode von https://www.rgagnon.com/javadetails/java-HttpUrlConnection-with-GZIP-encoding.html (drittes Listing mit mytischtennis.de... statt rgagnon.com...). Damit ergibt sich ein Output.

)