Websiten auslesen, Browser stellt Links anders da.

[xip]

Hallo,

ich beschäftige mich in letzter Zeit damit Websiten mit Java zu untersuchen. Jetzt ist mir aufgefallen wenn ich einen Link etwas
genauer anschaue, kommt so aus meinem Java Programm:

forumdisplay.php?s=0153e9ce546489713284ce354&do=markread

Aber in meinem Browser entfällt dieses s= . Da schaut das so aus:

forumdisplay.php?do=markread

Warum das den??? Habt ihr da eine Idee?

Dank euch.

 

[faetzminator]

Wenn Cookies auf dem Client geschrieben werden können, wird die Session ID meist in ein solches verlagert. Werden Cookies nicht unterstützt, wird diese per GET (URL) oder POST ((X)HTML Formular) mitgeschickt.

 

[xip]

dank dir.

gibs da reservierte Bereiche für die Links für dieses GET? Oder diese Session ID?

Also, z.B. das bei der ID immer ein "s" als Variable kommt und nicht ein "k" z.B.

Dann könnte ich ja einfach dieses s und die Session ID generell weglöschen?

 

[xip]

oder besser noch, wie könnte ich mein Java Programm (Methode) erweitern damit das erst gar nicht mitgesendet wird?`

private static String downloadPage(URL pageUrl) 
{
        try {
            URLConnection urlc = pageUrl.openConnection();
            urlc.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7");

            BufferedReader reader =
                    new BufferedReader(new InputStreamReader(
                    urlc.getInputStream()));
            

            String line;
            StringBuffer pageBuffer = new StringBuffer();
            while ((line = reader.readLine()) != null) {
                pageBuffer.append(line);
            }
            
            return pageBuffer.toString();
        } catch (Exception e) {
        }
        
        return null;
}

 

[SlaterB]

vielleicht
Cookie Support

 

[xip]

oh man, hätte nicht gedacht das ich auf sowas spezielles eine gute Antwort kriege. Ich wurde wirklich überrascht!!!

Vielen Dank euch beiden.

Mein Problem scheint gelöst.

private static String downloadPage(URL pageUrl) 
{
        try {
            URLConnection urlc = pageUrl.openConnection();
            urlc.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7");
            urlc.setRequestProperty("Cookie", "foo=bar"); 
 
            BufferedReader reader =
                    new BufferedReader(new InputStreamReader(
                    urlc.getInputStream()));
            
 
            String line;
            StringBuffer pageBuffer = new StringBuffer();
            while ((line = reader.readLine()) != null) {
                pageBuffer.append(line);
            }
            
            return pageBuffer.toString();
        } catch (Exception e) {
        }
        
        return null;
}

 

[xip]

eigentlich hatte sich die Sache schon erledigt, aber jetzt hat sich noch was Neues unerwartetes ergeben.

Ich betreibe ein vBulletin Website und ich wollte mit meinem Java Programm alles da drin druchsuchen. Quasi einen Crawler.

Wenn ich den da durchlaufen lasse, kommen nach einiger Zeit immer komsiche Links die immer länger werden. Das nimmt keine Ende.
Hier ein Beispiel:

ttp://meineforum.de/upload/showthread.php?t=1&goto=nextnewest&nojs=1&nojs=1&nojs=1&nojs=1&nojs=1

auch diesen Link kann ich zwar im Browser aufrufen, aber so einen kriege ich nicht von meiner Website.

Könnt ihr mir auch da weiterhelfen?

Vielen Dank.

 

[maki]

Du Encodierst die URL falsch, aus [c]&[/c] wird [c]&[/c], was auch wieder ein [c]&[/c] enthält, usw.

 

[xip]

vielen Dank, genau das wars.

Aber, das Problem habe ich jetzt behoben und da tauchen gleich edliche neue gleicher Natur auf, gibt es irgendeine Möglichkeit, wenn ich links habe wo eine komische Codierung drinnen steht, das die gleich korrekt umgewandelt werden?

z.B.

http:// wird bei mir zu http%3A%2F%2F

oh man, wenn ich das alles behandele werde ich ja irre? Gibs da nicht ne Klasse für?

Dank euch

 

[maki]

Wie codierst die Url denn? (Code)

 

[xip]

die Website lade ich oben mit dem Code, und dann suche ich mit einem Pattern nach Links.

Klappt auch super.

Gerade bin ich auf die static Methode URLDecoder.decode(String) gestoßen. Die scheint mein Problem zu lösen. Aber die ist deprecated. Gibs da was neues dafür?