antwort des servers auf URL anfrage : 403

[samidar]

hier mein quellcode

System.out.println(site_adress);
InputStream is=null;
URL site= new URL(site_adress);
is = site.openStream();



auf eine einfache https seite . Bis vor einer Woche hatte diese Seite auch immer funktioniert, doch nun kommt also Serverantwort immer 403. Wenn ich per internet explorer oder lynx zugreife funktiniert die Seite einwandfrei

 

[Leroy42]

Ich hatte mal ein Java-Programm geschrieben,
daß geographische Koordinaten von Städten aus HTML-Seiten
einer HP herausgefiltert und gespeichert hat.

Nachdem ich auf diese Weise einige Dutzend Seiten mit
mehreren 1000 Koordinaten "gelesen" habe, ist dies dem
HP-Betreiber aufgefallen und er hat "mich ausgesperrt".

Das heißt, über beliebige Browser konnte ich die Seiten
zwar noch aufrufen aber per Programm wurde jeweils nur
eine Seite geliefert, die darauf hinwies, das eine "automatisierte"
Abfrage nicht gestattet ist.

Ich vermute daß die Betreiber zusätzlich die von den
Browsern mitgesendeten Informationen ausgewertet
haben.

Vielleicht ist dies ja auch bei dir der Fall.

 

[faetzminator]

ich als webmaster mach dies auch (wenn ich das system oder den browser nicht erkenne, ausser "ich sehe", dass es ein google bot ist)
google doch mal nach http header... da kannst sicher was herausfinden.

greez faetzminator

 

[Guest]

gut es liegt also tatsächlich daran dass eine automatisierte abfrage nicht gestattet ist. Gibt es denn eine möglichkeit einen browser zu simulieren?

 

[Gast]

ja, du musst den user-agent von nen browser vortäuschen bzw. den ganzen http header

 

[Guest]

gut ich habe ein programm gefunden:

IEHttpHeaders damit kann man im IE die Header felder auslesen und mittels des URLConnection Objektes mit setRequestProperties einstellen