HTTP Falscher Code per url.openStream()

pzypher

Aktives Mitglied
Hallo,

wenn ich einen HTML Code aus einer Website lesen möchte, tritt bei manchen Websites der Fall auf, dass der Server meint ich (das Java Programm) sei ein mobiles Gerät und antwortet mir mit der mobilen Version. Ich möchte jedoch immer den "Standard HTML Code" zurückbekommen.

Ist es irgendwie möglich, das Java Programm als "normalen" Browser (für PCs) zu tarnen?

Der Vollständigkeit halber hier der Code zum Auslesen:
Java:
import java.io.IOException; 
import java.io.InputStream; 
import java.net.URL; 
import java.util.Scanner;
import java.io.File;
import java.io.FileWriter;
 
class Main { 
  public static void main( String[] args ) { 
	    
	  	InputStream is = null;
		File file = new File("/home/user/testfile");
		
		try {
			FileWriter writer = new FileWriter(file, false);
			
			URL url = new URL( "http://www...." ); 
		    is = url.openStream();
		    writer.write( new Scanner(is).useDelimiter("//html//").next() ); 
		    writer.flush();
		} catch (Exception ex) {
			System.out.println("Fehler: " + ex.getMessage());
		} finally { 
		      if ( is != null ) 
		        try { is.close(); } catch ( IOException e ) { } 
	    } 
	  } 
}

Zusatz: Bei The Internet Movie Database (IMDb) bekomme ich überhaupt sogar eine 403 zurück - liegt wohl daran dass sie keinen automatisierten Zugriff wünschen...

Danke

PS: Ich habe natürlich nichts Verbotenes vor...
 
Zuletzt bearbeitet:
G

Gast2

Gast
Du solltest da ein paar HTTP Header setzen, beispielsweise
Code:
User-Agent
. Daran wird oft festgemacht ob es sich um einen mobilen Browser handelt oder nicht. Auch so Sachen wie
Code:
Referer
,
Code:
Accept
,
Code:
Accept-Charset
und
Code:
Accept-Encoding
solltest du setzen.
 
S

Spacerat

Gast
Da musst du evtl. mit URLConnection und "setRequestProperty()" tricksen. Mich wundert nur, das Java standardmässig als MobileDevice eingestuft wird.
 
G

Gast2

Gast
Im User-Agent steht halt "Java" drin, vielleicht geht man da von nem Android Gerät aus ;)
 

pzypher

Aktives Mitglied
Hat geklappt danke euch

uc.setRequestProperty() ist die benötigte Methode


Java:
import java.io.IOException; 
import java.io.InputStream; 
import java.net.*;
import java.util.Scanner;
import java.io.File;
import java.io.FileWriter;
 
class Main { 
	
   public static void main( String[] args ) { 
	    
	  	InputStream is = null;
		File file = new File("/home/user/testfile");
		
		try {	
			URL url = new URL("http://www....");
			FileWriter writer = new FileWriter(file, false);
			
			URLConnection uc = url.openConnection(); 
			uc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
			is = uc.getInputStream();
            writer.write( new Scanner(is).useDelimiter("//html//").next() ); 
            writer.flush();
		    
		} catch (Exception ex) {
			
			System.out.println("Fehler: " + ex.getMessage());
			
		} finally { 
			
		      if ( is != null ) 
		    	  
		        try { is.close(); } catch ( IOException e ) { } 
	    }     
	} 
}
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
J Bilder halb in falscher Farbe nach kopieren aus Web Allgemeine Java-Themen 3
M Methoden werden in falscher Reihenfolge bearbeitet Allgemeine Java-Themen 10
K Classpath Falscher Pfad? o.O Allgemeine Java-Themen 2
K Falscher Pfad beim Laden eines Bildes Allgemeine Java-Themen 9
M Unsicher, ob das Code richtig ist Allgemeine Java-Themen 4
MarvinsDepression Unbekanntes Zeichen in fremden Code wirft Fragen auf Allgemeine Java-Themen 4
schemil053 Methoden Code-Verbesserung Allgemeine Java-Themen 2
D Webarchive (war): Code verschleiern Allgemeine Java-Themen 7
D Compiler-Fehler child process exited with code 1 Allgemeine Java-Themen 1
Queenman Interface Mein Microsoft Visual Studio Code zeigt komische Dinge & Menüs an Allgemeine Java-Themen 9
A Clean Code: Variable vs. Methode Allgemeine Java-Themen 8
berserkerdq2 Versteht jemand, was diese beiden Zahlen bei dem IJVM Code zu bedeuten haben? Allgemeine Java-Themen 10
OnDemand Releaseversion Tag in Code Allgemeine Java-Themen 5
ERlK JDA Code funktioniert nicht? Allgemeine Java-Themen 4
F Code auslagern Allgemeine Java-Themen 5
D VBA Code mit Java ausführen möglich? Allgemeine Java-Themen 10
N JAVA-Code mit Grafikfenster zeichnet in Windows, aber nicht Mac. Allgemeine Java-Themen 4
JordenJost Unverständlicher Java code? Allgemeine Java-Themen 21
V Hilfe mit Java Code Allgemeine Java-Themen 4
S Processing Java Code verstehen Allgemeine Java-Themen 4
A code wird nicht ausgeführt Allgemeine Java-Themen 3
B Bitte um Code Erklärung Allgemeine Java-Themen 5
N nicht einsehbarer Fehler im code, kann nicht mehr übersetzten Allgemeine Java-Themen 51
N Regulären Ausdruck in normalen Java-Code umwandeln Allgemeine Java-Themen 12
OnDemand Clean Code oder Allgemeine Java-Themen 5
Noahscript Aus einem byte Array Steuerungszeichen und Code bekommen und ersetzen Allgemeine Java-Themen 3
J Simple Date Format Alternativen bitte um Code Allgemeine Java-Themen 14
AGW in Java-Code plötzlich ein paar Wörter in Rot Allgemeine Java-Themen 2
L Best Practice Auslagerung von Code = Performance Optimierung? Allgemeine Java-Themen 4
H Precompilierten code ansehen Allgemeine Java-Themen 3
R Wo müsste ich im Code eine Änderung vornehmen? Allgemeine Java-Themen 6
L Ausgabe von in Echtzeit ausgeführten Code Allgemeine Java-Themen 9
Drachenbauer Wie kann ich die menge an code reduzieren? Allgemeine Java-Themen 28
Thallius Warum ist dieser Code OS abhängig? Allgemeine Java-Themen 10
S Code Erklärung Allgemeine Java-Themen 21
B Pausem im Code Allgemeine Java-Themen 2
T Java-Quiz Code Fehler Allgemeine Java-Themen 10
L Eclipse Java Code ausführen Allgemeine Java-Themen 18
F Java Code ausführen direkt nach Anmelden in Windows Allgemeine Java-Themen 2
F Code in Klassen bringen Allgemeine Java-Themen 4
S Gibt es eigentlich Java Source Code Interpreter..? Allgemeine Java-Themen 13
J JUnit - Auslassen von Code Allgemeine Java-Themen 25
F Klassen Spaghetti Code Vermeidung Allgemeine Java-Themen 16
C code oder Bibliotheken für 2-Center Problem Allgemeine Java-Themen 4
J Code Page characters darstellen Allgemeine Java-Themen 12
J wie sollte man sinnvoll seinen Code aufteilen Allgemeine Java-Themen 6
I Python Code in Java Code Allgemeine Java-Themen 9
M Java (GUI) Code verdoppeln oder anzeige mehrmals anzeigen? Allgemeine Java-Themen 8
N Wie öffne ich einen runtergeladadenen Code in IntelliJ Allgemeine Java-Themen 3
R Fehler im Code Allgemeine Java-Themen 1
R Fehler im Code Allgemeine Java-Themen 3
O Standard library nativer C code Allgemeine Java-Themen 1
R Wo ist mein Fehler in diesem Code Allgemeine Java-Themen 7
S Java Editor Bekomme bei der Code-Vervollständigung die Zeichen ​ Allgemeine Java-Themen 3
N Morse Code decoder Allgemeine Java-Themen 9
O Erste Schritte Benzinverbrauch Code Hilfe Allgemeine Java-Themen 3
S Eclipse exit code 805306369 Allgemeine Java-Themen 1
Pataraca Vererbung Code einbinden Allgemeine Java-Themen 3
Developer_X Website HTML Code von HTTPS URL laden Allgemeine Java-Themen 0
S Wie kann ich eine kleine Stelle in meinem Code mit multiplen Threads abarbeiten..? Allgemeine Java-Themen 20
S Code 'innerhalb' des synchronen Bereichs einer BlockingQueue ausfuehren..? Allgemeine Java-Themen 7
F Verständlichkeitsproblem bei Java Code?! Allgemeine Java-Themen 2
G Eclipse Eclipse: Unreachable code Allgemeine Java-Themen 16
P Java Android Code in IOS compilieren? Allgemeine Java-Themen 9
C Code vereinfachen Allgemeine Java-Themen 2
T Hilfe bei Code Allgemeine Java-Themen 3
R Java-Code für folgene Aufgabe? Allgemeine Java-Themen 8
Prafy Best Practice Code Refaktorisierung Allgemeine Java-Themen 7
WetWer Was bedeutet/macht ein Exit-Code Allgemeine Java-Themen 1
D Code für bereitgestellte Methoden Allgemeine Java-Themen 1
perlenfischer1984 HTML Code decodieren Allgemeine Java-Themen 2
C ASCII-Code in Java Allgemeine Java-Themen 1
J Java-Code in DLL packen Allgemeine Java-Themen 5
J LWJGL 3 Error Code 1282 Allgemeine Java-Themen 4
0 Code startet nicht (Keine Warnung/Fehlermeldung) Allgemeine Java-Themen 4
A Frage zu meinem Code Allgemeine Java-Themen 2
B Code generierung Velocity Templates Telosys Allgemeine Java-Themen 1
E Fehlermeldung vor dem Programm code Allgemeine Java-Themen 1
B JAVA - mehrere Clienten gleichzeitig starten. Nicht bei Code! Allgemeine Java-Themen 3
Fischkralle Ausführen von fremden Code Allgemeine Java-Themen 14
wolfgang63 Code snipped Software Allgemeine Java-Themen 1
L Eclipse Editieren des Code templates für Override methods Allgemeine Java-Themen 2
J Java code "plugin" fähig machen Allgemeine Java-Themen 4
alderwaran .jar Code Signing, User-Keystore und Fragen dazu Allgemeine Java-Themen 0
Thallius Wie verstecke ich meinen private Key am besten im Code? Allgemeine Java-Themen 10
A Thread: Code paralell ausführen in mehreren Instanzen Allgemeine Java-Themen 1
B NullPointerException - Aber kein Fehler im Code Allgemeine Java-Themen 4
N HTTP response code: 403 Allgemeine Java-Themen 3
D Code bitte mit 19 stelligen Zahlen kompatibel machen Allgemeine Java-Themen 5
D Java Compiler code referencen Allgemeine Java-Themen 0
B Fehler im Java-Code Allgemeine Java-Themen 4
A PHP-Code zu Java-Code Allgemeine Java-Themen 5
M Code läuft unter windows aber nicht unter Linux Allgemeine Java-Themen 6
X Was macht folgender Code!? Allgemeine Java-Themen 6
K Code zu einem Projekt entschluesseln Allgemeine Java-Themen 15
H Java Leistungssteigerung durch Code Anpassung Allgemeine Java-Themen 5
Fab1 Best Practice Vorgehensweise bestehenden Code/Programm verschönern Allgemeine Java-Themen 4
M Code optimieren Allgemeine Java-Themen 7
A jEditorPane Html Datei öffnen (code) Allgemeine Java-Themen 3
S EAN-Code Tabelle für CD's Allgemeine Java-Themen 2

Ähnliche Java Themen

Neue Themen


Oben