Sonderzeichen

[Benji0815]

Mein Programm kann HTML-Seiten von meiner Webseiten herunterladen. Danach werden die darin befindlichen Links so konvertiert, dass ich auch mit der lokal heruntergeladen Version surfen kann.

Leider werden nach dem Konvertieren die Sonderzeichen wie z.B. "?" nicht mehr richtig angezeigt. Ich habe den starken Verdacht, dass es an dem unten stehenden Codeausschnitt liegen muss. Ich vermute der Delimiter verändert die Sonderzeichen.

Kann es sein, dass es an dem Delimiter liegt? Jemand ne Idee, wie ich diesen verändern muss?

                             InputStream is = null;
                             URL url;
				 
			     try {
			    	url = new URL("file:///" + o.toString());
					is = url.openStream(); 
					 text = new Scanner( is ).useDelimiter( "\\Z" ).next();
				} catch (Exception e) {
					e.printStackTrace();
				}

 

[madboy]

Leider werden nach dem Konvertieren die Sonderzeichen wie z.B. "?" nicht mehr richtig angezeigt.

Was meinst du damit genau? Wo werden sie nicht mehr richtig angezeigt?

Der Delimiter \\Z reagiert auf Zeilenenden wenn ich das richtig mitbekommen habe, also sollte das nicht das Problem sein.

 

[Benji0815]

Ich lade Webseiten runter. Diese liegen dann lokal auf meiner Festplatte. Öffne ich eine der heruntergeladenen HTML-Seiten wird alles genauso angezeigt wie es sein soll.

Da ich aber möchte, dass die Links in den heruntergeladenen Seiten nicht auf die original Webseite zeigen, sondern auf die entsprechende heruntergeladene Seite lokal auf meinem Rechner muss ich in den lokalen Html-Dateien die Links konvertieren. Dabei werden eigentlich nur alle relativen Links in absolute umgewandelt.

Nach dem Link konvertieren werden Zeichen wie "?" nicht mehr so angezeigt sondern z.B. so "�x". Oder aus "Rückmelden" wird z.B. "Rückmelden". Bei "Lösungen" wir es komischerweise richtig angezeigt.

Ich wollte jetzt nur wissen, ob der Delimiter den ich verwendet habe, daran schuld sein kann. Ist nämlich das einzige was meiner Meinung nach etwas am gesamten Text ändern kann.

Aber ich such mal weiter, woran es noch liegen könnte.

 

[Benji0815]

Also ich habe es nochmal getestet, ich habe ein Testklasse geschrieben, die sich mit dem Scanner und dem oben beschriebenen Delimiter ein Webseite runterläd und diese anzeigt.

Das Problem ist wie schon von mir vermutet der von mit gewählte Delimiter. Die Testklasse gibt nämlich auch veränderte Sonderzeichen zurück.

Hat jemand eine Ahnung davon und kann mir sagen wie ich den Delimiter Wert ändern muss um "?" usw. richtig anzeigen zu können?

public class testsonz {
	static String text;

	public static void main(String[] args){
		InputStream is = null;
		 URL url;
		 
	     try {
	    	url = new URL("Hier die URL einer Webseite eintragen");
			is = url.openStream(); 
			 text = new Scanner( is ).useDelimiter( "\\Z" ).useLocale( Locale.GERMAN ).next();
//useLocale( Locale.GERMAN ) hat keine Auswirkung auf mein Problem, hab es auch ohne getestet!
			 System.out.println(text);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	
}

Oder stimmt mit dem "url.openStream();" was nicht? Es ist mir ein Rätsel?

 

[madboy]

Das Problem wird (wie so oft :-( ) an einem falschen Encoding liegen. Versuch mal, das Encoding explizit anzugeben. Dazu natürlich das verwenden, welches die Seite auch verwendet.

Beispiel für java-forum.org:

new Scanner( is, "ISO-8859-1")

Mit Firefox Rechtsklick auf die Seite, dann "Seiteninformationen anzeigen" und bei "Kodierung" schauen.

 

[Benji0815]

Danke madboy!

Wenn ich mir den InputStream anschaue stimmt es jetzt. Allerdings muss ich die Encodierung auch irgendwie beim Schreiben in ein neues File angeben, sonst kommt es dort immer noch falsch an.

Ist das auch so einfach zu lösen, dass ich irgendwie dem FileOutputStream die Codierung mitgebe.

try {
						FileOutputStream schreibeStrom = new FileOutputStream(o.toString());
						 	for (int i=0; i < text.length(); i++){
						 		schreibeStrom.write((byte)text.charAt(i));
						 		
						 	}
						 	schreibeStrom.close();
						 	
					} catch (FileNotFoundException e) {
						e.printStackTrace();
					} catch (IOException e) {
						e.printStackTrace();
					}

Sowas könnte gehen:

 BufferedWriter out = new BufferedWriter(new OutputStreamWriter
                                 (new FileOutputStream(file),"UTF8"));

Ich würde aber lieber weiter den FileOutputStream wie oben verwenden. Kann ich dem die Encodierung irgendwie mitgeben?

 

[madboy]

Für das Schreiben von Text gibt's *Writer. Da klappt das normalerweise out of the box mit dem Standardencoding des Betriebssystems.

FileWriter writer = new FileWriter("filename");
writer.write(text);
writer.flush();
writer.close();

EDIT: warum würdest du lieber den FileOutputStream verwenden?

 

[Benji0815]

Mein Programm ist inzwischen sehr komplex und ich möchte sichergehen, dass nachher mein Programm nicht irgendwo was anderes macht, dass sich dann an einer anderen Stelle auswirkt, darum möchte ich möglichst wenig ändern.

Frei nach dem Motto: "never change a running system"

Ich werde jetzt einfach mal ausprobieren was du mir gerade gesagt hast.

 

[Benji0815]

Sonderzeichen waren immer noch falsch!

Ich habe es jetzt einfach so gemacht:

BufferedWriter out = new BufferedWriter(new OutputStreamWriter
					        (new FileOutputStream(o.toString()),"UTF8"));

					out.write(text);

					out.close();