Endcoding Problem bei XML unmarshal

[Tho82]

Hallo,

wir haben probleme mit dem Encoding, und zwar werden arabische Zeichen nicht richtig dargestellt. Das Problem liegt vermutlich in dieser Methode:

/** 
* Converts an XML String to an XML annotated Object. 
* 
* @param xml 
* The XML string to convert. 
* @param clazz 
* The XML annotated class. 
* 
* @return The object which was converted from the xml. 
* */ 
public Object string2Object(String xml, Class<?> clazz) { 
  JAXBContext jc; 
  Object o = null; 

  try { 
    jc = JAXBContext.newInstance(clazz); 
    Unmarshaller um = jc.createUnmarshaller(); 
    o = um.unmarshal(new StringReader(xml)); 

  } catch (JAXBException e) { 
    LOGGER.error("Error on unmarshalling XML String. ", e); 
    throw new ConversionException("Error on unmarshalling XML String. ", e); 
  } 

  return o; 
}

Das Problem könnte doch an dem new StringReader(xml) liegen? Wie kann ich erzwingen, dass der xml String in UTF-8 unmarshalled wird?

Gruß und Danke schonmal,
Tho

 

[SlaterB]

xml ist doch schon ein String, gib diesen aus, da sollten die Texte doch auftauchen,
sind sie dort noch korrekt oder auch schon fehlerhaft?

> Wie kann ich erzwingen, dass der xml String in UTF-8 unmarshalled wird?

wo wird den xml aus irgendwas, etwa einer Datei eingelesen?
einem InputStreamReader kann man ein CharSet mitgeben

 

[Tho82]

Dieser String ist eben fehlerhaft. Ich bekomme den String über einen REST Service herein. Das ist jetzt bissl tricky zu beschreiben, aber ich versuchs:

Der REST Service bekommt ein xml object übergeben. In diesem XML object ist ein tag mit einem String definiert, indem XML als String (im Beispiel unten im content tag) übergeben wird. Also in der Art:

[XML]
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<message>
...
<content>Hier das XML als String, ebenfalls mit definiertem UTF-8 encoding</content>
...
<message>
[/XML]


Und dieser String mit dem XML des content tags wird dann von mir von hand unmarshalled mit der beschriebenen Methode.
War nicht meine Idee das so zu machen (finde es bescheuert, xml als string in ein xml object einzubetten), aber gut,damit muss ich leben und eine Lösung finden.

Hier die Ausgabe in meinem Logfile mit eingeschaltenem Jersey Logging:

<message>
....
<content>&lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot; standalone=&quot;no&quot;?&gt;&lt;freetext xmlns=&quot;....&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance" dir=&quot;ltr&quot;&gt;&lt;timestamp&gt;2011-10-25T08:14:05.468Z&lt;/timestamp&gt;&lt;subject/&gt;&lt;text&gt;شيبمشتي ششسي بشب&lt;/text&gt;&lt;/freetext&gt;</content>
....
</message>

Im text tag sieht man die falsch encodierten Zeichen.

 

[SlaterB]

da sind mir jetzt bisschen zu viele Komponenten zu ungenau eingebunden,
wenn du das Senden auch kontrollierst kannst du das XML vielleicht anders übertragen, Stichwort Base64-Encoding,
dann dürften die schlimmsten Zeichen umgangen werden

oder du nimmst den String so wie er aktuell ist und prüfst nur das Vorhandensein von Problemzeichen und ersetzt diese manuell,
schön sind diese Lösungen freilich nicht, vielleicht antwortet noch wer anders

> werden arabische Zeichen nicht richtig dargestellt.

ok, wenn es mehr Probleme als nur einzelne deutsche Umlaute gibt, dann wirklich Richtung Base64,
HTML-Encoding kann dabei wohl nicht helfen,
anderseits gibt es ja auch Webseiten, die die verrücktesten Sachen erfolgreich an Browser-Clients übertragen..

 

[Tho82]

Das Problem ist, das senden macht eine andere Komponente, auf die ich keinen Zugriff habe. Wenn ich den Webservice mit dem REST Client testtool mit arabischen Zeichen aufrufe, funktioniert dies.

Kann es sein, dass man im HTTP Header noch ein Encoding setzen muss?

 

[Tho82]

da sind mir jetzt bisschen zu viele Komponenten zu ungenau eingebunden,
wenn du das Senden auch kontrollierst kannst du das XML vielleicht anders übertragen, Stichwort Base64-Encoding,
dann dürften die schlimmsten Zeichen umgangen werden

oder du nimmst den String so wie er aktuell ist und prüfst nur das Vorhandensein von Problemzeichen und ersetzt diese manuell,
schön sind diese Lösungen freilich nicht, vielleicht antwortet noch wer anders

> werden arabische Zeichen nicht richtig dargestellt.

ok, wenn es mehr Probleme als nur einzelne deutsche Umlaute gibt, dann wirklich Richtung Base64,
HTML-Encoding kann dabei wohl nicht helfen,
anderseits gibt es ja auch Webseiten, die die verrücktesten Sachen erfolgreich an Browser-Clients übertragen..

Kannst du mir ein Beispiel nennen?

 

[SlaterB]

wofür ein Beispiel wenn du eh nicht senden kannst,
wie genau hast du denn nun erstmals Zugriff auf die Daten, schon als String oder noch Bytes?
ich weiß nicht ob daraus nochmal schöne Daten werden, ich vermute dass dann richtig gearbeitet werden muss, Zeichen für Zeichen oder Byte für Byte anschauen und je nach schon automatisch eingebauten Problemen mehr manuell als offiziell umwandeln,

eine richtige Lösung kann ich also nicht nennen, das will ich sagen,
vielleicht wer anders bevor du irgendwas schlimmes versuchst von dem ich rede 😉 (und kein Beispiel dazu posten werde)

 

[Tho82]

Zu meinem Verständnis 🙂 Habe echt probleme, die encoding problematik zu verstehen, bzw. zu verstehen, wo genau das Problem aufgehängt ist. Ist das ein HTML Problem, ein XML problem, Problem des benutzen REST Frameworks, vielleicht sogar ein Problem unterschiedlicher Betriebssysteme (wobei ich das weniger vermute) --> Der Client ruft den WS von Windows aus auf, unser Appserver läuft auf Linux.

Hier der definierte Webservice, ich denke ich könnte schon irgendwie an den Bytestream rankommen, leider habe ich gerade keine Entwicklungsumgebung mit mir, aber meines wissens nach kann man an den context irgendwie rankommen über eine notation:

@POST
@Consumes({ MediaType.APPLICATION_XML })
@Path("delivermessage/")
public Response delivermessage(Message message) {
      
}

 

[Tho82]

Haben das Problem ausfindig gemacht. Auf unserer Seite hat alles gestimmt, die client Applikation, die unsere WS aufruft, muss mit dem Parameter -Dfile.encoding=UTF-8 gestartet werden, damit es funktioniert. Danke für eure Hilfe!