einlesen textdateien verschiedener codierungen

[H2SO3-]

Hallo,

ich möchte gerne textdateien (sind zwar csv dateien, aber sind ja quasie textdateien) einlesen, welche in verschiedenen codecs codiert sein können.

Also zb. UTF8 oder UTF16

Dies kann ich zwar nun zb. mit

FileInputStream fis = new FileInputStream("C:\\test.csv");
InputStreamReader isr = new InputStreamReader(fis, "UTF16");

machen, jedoch muss ich hier das codec immer per Hand angeben.

Habe auch bereits eine classe gefunden die mir das auslesen quasie automatisieren kann.
http://koti.mbnet.fi/akini/java/unicodereader/UnicodeInputStream.java.txt

Jedoch muss ich hier immer um einen Reader etwas herumbauen, mit all seinen Problemen wie bugs usw.

Gibt es nicht eine Java funktionialität die die Zeichen einliest, egal welches codec ich benutze??

 

[dunhillone]

weiss jetzt nicht ob du sowas meinst:

		try {			
			StringBuffer content = new StringBuffer();			
			BufferedReader bis = new BufferedReader(new FileReader("file.txt"),1024);			
			while(bis.ready())  {
				content.append(bis.readLine());
			}		
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}

 

[Janus]

Gibt es nicht eine Java funktionialität die die Zeichen einliest, egal welches codec ich benutze??

Klar, lies die Daten binär ein. Solange dich die Zeichen nicht interessieren, musst du sie auch nicht interpretieren.

 

[AlexSpritze]

Klar, lies die Daten binär ein. Solange dich die Zeichen nicht interessieren, musst du sie auch nicht interpretieren.

Ihn interessieren die Zeichen, sind doch Textdateien, bzw. CSV-Dateien.

 

[H2SO3-]

erstmal danke für die antworten

@dunhillone so ähnlich wie du es gemacht hast, habe ich es auch bisher gemacht. Hat jedoch den NAchteil, das ich auf meinem System nur Dateien mit einer UTF8 Codierung lesen kann. Meine Testdatei mit UTF16 codierung kann ich damit nicht lesen.
Ist halt der Nachteil vom FileReader das er vermutlich die codierung des systems übernimmt.


Was mich wundert, ist, das selbst das kleine billige notepad mit dem einlesen der testdateien keinerlei probleme hat. Wie macht er das? Ihm gebe ich doch auch nicht mit, was für ein codec gerade benutzt wird.

 

[Janus]

Was mich wundert, ist, das selbst das kleine billige notepad mit dem einlesen der testdateien keinerlei probleme hat. Wie macht er das? Ihm gebe ich doch auch nicht mit, was für ein codec gerade benutzt wird.

Mittels Heuristiken. Man kann recht gut raten, welche Kodierung für ein Textfile verwendet wurde, indem man sich die ersten paar bytes anguckt. Für UTF ist das teilweise besonders leicht. Da es allerdings eine Heuristik ist und damit fehlerbelastet, findest du sowas in der Standard API nicht.

 

[H2SO3-]

@Janus danke habe ich mir schon gedacht, aber ist schön es auch zu höhren

Ich habe eine datei jetzt mal mit dem encoding "UnicodeLittleUnmarked" eingelesen. Dies ist das Encoding, welches mit das Programm was ich beiter oben genannt habe, empfohlen hatt (UTF-16 klappt jedoch noch etwas besser)
Hierbei ist der erste char den ich bekomme 65279 (Dies scheinen die char für das encoding zu sein, da das encoding nicht zu 100% passt und somit nicht "abgeschnitten" wird). Also weit über die 255 die es doch eigentlich nur geben dürfte.
Würde dies bedeuten ich könnte ein einlesen einer datei etwa so schreiben

	private static void test()
	{
	    try {
	    	String fileName;
	    	fileName = "D:\\test.csv";
			FileInputStream fis = new FileInputStream(fileName);
			InputStreamReader isr = new InputStreamReader(fis, "UnicodeLittleUnmarked");
			Reader in = new BufferedReader(isr);
			
			int ch;
			while ((ch = in.read()) > -1) {
				if(ch <= 255)
				{
					// DO SOMETHING
				}
			}
			in.close();
	    } catch (IOException e) 
	    {
	    	e.printStackTrace();
	    }
	}