Input/Output Speicherung über FTP-Problem

[GianaSisters]

Hallo Zusammen,

ich benötige dringend Hilfe beim speichern von Dateien auf einem FTP Server.
Momentan benutze ich dafür folgenden Code:

public void saveFile(String filename, String targetFileName, boolean sufPending, boolean prePending){
		FileInputStream fis;		
		try {
			 if (sufPending == true) {ftp.completePendingCommand();}
			fis = new FileInputStream(filename);
			System.out.println(new File(filename).exists());
			BufferedInputStream bis = new BufferedInputStream(fis); 
			ftp.storeFile(targetFileName, bis);
			fis.close();
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		System.out.println("quelle: " + filename + " Ziel: " + targetFileName);
	}

Das blöde dabei ist schonmal, dass ich mit den Variablen "sufPending" und "prePending" (zweites ist nicht in benutzung)arbeite. Die Ursache dafür liegt daran, dass sich nach mehrmaligem Aufrufen die Verbindung (bzw das Programm sogar) aufhängt, wenn kein "ftp.completePendingCommand()" verwendet wird. Je nach belieben teste ich aus wann es notwenig ist und wann nicht. Aber so kanns ja nicht bleiben, je nach Situation ist das schwer einschätzbar.
Momentan arbeite ich mit mehreren Threads die dann fast gleichzeitig zunächst Dateien lokal speichern und später dann auf den Server transferieren sollen. Die Lokale speicherung läuft natürlich spitze, aber beim Übertragen macht er ja nach Lust und Laune das Speichern. Meine Frage: Gibt es eine saubere Lösung damit das transferieren der Dateien immer und sauber funktioniert wie es bei der lokalen Speicherung der Fall ist ? ftp ist übrigens ein FTPClient der auch schon verbunden ist.
Bitte helft mir 🙂
Gruss,
Giana

 

[Plopo]

Wie schauts den mit deinem FTP aus.
Du kannst nicht einfach beliebig viele Threads öffnen und Daten auf einen FTP schieben, dann macht dieser irgendwann dicht.

Du musst schaun wie viele Verbindungen dein FTP gleichzeitig zulässt.
Vll. liegt dein Problem ja da.

Das "PendingCommand" wird wahrscheinlich dafür sorgen, dass der FTP nicht deine Verindung kappt.
Nämlich nach X Sekunden Inaktivität schmeißen dich die meisten FTP-Server raus.

 

[GianaSisters]

Danke Plopo für die schnelle Antwort.
Ich habe beliebig viele Threads die jeweils einen Sensor einer Maschine darstellen. Aber jeder Sensor hat einen eigenen FTP-Zugang zwar auf dem selben Server aber der Username entspricht der Sensornummer und wird dann auch in das richtige Verzeichnis gelenkt. Ohne Threads hat es auch funktioniert, aber nun mit mehreren gleichzeitig kommen die Probleme.

Komisch, dass der Pending-Command scheinbar notwendig sein muss. Ich habe den Threadtimer auf 3 Sekunden gestellt, da sollte die Verbindung eigentlich in der Zeit noch bestand haben. Aber auch vorher ohne Threads war die Zeile notwendig damit gespeichert wird. Hast Du oder noch Jemand eine Idee wo ich nachgucken könnte oder idealerweise eine gute Speicherlösung parat ?

 

[Plopo]

Ist ja schön und gut, dass du mehrere Benutzer hast die Dateien hochladen.
Aber die IP ist wohl bei allen die gleiche, oder?
Sollte nun der FTP danach gehen (was eig. Standart ist) kappt er dir, bei zu vielen gleichzeitigen Verbindungen, auch die Verbindung.

 

[GianaSisters]

Wenn ich mir das Protokol anschaue, scheint er alles machen zu wollen, aber die Dateien laden sich nicht hoch, wenn ich auf das Datum gucke sind die noch von vor 1 Stunde. Ich glaube nicht, dass es was mit der Verbindung zu tun hat, sondern dass da wohl irgendeine Durchschlagskraft liegt das er nicht nur versucht die hochzuladen sondern es auch tut. Komisch...

(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> PORT 127,0,0,1,200,235
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> 200 Port command successful
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> STOR REPLY
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> 150 Opening data channel for file transfer.
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> PORT 127,0,0,1,200,236
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> 200 Port command successful
(000019)27.06.2012 09:16:12 - tipr (127.0.0.1)> PORT 127,0,0,1,200,237
(000019)27.06.2012 09:16:12 - tipr (127.0.0.1)> 200 Port command successful
(000019)27.06.2012 09:16:12 - tipr (127.0.0.1)> STOR REPLY
(000019)27.06.2012 09:16:12 - tipr (127.0.0.1)> 150 Opening data channel for file transfer.
(000019)27.06.2012 09:16:12 - tipr (127.0.0.1)> PORT 127,0,0,1,200,238
(000019)27.06.2012 09:16:12 - tipr (127.0.0.1)> 200 Port command successful
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> PORT 127,0,0,1,200,239
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> 200 Port command successful
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> STOR LIB1
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> 150 Opening data channel for file transfer.
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> PORT 127,0,0,1,200,240
(000020)27.06.2012 09:16:12 - mapr (127.0.0.1)> 200 Port command successful
(000019)27.06.2012 09:16:13 - tipr (127.0.0.1)> PORT 127,0,0,1,200,241
(000019)27.06.2012 09:16:13 - tipr (127.0.0.1)> 200 Port command successful
(000019)27.06.2012 09:16:13 - tipr (127.0.0.1)> STOR LIB1
(000019)27.06.2012 09:16:13 - tipr (127.0.0.1)> 150 Opening data channel for file transfer.
(000019)27.06.2012 09:16:13 - tipr (127.0.0.1)> PORT 127,0,0,1,200,242
(000019)27.06.2012 09:16:13 - tipr (127.0.0.1)> 200 Port command successful

 

[Plopo]

mhh es scheint so, als würde er ganicht anfangen hochzuladen.
Er möchte, nachdem ihm der "data channel" geöffnet wurde erneut einen Port öffnen.

Vielleicht gibst du deinen Threads mal einen "wait" von ein paar ms, damit der Server nicht mit Anfragen bombardiert wird 🙂

Oder gibt es vielleicht eine Methode die prüft ob ein "data channel" geöffnet wurde?
Dann könntest du erst die Datei loschicken, wenn er offen ist.

 

[GianaSisters]

Danke, dass klingt ganz gut, allerdings hab ich das selbe Problem ohne Threads wenn ich 'ftp.completePendingCommand();' weglasse... Werde aber mal schauen danke für den hinweis.

 

[GianaSisters]

Ich weiß nicht weiter.
Das Problem ist auch beim einfachen Laden der FTP Datei. Der Aufruf:

	int handshake_c = Integer.parseInt(sign.getConnection().loadFile("C", true, false));

läd die Datei korrekt (Datei hat nur eine 0 oder 1 von daher das parsen). Setze ich den Suffix auf false (

int handshake_c = Integer.parseInt(sign.getConnection().loadFile("C", false, false)); )

kommt folgender Fehler:

Exception in thread "Thread-6" java.lang.NullPointerException
at java.io.Reader.<init>(Reader.java:61)
at java.io.InputStreamReader.<init>(InputStreamReader.java:55)
at de.almoconsult.kommsrv.simulator.system.NisFtpClient.loadFile(FtpClient.java:179)

geht man ins Detail findet man im FtpClient folgendes:

public String loadFile(String filename, boolean suf, boolean pre){
		InputStream filestream = null;
		BufferedReader reader1 = null;
		String line;
		String fullString = "";

		try {	
		 if (suf == true) { ftp.completePendingCommand(); }
			filestream = ftp.retrieveFileStream(filename);
			reader1 = new BufferedReader(new InputStreamReader(filestream));

		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	
		try {
			while ((line = reader1.readLine()) != null)
			{	
				fullString = fullString + line;	
			}
			reader1.close();
			filestream.close();	
		if (pre == true) { ftp.completePendingCommand(); }
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return fullString;

	}

Der Fehler steckt in der Zeile:

reader1 = new BufferedReader(new InputStreamReader(filestream));

. Wieso ist hier eine NullPointerExeption, und wenn suf = true ist nicht, welches ja nur diesen Pendingbefehl ausfürt.
Bitte bitte helft mir 🙂