synchronisation einer Methode abhängig vom Parameter

[spoofs]

Hallo allerseits,

cih brüte schon eine ganze Weile über einem Problem bei meiner Webanwendung. Und zwar soll der Benutzer bestimmte Dateien über einen Cache abgreifen können, diese Dateien müssen aber erst generiert werden. Das ganze läuft so ab dass bei einer Anfrage geguckt wird ob die Datei bereits im Cache liegt, wenn ja dann benutzte sie, sonst generiere sie und packe sie in den Cache und benutze sie dann.

Mein Problem liegt nun darin das das Generieren der Datei ca. 2-3 Sekunden dauert. Sprich der erste Benutzter fordert die Datei an -> sieht sie liegt nicht im Speicher und beginnt mit der Generierung, welche mit dem Speichern im Cache endet. In der Zwischenzeit (während die erste Anfrage noch am generieren ist) kommt eine zweite Anfrage DIESELBE Datei zu abzugreifen. Es wird in den Cache geguckt ob die Datei da ist (ist sie natürlich noch nicht weil der erste noch am generieren ist) und so beginnt der zweite dieselbe Datei zu generieren und die vom ersten geschriebenen zu überbügeln.
In der Zwischenzeit will der erste (der ja weiß das die Datei im Cache ist, weil er die gerade selber da reingepackt hat) die Datei weilterbenutzten bekommt jetzt aber irgendeinen unvollständigen Müll weil der zweite gerade rausschreibt.

So nun mal zu der Methode: Sie hat als Parameter nur die Dateinamen (Inputfiles und das Resultfile) als String. Achtung: daran kann ich auch nichts ändern! Das muß so bleiben.
Pseudo läuft das ganze so ab:

public static void generateAndCacheFile(String infile1, String infile2, String resultfile){

   if(!isCached(resultfile)){
       //starte mit dem generieren
       generateFile(infile1,infile2,resultfile);
   }
}

Ich kann das Problem umgehen wenn ich die Methode synchronized setzte. Das hieße aber das alle Anfragen (egal welche Datei) warten müßten, bis die vorherigen fertig sind. Das wird unter Last aber nicht funktionieren und das Ganze wahnsinnig langsam machen.

Deswegen würde ich gerne den Inhalt der Methode abhängig vom übergebenen "result"-Filenamen synchronisieren.

Ich hab das ganze mal probeweise so umgesetzt:

private static Arraylist lockedFilenames;
...

public static void generateAndCacheFile(String infile1, String infile2, String resultfile){

  while(lockedFilenames.contains(resultfile)){
    //warte einfach
  }
  
  lockedFilenames.add(resultfile);     //Dateinamen sperren


   if(!isCached(resultfile)){
       //starte mit dem generieren
       generateFile(infile1,infile2,resultfile);
   }

  lockedFilenames.remove(resultfile);    //Dateinamen wieder freigeben
}

Da ich mit Synchronisierung aber noch nichts gemacht habe weiß ich nicht ob das so geht bzw. ich bezweifele das das optimal ist (obwohl es funktioniert), denn muß ich dann nicht auch den Zugriff auf lockedFiles synchronisieren? Und habe ich dann nicht das selbe Problem das alle warten müssen bis lockedFiles wieder freigegeben wird?

Ich weiß echt nicht wie ich das umsetzten soll, ich kann kaum was ändern am vorhandenen Code. Das die Generierung der Datei 2-3 Sekunden dauert ist normal, da es ein mehrstufiger komplexer Prozeß ist bevor die Datei rausgeschrieben werden kann. Ist es nicht irgendwie möglich die Methode bezogen auf den resulfile-Namen zu sperren und entsperren?
Hoffe ihr habt ein paar vorschläge für mich, brüte da schon ne ganze Weile drüber. Im Prinzip müßte ich mir global merken welche Dateien gerade geprüft/generiert werden und dementsprechend bei Doppelanfragen sperren oder freigeben. Das ist ja das was ich da oben mikt meinem Ansatz versuche aber ich weiß nicht ob das sinnvoll ist, bzw ob es besser geht.

Danke für die Geduld,
spoofs

 

[AlArenal]

Ich hab mal weiter oben mit Lesen Halt gemacht und frage:
Warum setzt du, wenn du gerade Datei x generieren lässt, für diese kein Flag "wird generiert", so dass eine zwischenzeitliche Anfrage weiß, dass sie die Generierung nicht neu anstoßen muss, sondern wartet bis der Vorgang zu Ende ist (Flag nicht mehr gesetzt)?

P.S.:
Würde doch schon reichem die Zieldatei nicht direkt zu schreiben, sondern erst in eine Datei x.tmp in den Cache zu setzen. Auf das Vorhandensein dieser Datei kann man entsprechend prüfen und wenn die Generierung fertig ist, benennst du sie um in x.

 

[Guest]

Hallo,

wenn du weitergelesen hättest, dann wüßtest du das ich das mit dem "Flag" so in etwa versuche umzusetzten, nur weiß ich nicht ob das ok so ist...

das mit der tmp, wäre ne idee, aber da muß ich die anderen anfragen auch irgendwie "warten" lassen bevor sie weiter machen dürfen.

gruß,
spoofs

 

[AlArenal]

Warten müssen sie doch so oder so..

 

[spoofs]

Hallo,

ja das stimmt schon, ich frage mich nur in wie fern das noch performant ist. Geht das mit der globalen MerkListe so wie ich mir das denke? Muß ich den Zugriff synchronisieren?

Ich habe leider noch keine Erfahrung mit derartigen Probleme gemacht deswegen frage ich. Die Lösung mit der Liste ist besser als wenn ich die ganze Funktion synchronisiere, denn dann müssen nur gleiche anfragen warten...oder sehe ich das falsch?

gruß,
spoofs

 

[Guest]

Hallo,

ja das stimmt schon, ich frage mich nur in wie fern das noch performant ist. Geht das mit der globalen MerkListe so wie ich mir das denke? Muß ich den Zugriff synchronisieren?

Ich habe leider noch keine Erfahrung mit derartigen Probleme gemacht deswegen frage ich. Die Lösung mit der Liste ist besser als wenn ich die ganze Funktion synchronisiere, denn dann müssen nur gleiche anfragen warten...oder sehe ich das falsch?

gruß,
spoofs

Definier die Methode synchronized. Die Kosten sind echt verschwindend gering. Wie lange kann es dauern, das
Objekt aus dem Cache zu finden und zurück zu liefern? Wie viele Milliarden Anfragen pro Sekunde willst
Du verarbeiten können?
Mach es zuerst mal richtig, wenn es dann Performanceprobleme gibt, kann man immer noch optimieren.
tfa

 

[spoofs]

Hallo nochmal,

wie bereits oben beschrieben habe ich die Methode bereits synchronized gehabt und bin der Meinung dass das keine Option ist, denn die Anwendung lebt von der ständigen Generierung von den Dateiobjekten und diese Dateien sind sehr groß. Es wird später sehr viel Nutzer geben. Daher halte ich es nicht für sinnvoll jede Anfrage warten zu lassen, die irgendeine Datei holen will sondern nur die Anfragen die die selbe Datei wollen.

Meine Frage ist ja nur wie man sowas mit nem Dateinamen-Merker am besten realisiert bzw. wie läßt man (technisch) am besten einen Anfrage warten? Ist das okay so mit der while Schleife? muß ich die statische ArrayList synchronisieren? Oder gibt es generell ne bessere Lösung.

gruß,
spoofs

 

[KSG9|sebastian]

Definier die Methode synchronized. Die Kosten sind echt verschwindend gering

Na das stelle ich doch mal sehr in Frage...die VM hängt an jede synchoronized-Methode einen Monitor dran. Jenachdem kostet das sehr wohl Performance. Wieviel muss halt geschaut werden.

 

[spoofs]

Ebend, ich sehe das genauso, dass das sehr wohl auf die Performance geht, besonders wenn 100 Leute gleichzeitig Dateien generieren...

Hat denn keiner eine Idee bzw. ist das so wie ich mir das da oben mit der ArrayList gedacht habe sinnvoll?
:bahnhof:

Bin für alle Tips dankbar.

gruß,
spoofs

 

[spoofs]

Hallo allerseits,

ich nutze diesen Fred mal weiter...

also ich hab mich jetzt dafür entschieden eine temporäre Datei als eine Art Flag anzulegen. Das Ganze mache ich so:

File file = new File(result_filename+".tmp");

while(file.exists()){
  //wait        <---- wie?
}

file.createNewFile();
...
eigentliche Generierung
...
file.delete();

Jetzt frage ich mich (das ganze passiert in einem Servlet), wie man das warten üblicher Weise realisiert. Einfach eine leere Schleife? Aber ist es nicht sagen wir mal unperformant permanent zu fragen ob die Datei existiert? Wie realisiert ihr das im Normalfall?

Danke,
spoofs

 

[schalentier]

Thread.sleep(..) koennte helfen, aber in einem Servlet ist das wohl ein wenig schlecht ;-)

Ich wuerde anstatt der Warteschleife ein HTML ausliefern, was dem Benutzter sagt, dass es grad etwas dauert. Ein Timer mit Reload im HTML ruft dann nach ein paar Sekunden die Seite erneut auf, dann ist der Generator hoffentlich fertig (ansonsten nochmal die Warteseite anzeigen).

Kannst du das Generieren vielleicht sogar komplett aus den Servlets auslagern und irgendwie als Backgroundtask laufen lassen? Ich denke, lange Prozesse in einem Servlet sind eher unguenstig irgendwie.

Aber zur Not gehts auch mit einem sleep(..) in der while-Schleife...

mfg