Aufgaben Dynamisch auf Pool von Threads verteilen.

[Johny]

Ich habe nochnicht soviel mit Java gemacht, jetzt würde ich gerne eine Aufgabe auf Mehrere Threads verteilen die Dynamisch aufgeteilt werden.

Ich habe mir ein Thread klasse geschrieben

Class ProcessFileThread extends Thread{
....
/* run verabeitet eine datei*/
}

Ich habe eine Liste die ich iteriere

  while(itFiles.hasNext()){
         strFile = (String) itSites.next();
          ProcessFileThread t = new  ProcessFileThread(strFile);
      }

Gut soweit funktionierts auch, nun möchte ich jedoch gerne mehrere Files Paralell verarbeiten, und zwar nicht einfach via.

ProcessFileThread t2 = new  ProcessFileThread(strFile);

einen neuen Thread aufmachen sondern möglichst eine variable zahl nennen wir sie "ThreadSlots" (z.b. per config festgelegte zahl) an Threads parallel laufen lassen, und immer wenn einer von denen beendet ist einen neuen Thread starten, solange bis keine Files mehr dort sind.

Ich hab leider nichts wirklich konkretes gefunden an Lösungsvorschlägen,
wollte jetzt nen Tipp Haben in welche richtung das geht. Ich habe gesehen das es ThreadPool klassen gibt aber diese wirkten recht kompliziert.

Habe überlegt ob man evtl ne Thread Group anlegen kann und dann immer solange wartet bis die anzahl der aktiven Threads kleiner der ThreadSlots ist. Nur leider weiss ich nicht wie ich die Threads in eine Liste/Array/Collection packen kann.

Kann mir jemand einen tipp geben ?
MfG
Johny

 

[Johny]

Ich habe noch ein bischen weiter gesucht und dann dieses example
gefunden
Multiple Thread Ping

Hab es demnach jetzt so gelöst

int tpSize =10;
ThreadPoolExecutor tpe = new ThreadPoolExecutor(tpSize,tpSize,50000000L,TimeUnit.MILLISECONDS,new LinkedBlockingQueue());

while(itFiles.hasNext()){
         strFile = (String) itSites.next();
         tpe.execute(new  ProcessFileThread(strFile));
      }

einziges problem ich bekomme häufig einen momory error, was aber vielleicht auch am speicherverschwenderischen umgang liegt.

Gibt es noch eine besser methode ?

Edit:
so funktioniert das beispiel anscheinend nicht, der Memory, jedenfalls zeigt er mit im NetBeans mehrere laufende Threads sowie einen Memory Error an.

 

[Landei]

Das Executor-Framework von Java kann sowas von Haus aus. Erklärungen dafür gibt es wie Sand am Meer:

Java Concurrency Utilities
Section 6.2.  The Executor Framework - Java Concurrency in Practice - ͼÊé - JAVA ±à³Ì×ÊÁÏÅ£±ÇÕ¾

 

[sliwalker]

Hi,

Du kannst auch eine syncronized Variable setzen, die die Threads zählt und einfach keinen aufmachen, wenn die Zahl erreich ist, beendet sich ein Thread, zähl die Variable wieder runter. Das ganze in einer "Endlosschleife".

Stichwort ist hier auch mutex und semaphoren.

greetz
SLi