Queue für spider/crawler?

[martinxy]

Hi, ich schreibe gerade an einer Art spider/crawler der bestimmte Daten von einer Seite abfragt. Die Abfrage ist kein Problem und klappt eigentlich ganz gut. Nun soll ich die Prozesse mit Threads aufteilen. Also jeder einzelne Thread ist ein spider.

Nun zu meiner Frage: Ich will dir Liste der vorgeben Urls über eine Queue verwalten. Die die Daten, an die verschieden Threads aufteilt und auch hinten verschiebt, wenn sie abgearbeitet wurde. Nun ich bin leider in Java nicht zuhause und ich hab bei der Behandlung der Queue irgendwie en Hänger. (LinkedList hab ich mir schon zu Gemüte geführt aber trotzdem funkt es nicht bei mir) :noe:

Kann mir jemand vielleicht en Tipp (link) geben oder auch erläutern, wie ich die urls in der Queue verwalte.

Ich hoffe es ist verständlich. Und danke schon mal im Voraus.

Mfg martin

 

[eRaaaa]

hi,

ich selber habe damit auch noch keine wirkliche erfahrung, wollte mich aber mal an die sache rantrauen, und erhoffe von den "profis" dass sie mich evtl. verbessern

also ich würd erstmal, die urls ganz normal in eine queue ablegen:

Queue<String> queue = new LinkedList<String>();
		queue.offer("http://www.deineURL.de");
		queue.offer("http://www.google.de");
		queue.offer("http://www.java-forum.org");

da diese aber, soweit ich weiss nicht threadsafe ist, und du ja von mehreren threads draufzugreifen möchtest, würde ich also die urls nochmals in eine threadsafe queue ablegen.

ConcurrentLinkedQueue<String> threadQueue = new ConcurrentLinkedQueue<String>();
		threadQueue.addAll(queue);

nun können deine threads auf die threadsichere schlange zugreifen:

while (!threadQueue.isEmpty())
//mache irgendwas mit der obersten url und lösche sie aus der queue
			System.out.println(threadQueue.poll());

wahrscheinlich sollen die spider ja dann wenn alle urls abgearbeitet sind, wieder von vorne beginnen?!?! oder? (daher auch die zusätzliche normale queue)

 

[martinxy]

hi, danke für deine schnelle Antwort!
Deine Tipps sind super.

Sorry, dass ich hier nochmal nachfragen muss, aber wie verteile ich jetzt meine Threads?
Die sollen ja parallel laufen.

hier läuf dann immer nur ein Thread, oder?

while (!threadQueue.isEmpty()){
spider = new SpiderThread();
spider.start();
System.out.println(threadQueue.poll());
}

Sorry nochmal, aber wie gesagt Java ist für mich Neuland.

mfg stefan

ps. ja das Programm soll wieder von vorne beginnen. Das wollte ich über einen DeamenThreads realisieren, oder?