jedem while element eine maximale rechenzeit zusichern

[Gaston]

Hi,

also ich habe in java ein programm geschrieben das mit 48Threads läuft und jeder Thread eine Liste mit 1000 URLs abarbeiten soll. Und zwar soll für jede URL die erste Seite im HTML-Format gespichert werden, sprich in eine .txt Datei geschrieben werden. nun alles wäre kein problem wenn die bearbeitung bei manchen threads nicht stocken würde. Natürlich habe ich viele Exceptions mit try und catch abgefangen. Ich habe mit

try{

//Aktion
}

catch(Exception e)
{
System.out.println(e.toString());
System.out.println(e.getMessage());
e.printStackTrace();
}

alle mölichen Exceptions herausgefunden und das Programm um diese catch Klauseln erweitert.
Nun das Problem ist das mein Programm bei manchen Domains stockt und die jeweilige Liste nicht weiter abgearbeitet wird. Und wenn das Programm im jeweiligen Thread stockt, wird keine Exception gemeldet mit dem oben beschriebenen
Codeteil. Nun das erscheint mir sonderbar, aber als Lösung habe ich mir überlegt ich könnte jeder URL eine maximale Rechenzeit zu Verfügung stellen, zum Beispiel 30 sec. Aber dazu müßte ich in der while schleife die die URLs auslist eine endlosschleife einbauen, die permanent überprüft ob die 30sec schon abgelaufen sind.

while(true)
if(abarbeitungszeit>30)
{
break;
}

Mir erscheint meine Lösung als ziemlich schlecht da die endlosschleifen ziemlich viel Systemlast verursachen und deshalb wollte ich fragen ob jemand von euch einen besseren Lösungsansatz kennt?


Danke im Voraus



Gaston

 

[Mag1c]

Hi,

also wenn du nur einfach 30 s überbrücken willst:

try {
    Thread.sleep(30000);
}
catch (InterruptedException ex) {
}

ich glaube aber nicht, daß dir das weiterhilft. Möglicherweise ist dein DNS-Server nicht sehr erfreut, wenn du ihn dermaßen mit DNS-Anfragen zuschüttest.

Gruß
Mag1c

 

[Gaston]

nein vielleicht habe ich mich nicht präzise genug ausgedrückt. Also ich möchte dass die Anwendung maximal 30sec lang den HTML Quelltext der Seite der zugehörigen URL liest und spätestens nach 30sec zur nächsten URL springt. Dein Vorschlag hält den Thread nur 30sec auf und schmeißt dann eine Exception. Und während der Thread schläft werden ja auch keine Daten gelesen?!

Das mit den DNS bezweifle ich auch, weil ich auch ein Programm habe dass innerhalb von 2,5 Stunden fast eine halbe Million Domains(26^5) checkt und es läuft mit 676 Threads(26^2) immer ordentlich zuende.

Gruß


Gaston

 

[Mag1c]

Hi,

ja, da hast du dich wohl nicht ganz klar ausgedrückt bzw. ich habs nicht richtig verstanden. Ich weiß leider nicht, wie du deinen Netz-Zugriff machst. Normalerweise kann man für Netz-Operationen einen Timeout vorgeben. Aber du müsstest mal prüfen, ob der Thread wirklich bei einer Netz-Op. hängen bleibt. Vielleicht ist es ja ein Synchronisationsproblem ? Benutzen die Thread irgendwelche Resourcen gemeinsam ? Eine andere Möglichkeit wäre, vor der Netz-Op. einen TimerTask zu starten, der nach 30 sec den Thread unterbricht.

Gruß
Mag1c

 

[Gaston]

also man merkt dass du mehr erfahrung in java hast wie ich, denn du gehst ziemlich in die tiefe des problems, sprich wie ich meinen netzzugriff mache etc. also jeder thread, 48 sind es, haben eine liste mit 1000URLs und alle benutzen die selbe Internetverbindung. Sie stören sich bestimmt bei der Kommunikation, aber das nehme ich in Kauf. Ich habe sie noch nicht synchronisiert.
Mein Problem ist, dass bei manchen URLs sich das Programm aufhängt, und einfach nicht weiter läuft, während die anderen Threads laufen und weiterhin Daten in ihre Textdateien schreiben (jeder Thread hat eine eigene .txt -Datei). Und ich möchte einfach, dass wenn 30sec abgelaufen sind, zur nächsten URL geprungen wird, zum Beispiel mit einer break-Anweisung. es geht nur um den teil, die netzwerk geschichten bitte ich zu ignorieren.

Gruß

Gaston

 

[Mag1c]

Nunja, ein bisschen Code wäre hilfreich dir zu helfen (oder ist das geheim ?)

Gruß
Mag1c

 

[Gaston]

nein er ist nicht geheim, aber momentan habe ich ihn nicht parat, bin momentan nicht zuhause.

Aber ungefähr sieht des so aus:

while((line=f1.readLine())!=null)
{
//hier wird die URL übergeben, damit die die dazugehörige HTML //Seite gelesen werden kann und der der HTML Quelltext //gespeichert werden kann
//Und genau hier möchte ich jedem Element 30sec zusichern und //wenn diese abgelaufen sind,soll das Programm zu nächsten URL //springen
bearbeite(line);


}

jetzt im Pseudocode

//zeit ermitteln wenn die URL an die Methode bearbeite übergeben //wird.

int starttime=get.System.Current.Millis() oder so ähnlich
int endtime=starttime+30sec;

//Endlosschleife die überprüft ob die endtime ereicht ist:

while(true)
{
if(aktuelleZeit>=endtime)
{
break;
//springe zum nächsten URLElement
}

//Und genau auf diese Endlosschleife bezog sich meine erste Frage: So könnte es klappen, würde aber viel CPU-Last verursachen, da ich in 48threads immer eine endlosschleife hätte.


Gruß

Gaston

 

[Mag1c]

Hi,

nee, irgendwo ist hier noch ein gedanklicher Wurm drin Wenn ein Thread eine URL bearbeitet und die HTML-Seite holt, kann er nicht gleichzeitig eine Endlosschleife durchlaufen. Wenn dieser Thread dabei "hängen" bleibt, kann er auch keine Endlosschleife durchlaufen. Du solltes erstmal sicherstellen, daß (1) die betreffenden Threads nicht durch eine Exception beendet werden und (2) die Threads nicht in einen Deadlock laufen. (Hier wäre eben der reale Code mal ganz gut, ich kann so leider nur raten).
Wenn du am Ende doch so eine Art Überwachung bauen willst/musst, müsstest du einen weitern Thread (oder den Main-Thread) periodisch alle Threads prüfen, wie lange die schon an einer URL arbeiten und die Lang-Läufer mittels interrupt() unterbrechen.

Gruß
Mag1c

 

[Gaston]

ja wie gesagt das ist auch gerade Pseudocode gewesen, nicht ausgereift eben. Aber die Threads werden meiner Meinung nicht durch eine Exception beendet, siehe mein erstes Posting. Aber mein Problem ist dieser Deadllock, den ich mit der Zeitzuteilung umgehen will.
Dein Lösungsvorschlag hört sich sehr plausibel an. Werde ihn ausprobieren und meinen Code posten. Allerdings erst nach 18uhr, da ich erst da nach Hause komme.


Gruß

Gaston

 

[Gaston]

Hier der Quellcode

import java.net.*;
import java.io.*;
import java.util.*;

class MultithreadTest extends Thread
{
	
	
	
	String dateiname;
	
	public MultithreadTest(String dateiname)
	{
		this.dateiname=dateiname;
		
	}
	
	public void run()
	{
		try{
		String myurl="";
		
		BufferedReader f4=new BufferedReader(new FileReader("c://65734/"+dateiname));
		String line="";
		
		while((line=f4.readLine())!=null)
		{
					
					myurl=line;
					
					
					if(!myurl.endsWith("pdf"))
					{
					printHallo(myurl,dateiname);
					
					}
		}//Ende der while-Schleife
		
		f4.close();
	}catch (IOException e2)
	{}
	catch(Exception e)
	{
		System.out.println(e.toString()+"Fehler im LeseTeil");
	}
	
	}//Ende der Methode run
   //HTML Daten werden hier gelesen und in die entprechende Datei geschrieben
 //Kommt eine URL z.B. aus der Datei "URLsAb65734 _teil1.txt wird sie in die datei "URLsAb65734_teil1.txt  //geschrieben in dem ordner webseiten
		public static void printHallo(String uebergebeneURL,String dateiname_wert)throws Exception
		{
			try{
					String meineurl=uebergebeneURL;
					URL crawlurl=new URL(meineurl);
					FilterInputStream ins=(FilterInputStream) crawlurl.openStream();
					InputStreamReader isr=new InputStreamReader(ins);
					BufferedReader wert=new BufferedReader(isr);
					
					
					String line="";
					String text="";
					StringBuffer sb=new StringBuffer(2000);
					
					while((line=wert.readLine())!=null){
						
						sb.append(line);
						//System.out.println(line);
					}
					text=sb.toString();
					BufferedWriter f1=new BufferedWriter(new FileWriter("c://65734/webseiten/"+dateiname_wert,true));
					f1.write(meineurl+"---------------------->");
					f1.newLine();	
						
						f1.write(text);
						
						f1.newLine();
						
						f1.write("********************************************************");
						
						f1.newLine();
						
						f1.close();
				}	catch(UnknownHostException e2)
				{
					//System.out.println("Der Host ist nicht bekannt");
				}	
				catch (ConnectException e3)
				{
					//System.out.println("Die verbindung konnte nicht aufgebaut werden");
				}
				catch(IOException e4)
				{
				//System.out.println("IOException");
				}
				catch(ClassCastException e5)
				{
				}
				catch(Exception e6)
				{
					System.out.println(e6.toString());
				}
	}



}//Ende der Klasse MultithreadTest

public class DatensammlerZwei48Threads
	{
	
	static String dateinameAnfang="URLsAb65734";	
		
		public static void main(String[] args) 
		{
			try{	
				//jeder Thread bekommt eine Liste mit 1000URLs
				MultithreadTest mt1=new MultithreadTest(dateinameAnfang+"_teil1.txt");
				mt1.start();
				MultithreadTest mt2=new MultithreadTest(dateinameAnfang+"_teil2.txt");
				mt2.start();
				MultithreadTest mt3=new MultithreadTest(dateinameAnfang+"_teil3.txt");
				mt3.start();
				MultithreadTest mt4=new MultithreadTest(dateinameAnfang+"_teil4.txt");
				mt4.start();
				MultithreadTest mt5=new MultithreadTest(dateinameAnfang+"_teil5.txt");
				mt5.start();
				MultithreadTest mt6=new MultithreadTest(dateinameAnfang+"_teil6.txt");
				mt6.start();
				MultithreadTest mt7=new MultithreadTest(dateinameAnfang+"_teil7.txt");
				mt7.start();
				MultithreadTest mt8=new MultithreadTest(dateinameAnfang+"_teil8.txt");
				mt8.start();
				MultithreadTest mt9=new MultithreadTest(dateinameAnfang+"_teil9.txt");
				mt9.start();
				MultithreadTest mt10=new MultithreadTest(dateinameAnfang+"_teil10.txt");
				mt10.start();
				MultithreadTest mt11=new MultithreadTest(dateinameAnfang+"_teil11.txt");
				mt11.start();
				MultithreadTest mt12=new MultithreadTest(dateinameAnfang+"_teil12.txt");
				mt12.start();
				MultithreadTest mt13=new MultithreadTest(dateinameAnfang+"_teil13.txt");
				mt13.start();
				MultithreadTest mt14=new MultithreadTest(dateinameAnfang+"_teil14.txt");
				mt14.start();
				MultithreadTest mt15=new MultithreadTest(dateinameAnfang+"_teil15.txt");
				mt15.start();
				MultithreadTest mt16=new MultithreadTest(dateinameAnfang+"_teil16.txt");
				mt16.start();
				MultithreadTest mt17=new MultithreadTest(dateinameAnfang+"_teil17.txt");
				mt17.start();
				MultithreadTest mt18=new MultithreadTest(dateinameAnfang+"_teil18.txt");
				mt18.start();
				MultithreadTest mt19=new MultithreadTest(dateinameAnfang+"_teil19.txt");
				mt19.start();
				MultithreadTest mt20=new MultithreadTest(dateinameAnfang+"_teil20.txt");
				mt20.start();
				MultithreadTest mt21=new MultithreadTest(dateinameAnfang+"_teil21.txt");
				mt21.start();
				MultithreadTest mt22=new MultithreadTest(dateinameAnfang+"_teil22.txt");
				mt22.start();
				MultithreadTest mt23=new MultithreadTest(dateinameAnfang+"_teil23.txt");
				mt23.start();
				MultithreadTest mt24=new MultithreadTest(dateinameAnfang+"_teil24.txt");
				mt24.start();
				MultithreadTest mt25=new MultithreadTest(dateinameAnfang+"_teil25.txt");
				mt25.start();
				MultithreadTest mt26=new MultithreadTest(dateinameAnfang+"_teil26.txt");
				mt26.start();
				MultithreadTest mt27=new MultithreadTest(dateinameAnfang+"_teil27.txt");
				mt27.start();
				MultithreadTest mt28=new MultithreadTest(dateinameAnfang+"_teil28.txt");
				mt28.start();
				MultithreadTest mt29=new MultithreadTest(dateinameAnfang+"_teil29.txt");
				mt29.start();
				MultithreadTest mt30=new MultithreadTest(dateinameAnfang+"_teil30.txt");
				mt30.start();
				MultithreadTest mt31=new MultithreadTest(dateinameAnfang+"_teil31.txt");
				mt31.start();
				MultithreadTest mt32=new MultithreadTest(dateinameAnfang+"_teil32.txt");
				mt32.start();
				MultithreadTest mt33=new MultithreadTest(dateinameAnfang+"_teil33.txt");
				mt33.start();
				MultithreadTest mt34=new MultithreadTest(dateinameAnfang+"_teil34.txt");
				mt34.start();
				MultithreadTest mt35=new MultithreadTest(dateinameAnfang+"_teil35.txt");
				mt35.start();
				MultithreadTest mt36=new MultithreadTest(dateinameAnfang+"_teil36.txt");
				mt36.start();
				MultithreadTest mt37=new MultithreadTest(dateinameAnfang+"_teil37.txt");
				mt37.start();
				MultithreadTest mt38=new MultithreadTest(dateinameAnfang+"_teil38.txt");
				mt38.start();
				MultithreadTest mt39=new MultithreadTest(dateinameAnfang+"_teil39.txt");
				mt39.start();
				MultithreadTest mt40=new MultithreadTest(dateinameAnfang+"_teil40.txt");
				mt40.start();
				MultithreadTest mt41=new MultithreadTest(dateinameAnfang+"_teil41.txt");
				mt41.start();
				MultithreadTest mt42=new MultithreadTest(dateinameAnfang+"_teil42.txt");
				mt42.start();
				MultithreadTest mt43=new MultithreadTest(dateinameAnfang+"_teil43.txt");
				mt43.start();
				MultithreadTest mt44=new MultithreadTest(dateinameAnfang+"_teil44.txt");
				mt44.start();
				MultithreadTest mt45=new MultithreadTest(dateinameAnfang+"_teil45.txt");
				mt45.start();
				MultithreadTest mt46=new MultithreadTest(dateinameAnfang+"_teil46.txt");
				mt46.start();
				MultithreadTest mt47=new MultithreadTest(dateinameAnfang+"_teil47.txt");
				mt47.start();
				MultithreadTest mt48=new MultithreadTest(dateinameAnfang+"_teil48.txt");
				mt48.start();
			}catch(Exception e)
			{
				System.err.println(e.toString()+" Exception in der Main Methode");
			}
		}//Ende der Main Methode
}

[/code]

 

[Sky]

Ich würde dein Problem mit einem Timer und zwei TimerTasks lösen:
Der Timer wird task1 übergeben (bearbeitet die URLs sofort) und tasks2 startet 30 sek. später und guckt nach, ob task1 noch läuft; falls ja, wird der task "abgeschossen"

 

[Gaston]

Das ist ein guter Vorschlag, danke. Werde ich heute abend ausprobieren. Du scheinst ein Frühaufsteher zu sein 7:45Uhr ist echt früh...


Gruß


Gaston

 

[Mag1c]

Hi,

nicht ganz vollständig, nur so als Idee:

class WatchdogThread implements Runnable {
  public void run () {
    while (!term) {
      long current = System.currentTimeMillis();
      for (int i=0; i < threadCount; i++) {
        if (myThreads[i].isWorking() && currentTime - myThreads[i].getStartTime() > 30000) {
          myThreads[i].interrupt();
        }
      }
      try {
        Thread.sleep(1000);
      }
      catch (InterruptedException ex) {
      }
    }
  }
  public void terminate () {
    term = true;
  }
  private boolean term = false;
}

Gruß
Mag1c

 

[Gaston]

@Mag1c
Werde mir des anschauen und austesten.

Vielen Dank


Gruß


Gaston

 

[Bleiglanz]

ist aber doch vollkommen unsinnig...

=> was soll "stocken" deiner Meinung nach heissen?

nimm eine HttpURLConnection und ruf setConnectTimeout auf, bevor du dir den Inhalt mit getContent() abholst

 

[Gaston]

Hallo Bleiglanz,

Stocken heißt meiner Meinung nach: Der Thread hängt sich auf weil er die HTML Daten einer URL nicht lesen kann. Im schlimmsten Fall bleibt er bei der ersten URL stecken und bearbeitet die 999 weiteren nicht. Und dabei wird eben keine Exception geworfen. Ich fange schon einige Exceptions ab, und falls weitere auftauchen würden, würde eine Meldung entscheiden wegen

catch(Exception e)
{
System.out.println(e.toString());
System.out.println(e.getMessage());
e.printStackTrace();
}

Und eben weil keine Exception geworfen wird, versuche ich jeder URL aus der Liste eine bestimmte Zeit zuzuteilen.....


Gruß


Gaston

 

[Gaston]

-Meldung erscheinen