HttpURLConnection Fehler beim Quelltext holen

[FaxXer]

Hey,
ich habe eine Klasse um den Source Code von Websites zu holen.

public class BasicCookie {
	static LinkedList<String> getSource(String uri) throws MalformedURLException, IOException
	{
	String line = null;
	String userAgent = "User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:8.0) Gecko/20100101 Firefox/8.0";
	LinkedList<String> Source = new LinkedList<String>();
	LinkedList<String> cookie = null;
	String cock = null;
	String cookieName = null;
	String cookieValue = null;
	
	cookie = getCookie(uri);
	
	URL url = new URL(uri);
	HttpURLConnection connection = (HttpURLConnection)url.openConnection();
	
	connection.setRequestMethod("GET");
	connection.addRequestProperty("User-Agent", userAgent);
	HttpURLConnection.setFollowRedirects(false);
	
	for(int i = 0; i < cookie.size(); i++)
	{
	cock = cookie.get(i);
	cock = cock.substring(0, cock.indexOf(";"));
	cookieName = cock.substring(0, cock.indexOf("="));
    cookieValue = cock.substring(cock.indexOf("=") + 1, cock.length());
	connection.setRequestProperty(cookieName, cookieValue);
	}
	
	connection.connect();
	
	BufferedReader rd = new BufferedReader(new InputStreamReader(connection.getInputStream(), "UTF-8"));
	
	while(((line = rd.readLine()) != null))
	{
       Source.add(line);
    }
	connection.disconnect();
    
	return Source;
	}

	static LinkedList<String> getCookie(String uri) throws IOException
	{
		String userAgent = "User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:8.0) Gecko/20100101 Firefox/8.0";
		URL url = new URL(uri);
		HttpURLConnection connection = (HttpURLConnection)url.openConnection();
		connection.setRequestMethod("GET");
		connection.addRequestProperty("User-Agent", userAgent);
		HttpURLConnection.setFollowRedirects(false);
		connection.connect();
		LinkedList<String> cookie = new LinkedList<String>();
			String headerName = null;
			for (int i = 1; (headerName = connection.getHeaderFieldKey(i))!=null; i++) {
			 	if (headerName.equals("Set-Cookie")) {    
				cookie.add(connection.getHeaderField(i));
			 	}
			 	}
			connection.disconnect();
	return cookie;
	}

Das funktioniert normalerweise auch Super, jedoch habe ich jetzt beim Zugriff auf die Klasse mit dieser Methode ein Problem.
Diese Methode soll mir die Seitenzahlen zurückgeben. Dazu hab ich mir überlegt, dass man einfach in bestimmten Abschnitten hochzählt bis die fehler Seite angezeigt wird und dann wieder zurück zählt. Sodass man nicht in einzer Schritten abzählen muss. Sind nämlich mehr als 1000 Seiten und um den Source zu holen dauert das ja seine Zeit.

Allerdings bekomme ich jetzt, wenn die fehler Seite angezeigt wird und es mit der ersten if Anweisung (Zeile 10)überprüft wird folgende Fehlermeldung in Zeile 32 der getSource Methode: HttpURLConnection fehler [local variables unavailable]
Wäre gut wenn da jemand mal drüber schauen könnte.

Und wenn ich jetzt schonmal frage, weis jemand ob es schon vorgefertigte kostenlose Klassen gibt die genau so eine Überprüfung wie ich vorhabe machen?

int number;
		String Link;
		LinkedList<String> Source = new LinkedList<String>();
		
		
				for(number = 1; number <= 5000; number += 500)
				{
					Link = "http://www.******.de/"+ number;
					Source = getSource(Link);
					if ((Source.get(102).contains("404")))
					{
						for(;; number -= 100)
						{
							Link = "http://www.******.de/"+ number;
							Source = getSource(Link);
							if(!(Source.get(102).contains("404")))
							{
								do
								{
									Link = "http://www.******.de/"+ number;
									Source = getSource(Link);
									number++;
								}while(Source.get(102).contains("404"));
							}
						}
					}
				}

Vielen Dank

 

[FaxXer]

Hmm hat niemand ne Idee?
Gruß

 

[FaxXer]

So ich habe jetzt selber noch ein wenig weiter probiert, hat aber alles nichts geholfen.

Meine Seitenzahlen Methode sieht nun so aus:

static int NumberofPages() throws MalformedURLException, IOException
	{
		int number;
		String Link;
		LinkedList<String> Source = new LinkedList<String>();
		String Temp;
		
				for(number = 1; number <= 5000; number += 500)
				{
					Link = "****"+ number;
					Source.addAll(getSource(Link));
					Temp = Source.get(102);
					
					if (Temp.contains("404"))
					{
						while(true)
						{
							number -= 100;
							Link = "****"+ number;
							Source.addAll(getSource(Link));
							Temp = Source.get(102);
							if(!Temp.contains("404"))
							{
								do
								{
									number++;
									Link = "****"+     number;
									Source.addAll(getSource(Link));
									Temp = Source.get(102);
								}while(Temp.contains("404"));
							}
						}
					}
				}
		
		number--;
		return number;
	}
	
}

Der Fehler tritt immer beim dritten Durchlauf in der ersten Schleife auf.
Hier die Fehlermeldung von Eclipse:

HttpURLConnection.getInputStream() line: 1469 [local variables unavailable]
BasicCookie.getSource(String) line:11
OrlyDB.NumberofPages() line: 31

Wäre wirklich toll wenn jemand mal drüber schauen könnte, ich komm einfach nicht auf den Fehler
Vielen Dank

 

[SlaterB]

die Fehlermeldung sagt ja absolut gar nichts aus, gibts da wirklich nicht mehr, Screenshot?
was ist wenn du try/catch (Throwable) drumherum baust, was du hoffentlich kennst, ist damit ein normaler StackTrace,
Name der Throwable-Klasse zu ermitteln usw.?

der Ablauf ist bisher noch nicht deutlich beschrieben, funktioniert alles für Seite 1?
auch für Seite 1, 2, 3 hintereinander?

> wenn die fehler Seite angezeigt wird und es mit der ersten if Anweisung (Zeile 10)überprüft wird folgende Fehlermeldung in Zeile 32 der getSource Methode

Zeile 10 aus NumberofPages() findet ja direkt nach getSource() statt, das aktuelle getSource() war also erfolgreich,
nur das nächste geht dann schief oder was genau passiert?

gib nebenbei aus welche Seiten besucht werden,
wenn du dann das ganze separat nachstellst, einfach nur beispielsweise

getSource(Seite 500)
getSource(Seite 1000)
getSource(Seite 1500) // da würde das if aktiv werden
getSource(Seite 1400) // das folgende source

ausführst, kommt es dann genauso zum Fehler?

----

deine Schleife mit dem mehrfachen Code könntest du umstellen,
besser nur einmal den Code mit getSource() drinhaben, außen rum z.B. eine while(true)-Schleife,
und anhand von Variablen kontrollieren, ob aktuell um x erhöht oder um y gesenkt werden soll,

ok, bisschen kompliziert, vielleicht lohnt es sich zusammen mit kompletter Optimierung auf Zweierpotenzen:
du gehts von einem Bereich bis 5000 aus?
starte bei 4096 = 2^12,
je nachdem ob Seite ok ist oder nicht, wird der nächste Wert, 2^11 = 2048 addiert oder subtrahiert,
danach gehts mit 2^10 = 1024 weiter, 512, 256 usw.,
in maximal 12 Schritten ist die Zielseite gefunden

Beispiel:
ist 429 die letzte Seite?
Start 4096, zu hoch
-> 4096 - 2048 = 2048, zu hoch
-> 2048 - 1024 = 1024, zu hoch
-> 1024 - 512 = 512, zu hoch
-> 512 - 256 = 256, zu niedrig
-> 256 + 128 = 384, zu niedrig
-> 384 + 64 = 448, zu hoch
-32
+16
-8
+4
+2
-1
alle Schritte komplett benötigt, bei ungeraden Zahlen dürfte das immer so sein, nur die 1 am Ende schafft den Wechsel von gerade auf ungerade,
dennoch der schnellste Weg

 

[FaxXer]

Gut hab jetzt mal den try/catch Block drum herum gemacht. Dann bekomme ich einen

java.io.FileNotFoundException: http://www.****/1001

Fehler.

Vom Ablauf her funktioniert es für alle Seiten bis 1000. Hab ich aber auch erst gerade bemerkt. Die 1001ste Seite wäre dann die Fehler Seite. Also woran ich erkennen wollte wieviele Seiten es gibt. Hmm vielleicht findet er in der Zeile 102 den String "404" nicht. Aber selbst wenn es so wäre würde es ja keinen Fehler geben sondern einfach weiter laufen?!

Zeile 10 aus NumberofPages() findet ja direkt nach getSource() statt, das aktuelle getSource() war also erfolgreich,
nur das nächste geht dann schief oder was genau passiert?

Nein, dass aktuelle getSource() also beim Durchlauf wo die Seitenzahl 1001 ist gibt es den Fehler.


Habs so mal getestet:

Source.addAll(getSource("http://www.orlydb.com/s/0day/1000"));
		Source.clear();
		Source.addAll(getSource("http://www.orlydb.com/s/0day/1500"));
		Source.clear();
		Source.addAll(getSource("http://www.orlydb.com/s/0day/2000"));

Das Source.clear() hab ich mal hingemacht, da ich überlegt habe ob die LinkedList Source zu groß werden könnte.. Hat aber keine Änderung vollbracht.

Der Fehler kommt immer wenn die Seitenzahl über 1000 ist. Das ist genau die Seitenanzahl, die es gibt. Bei 1001 kommt die Fehlermeldung.

Danke für den Hinweis mit den Potenzen, ich hab mir auch schon gedacht, dass ich das irgendwie klüger lösen sollte. Wusste aber noch nicht genau wie.

Im Anhang ist noch der Screen.

 

[hasteMalNeMark?]

Hallo.

Also

 java.io.FileNotFoundException: [url]http://www.****/1001[/url]

wird womöglich nichts anderes heißen wie 404 Not Found. Soll dein Code speziell nur für eine Seite funtionieren?
Zudem bietet doch die Klasse HttpURLConnection Methoden an, um den HTTP responsecode zu erhalten.
HttpURLConnection (Java Platform SE 6)

Dann fragst du in einer Schleife bei jeder Seite nach dem Code ab und reagierst dann darauf.

Gruß

 

[FaxXer]

Danke für eure Hilfe, klar auf die Responses hätte ich selber kommen sollen !..
So ists natürlich viel einfacherer.

Hier mal meine Lösung, per Response Code und 2^pow Abfrage:

static int getResponse(String uri) throws IOException
		{
			URL url = new URL ( uri );
			URLConnection connection = url.openConnection();

			connection.connect();

			if ( connection instanceof HttpURLConnection)
			{
			   HttpURLConnection httpConnection = (HttpURLConnection) connection;
			   int code = httpConnection.getResponseCode();
			   return code;
			}
			else
			{
			   System.err.println ("error - not a http request!");
			   return -9;
			}
			
		}

	    public static void main(String[] args) throws IOException {
	    	int pow = 12;
	    	int counter = 4096;
			String Link = "*********"+ counter;
			
	    	while(true)
			{
	    		pow--;
	    		int response = getResponse(Link);
	    		
	    		if(pow != -1)
	    		{
	    			if((pow == 0) && ((counter % 2) == 0))
	    			{
	    				System.out.println("Es gibt "+ counter+ " Seiten");
		    			break;
	    			} else {	    			
	    				if(response == 404)
	    				{
	    					counter = counter - ((int) Math.pow(2, pow));
	    					Link = "*********"+ counter;
	    				}
	    				else if(response == 200)
	    				{
	    					counter = counter + ((int) Math.pow(2, pow));
	    					Link = "*********"+ counter;
	    				}
	    				else
	    				{
	    					System.out.println("Fehler beim ResponseCode");
	    				}
	    			}
	    		}
	    		else
	    		{
	    			System.out.println("Es gibt "+ counter+ " Seiten");
	    			break;
	    		}
			}
	}

Wahrscheinlich nicht die beste Lösung.. Bin aber noch Anfänger und habe nichts gegen Verbesserungen!