Seitenquellcode ausgeben

[UncleChicken]

Hallo miteinander!

Ich würde gerne den Quelltext einer Website auslesen (um später damit weiter zu arbeiten).
Bei recherchen bin ich bereits auf Lösungsansätze gestoßen, welche ich auch teilweise verstehe. Jedoch scheint keine der beiden Lösungen den kompletten Quelltext auszugeben. Leider weis ich nicht, woran es liegt.

public static void main (String [] args) throws IOException {

 final String meineURL = "http://www.amazon.de/s/ref=gb1h_img_m-5_5347_59a1f0c2?ie=UTF8&field-enc-merchantbin=A3JWKAKR8XB7XF&page=1&rh=n%3A284266%2Cp_83%3AP1EA1MNDMCBD2WQGMP&smid=A3JWKAKR8XB7XF&pf_rd_m=A3JWKAKR8XB7XF&pf_rd_t=101&pf_rd_s=merchandised-search-5&pf_rd_r=06A6QWAPYM6SWN2DNM8R&pf_rd_i=284266&pf_rd_p=524185347";
		 
		 URL url = new URL(meineURL);
		 
		 InputStreamReader isr = new InputStreamReader(url.openConnection().getInputStream());
		 BufferedReader br = new BufferedReader(isr);
		 
		 // Kompletten Seiteninhalt auslesen
		 String line ="";
		 String quelltext ="";
		 
		 while((line = br.readLine()) != null)
		 {
		 quelltext += line + "\r\n";
		 }
		 
		 // Reader Schließen
		 br.close();
		 isr.close();
		 
		 
		 // Seiteninhalt ausgeben
		 System.out.println(quelltext);
		  }
		}

oder:

	public static void main (String [] args) throws IOException {
		
		URL url = new URL ( "http://www.amazon.de/s/ref=gb1h_img_m-5_5347_59a1f0c2?ie=UTF8&field-enc-merchantbin=A3JWKAKR8XB7XF&page=1&rh=n%3A284266%2Cp_83%3AP1EA1MNDMCBD2WQGMP&smid=A3JWKAKR8XB7XF&pf_rd_m=A3JWKAKR8XB7XF&pf_rd_t=101&pf_rd_s=merchandised-search-5&pf_rd_r=06A6QWAPYM6SWN2DNM8R&pf_rd_i=284266&pf_rd_p=524185347 ");
		InputStream input = url.openStream();
			
		BufferedReader reader = new BufferedReader(new InputStreamReader(input));
		
		String s = null;
		
		while ((s = reader.readLine()) != null) {
			System.out.println(s);
		}

Verwende ich beispielsweise den eingefügten Link und untersuche anschließend die Ausgabe, finde ich keinerlei Artikel.
Worauf ist das zurückzuführen?
Vielen Dank schonmal!

 

[JavaMeister]

Viele Sachen werden via java Script nachgeladen. Du müsstest also die Java Script tags nehmen und evaluieren also aufführen.

Amazon hat eine API für sowas. Die automatische Verarbeitung der Homepage ist ungewollt weil Traffic. Nutze also die API.

 

[UncleChicken]

Hallo nochmal.
Vielen Dank für deine Rückmeldung und Entschuldigung, dass ich mich erst jetzt wieder melde... musste mich leider anderen Dingen witmen.

Leider verstehe ich noch immer nicht genau, was du unter "evaluieren" bzw. "aufführen" verstehst. Könnst du das ggf. nochmal erläutern?

Vielen Dank nochmal (hast ein "top" bekommen)

 

[Joose]

"evaluieren" ist nur ein anderes Wort für "begutachten", "bewerten" (weitere findet man im duden)

 

[VictorRomeo]

Leider schreibst du nicht, was genau du eigentlich vorhast. Aber vielleicht versuchst du etwas zu erfinden, was es schon gibt. HtmlUnit - Welcome to HtmlUnit wird hier gern mal in solchem Bereich mal genannt.