Zugriff auf Websites über Java

[Nils]

Hallo zusammen,
Ich habe den Auftrag bekommen, ein Programm zu entwickeln, das Websites analysieren soll.
Es soll unter anderem folgendes leisten: Ein HTML-Dokument auf Größe, Anzahl der Bilder, Umfang des Textes und Größe der Bilder und Übertragungsanforderungen analysierem. Dabei sollen auch ganze Dokumentenbäume abgearbeitet werden.

Kann mir jemand ein paar Tips geben, welche Klassen und Methoden für so ein Unterfangen hilfreich wären? Wie bekomme ich überhaupt eine Verbindung zwischen meinem Programm und einer Website hin? Wie kann ich auf Elemente dieser Website (Text, Bilder, Links) zugreifen?

Ich möchte ja keine Anleitung, wie ich das alles zu programmieren haben. ;-) Wie gesagt nur ein paar Tips, welche Klassen und Methoden hilfreich wären. Und vielleicht hat jemand einen guten Link parat, der sich näher mit so einer oder einer ähnlichen Problematik beschäftigt?

Vielen Dank!
Gruß,
Nils

 

[Roar]

hier ein paar klassen:
eine HttpURLConnection per URL.openConnection(),
input stream den html code lesen, und dann durch nen HTMLParser jagen, der dir die links und bilder-tags raussucht.
in der API sollte man den rest nachschlagen können.

 

[me.toString]

Ich benutz da immer httpUnit
... ist zwar eigentlich icht dafür gemacht ( sondern zum Testen von Webseiten ) ... aber kann man dafür auch wunderbar "missbrauchen"