Bestimmte Informationen von Webseite suchen

[CrawlBaby]

Hallo und guten Tag,

ich würde gerne ganz bestimmt Informationen von einer bestimmten Webseite auslesen.
Leider habe ich überhaupt keinen Ansatz wie so etwas funktioniert....

Ich müsste nehme ich an zuerst die Internetseite per URL in Java speichern und dann?
Muss ich die HTML-Tags auslesen? Oder wie oder was?

 

[Gast2]

Wenn du eine Seite ausließt bekommst du den HTML Code zurück, das heißt mit allen HTML Tags und allem drum und dran. Je nachdem welche Info du daraus ziehen möchstest ist das simpel bis etwas schwieriger.
Mit der Klasse URLConnection kannst du dir relativ eine Seite auslesen.

 

[CrawlBaby]

Muss ich das ungefähr so machen mit der Internetseite?

URL url = new URL("Die Web-Adresse");
URLConnection connection = url.openConnection();
InputStream is = connection.getInputStream();
BufferedReader reader = new BufferedReader(new InputStreamReader(is));

steht dann im reader das ganze HTML zeugs drin?
Wenn ja, gibt es von java schon sowas wie nen HTML-Parser?

 

[CrawlBaby]

Okay kann so anscheinend schonmal nicht funktionieren,
bekomme null zurück, das heißt im Reader steht garnichts drin.....

Wie funktioniert es?

 

[Gast2]

Doch, dein Code oben funktioniert. Auf dem BufferedReader kannst du readLine() aufrufen bis null zurückgegeben wird.

In der Java API gibt meines Wissens keinen HTML Parser. Aber es gibt Bibliotheken dafür.

 

[CrawlBaby]

Jo hast Recht, hatte nen kleinen Fehler drin.
Also ich habe jetzt in einer String Variable
den gesamten Inhalteiner Webseitestehen (in HTML)

Wie muss ich nun weiter vorgehen um an bestimmte Daten zu kommen?

 

[Gast2]

Entweder per Regex deine Info raussuchen oder nen HTML Parser bemühen. Was davon besser ist hängt davon ab was du wo suchst.

 

[CrawlBaby]

Ich muss von der Startseite aus weiter navigieren können.

Es gibt auf der Internetseite ein Top-Menü:

Startseite | News | Tipps | .....

und da muss ich nun zu News navigieren

dort gibt es dann ganz viele Untermenüs über die ich iterieren
muss und für jedes menü eine eigene Variable in meinem Programm
erzeugen.....

Das muss ich tun.

 

[Gast2]

Dann nimm am besten nen HTML Parser.

 

[CrawlBaby]

Okay, Danke schonmal dafür.

Weißt du aber zufällig auch noch wie so ein Top-Menü in HTML 4.0 aussieht?

Also welche Tags die haben müssen. Weil ich hab mir gerade den HTML-Code
angesehen und kann diese Top-Leiste nirgendwo finden...

 

[ARadauer]

muss und für jedes menü eine eigene Variable in meinem Programm
erzeugen.....

nein wozu...

ich würd mir jtidy ansehen... aber ganz ehrlich, dir fehlen da einige Grundlagen... musst du das für die Schule machen? Dann würd ich mir einen Kollegen suchen, der dir hilft...

Weißt du aber zufällig auch noch wie so ein Top-Menü in HTML 4.0 aussieht

... ähmn top menu? sowas gibts gar nicht, zeig mal die url...

 

[CrawlBaby]

Wie gibt es nicht?

Die Webseite hier hat doch auch ein Top-Menü:

"Tutorials/Quiz/FAQ", "Kontakt", "Impressum", .....

Diese Sachen muss ich iwie auslesen können und dann den link in
das untermenü öffnen und diese Seite dann speichern und wieder
auslesen. Solange bis ich da angekommen bin wo ich hin will.

 

[CrawlBaby]

okay, habs schon gefunden.

Dann bastel ich mir mal nen html parser^^

 

[ARadauer]

Wie gibt es nicht?

Die Webseite hier hat doch auch ein Top-Menü:

ja aber es gibt keine html tag für "top-menü". man nimmt halt irgendwelche links in listen oder links in tabellen und dann muss man im quelltext nur den titel vom link suche...