Index Datei aus HTML-Dateien

[ArnoldS]

Hallo,
bin dabei eine Index-Datei aus verschiedenen HTML-Seiten aufzubauen. Dazu verwende ich eine Hashmap zu Speichern der einzelnen verschiedenen Wörter. Als Ausgabe präsentiere ich dann zu den Wörtern enstprechend die Dateien und wie oft das Wort in jeder Datei vorkommt. Das passt soweit, aber leider habe ich es bis jetzt nur auf Text-Dateien getestet. Wie kann ich das für HTML-Dateien anwenden.
1)Soll ich einfach überprüfen ob das Wort mit < beginnt und dieses dann einfach auslassen oder sollte ich einen professionellen parser verwenden?
2) Wie kann ich per Java zb: den html-Text einer Seite wie zb: heise online - IT-News, c't, iX, Technology Review, Telepolis per java parsen?

danke vielmals
arnold

 

[XHelp]

Das ist glaube ich kein Thema, was du eben aus dem Ärmel schütteln kannst.
Die trivialste Lösung wäre einfach alle html-Tags zu filtern und den Text der übrig bleibt auszuwerten.

 

[ArnoldS]

danke, wie würdest Du das anstellen? Ich meine das Filtern?
würdest Du einfach eine Datei erstellen wo alle Tags eingetragen sind und diese dann in ein Array einlesen und bevor ich die Wörter in den Index aufnehme mit dieser vergleichen?
Wäre es nicht einfacher eben den ersten Buchstaben des Wortes zu überprüfen und falls das Zeichen gleich < einfach das Wort nicht aufnehmen.

danke
arnold

 

[XHelp]

Ich denke mal, dass du da bei regulären Ausrücken besser aufgehoben bist. Sowas wie

<(.|\n)*?>

Wozu machst du es denn? Ich kann mir gut vorstellen, dass dafür bereits mächtigere Frameworks existieren.

 

[ArnoldS]

Hallo,
ich muss so etwas als Übung für die Uni machen. Dabei muss sicherlich nicht ein Framework verwendet werden, denn ich muss nur etwas mit threads machen. Ich habe mir aber gedacht dass könnte man eben auch als einfaches Programm verwenden um von verschiedenen html-Dateien einen Index zu erstellen.
Habe das Posting mit dem Jericho HTML Parser schon gelesen. Möchte aber eine ganz einfache Version verwenden.
@XHelp: ist dieser reguläre Ausdruck korrekt oder ist das eben nur so ein Beispiel? (muss das mit den regulären Ausdrücken nochmals nachlesen: mit ist klar dass dein regulärer Ausdruck mit < startet und > endet. Der Stern und ? sollten Platzhalter sein. Aber was bedeutet dein angeführter regulärer Ausdruck?
danke
arnold

 

[XHelp]

* und ? sind keine Platzhalter. Wenn du dich etwas die die RegEx einließt, dann wird dir das ziemlich schnell klar. Der RegEx findet alles, was zwischen < und > ist.

Du musst IRGENDWAS mit Threads machen und entscheidest dich für sowas? oO

 

[ArnoldS]

danke, werde mir RegEX anschauen.

dein letztes Statement ist mir aber nicht ganz klar:
Du musst IRGENDWAS mit Threads machen und entscheidest dich für sowas? oO ???

Was meinst Du damit, warum ist dieses Beispiel schlecht. Habe n-Dateien und die werden von verschienden Threads durchsucht.

lg
arnold

 

[XHelp]

Weil dein Verfahren absolut nicht effizient ist. Um einfach irgendwas mit den Threads zu machen gibt es bestimmt bessere Beispiele.