Web Mining - XML Filter der richtige Anstatz?

[SchachFritz]

Guten Tag.
Ich möchte HTML Seiten filtern, so dass nur noch die wichtigsten Informationen in Textform übrig bleiben. Das heisst, dass ich alle Angaben wie z.b. Schrift, Absätze und Bilder löschen muss. Ich dachte mir ein guter Ansatz wäre das HTML in XML umzuwandeln. Um nachher, das Dokument besser zu strukturien, so dass man auf Anhieb die wichtigesten Informationen findet. Daraus würde sich dann so eine Art "Web Mining" ergeben. Ich glaube wenn man dieses XML Dokument sauber in einem JTree darstellen würde, so wäre es für den User ohne Probleme möglich sich zurecht zu finden. Bin mir jedoch nicht sicher ob XML auch wirklech der beste Ansatz ist.

Bei meinen Recherchen bin ich auf Technologien wie JDOM, JTidy und ähnliches gestossen. Ich weiss jedoch nicht wie ich diese Technologien benutzen soll um das HTML zu filtern. Es muss doch auch bereits existierende APIs dafür geben. (Bin ja nicht der Erste der auf solche eine Idee gekommen ist )

Ich wäre froh wenn Ihr mir ein paar Tips zu existierenden APIs geben könnte. Eine Diskussion über diesen XML Ansatz würde mir auch weiterhelfen.

Vielen Dank.
SchachFritz.

 

[LoN_Nemesis]

Wäre es nicht einfacher, alle Tags rauszulöschen? Falls du Text von Bildern oder so auch noch brauchst, dann kannst du ja da ein Sonderfall drausmachen, aber prinzipiell steht doch bei HTML jeder normale Text einfach mit Tags umschlossen da. Also sowas wie <font color="#ff0000" size=2000><div align=center>MEINE HOMEPAGE</font></div>. Wenn du alle Strings löschst, die mit <anfangen und mit > enden, so sollte doch der eigentliche Inhaltstext übrig bleiben.

 

[Guest]

Um das HTML, welches meist kein wohlgeformtes XML ist, trotzdem als solches Parsen zu können verwendest du JTidy. Danach kannst du mit dem Ergebnis weiter arbeiten als wäre schon die Ausgangslage XML. Mit XSLT könntest du das XML dann so umwandeln, dass du nur noch die Struktur darin hast und keine Formatierung mehr. Dazu machst du dir ein XSL-Template und für die Transformation nimmst du Xalan. Das Ganze sollte sich nun leicht in einem JTree darstellen lassen indem du rekursiv durch dein Dokument gehst und dabei das Model des JTree aufbaust.