html-datei auslesen

[norman]

hallo zusammen,

gibts bereits eine api oder sowas, womit ich in einer html-datei zB nach einem String suchen kann, ohne treffer a la

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />

zu bekommen, wenn ich nach "text" suche..?

sollte recht umständlich sein, dass selbst zu implementieren ???:L

 

[foxy]

Tip:

schau mal unter

www.regenechse.de

nach dem prinzip kann man ganz einfach datein durchsuchen und nach bestimmten sachen darin suchen


ömm hab grad nachgeschaut ... fin die dumme page nimma -.-

 

[norman]

danke, die seite kenne ich.
ich durchsuche die html-datei ja auch mH eines regulären ausdrucks.

das problem ist aber, dass es nicht eben nicht "ganz einfach" ist, alles zu ignorieren, was
1. nicht zwischen den body tags liegt und
2. links, bilder oder sonstwas darstellt.


=> daher wäre es viel einfacher, die datei so auszulesen, wie sie letztlich auch angezeigt wird. also nur den text einlesen, der im browser zu sehen ist...

 

[foxy]

naja wiso du gehst zeile für zeile durch .... und suchst dann eben nur zw den " " nach deinem text ... fals nich gefunden weiter suchen

 

[norman]

naja wiso du gehst zeile für zeile durch .... und suchst dann eben nur zw den " " nach deinem text ... fals nich gefunden weiter suchen

wenn ich zeile für zeile durchgehe, dann überprüfe ich auch die zeilen der meta-tags usw. -> und das führt dann zu ungewünschten ergebnissen. siehe oben.

was ist "zwischen den " " "?

zw den " " nach deinem text

 

[Murray]

=> daher wäre es viel einfacher, die datei so auszulesen, wie sie letztlich auch angezeigt wird. also nur den text einlesen, der im browser zu sehen ist...

Das ist schlechterdings im allgemeinen so nicht möglich: solange man korrekte xhtml-Seiten hat, mag es noch gehen; für beliebige HTML-Seiten aus dem Web kann man aber nicht mal eine vernünftige Grammatik angeben, da die Browser - historisch gewachsen - jede Menge syntaktisch falsche Konstrukte dennoch verstehen.

 

[foxy]

vlt verstehe ich die frage auch falsch


due willst nach einem text in einer html datei suchen,
dieser text befindet sich immer ziwschen den ""

also " suchender text"
oder?

 

[norman]

nein. der zu suchende String beinhaltet keine " und natürlich ist es unklar, wo er in der datei vorkommt.

 

[norman]

=> daher wäre es viel einfacher, die datei so auszulesen, wie sie letztlich auch angezeigt wird. also nur den text einlesen, der im browser zu sehen ist...

Das ist schlechterdings im allgemeinen so nicht möglich: solange man korrekte xhtml-Seiten hat, mag es noch gehen; für beliebige HTML-Seiten aus dem Web kann man aber nicht mal eine vernünftige Grammatik angeben, da die Browser - historisch gewachsen - jede Menge syntaktisch falsche Konstrukte dennoch verstehen.

hm..naja es sollen eigtl nur seiten durchsucht werden, die ich mehr oder weniger selbst erstellt habe. trotzdem dachte ich, man könnte vllt das einlesen, was ein browser ausgeben würde..quasi ???:L

 

[Murray]

hm..naja es sollen eigtl nur seiten durchsucht werden, die ich mehr oder weniger selbst erstellt habe. trotzdem dachte ich, man könnte vllt das einlesen, was ein browser ausgeben würde..quasi ???:L

Bei selbsterstellten Seiten kennst Du ja die Besonderheiten, damit könnte es also gehen - wenn Du aber Seiten hast, bei denen z.B. per CSS Bereiche ausgeblendet werden, dann würdest Du diese Dinge natürlich trotzdem durchsuchen (nur ein Beispiel für die Unterschiede zwischen dem, was der Browser anzeigt, und dem, was man bei der textuellen Analyse der HTML findet).

Sind Deine Seiten gültiges xhtml? Dann könntest Du einen XML-Parser verwenden, das DOM iterieren und je nach Node entweder den Text-Content übernehmen oder den ganzen Node überspringen.

 

[norman]

Sind Deine Seiten gültiges xhtml? Dann könntest Du einen XML-Parser verwenden, das DOM iterieren und je nach Node entweder den Text-Content übernehmen oder den ganzen Node überspringen.

hm. das ist eine gute frage. weiß jetzt nicht was der xhtml standard ist. auf jeden fall werden aber einige jsp-seiten dazukommen..

denke ich schau morgen mal was xhtml, DOM usw genau ist. einen Node überspringen hört sich jedenfalls schonmal gut an.

 

[Murray]

xhtml ist hier nur insofern wichtig, als dass Du wohlgeformtes XML brauchst, um die Seiten parsen zu können. Sind die Seiten in xhtml. dann ist das automatisch gegeben. Ansonsten ist es erstmal wichtig, dass es zu jedem oeffnenden Tag auch ein schließendes gibt.

 

[norman]

hm..ich glaube ich habe hier das richtige gefunden:

...Extraction encompasses all the information retrieval programs that are not meant to preserve the source page. This covers uses like:

* text extraction, for use as input for text search engine databases for example...

org.htmlparser.parserapplications
Class StringExtractor

public class StringExtractor
extends Object

Extract plaintext strings from a web page. Illustrative program to gather the textual contents of a web page. Uses a StringBean to accumulate the user visible text (what a browser would display) into a single string.