Mit RegEx große Dokumente erfassen

[anon]

Hallo,

ich habe folgendes HTML-Dokument:

<dt>
<b class="sstime">5.30-9.00[/b]&<span class="cname">Das Erste</span>
</dt>

<dd>
[url="./fernsehen/sendung.html?cid=Ard&stime=2009-02-10%2005%3a30%3a00%2b01"]ZDF-Morgenmagazin[/url]
<i class="sktext">Vom Duett zum Duell: Merkel gegen Seehofer?

Europäischer Sicherheitskongress: Wie bedroht ist Deutschland?

Starkes Sicherheitsbedürfnis: Zulauf für Rechts bei Wahlen in Israel

Kritik am EU-Abkommen: Klagen gegen Verträge von Lissabon vor dem BVerfG

Adieu Schiefertafel: Bildungsmesse didacta setzt auf "White Board"

Berlinale

Sport: WM-Abfahrt Ski alpin: Endlich Medaille für Maria Riesch?

"Gestatten, Bundestrainer": Michael Kuhn, Trampolin[/i]
</dd>

....

<dt>
<b class="sstime">5.30-9.00[/b]&<span class="cname">ZDF</span>
</dt>

<dd>
[url="./fernsehen/sendung.html?cid=Zdf&stime=2009-02-10%2005%3a30%3a00%2b01"]ZDF-Morgenmagazin[/url]
<i class="sktext">Vom Duett zum Duell: Merkel gegen Seehofer?

Europäischer Sicherheitskongress: Wie bedroht ist Deutschland?

Starkes Sicherheitsbedürfnis: Zulauf für Rechts bei Wahlen in Israel

Kritik am EU-Abkommen: Klagen gegen Verträge von Lissabon vor dem BVerfG

Adieu Schiefertafel: Bildungsmesse didacta setzt auf "White Board"

Berlinale

Sport: WM-Abfahrt Ski alpin: Endlich Medaille für Maria Riesch?

"Gestatten, Bundestrainer": Michael Kuhn, Trampolin[/i]
</dd>

....

<dt>
<b class="sstime">5.30-10.00[/b]&<span class="cname">SAT.1</span>
</dt>

<dd>
[url="./fernsehen/sendung.html?cid=Sat1&stime=2009-02-10%2005%3a30%3a00%2b01"]Frühstücksfernsehen[/url]
</dd>
<hr>
<dt>
<b class="sstime">5.30-6.00[/b]&<span class="cname">DSF</span>
</dt>

<dd>
Sport Clips
</dd>

....

Wie kann ich mit RegEx nun zwischen "dt" und "dd" auslesen? Folgender Code funktioniert nicht:

    String input = all.toString();
	   
	    Pattern p = Pattern.compile("<dd[^>].*>(.*)</dd>");
	    Matcher m = p.matcher(input);

	    while ( m.find() ) {
	    	System.out.println(input.substring(m.start(), m.end()));
	    	System.out.println("***");
	    }

Vielen Dank vorab,
anon

 

[Ebenius]

Poste doch mal eben alle gewünschten Treffer zeilenweise!

Ebenius

 

[Marco13]

Bei Großen Dokumenten ist RegEx u.U. ziemlich lahm. (Unter BESTIMMTEN Umständen kann das Matching sogar exponentielle Zeit bzgl. der Eingabegröße benötigen). Den Ansatz, einfach mit
s.indexOf("bla", n)
die gewünschten Stellen rauszupicken, solltest du zumindest in Erwägung gezogen haben...

 

[Ebenius]

Bei Großen Dokumenten ist RegEx u.U. ziemlich lahm. (Unter BESTIMMTEN Umständen kann das Matching sogar exponentielle Zeit bzgl. der Eingabegröße benötigen). Den Ansatz, einfach mit
s.indexOf("bla", n)
die gewünschten Stellen rauszupicken, solltest du zumindest in Erwägung gezogen haben...

Stimmt, das sollte aber bei HTML-Dateien in aller Regel nichts ausmachen. Hier ist einfach der reguläre Ausdruck falsch. Um den zu korrigieren würde die Liste der gewünschten Treffer bzgl. des obigen Beispiels sehr helfen.

Ebenius

 

[Kaffeemaschinist]

Bei der Regenechse ist der erste Punkt zuviel, versuch mal

<dd[^>]*>(.*)</dd>

Mit dem Punkt würde folgendes passieren: Suche nach einer Zeichenkette, die mit <dd beginnt, der kein direkt < folgt. Damit würdest du schon mal <dd> nicht finden.

Dann noch die Regenechse auf nicht gierig einstellen (könnte sein, dass die von vornherein "greedy" sucht).


Nachtrag:
Guck mal in die JavaDoc unter Pattern nach, dort findest du noch folgendes:
The regular expression . matches any character except a line terminator unless the DOTALL flag is specified.

Du musst also unbedingt deinen Pattern mit dieser DOTALL-Option schalten, sonst beißt er sich an den Newlines die Zähne aus.

 

[Ebenius]

Hm. Also meiner Meinung nach wird das selbst mit Backmatches nix. Nimm doch einen fertigen HTML-Parser dafür, das führt zu mehr... Zum Beispiel den hier.

Ebenius

 

[Kaffeemaschinist]

RegexCoach runterladen, Testdaten und Statement eingeben und auf Go drücken.

Tadaaaaaaa... funzt.

 

[Ebenius]

Mit dem Ausdruck den Du oben gepostet hast, bekommst Du nur einen einzigen großen Treffer. Das geht natürlich mit RegExps. Ich gehe aber davon aus, dass der ThreadOpener jeden der <dd>...</dd> und <dt>...</dt>-Bereiche einzeln haben möchte. Mit welchem Ausdruck klappt das dann? Ich bin gespannt.

Ebenius

 

[Illuvatar]

Bei der Regenechse ist der erste Punkt zuviel, versuch mal

<dd[^>]*>(.*)</dd>

Das einfachste, um das nicht-gierig zu machen, wäre folgende Regex:

<dd[^>]*>(.*?)</dd>

Und nebenbei gesagt, wird so auch das Konstrukt in der ersten spitzen Klammer überflüssig =>

<dd.*?>(.*?)</dd>

sollte funktionieren.

Und es stimmt, falls du mehrzeilige Sachen matchen willst musst du laut API Pattern.DOTALL aktivieren. Ich bin grad nur etwas verwirrt, weil ich meine auch schon mehrzeilige Sachen gematched zu haben, ohne diesen Parameter auch nur zu kennen...

 

[Kaffeemaschinist]

Geht nich gibt's nich!

Mit Illuvators Vorschlag sieht's in etwa so aus:

Pattern p = Pattern.compile("<dd.*?>((.*?))</dd>",Pattern.DOTALL);
        Matcher m = p.matcher("dein<dd class=\"brimbramborum\">Text[b]als[/b]String</dd>");
        
        while (m.find()) {
        	
        	System.out.println("Gefunden von Position "+m.regionStart()+" bis "+m.regionEnd()
        			+ " mit den Gruppen");
        	for (int i=0; i<m.groupCount();i++) {
        		System.out.println(i+": "+m.group(i));
        	}
        }

Ich weiß nur grad nicht, warum ich doppelte Klammerung nehmen musste, damit er die Gruppe Nr. 1 findet. Sollte nicht so sein. Im Zweifelsfall mal nur eine Klammerung setzen :-/

 

[Ebenius]

Dann nehme ich alles zurück was ich behauptet habe. :lol: Also lautet der komplette benötigte Ausdruck:

(?ms:<((?:dd)|(?:dt)).*?>(.*?)</\1>)

Und dann die Capturing Group $2 nehmen.

Ebenius

 

[Ebenius]

Ich weiß nur grad nicht, warum ich doppelte Klammerung nehmen musste

Matcher.group(int)...

Capturing groups are indexed from left to right, starting at one. Group zero denotes the entire pattern, so the expression m.group(0) is equivalent to m.group().

Und den Stern noch mit in die Klammern.

Ebenius

 

[Kaffeemaschinist]

Schon richtig, aber Gruppe 0 ist immer der komplette Ausdruck, in meinem Beispiel also <dd class=\"brimbramborum\">TextalsString</dd>

Trotzdem sollte mit einfacher Klammerung bei Group 1 dastehen:
TextalsString. Tut's sondersamerweise nicht, bin ich grad betrottelt?

 

[Ebenius]

Schon richtig, aber Gruppe 0 ist immer der komplette Ausdruck, in meinem Beispiel also <dd class=\"brimbramborum\">TextalsString</dd>

Stimmt.

Trotzdem sollte mit einfacher Klammerung bei Group 1 dastehen:
TextalsString.

Stimmt.

Tut's sondersamerweise nicht, bin ich grad betrottelt?

Das liegt nur daran, dass "m.groupCount()" Dir bei einfacher Klammerung in Zeile 9 eine 1 zurück gibt und damit die Zeile 10 nur einmal aufgerufen wird mit "m.group(0)". Klar? Also schreib in Zeile 10 ein "i + 1" und es funktioniert mit einfacher Klammerung, wirst sehen.

Ebenius

 

[Kaffeemaschinist]

Ei, hast recht: Group zero [..] is not included in this count.

Danke für die Klarstellung!

Irgendwie trotzdem kein schöner Stil für Leute, die es gewohnt sind, dass Schleifen bei 0 beginnen und nicht bei 1.