HTML Parsing errors

[hirsra]

Hi.

Ich versuche eine Webseite mit folgendem Code zu parsen.

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.Collections;

import javax.swing.text.AttributeSet;
import javax.swing.text.MutableAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTML.Tag;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
import javax.swing.text.html.parser.ParserDelegator;

public final class HTMLscanner extends HTMLEditorKit.ParserCallback {
    private static final HTMLscanner SCANNER = new HTMLscanner();

    /** Private constructor requested by checkstyle. */
    private HTMLscanner() { }

    /**
     * @param t is the found tag
     * @param a are the attributes for the tag
     * @param pos in the stream(in characters)
     * @see javax.swing.text.html.HTMLEditorKit.ParserCallback#handleStartTag(javax.swing.text.html.HTML.Tag, javax.swing.text.MutableAttributeSet, int)
     */
    @Override
    public void handleStartTag(final Tag t, final MutableAttributeSet a, final int pos) {

        System.out.println(String.format("handleStartTag: tag=%s, attributes=%s, pos=%s", t, a, Integer.valueOf(pos)));
        if (a.toString().contains("href=http://img.geocaching.com/cache/large")) {
            System.out.println(String.format("tag=%s", t));
            for (final Object obj : Collections.list(a.getAttributeNames())) {
                System.out.println(String.format("\tattr=%s, value=%s", obj, a.getAttribute(obj)));
            }
        }
        super.handleStartTag(t, a, pos);
    }

    /**
     * @see javax.swing.text.html.HTMLEditorKit.ParserCallback#handleEndTag(javax.swing.text.html.HTML.Tag, int)
     */
    @Override
    public void handleEndTag(final Tag t, final int pos) {

        System.out.println(String.format("handleEndTag: tag=%s, pos=%s", t, Integer.valueOf(pos)));
        super.handleEndTag(t, pos);
    }

    /**
     * @param errorMsg
     * @param pos
     * @see javax.swing.text.html.HTMLEditorKit.ParserCallback#handleError(java.lang.String, int)
     */
    @Override
    public void handleError(final String errorMsg, final int pos) {

        System.out.println(String.format("handleError: %s: %s", errorMsg, Integer.valueOf(pos)));
        super.handleError(errorMsg, pos);
    }

    /**
     * Start point for the application.
     * @param args are the command line arguments
     */
    public static void main(final String[] args) {
        final String name = "http://www.geocaching.com/seek/cache_details.aspx?wp=GC3JAKN";

        System.out.println(String.format("scanning %s", name));

        try {
            final URL url = new URL(name);
            final URLConnection connection = url.openConnection();
            final InputStream is = connection.getInputStream();
            final InputStreamReader isr = new InputStreamReader(is);
            final BufferedReader br = new BufferedReader(isr);
            final HTMLEditorKit htmlKit = new HTMLEditorKit();
            final HTMLDocument htmlDoc = (HTMLDocument) htmlKit.createDefaultDocument();
            final HTMLEditorKit.Parser parser = new ParserDelegator();
            final HTMLEditorKit.ParserCallback callback = SCANNER;

            parser.parse(br, callback, true);

            for (final HTMLDocument.Iterator iterator = htmlDoc.getIterator(HTML.Tag.A);
                    iterator.isValid();
                    iterator.next()) {
                final AttributeSet attributes = iterator.getAttributes();
                final String srcString = (String) attributes.getAttribute(HTML.Attribute.HREF);

                System.out.println(srcString);
            }
        } catch (final IOException exception) {
            exception.printStackTrace(System.out);
        }
    }

}

Dabei wird zwar das für mich interessante Tag erkannt; jedoch nicht alle Attribute für dieses Tag.(z.B. title) Stattdessen werden viele Fehlermeldungen ausgegeben!
(in

handleStartTag()

wird nur das interessante Tag ausgegeben)

Die gesamte Ausgabe des Programmes habe ich als Anhang beigefügt!

Für mich stellen sich im Augenblick zwei Fragen:
Wie ich die Parsingfehler beheben kann?
Wieso werden nicht alle Attribute erkannte und wie kann ich das verbessern?

Vielen Dank schon mal für Eure Hilfe
Rainer

 

[Marco13]

Du selbst kannst da nicht viel machen, was NICHT mit "Neuschreiben eines Parsers" zu tun hat. Es ist nunmal so, dass praktisch ALLE Webseiten im strengsten Sinne "fehlerhaft" sind. Da gibt es öffnende Tags, die nicht geschlossen werden, ungültige Tags, veraltete Elemente... Abgesehen davon ist dieses "HTMLEditorKit.ParserCallback" Zeux ein Krampf, damit kann man praktisch nichts anfangen, und das wenige was man machen kann, ist aufwändig. Und selbst WENN man es schafft, etwas rauszulesen: Durch sowas wie

if (a.toString().contains("href=http://img.geocaching.com/cache/large"))

würde es das Programm schon raushauen, wenn der Seitenbetreiber dort später Leerzeichen [c]href = http..[/c] einfügt

Für alles, was irgendwie mit "HTML Parsen und Interpretieren" zu tun hat, empfehle ich i.a. den Jericho HTML Parser . Der ist gut dokumentiert, es gibt KSKBs zu den gängigsten Aufgaben, und er frißt so ziemlich alles, wo auch nur irgendwo <spitze Klammern> drin vorkommen - natürlich beschwert er sich auch über Fehler, aber das, was lesbar ist, liefert er. Abgesehen davon wäre (falls ich das richtig verstanden habe) das, was du vorhast, hiermit erledigt:

import java.net.URL;
import java.util.List;

import net.htmlparser.jericho.Config;
import net.htmlparser.jericho.Element;
import net.htmlparser.jericho.HTMLElementName;
import net.htmlparser.jericho.LoggerProvider;
import net.htmlparser.jericho.Source;

public class ReadHTML
{
    public static void main(String[] args) throws Exception
    {
        Config.LoggerProvider = LoggerProvider.DISABLED;
        String sourceUrlString = "http://www.geocaching.com/seek/cache_details.aspx?wp=GC3JAKN";
        Source source = new Source(new URL(sourceUrlString));
        List<Element> elementList = source.getAllElements(HTMLElementName.A);
        for (Element element : elementList)
        {
            String href = element.getAttributeValue("href");
            if (href != null)
            {
                if (href.startsWith("http://img.geocaching.com/cache/large"))
                {
                    System.out.println(href);
                }
            }
        }
    }
}

 

[hirsra]

Hi,

danke für die schnelle Antwort. Naja, Fehler bei den bemängelten Attributen sehe ich nicht. Allerdings ist meine HTML-Wissen auch nur sehr anfängerhaft.

Dein Code werde ich asap ausprobieren. Dazu muß ich ja allerdings Jericho installieren. Ich hoffe ich schaffe das heute abend, aber ich habe heute und morgen abend noch zwei andere Termine und am Freitag geht's übers Wochenende zum Wandern. Also nicht wundern wenn ich mich erst nächste Woche melde.

Anmerkung zur Hintergrund:
Das Finden des Tags ist erst Teil 1 meines Ziels. Für diesen Tag interessieren mich jetzt speziell die Attribute title und description. (zu dem verlinkten Bild)

Schönen Gruß
Rainer

 

[hirsra]

Hi,

leider bin ich mit Jericho auch nicht wirklich weitergekommen da auch Jericho wohl nicht alles erkennt.

Ich versuche jetzt die HTML-Seite direkt einzulesen. Auch dabei gibt es Probleme. Hier erst mal mein Code mit dem ich die HTML-Seite lese.

package de.rh;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;

public final class TestScanner {

    public static void main(final String[] args) {

        try {
                int lineNo = 0;

                BufferedReader reader = new BufferedReader(new InputStreamReader(new URL(args[0]).openStream()));
                String line = reader.readLine();

                while (line != null) {
                    ++lineNo;
                        System.out.println(String.format("%s: %s", Integer.valueOf(lineNo), line));
                    line = reader.readLine();
                }
        } catch (final IOException exception) {
            System.out.println(String.format("%s: %s", exception.getClass().getName(), exception.getLocalizedMessage()));
        }
    }

}

Das Testprogramm erwartet als Kommandozeilenparameter die URL von welcher gelesen werden soll. Im folgenden werden folgende Varianten verwendet:

• "http://www.geocaching.com/seek/cache_details.aspx?wp=GC3JAKN]GC3JAKN"
• file:/Z:/Projekte.JUNO/SpoilerScanner/GC3JAKN.txt

Als Adresse gebe ich "http://www.geocaching.com/seek/cache_details.aspx?wp=GC3JAKN" an. Als Resultat werden 2139 Zeilen gelesen.

Wenn ich den Sourecode der HTML-Seite als Textdatei abspeichere und mit der Adresse file:/Z:/Projekte.JUNO/SpoilerScanner/GC3JAKN.txt die gespeicherte HTML-Seite einlesen werden 2448 Zeilen eingelesen.

In der Tat ist es so dass die für mich relevanten Zeilen in der ersten Variante nicht gelesen werden!

Kann mir das jemand erklären?

Gruß
Rainer

 

[Marco13]

Aus Neugier: Was sind denn die Unterschiede? Kann man die beiden Dateien hier posten (als Anhang) ? Vielleicht hat dann jemand eine Idee...

 

[hirsra]

Der Unterschied? Gute Frage.

Einmal lese ich direkt über das Netz, und einmal habe ich die Seite im Browser als HTML-Code abgespeichert. D.h. die Seiten sollten eigentlich gleich sein!!!!

 

[Marco13]

Der Server kann unterschiedliche Daten liefern, je nachdem, welcher Client die Anfrage stellt (kenn' mich da nicht so aus, aber mit dem ganzen PHP-Zeux geht ziemlich cranker shit), mal abgesehen von Cookie-Abfragen oder JavaScript, was den HTML-Code zwar im Browser aber nicht bei direktem Download verändern kann, oder oder oder...

 

[hirsra]

Das klingt aber gar nicht gut.

Aber es muß doch einen Weg geben direkt auf den Code zuzugreifen der von Browser angezeigt wird wenn man den Sourcecode von diesem anzeigen läßt.

Hat mir keiner ein Beispiel wie ich von der oben angegebenen Adresse die komplette 2448 Zeilen lesen kann?

 

[Marco13]

Ich weiß nicht, ob da hier noch jemand was genaures dazu sagen kann... Vielleicht mal einen Therad erstellen, in dem es genau um diese Frage geht (das hat ja nicht mehr direkt mit HTML Parsing zu tun, und mit dem, was da Serverseitig gemacht werden kann, kenne ich mich nicht aus.)

 

[jgh]

mmh, also wenn ich deine Code ausführe bekomme ich sowohl im Browser, als auch in der Console exakt 768 Zeilen Code angezeigt.