Webseiten Parsen

MurderItachi

Mitglied
Hallo Leute, ich hab ein Problem. Ich hab die Aufgabe aus der Website

MDR JUMP | MDR JUMP Verkehrszentrum

die Verkehrsstörungen auszulesen und in ein txt Dokument abzuspeichern. Ich sitz da schon Ewigkeiten dran und komm einfach nicht weiter. Ich benutze jsoup zum parsen und versuche mit den verschiedensten Filtern an die gewünschten Informationen dran zu kommen. Um dem eine Krone aufzusetzten bin ich auf den Verdacht gekommen, dass die Daten per Java Script eingespeist werden :(
Könnte sich das jemand mal anschauen und mir ggf helfen bzw die Sache erklären?

Java:
public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
	
  	
  // Connect to the website and parse it into a document
  	Document doc = Jsoup.connect("http://www.jumpradio.de/service/verkehr/index.html").get();
    Elements pelement = (doc.select("p"));

    for(Element p : pelement )
    {
        System.out.println(p.getAllElements().text());
    }
	
	 }


In dieser version versuche ich nach dem p tag zu Filtern um an die Infos zu kommen. Am Schluss sehen sollen die Infos so aussehen: <Strecke>;<Meldung>;<Zeit>. Das ist mit dem Filter zwar nicht erreichbar, denoch sollte ich grob an die Infos kommen was leider überhaupt nicht funktioniert.
 

DrZoidberg

Top Contributor
Die Daten werden tatsächlich mit JavaScript eingefügt. Das macht aber nichts.
Chrome bzw. Firefox(mit installiertem Firebug plugin) können dir den Netzwerkverkehr anzeigen. Dort kannst du dann sehen wie genau die Verkehrsdaten geladen werden. Drück auf F12 um die Chrome Entwicklertools bzw Firebug aufzurufen. Dann klick auf Netzwerk, öffne MDR JUMP | MDR JUMP Verkehrszentrum und zoome auf der Karte rum. Im Netzwerk Protokoll erscheinen dann verschiedene Einträge. z.B. der hier
"GET http://www.jumpradio.de/code/service/php/tic/getinfo.php?m=G&json=1&t=TST,TBL&Bbox=-5.783945312500009,45.27978355137749,22.07738281249999,56.24721679864654"

Dieser Link enthält die Koordinaten innerhalb der die Verkehrsmeldungen abgerufen werden sollen.
-5.7, 45.2 ist die linke untere Ecke des ausgewählten Bereichs.
22.0, 56.2 ist die obere rechte Ecke.

Du brauchst übrigens nicht so viele Nachkommastellen. Und wenn du json auf 0 setzt erhältst du die Daten im XML Format.
Das sieht dann so aus
http://www.jumpradio.de/code/servic...m=G&json=0&t=TST,TBL&Bbox=-5.7,45.2,22.0,56.2

Zum Extrahieren der Daten kann man dann reguläre Ausdrücke verwenden oder einen XML bzw. JSON Parser.

Übrigens - falls die Netzwerkprotokollierung im Browser nicht ausreichend ist, kann man auch Fiddler verwenden. Fiddler - The Free Web Debugging Proxy by Telerik
In diesem Fall sollte das aber nicht nötig sein.
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
hebein Mit Javaprogramm webseiten automatisiert befüllen und ausführen Java Basics - Anfänger-Themen 6
F Webseiten Quelltext auslesen Java Basics - Anfänger-Themen 5
D Ich suche nach einer Möglickeit den Webseiten Inhalt per Java zu analysieren Automatisch Java Basics - Anfänger-Themen 3
J Informationen aus Webseiten auslesen Java Basics - Anfänger-Themen 1
I Brauche Denkanstoß: Weitergabe von Kontaktinfos aus verschiedenen Kontaktformularen von Webseiten Java Basics - Anfänger-Themen 2
K Daten (im Sinne von Datum) aus Webseiten extrahieren Java Basics - Anfänger-Themen 6
G Möglichkeit zum Auslesen von Webseiten gesucht. Java Basics - Anfänger-Themen 10
S externe Webseiten füllen Java Basics - Anfänger-Themen 5
D Webseiten öffnen Java Basics - Anfänger-Themen 4
L Webseiten anzeigen Java Basics - Anfänger-Themen 4
J Webseiten mit Java3D? Java Basics - Anfänger-Themen 19
S Java und webseiten Java Basics - Anfänger-Themen 2
I Codierung beim Auslesen von Webseiten Java Basics - Anfänger-Themen 6
K Mit java Webseiten erstellen? Java Basics - Anfänger-Themen 3
M Webseiten mit oder ohne Framework Java Basics - Anfänger-Themen 5
C seo-Webseiten auch mit Java möglich? Java Basics - Anfänger-Themen 8
L Webseiten über Java Programm starten Java Basics - Anfänger-Themen 2
U Webseiten öffnen Java Basics - Anfänger-Themen 7
M welcher Layoutmannager ist für Webseiten Outfit geeignet Java Basics - Anfänger-Themen 8
S Bilder aus Webseiten extrahieren Java Basics - Anfänger-Themen 2
Beowend String zu Date parsen Java Basics - Anfänger-Themen 1
W Strings und das parsen Java Basics - Anfänger-Themen 8
R String index out of range: -1 beim Datei Parsen Java Basics - Anfänger-Themen 15
K String nach bestimmtem Muster parsen Java Basics - Anfänger-Themen 3
K Datentypen String zu Integer parsen Java Basics - Anfänger-Themen 2
L Jackson JSON parsen Java Basics - Anfänger-Themen 7
7.7GradOst Datentypen Stringeingabe aus z.B. "4,d,<" parsen Java Basics - Anfänger-Themen 7
D InputStream parsen und als Bilddatei abspeichern Java Basics - Anfänger-Themen 1
M JAVA String schnell parsen Java Basics - Anfänger-Themen 14
K Methoden Datum parsen Java Basics - Anfänger-Themen 16
V Java Regex richtig parsen Java Basics - Anfänger-Themen 2
J Rekursives Parsen (ohne Reg Expressions) Java Basics - Anfänger-Themen 8
L Beliebigen Datentypen aus String parsen Java Basics - Anfänger-Themen 6
L Datei aus Multipart parsen und speichern, seltsam codiert? Java Basics - Anfänger-Themen 16
J String aus Json File parsen Java Basics - Anfänger-Themen 6
S Date parsen klappt nicht richtig Java Basics - Anfänger-Themen 3
M Input/Output Probleme beim Parsen von CSV und TXT Dateien Java Basics - Anfänger-Themen 7
V Umlaute beim Parsen einer HTML Seite Java Basics - Anfänger-Themen 4
P String parsen Java Basics - Anfänger-Themen 5
S fehler beim datum parsen Java Basics - Anfänger-Themen 6
T Klassen CSV datei einlesen und parsen Java Basics - Anfänger-Themen 4
F Methoden Termin parsen Java Basics - Anfänger-Themen 2
Luk10 String (Hexadezimal) zu int parsen Java Basics - Anfänger-Themen 12
O Nicht Standard Form boolesche Funktion in Standard Form parsen Java Basics - Anfänger-Themen 3
E Datentypen Unvollständiges Datum parsen Java Basics - Anfänger-Themen 8
U Website parsen Java Basics - Anfänger-Themen 11
D Java - OutOfMemoryError beim Parsen Java Basics - Anfänger-Themen 15
J String zu Double parsen (multiple points) Java Basics - Anfänger-Themen 2
K Fehlerbehandlung beim Parsen von Strings Java Basics - Anfänger-Themen 9
F Datum AM / PM parsen Java Basics - Anfänger-Themen 5
A Datentypen Datum mit "May" zu Date parsen Java Basics - Anfänger-Themen 6
F Datum parsen Java Basics - Anfänger-Themen 6
R Datumsformatierung parsen Java Basics - Anfänger-Themen 8
E Code parsen/ formatieren Java Basics - Anfänger-Themen 3
G String parsen Java Basics - Anfänger-Themen 3
J int Wert mit getter holen und in String parsen Java Basics - Anfänger-Themen 5
trash Double Parsen? Java Basics - Anfänger-Themen 3
M Datum parsen Java Basics - Anfänger-Themen 10
A Parsen von double zu int? Java Basics - Anfänger-Themen 2
L String zu Enum parsen Java Basics - Anfänger-Themen 8
L String zuverlässig nach Char parsen? Java Basics - Anfänger-Themen 4
S String KeyEvent parsen Java Basics - Anfänger-Themen 2
D Datum parsen Java Basics - Anfänger-Themen 11
H XML Parsen Java Basics - Anfänger-Themen 7
J HTML mit XPath parsen Java Basics - Anfänger-Themen 7
H Gleichung parsen Java Basics - Anfänger-Themen 10
Spin SAX parsen ..XML not found Java Basics - Anfänger-Themen 2
W String zu Calendar parsen Java Basics - Anfänger-Themen 4
S String Parsen Java Basics - Anfänger-Themen 3
T Zeitwerte parsen Java Basics - Anfänger-Themen 6
J Scanner - Zeile parsen Java Basics - Anfänger-Themen 8
S String parsen Java Basics - Anfänger-Themen 17
W Char in String parsen Java Basics - Anfänger-Themen 6
E Wochentag String parsen Java Basics - Anfänger-Themen 2
S Ascii Datei parsen Java Basics - Anfänger-Themen 2
bugmenot args parsen Java Basics - Anfänger-Themen 3
G Swing xml parsen - Office Java Basics - Anfänger-Themen 8
M Bilder "parsen" Java Basics - Anfänger-Themen 5
G String parsen Java Basics - Anfänger-Themen 7
G Char Wert in Int Wert parsen Java Basics - Anfänger-Themen 10
P HTML parsen Java Basics - Anfänger-Themen 2
K Objekte zurück parsen Java Basics - Anfänger-Themen 2
D xml parsen mit Java Java Basics - Anfänger-Themen 5
G Vector Strijng parsen Java Basics - Anfänger-Themen 6
G Url parsen? Java Basics - Anfänger-Themen 3
H parsen Java Basics - Anfänger-Themen 24
M probleme beim parsen Java Basics - Anfänger-Themen 7
T Beim XML-Parsen Text einlesen Java Basics - Anfänger-Themen 5
C parsen Java Basics - Anfänger-Themen 2
G Parsen eines Strings Java Basics - Anfänger-Themen 4
M Object[] parsen Java Basics - Anfänger-Themen 9
E Mathematisch parsen, aber mit einer Variablen X ! Java Basics - Anfänger-Themen 6
N Int parsen Java Basics - Anfänger-Themen 3
D Array Parsen Java Basics - Anfänger-Themen 4
N Datum parsen Java Basics - Anfänger-Themen 3
P Datei mit Strings parsen Java Basics - Anfänger-Themen 4
M Html Parsen / Values von Hidden Fields auslesen Java Basics - Anfänger-Themen 10
W html parsen Java Basics - Anfänger-Themen 2
K Tokens in Integer parsen Java Basics - Anfänger-Themen 2
D HTML-Datei einlesen/parsen Java Basics - Anfänger-Themen 9

Ähnliche Java Themen

Neue Themen


Oben