Probleme mit dem BufferedReader Seitenquelltext auszulesen

[Nunz]

Hallo,

ich bin gerade mit einem Projekt beschäftigt, das mir ermöglicht aus dem Seitenquelltext einer HP einen bestimmten "Part" auszulesen.

package projekt


import java.net.*;
import java.io.*;

public class neu
{
	
	private static String zeile = "";
	private static boolean lesebeginn;
	private static String ausgabetext;
	
//	private static InputStream inputstream;
//	private static InputStreamReader inputstreamreader;
	private static BufferedReader bufferedreader;

	public static void main(String[] args)
	{
		try
		{
			//Anlegen eines Puffers
			byte[] b = new byte[1024];
			String urlString = "URLURL";
		
			//Verbinden mit einer URL
			URL url = new URL(urlString);
		
			SocketAddress sockadr = new InetSocketAddress( "inetgw1", 8080 );
			
			Proxy proxy = new Proxy( Proxy.Type.HTTP, sockadr );
			
			//Öffnen eines Datenstroms zum Lesen der Daten
			InputStream stream = url.openConnection(proxy).getInputStream();
		
			//Solange vom Stream lesen, bis -1 zurück geliefert wird
			while(stream.read(b) != -1)
			{
				System.out.println(new String(b));
			}
			
		
			lesebeginn = false;
				

			while(( zeile = bufferedreader.readLine() ) != null)
			{
					if(zeile.contains("<td class=\"column-datacaption first strong\">Letzter Preis"))
					{
						lesebeginn = true;
					}
					if(lesebeginn)
					{
						
						ausgabetext = ausgabetext + zeile;
						System.out.println(ausgabetext);
					}
				
		
			}
		}
		
		catch (MalformedURLException e)
		{
			System.out.println(e.getMessage());
		}
		catch (IOException e)
		{
			System.out.println(e.getMessage());
		}
		
	}
}

Soweit mein Code.
Ich will eine bestimmte Zahl aus diesem Seitenquelltext auslesen und zwar mit dem BufferedReader, jedoch gibt er mir jedes mal den kompletten Seitenquelltext in der Konsole aus, ich weiss jedoch nicht warum.

Ich will die Zahl nach dieser Quelltextzeile

"<td class=\"column-datacaption first strong\">Letzter Preis"

ausgeben.
Wie oben beschrieben gibt er mir aber jedes mal den kompletten Code aus.

Aber warum?


Viele Grüße schonmal,

nunz

Nachtrag:
Die URLURL habe ich natürlich hier im Forum geändert, da ich nicht genau weiß ob man das hier posten darf.

 

[SlaterB]

was macht denn Zeile 38-40?
soll das wirklich in dein Programm rein?

und wenn lesebeginn einmal true ist, dann wird es nie wieder false,
hast du das bedacht?

Tipp: lese testweise aus einer Beispiel-Datei von der Festplatte,
kopiere von mir aus die Weseite und kürze sie auf 5-10 Zeilen

deren Inhalt kannst du dann hier posten

 

[Gast]

Naja, ich hab mir das so gedacht, dass er alles liest. Danach soll er die gewünscht Zeile ausgeben in der "...Letzter Preis" steht.

Zu dem lesebeginn true. Stimmt, ich hab jetzt ein else hinter den if-block gemacht, indem lesebeginn auf false gesetzt wird.


die url ist _http://www.boerse-frankfurt.de/DE/index.aspx?URLURL_

es soll halt der wert einer bestimmten Aktie ausgelesen werden.

 

[SlaterB]

nochmal: Zeile 38-40 gibt doch die ganze Webseite aus oder?

wenn du das nicht willst, dann muss dieser Code weg, einfache Sache,
abgesehen davon, dass er unendlich in-performant ist

----

die andere Schleife dürfte doch gar nicht funktionieren, wie ich gerade sehe,
bufferedreader wird nirgendwo gesetzt, ist null

 

[Nunz]

Ok, Zeile 38-40 hab ich gerade rausgemacht.

package projekt;


import java.net.*;
import java.io.*;

public class neu
{
	
	private static String zeile = "";
	private static boolean lesebeginn;
	private static String ausgabetext;
	
//	private static InputStream inputstream;
//	private static InputStreamReader inputstreamreader;
	private static BufferedReader bufferedreader;

	public static void main(String[] args)
	{
		try
		{
			//Anlegen eines Puffers
			byte[] b = new byte[1024];
			String urlString = "http://www.boerse-frankfurt.de/DE/index.aspx?pageID=35&ISIN=DE0005190003";
		
			//Verbinden mit einer URL
			URL url = new URL(urlString);
		
			SocketAddress sockadr = new InetSocketAddress( "inetgw1", 8080 );
			
			Proxy proxy = new Proxy( Proxy.Type.HTTP, sockadr );
			
			//Öffnen eines Datenstroms zum Lesen der Daten
			InputStream stream = url.openConnection(proxy).getInputStream();
		
	
		
			lesebeginn = false;
				

			while((zeile = bufferedreader.readLine() ) != null)
			{
					
				
					if(zeile.contains("<td class=\"column-datacaption first strong\">Letzter Preis"))
					{
						lesebeginn = true;
					}
					if(lesebeginn)
					{
						
						ausgabetext = ausgabetext + zeile;
						System.out.println(ausgabetext);
					}
					else
					{
						lesebeginn = false;
					}
		
			}
		}
		
		catch (MalformedURLException e)
		{
			System.out.println(e.getMessage());
		}
		catch (IOException e)
		{
			System.out.println(e.getMessage());
		}
		
	}
}

Problem ist jetzt aber, dass ich eine Exception bekomme.

__
Exception in thread "main" java.lang.NullPointerException
at de.fiducia.projekt.neubooi.main(projekt.java:42)
__

Problem bei der Exception ist doch, dass er nicht weiss, in welcher Zeile er zu lesen anfangen soll, oder?


Zu dem BufferedRead-Thema, den muss ich doch nicht "initialisieren" oder muss ich dem einen bestimmten Wert wie zum Beispiel den Text den ich haben will zuweisen?

 

[SlaterB]

stell dir vor, dein Programm sähe so aus:

private static BufferedReader bufferedreader; 

   public static void main(String[] args) 
   { 
      try 
      { 
         //Verbinden mit einer URL usw sparen wir uns, Code rausgelöscht
       
         lesebeginn = false; 
         while((zeile = bufferedreader.readLine() ) != null) 
         { 

    ...

wie sollte nun bufferedreader etwas von einer bestimmten URL lesen, obwohl davon nix im Programm steht?
unmöglich oder? genau unmöglich

und so arbeitet dein Programm quasi bisher auch,
du hast da zwar URL-Öffnen-Code drin,
aber der steht völlig isoliert, bufferedreader hat nichts mit alldem zu tun,

bufferedreader wird nicht automatisch mit beliebigen URLs verbunden, die irgendwo in deinem Programm zufällig gerade geöffnet werden,

bufferedreader ist null -> NullPointerException

 

[Nunz]

package projekt;


import java.net.*;
import java.io.*;

public class neu
{
	
	private static String zeile = "";
	private static boolean lesebeginn;
	private static String ausgabetext;
	
//	private static InputStream inputstream;
//	private static InputStreamReader inputstreamreader;
	private static BufferedReader bufferedreader;

	public static void main(String[] args)
	{
		try
		{
			//Anlegen eines Puffers
			byte[] b = new byte[1024];
			String urlString = "http://www.boerse-frankfurt.de/DE/index.aspx?pag_____";
		
			//Verbinden mit einer URL
			URL url = new URL(urlString);
		
			SocketAddress sockadr = new InetSocketAddress( "inetgw1", 8080 );
			
			Proxy proxy = new Proxy( Proxy.Type.HTTP, sockadr );
			
			//Öffnen eines Datenstroms zum Lesen der Daten
			
			
			InputStream stream = url.openConnection(proxy).getInputStream();
		
			InputStreamReader iStreamReader = new InputStreamReader(stream);
			
			BufferedReader reader = new BufferedReader(iStreamReader);
						
		
			lesebeginn = false;
				

			while((zeile = reader.readLine() ) != null)
			{
					
				
					if(zeile.contains("<td class=\"column-datacaption first strong\">Letzter Preis"))
					{
						lesebeginn = true;
					}
					if(lesebeginn)
					{
						
						ausgabetext = ausgabetext + zeile;
						System.out.println(ausgabetext);
					}
					else
					{
						lesebeginn = false;
					}
		
			}
		}
		
		catch (MalformedURLException e)
		{
			System.out.println(e.getMessage());
		}
		catch (IOException e)
		{
			System.out.println(e.getMessage());
		}
		
	}
}

ok, dem bufferedreader hab ich jetzt den streamreader zugewiesen, soweit klappts eigentlich bis jetzt. Nur in der ausgabe gibt er mir jetzt 10-15 mal

null <td class="column-datacaption first strong">Letzter Preis</td><td class="column-datavalue1

aus, jedoch weiss ich nicht warum?


EDIT:

soweit sogut, ich hab nicht weit genug nach rechts gescrollt

null <td class="column-datacaption first strong">Letzter Preis</td><td class="column-datavalue1 strong">22,235</td><td class="column-datavalue2 last strong">22,20</td></tr><tr class="odd"> <td class="column-datacaption first">Datum, Zeit</td><td class="column-datavalue1">11.12.2008 15:32</td><td class="column-datavalue2 last">11.12.2008 14:58</td></tr><tr> <td class="column-datacaption first">Differenz zum Vortag</td><td class="column-datavalue1"><span class="color-down">-0,380</span> / <span class="color-down">-1,68%</span></td><td class="column-datavalue2 last"><span class="color-down">-0,52</span> / <span class="color-down">-2,27%</span></td></tr><tr class="odd"> <td class="column-datacaption first">Umsatz in €</td><td class="column-datavalue1">35,97 Mio.</td><td class="column-datavalue2 last">301.093</td></tr><tr> <td class="column-datacaption first">Tagesumsatz in Stück</td><td class="column-datavalue1">1,62 Mio.</td><td class="column-datavalue2 last">13.571</td></tr><tr class="odd"> <td class="column-datacaption first">Preisfeststellungen</td><td class="column-datavalue1">3.180</td><td class="column-datavalue2 last">40</td></tr><tr> <td class="column-datacaption first">Geld/Brief</td><td class="column-datavalue1">22,225 : 22,245</td><td class="column-datavalue2 last">22,22 : 22,26</td></tr><tr class="odd"> <td class="column-datacaption first">Geld/Brief Volumen in Stück</td><td class="column-datavalue1">88 : 259</td><td class="column-datavalue2 last">1.000 : 1.000</td></tr><tr> <td class="column-datacaption first">Tageshoch</td><td class="column-datavalue1">22,540</td><td class="column-datavalue2 last">22,50</td></tr><tr class="odd"> <td class="column-datacaption first">Tagestief</td><td class="column-datavalue1">21,860</td><td class="column-datavalue2 last">21,90</td></tr><tr> <td class="column-datacaption first">52-Wochenhoch</td><td class="column-datavalue1">43,620</td><td class="column-datavalue2 last">43,56</td></tr><tr class="odd"> <td class="column-datacaption first">52-Wochentief</td><td class="column-datavalue1">16,000</td><td class="column-datavalue2 last">16,12</td></tr><tr> <td class="column-datacaption first">Letzter Preis Vortag</td><td class="column-datavalue1">22,615</td><td class="column-datavalue2 last">22,71</td></tr><tr class="odd"> <td class="column-datacaption first">Handelszeiten</td><td class="column-datavalue1">9:00 - 17:30</td><td class="column-datavalue2 last">9:00 - 20:00</td></tr> </table><p class="timestamp">11.12.2008, 15:47. Preise sind 15 Min. zeitverzögert.</p> </div><div class="box" id="ctl00_WebPartManager_wp1762317694_wp55347539"> <h2> Fundamentale Kennzahlen </h2><table class="main"> <tr class="odd"> <td class="column-datacaption first">Dividende</td><td class="column-datavalue last">1,06</td></tr><tr> <td class="column-datacaption first">Dividenden-Rendite in %</td><td class="column-datavalue last">4,77</td></tr><tr class="odd"> <td class="column-datacaption first">KGV</td><td class="column-datavalue last">4,65</td></tr><tr> <td class="column-datacaption first">Gewinn je Aktie (brutto) in €</td><td class="column-datavalue last">5,92</td></tr><tr class="odd"> <td class="column-datacaption first">Gewinn je Aktie (netto) in €</td><td class="column-datavalue last">4,78</td></tr><tr> <td class="column-datacaption first">Anzahl Aktien</td><td class="column-datavalue last">601.995.196</td></tr><tr class="odd"> <td class="column-datacaption first">Marktkapitalisierung in Mio. €</td><td class="column-datavalue last">13.388,37</td></tr><tr> <td class="column-datacaption first">Freefloat-Marktkapitalisierung in Mio. €</td><td class="column-datavalue last">7.149,39</td></tr> </table> </div><div class="box" id="ctl00_WebPartManager_wp673068419_wp1744305623"> <h2> Technische Kennzahlen </h2><table class="main"> <tr class="odd"> <td class="column-datacaption first">Historische Volatilität 90 Tage</td><td class="column-datavalue last">84,86%</td></tr><tr> <td class="column-datacaption first">Historische Volatilität 250 Tage</td><td class="column-datavalue last">52,72%</td></tr><tr class="odd"> <td class="column-datacaption first">Korrelation 30 Tage</td><td class="column-datavalue last">-</td></tr><tr> <td class="column-datacaption first">Korrelation 52 Wochen</td><td class="column-datavalue last">-</td></tr><tr class="odd"> <td class="column-datacaption first">Beta 1 Jahr</td><td class="column-datavalue last">1,04</td></tr><tr> <td class="column-datacaption first">Open Interest</td><td class="column-datavalue last">-</td></tr> </table> </div> </div> </div><div class="clear"></div> <div class="footer"> Drucken & Deutsche Börse | Impressum | Disclaimer | Datenschutz | Markenrechte</div> </div> </div> <div class="skyscraperDivMode"> <script type="text/javascript" src="http://imagesrv.adition.com/js/adition.js"></script><script type="text/javascript" src="http://adfarm1.adition.com/js?wp_id=13095"></script><noscript> </noscript> </div> </div> <div id="ctl00_UpdateProgress" style="display:none;"> <div>

MasterPage: PleaseWait</p> </div> </div> <script type="text/javascript">var gaJsHost = (("https:" == document.location.protocol) ? "https://ssl." : "http://www.");document.write(unescape("%3Cscript src='" + gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));</script><script type="text/javascript">var pageTracker = _gat._getTracker("UA-3365888-1");pageTracker._initData();pageTracker._trackPageview();</script> <script src="/Scripts/shcollect.js" type="text/javascript"></script><script type="text/javascript">urchinTracker();</script> <script type="text/javascript">//<![CDATA[mmssetup('ctl00_ctl11_ctl00_QueryInput',false, 'DE');var __wpmExportWarning='This Web Part Page has been personalized. As a result, one or more Web Part properties may contain confidential information. Make sure the properties contain information that is safe for others to read. After exporting this Web Part, view properties in the Web Part description file (.WebPart) by using a text editor such as Microsoft Notepad.';var __wpmCloseProviderWarning='You are about to close this Web Part. It is currently providing data to other Web Parts, and these connections will be deleted if this Web Part is closed. To close this Web Part, click OK. To keep this Web Part, click Cancel.';var __wpmDeleteWarning='You are about to permanently delete this Web Part. Are you sure you want to do this? To delete this Web Part, click OK. To keep this Web Part, click Cancel.';var ctl00_WebPartManager_wp8608467_wp1146836193_PushTable = new pushTableSetting('ctl00_WebPartManager_wp8608467_wp1146836193_PushTable', ['Z20013814324410'], ['mid', 'midtime'], '#CC0000', '#3BCE03', 1000, 0, 'transparent', 'transparent', false, false, Onctl00_WebPartManager_wp8608467_wp1146836193_PushTableUpdateItem, Onctl00_WebPartManager_wp8608467_wp1146836193_PushTableFormatValue); var ctl00_WebPartManager_wp8608467_wp1146836193_PushTabletimeoutVariable = null; function ctl00_WebPartManager_wp8608467_wp1146836193_PushTabletimeoutVariableBeginRequestHandler(sender, args) { Sys.WebForms.PageRequestManager.getInstance().remove_beginRequest(ctl00_WebPartManager_wp8608467_wp1146836193_PushTabletimeoutVariableBeginRequestHandler); if (pushTableGet(ctl00_WebPartManager_wp8608467_wp1146836193_PushTable)) pushTableRemove(ctl00_WebPartManager_wp8608467_wp1146836193_PushTable) if (ctl00_WebPartManager_wp8608467_wp1146836193_PushTabletimeoutVariable) clearTimeout(ctl00_WebPartManager_wp8608467_wp1146836193_PushTabletimeoutVariable); } function Onctl00_WebPartManager_wp8608467_wp1146836193_ClientScriptInitializeReferenceValues(updateInfo, lightstreamerID) { updateInfo.addField('isinitialized', true, true); } var ctl00_WebPartManager_wp8608467_wp1146836193_ClientScriptSpecialXetraFormatedArray = new Array();ctl00_WebPartManager_wp8608467_wp1146836193_ClientScriptSpecialXetraFormatedArray.push('Z20013814945657');ctl00_WebPartManager_wp8608467_wp1146836193_ClientScriptSpecialXetraFormatedArray.push('Z20013814345952');ctl00_WebPartManager_wp8608467_wp1146836193_ClientScriptSpecialXetraFormatedArray.push('Z200138141124244');shiftPressedHiddenValue = document.getElementById('ctl00_SpecialKeyDetector_SpecialKeyDetectorIsShiftPressedHiddenField');ctrlPressedHiddenValue = document.getElementById('ctl00_SpecialKeyDetector_SpecialKeyDetectorIsCtrlPressedHiddenField');altPressedHiddenValue = document.getElementById('ctl00_SpecialKeyDetector_SpecialKeyDetectorIsAltPressedHiddenField');if (document.addEventListener){ document.addEventListener('mousedown', on_SpecialKeyDetectorMouseDown, false);}else if (document.attachEvent){ var retVal = document.attachEvent('onmousedown', on_SpecialKeyDetectorMouseDown);}var o = new pushPageSetting('boerse-frankfurt.de','push.boerse-frankfurt.de','80','/lightstreamer/4.2.2.13297/','streaming',true);Sys.Application.initialize();Sys.Application.add_init(function() { $create(AjaxControlToolkit.TextBoxWatermarkBehavior, {"ClientStateFieldID":"ctl00_ctl11_ctl00_QueryWatermark_ClientState","WatermarkText":"Name / ISIN / WKN / Kürzel","id":"ctl00_ctl11_ctl00_QueryWatermark"}, null, null, $get("ctl00_ctl11_ctl00_QueryInput"));});//]]></script></form></form>

also dat steht jetzt in einer zeile in der ich nen kilometer nach rechts scroll und das ca 10 mal untereinander ^^