Crawler?

Haubitze_Broese · 13. Mai 2010

Hallo, haben folgenden Code bekommen:

Java:

package crawler;



import java.io.*;

import java.net.*;

public class Connector {
    public static void main(String[] args) {
        for (int i = 0; i < args.length; i++) {
            try {
                URL               u   = new URL("http://www.gamestar.de/");
                InputStream       in  = u.openStream();
                InputStreamReader isr = new InputStreamReader(in);
                BufferedReader    br  = new BufferedReader(isr);
                int               c;
                
                System.out.println (u);

                while ((c = br.read()) != -1) {
                    System.out.write(c);
                 
                }
            } catch (IOException e) {
                System.err.println(e);
            }
        }
    }

}

und eigentlich sollte der den Html-Code der Webseite auf der Console anzeigen...aber irgendwie passiert einfach garnichts...warum?

StrikeTom · 13. Mai 2010

In diesem Teil:

Java:

for (int i = 0; i < args.length; i++) ...

zählt das programm solange bis args.length zuende ist.
Allerdings hat args[] normalerweise garkeine werte.
Wenn du jetzt diesen Teil weglässt(nur das for) dann bist du schonmal einen Schritt weiter.
Mehr konnte ich noch nicht herausfinden.

agentone · 13. Mai 2010

Ich hab dein Programm mal ein bisschen umgeschrieben:

Java:

package crawler;

import java.io.*;
import java.net.*;

public class Connector {
    public static void main(String[] args){
            try {
                URL url=new URL("http://www.gamestar.de/");
                InputStreamReader reader = new InputStreamReader(url.openStream());
                int c;

                System.out.println(url);

                while ((c = reader.read()) != -1) {
                    System.out.write(c);

                }
            } catch (Exception e) {
                System.err.println(e);
            }
    }
}

So funktioniert es ohne Probleme. Da ist nur die Frage, was die for-Schleife

Code:

for (int i = 0; i < args.length; i++)

bringen sollte?? Das heißt nämlich, dass nach Anzahl der übergebenen Parameter das Programm entsprechend oft ausgeführt wird. Irgendwie sinnlos....

Haubitze_Broese · 14. Mai 2010

stimmt daran lag es...komische Schleife!
wie bekomme ich das hin das er mir nur die Links die auf der Webseite sind auf der Console ausspuckt?

Danke!

AlexSpritze · 14. Mai 2010

Haubitze_Broese hat gesagt.:
wie bekomme ich das hin das er mir nur die Links die auf der Webseite sind auf der Console ausspuckt?

Die HTML-Seite parsen.

Über die while-Schleife liest du ja den Inhalt der Seite linear ein. Sobald du auf eine Zeichenfolge "<a " triffst, weißt du, dass es sich potentiell um einen Link handeln kann. Das heißt in dem Tag müsste noch irgendwo ein "target=" auftauchen, hinter dem = dann der Link. Und den gibst du dann aus. Wenn der HTML-Code nicht perfekt/sauber ist, wird die Sache schwieriger.

Haubitze_Broese · 14. Mai 2010

kannst du mir vllt ein kleines Beispiel geben wie das aussehen muss?

AlexSpritze · 14. Mai 2010

Haubitze_Broese hat gesagt.:
kannst du mir vllt ein kleines Beispiel geben wie das aussehen muss?

Das hier ist recht low-level, und auch ungetestet. Zur Not etwas mit den substring-Indices rumspielen

Java:

import java.io.*;
import java.net.*;

class Connector {

  public static void main( String[] args ) {
    try {
      URL url = new URL("http://www.gamestar.de/");
      InputStreamReader reader = new InputStreamReader(url.openStream());
      int c;
      StringBuilder sb = new StringBuilder();
      boolean outputLink = false; // sind wir innerhalb eines links?

      System.out.println(url);

      while ((c = reader.read()) != -1) {

        if ( outputLink && sb.substring(sb.length() - 3, sb.length()).equalsIgnoreCase("<a ") ) {
          System.out.print(sb.substring(sb.length() - 3, sb.length()));
          outputLink = true;
        } else if ( sb.substring(sb.length() - 4, sb.length()).equalsIgnoreCase("</a>") ) {
          System.out.println(sb.substring(sb.length() - 4, sb.length()));
          outputLink = false;
        }
                sb.append((char) c);
        if ( outputLink ) {
          System.out.write(c);
        }
      }
    } catch (Exception e) {
      System.err.println(e);
    }
  }
}

Das findet auch HTML-Tags der Form <a name="anchor">Anker</a>, was ja keine Links sind.

SlaterB · 14. Mai 2010

an eine main-Methode kann man übrigens gut
throws Exception
ranschreiben, spart das try/catch

Haubitze_Broese · 14. Mai 2010

also bei mir schmeißt er das hier raus:

java.lang.StringIndexOutOfBoundsException: String index out of range: -4

Verdammt ich will das echt verstehen aber irgendwie komme ich nicht weiter...könntest du vllt ein paar Kommentare machen damit ich das besser nachvollziehen kann?

Vielen Dank!

SlaterB · 14. Mai 2010

WAS verstehst du daran nicht?
das sind doch alles einfache Befehle, length(), substring() usw.,
wenn man sie nicht eh schon kennt, wie es sein sollte, dann kann man sie nachschlagen mit ausführlicher Erklärung

was da mit dem boolean true/ false passiert ist sicher etwas komplizierter, aber einfach ablaufen lassen und nebenbei beobachten was passiert
(nur das Endergebnis anschauen hilft natürlich nicht, Zwischenergebnisse pro Schleifendurchlauf ausgeben!, welches if schlägt wann zu)

der Fehler ist hier sicherlich am Anfang, bevor nicht 4 Zeichen da sind kann man keine rückwirkenden substrings() ausschneiden

Tomate_Salat · 14. Mai 2010

wie wäre es mit Regex?

Java:

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;


public class Main
{
	public static void main(String[] args)
	{
		try
		{
			URL 			url	= new URL("http://www.gamestar.de/");
	        BufferedReader	br	= new BufferedReader(new InputStreamReader( url.openStream() ));
	        String 			read= "";
	        
	        while( br.ready() )
	        	read	+= br.readLine();
	        
	        Pattern 		p	= Pattern.compile("<a.*?href=\"([^\"]+)\".*?>([\\w]+?)</a>");
	        Matcher			m	= p.matcher( read );
	        
	        while( m.find() )
	        {
	        	System.out.println( m.group(2) + " => " + m.group(1) );
	        }
		}
		catch(IOException e)
		{
			e.printStackTrace();
		}
	}
}

Ausgabe:

Code:

Hardware => /hardware/
Community => /community/
Konsolen => http://www.gamepro.de/
GameStar => /
Home => javascript:document.headersearch.submit();
News => /
Videos => /news/
Tests => /index.cfm?pid=1587
Previews => /tests/
Specials => /previews/
Spieletipps => /specials/
Downloads => /spieletipps/
Screenshots => /downloads/
Charts => /charts/
Releaseliste => /releaseliste/wochenkalender/
Wallpaper => /wallpaper/
Spiele => /spieledatenbank/
Babes => /babes/
Heftarchiv => /heftarchiv/
Newsletter => /newsletter/
GameStar => /shop
GameStar => /preview/action/3rdpersonshooter/2314916/dead_space_2.html
Cheats => #top
Stichworte => /stichwortverzeichnis/
Impressum => /lesertests/
Kontakt => /kontakt/
Mediadaten => /mediadaten/
Datenschutz => /datenschutz/
Premium => /index.cfm?pid=133
Jobsuche => http://www.computerwoche.de/stellenmarkt/
Intellitxt => /intellitxt
Archiv => /archiv/2010/
Sitemap => /sitemap/
Spiele => /spiele/
GamePro => http://www.gamepro.de
TecChannel => http://www.makinggames.de
Macwelt => http://www.macwelt.de
Computerwoche => http://www.digital-world.de
CIO => http://www.cio.de
ChannelPartner => http://www.central-it.de

MFG

Tomate_Salat

Haubitze_Broese · 14. Mai 2010

Ok das leuchtet mir ein...Danke!
aber auf meiner Console spuckt er garnichts raus, außer das es erfolgreich war

Tomate_Salat · 14. Mai 2010

zeig mal deinen code

Anmerkung
Der Filter lässt auch Bilder-Beschreibungen im Ergebnis zu:

Java:

Pattern 		p	= Pattern.compile("<a.*?href=\"([^\"]+)\".*?>(.+?)</a>");

Aber im Prinzip sollten dir auch nur die Hyperlinks reichen, die könntest du so bekommmen:

Java:

Pattern 		p	= Pattern.compile("<a.*?href=\"([^\"]+)\".*?>.+?</a>");
Matcher			m	= p.matcher( read );
	        
while( m.find() )
{
     	System.out.println( m.group(1) );
}

Haubitze_Broese · 14. Mai 2010

Java:

package crawler;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main {

    public static void main(String[] args) {
        try {
            URL url = new URL("http://www.gamestar.de/");
            BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream()));
            String read = "";

            while (br.ready()) {
                read += br.readLine();
            }

            Pattern p = Pattern.compile("<a.*?href=\"([^\"]+)\".*?>([\\w]+?)</a>");
            Matcher m = p.matcher(read);

            while (m.find()) {
                System.out.println(m.group(1));
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

passiert einfach nichts...

Tomate_Salat · 14. Mai 2010

kann ich nicht bestätigen, bei mir wirds in der Console in Eclipse ausgegeben

Haubitze_Broese · 14. Mai 2010

hab Netbeans 6.8...und da kommt einfach nix...

Haubitze_Broese · 14. Mai 2010

Java:

package crawler;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main {

    public static void main(String[] args) {
        try {
            URL url = new URL("http://www.heise.de");
            BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream()));
            String read = "";

            while (br.ready()) {
                read += br.readLine();
            }

            Pattern p = Pattern.compile("<a.*?href=\"http://([^\"]+)\".*?>([\\w]+?)</a>");
            
            Matcher m = p.matcher(read);

            while (m.find()) {
                System.out.println(m.group(2)+"    "+m.group(1));

                File datei = new File("test.txt");
                FileWriter schreiber = new FileWriter(datei);
                schreiber.write(m.group(2)+"    "+m.group(1));
                schreiber.close();

            }
        } catch (IOException e) {
            e.printStackTrace();
            
            
        }
    }
}

Die Datei wird dann auch erstellt, aber in ihr steht nur:

Datenschutzhinweis w w w.h-online.com/

warum nicht alles?

SlaterB · 14. Mai 2010

von mir wieder einfache Vorschläge, mehr Weg als Ziel

:
klappt überhaupt die Eingabe, was enthält read nach der Schleife in Zeile 20?
ersetze sowieso dieses aufwendige Einlesen testweise durch ein simples

String read = "test <a sowieso test .. ";
geht darauf das Pattern?
teste einfachere Pattern wie
Pattern.compile("<a");
gehen die?

edit: ok, hatte sich erledigt,

zum neuen Problem:
die Datei nur EINMAL VOR der Schleife erstellen, sonst überschreibst du jedes mal,
oder Parameter append verwenden

Tomate_Salat · 14. Mai 2010

äh ach ja, was mir grad so im drüberlesen auffällgt: man sollte auch die lese-zugriffe wieder freigeben:

Java:

reader.close();

@SlaterB: Ja natürlich klappt das einlesen nach zeile 20 ;-)

Haubitze_Broese · 15. Mai 2010

habe die Datei jetzt vor der Schleife erstellt aber irgendwie funktioniert das trotzdem nicht.

Java:

package crawler;

//~--- JDK imports ------------------------------------------------------------

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Writer;

import java.net.URL;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main {
    public static void main(String[] args) throws IOException {
        try {
            URL            url  = new URL("http://www.heise.de");
            BufferedReader br   = new BufferedReader(new InputStreamReader(url.openStream()));
            String         read = "";
            Writer         fw   = null;
            fw = new FileWriter("fileWriter.txt");

            while (br.ready()) {
                read += br.readLine();
            }

            Pattern p = Pattern.compile("<a.*?href=\"http://([^\"]+)\".*?>([\\w]+?)</a>");
            Matcher m = p.matcher(read);

            while (m.find()) {
                System.out.println(m.group(2) + "    " + m.group(1));

                try {
                   
                    fw.write(m.group(2) + "    " + m.group(1));

                } catch (IOException e) {
                    System.err.println("Konnte Datei nicht erstellen");
                } finally {
                    if (fw != null) {
                        try {
                            fw.close();
                        } catch (IOException e) {}
                    }
                }

                br.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Tomate_Salat · 15. Mai 2010

den lesezugriff würde ich direkt vorm [c]Pattern[/c] schließen.

Seltsam, bekommst du überhaupt was angezeigt bei

Java:

System.out.println("--- TEST-AUSGABE ---");

?

Haubitze_Broese · 15. Mai 2010

Jop, das geht!

aber sonst steht in der Datei immer nur die letzte Zeile aus der Console...

Haubitze_Broese · 15. Mai 2010

hab es jetzt anders hinbekommen...hab ich im Netz gefunden.
Jetzt wird direkt alles aus der Console in eine Datei geschrieben.
Ist warscheinlich nicht die schönste Methode aber naja.
Trotzdem wir noch auf der Console:

Code:

run:
Registrieren  >>> www.pcgames.de/
ERSTELLEN ERFOLGREICH (Gesamtzeit: 0 Minuten 5 Sekunden)

rausgeschmissen...warum? und wie bekomme ich es hin das es in eine Datei geschrieben wird und es aber trotzdem auf der Console ausgegeben wird?

hier mein Code:

Java:

package crawler;



import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintStream;
import java.io.Writer;

import java.net.URL;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main {
    public static void main(String[] args) throws IOException {
        try {
            URL            url  = new URL("http://www.pcgames.de");
            BufferedReader br   = new BufferedReader(new InputStreamReader(url.openStream()));
            String         read = "";

            while (br.ready()) {
                read += br.readLine();
            }

            br.close();

            Pattern p = Pattern.compile("<a.*?href=\"http://([^\"]+)\".*?>([\\w]+?)</a>");
            Matcher m = p.matcher(read);

            while (m.find()) {
                System.out.println(m.group(2) + "  >>> " + m.group(1));
               

                File file = new File("ok.txt");

                try {
                    System.setOut(new PrintStream(new FileOutputStream(file,true)));
                    System.out.print(System.currentTimeMillis());
                } catch (FileNotFoundException e) {
                    e.printStackTrace();

                } 
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Tomate_Salat · 15. Mai 2010

Java:

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main {
    public static void main(String[] args) {
        try {
            URL            url  = new URL("http://www.pcgames.de");
            BufferedReader br   = new BufferedReader(new InputStreamReader(url.openStream()));
            String         read = "";
 
            while (br.ready()) {
                read += br.readLine();
            }
 
            br.close();
 
            Pattern p = Pattern.compile("<a.*?href=\"http://([^\"]+)\".*?>([\\w]+?)</a>");
            Matcher m = p.matcher(read);
            
            
            File file				= new File("ok.txt");
            FileOutputStream fout	= new FileOutputStream( file );            
            
            while (m.find()) {
                String write		= m.group(2) + "  >>> " + m.group(1) + "\r\n";
                fout.write( write.getBytes() );
            }
            
            fout.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Ich fange mal an zu erklären, was an deinem Code alles nicht so toll ist:

1.) Du deklarierst immer und immer wieder [c]file[/c] mit dem gleichen Wert. Soetwas packt man nicht in eine Schleife! Initalisier die Variable ganz einfach einmal vor der Schleife
2.) Im Prinzip das gleiche: du setzt immer und immer wieder einen neuen outputstream! Abgesehen davon, dass das hier absolut nicht notwendig ist, würde man soetwas auch einmal außerhalb der schleife erledigen.
3.) Entweder du setzt ein Try-Catch für die IOException oder du schmeist sie aus der Methode (throws...) aber beides zusammen macht keinen Sinn

Wenn du nicht weist, wie man einen String an einen Outputstream weitergibt, der nur mit [c]bytes[/c] umgehen kann, einfach gezielt fragen ;-) oder einfach gleich [c]BufferedWriter[/c] nehmen, der kennt eine Methode um Strings zu schreiben.

MFG

Tomate_Salat

	Titel	Forum	Antworten	Datum
D	OOP Markdown-Crawler	Java Basics - Anfänger-Themen	3	16. Aug 2022
V	Image Crawler	Java Basics - Anfänger-Themen	3	14. Jul 2012
C	Website Crawler programmieren	Java Basics - Anfänger-Themen	6	7. Jul 2010
C	Crawler	Java Basics - Anfänger-Themen	2	29. Okt 2006

Crawler?

Mitglied

Bekanntes Mitglied

Bekanntes Mitglied

Mitglied

Bekanntes Mitglied

Mitglied

Bekanntes Mitglied

SlaterB

Gast

Mitglied

SlaterB

Gast

Tomate_Salat

Gast

Mitglied

Tomate_Salat

Gast

Mitglied

Tomate_Salat

Gast

Mitglied

Mitglied

SlaterB

Gast

Tomate_Salat

Gast

Mitglied

Tomate_Salat

Gast

Mitglied

Mitglied

Tomate_Salat

Gast

Ähnliche Java Themen