aus einer Datei lesen?

[Haubitze_Broese]

Hallo,

sitze an einem Crawler...also er durchsucht Webseiten nach Links und speichert sie in einer txt.
Jetzt soll er die gespeicherten Links wieder aufrufen und da wieder das gleiche machen...aber nur bei Links bei denen er nochnicht war. Also müsste er bei jeden Link vorm öffen überprüfen ob der schon in der Liste steht.
Habt ihr ein paar Ideen wie ich das am besten angehe?
Bin für alles zu dankbar...Tips, Codeschnipsel und co.

MfG

hier noch mein Code bisher...

package crawler;



import java.io.BufferedReader;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;

import java.net.URL;

import java.util.logging.Level;
import java.util.logging.Logger;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Master {
    public Master() {
        Getsite();
    }

    public void Getsite() {
        try {
            System.out.println("Website (ex. http://www.yoursite.com):");

            String         text   = null;
            BufferedReader reader = new BufferedReader(new InputStreamReader(System.in));

            text = reader.readLine();

            try {
                URL            url  = new URL(text);
                BufferedReader br   = new BufferedReader(new InputStreamReader(url.openStream()));
                String         read = "";

                while (br.ready()) {
                    read += br.readLine();
                }

                br.close();

                Pattern          p    = Pattern.compile("<a.*?href=\"http://([^\"]+)\".*?>([\\w]+?)</a>");
                Matcher          m    = p.matcher(read);
                File             file = new File("ok.txt");
                FileOutputStream fout = new FileOutputStream(file);

                while (m.find()) {
                    String write = "http" + "://" + m.group(1) + "\r\n";

                    fout.write(write.getBytes());
                }

                fout.close();
                System.out.println("Links succesfully saved in file ok.txt");
            } catch (IOException e) {
                e.printStackTrace();
            }
        } catch (IOException ex) {
            Logger.getLogger(Master.class.getName()).log(Level.SEVERE, null, ex);
        }
    }
}

 

[faetzminator]

verwende ein [c]Set[/c], z.B. ein HashSet (Java Platform SE 6). Dieses kannst du wenn nötig in eine Datei serialisieren bzw. wieder deserialisieren.

 

[Gast2]

                while (br.ready()) {
                    read += br.readLine();
                }

Ein wenig offtopic: Nimm dafür lieber einen StringBuilder. Ansonsten legts dir in jedem Schleifendurchlauf einen neuen String an wo immer eine Zeile angehängt ist.

 

[Haubitze_Broese]

ok wie er z.B. die erste Zeile aus der Datei list bekomme ich so hin:

FileReader fr = new FileReader("ok.txt");
    BufferedReader br = new BufferedReader(fr);

    String zeile1 = br.readLine();
    System.out.println(zeile1);

aber wie schaffe ich es das er automatisch jede zeile liest und sie wieder öffnet und die Links in ok.txt speichert?
Der müsste dann ja eig. unendlich weit durchlaufen können...

 

[stareagle]

Hallo,

readLine liefert null, wenn das Ende des Streams erreicht ist. Das heißt du brauchst ein ähnliches Konstrukt wie dieses:

while((String line = br.readLine()) != null) {
  //Tue irgendwas mit line
}

Solche Dinge sind übrigens in diesem Werk sehr gut erklärt: Galileo Computing :: Java ist auch eine Insel (8. Auflage)

Gruß

Stareagle

 

[Haubitze_Broese]

Ok, ich verzweifel hier grad ein bisschen...er liest jetzt die Links aus der Datei (ok.txt)...aber wie schaffe ich es das die Links mit meinem Crawler wieder öffnet und alle neuen Links in die Datei schreibt?

package crawler;

import java.io.*;
import java.net.URL;
import java.util.logging.Level;
import java.util.logging.Logger;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

class ReadFile3
{
  public static void main(String[] args) throws IOException
  {
    FileReader fr = new FileReader("ok.txt");
    BufferedReader br2 = new BufferedReader(fr);

    String zeile = "";

    while( (zeile = br2.readLine()) != null )
    {
      System.out.println(zeile);
    }

            try {
                URL            url  = new URL(zeile);
                BufferedReader br   = new BufferedReader(new InputStreamReader(url.openStream()));
                String         read = "";

                while (br.ready()) {
                    read += br.readLine();

                }

                br.close();

                Pattern          p    = Pattern.compile("<a.*?href=\"http://([^\"]+)\".*?>([\\w]+?)</a>");
                Matcher          m    = p.matcher(read);
                File             file = new File("ok.txt");
                FileOutputStream fout = new FileOutputStream(file);

                while (m.find()) {
                    String write = "http" + "://" + m.group(1) + "\r\n";

                    fout.write(write.getBytes());

                }

                fout.close();
                

            } catch (IOException e) {
                e.printStackTrace();
            }
        
        }





    }

 

[Haubitze_Broese]

Ok, ich habe es hinbekommen...jetzt liest er die erste ein und öffnet dann alles im Html-Code enthaltenen Links...und so weiter. Die besuchten Links werden dann in der ok.txt gespeichert.
aber nach ein paar Minuten kommen folgende Fehlermeldungen(habe auf News, Tests, Tipps, Cheats, Lösungen und Videos zu PC-Spielen - PC GAMES.DE gestartet):

run:
java.io.FileNotFoundException: http://extreme.pcgameshardware.de/newreply.php?do=newreply&t=102842
        at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1311)
        at java.net.URL.openStream(URL.java:1010)
        at crawler.ReadFile3.main(readfile.java:54)
java.io.FileNotFoundException: http://www.pcgames.de/Heft-Archiv/
        at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1311)
        at java.net.URL.openStream(URL.java:1010)
        at crawler.ReadFile3.main(readfile.java:54)

er macht trotzdem weiter aber was sagen mir diese Fehler und wie bekomme ich sie weg oder wie kann ich sie umgehen?

und noch eine Frage wie sieht so eine Abfrage, überprüfe ob der Link schon in der Liste ist wenn ja überspringe ihn, in meinem Beispiel aus?

mein Prog:

package crawler;

import java.io.*;
import java.net.URL;
import java.util.logging.Level;
import java.util.logging.Logger;
import java.util.regex.Matcher;
import java.util.regex.Pattern;










class ReadFile3
{
  public static void main(String[] args) throws IOException
  {


           /* System.out.println("Website (ex. http://www.yoursite.com):");

            InputStreamReader eingabe = new InputStreamReader(System.in);
            BufferedReader ein = new BufferedReader(eingabe);
            File out = new File("ok.txt");

            
            FileOutputStream ausgabe = new FileOutputStream(out);
            DataOutputStream raus = new DataOutputStream(ausgabe);
            String s = ein.readLine();
            while (!s.equals(".")) {
                raus.writeBytes(s+"\n");
                s = ein.readLine();
       

            }

*/
    FileReader fr = new FileReader("ok.txt");
    BufferedReader br2 = new BufferedReader(fr);

    String zeile = "";

    while( (zeile = br2.readLine()) != null )
    
        
            try {
                URL            url  = new URL(zeile);
                BufferedReader br   = new BufferedReader(new InputStreamReader(url.openStream()));
                String         read = "";

                while (br.ready()) {
                    read += br.readLine();

                }

                

                Pattern          p    = Pattern.compile("<a.*?href=\"http://([^\"]+)\".*?>([\\w]+?)</a>");
                Matcher          m    = p.matcher(read);
                FileOutputStream fout = new FileOutputStream("ok.txt",/*append*/true);

                while (m.find()) {
                    String write = "http" + "://" + m.group(1) + "\r\n";

                    fout.write(write.getBytes());

                }

                
                

            } catch (IOException e) {
                e.printStackTrace();
            }
        
        }


    }

Danke!