Textdatei auf Dubletten prüfen

[Gojira]

Liebes Forum,

ich habe bereits in der Suche nach meinem Problem geschaut. Allerdings habe ich für die Prüfung auf Dublettten nur den Fall gefunden, dass man einen String übergibt, der auf Dubletten geprüft wird.

In meinem Fall würde ich gerne eine Textdatei nach Dubletten durchsuchen, allerdings ohne vorher einen zu prüfenden String übergeben. Meine Textdatei enthält Zeilen mit einer ID, einer Adresse und Longitude/Latitude Angaben. Ich würde gerne die Zeilen darauf prüfen, ob die Longitude/Latitude Angaben in dem Dokument schon einmal vorgekommen sind / bzw. besser formuliert: ob für die bestimmte ID die gleichen Angaben bereits einmal vorgekommen sind. Das elementare Grundgerüst steht wohl soweit, allerdings habe ich keine Ahnung, wie ich das prüfen kann. Könnt ihr mir helfen? Besten Dank

public class FindUnusedVehicles {
	final static String VERZEICHNIS = ("savings/vehicleData.csv");
    public static void main(String[] args)
    {
        try
        {
            BufferedReader bufferReader = new BufferedReader(new FileReader(VERZEICHNIS));

            String dokZeile = bufferReader.readLine();

            while (dokZeile != null)
            {
            	
                dokZeile = bufferReader.readLine();

                
                
            }
            	
            bufferReader.close();
        }
        catch(IOException ioe)
        {
            ioe.printStackTrace();
        }
        
    }
}

 

[Harry Kane]

Woran fehlt es genau? Brauchst du eine Idee, wie du deine ID´s aus dem Dokument extrahierst (das wird dir ohne die Datei zu kennen keiner sagen können), oder brauchst du eine Strategie, wie man überprüft, ob beim parsen eines Textes ein bestimmtes Textfragment bereits aufgetaucht ist?

 

[Gojira]

Hallo Harry!

Erst einmal vielen Dank für deine Antwort

Im Prinzip muss ich nur gucken, ob ein bestimmtes Textfragment öfter auftaucht, richtig. Nur dass ich dass Fragment vorher nicht festlegen kann - es muss also beim Durchsuchen der Datei prüfen, ob ein Textelement immer wieder auftaucht. Hier einmal ein Auszug aus der Datei, dann versteht man mich vielleicht auch besser

Die Datei:
...
2014-02-28 09:06:16.902;HH-GO8425;Am Baum 17, 21029 Hamburg;10.22088;53.48826
2014-02-28 09:06:16.902;HH-GO8426;Ellernreihe 59, 22179 Hamburg;10.07965;53.60659
2014-02-28 09:06:16.902;HH-GO8428;Vogelhüttendeich 32, 21107 Hamburg;9.98386;53.51841
2014-02-28 09:06:16.902;HH-GO8429;Lange Reihe 115, 20099 Hamburg;10.01446;53.5599
2014-02-28 09:06:16.902;HH-GO8433;Reclamstraße 19, 22111 Hamburg;10.11045;53.53961
2014-02-28 09:06:16.902;HH-GO8434;Stadtbahnstraße 17, 22393 Hamburg;10.10796;53.65367
2014-02-28 09:06:16.902;HH-GO8436;Blosweg 6, 22111 Hamburg;10.08874;53.54787
2014-02-28 09:06:16.902;HH-GO8437;Mützendorpsteed 24, 22179 Hamburg;10.08106;53.61479
... (usw.)

Es ist eine .csv Datei, in der ersten Spalte das Datum + Zeit, dann die ID, Adresse, Longitude, Latitude.
Das gleiche wird dann 10min später wieder eingefügt: zu prüfen wäre dann, ob bspw. für die ID "HH-GO8425" erneut die gleichen Longitude/Latitude angegeben sind.

Falls ich noch irgendetwas elementares zum Verständnis vergessen habe, macht mich gerne darauf aufmerksam! Danke

 

[dcc]

Lies wortweise aus, dann pack jedes Wort in eine Liste und vergleiche alle folgenden Wörter mit dem Listeninhalt. Wenn du ID -> Koordinaten Kombos testen musst, brauchst entweder ein 2D Array mit Anzahl der Zeilen, oder du machst eine Klasse die ID/Koords aufnehmen kann und erzeugst lauter Objekte davon, die du ein eine Liste steckst. Danach vergleichen...

Oder du machst einen großen String draus, und String.split nach beliebigem Trennzeichen. Resultat ist ein Array mit Worten. Dann geht:

Set<T> mySet = new HashSet<T>();
Collections.addAll(mySet, myArray);

die addAll entfert alle Duplikate, da die im Set Elemente einzigartig sein müssen.
resultat ist ein set mit einzigartigen wörtern.

 

[Gojira]

Hi dcc,

magst du mir deine erste Erklärung noch etwas genauer erklären?

Das ist vielleicht in meiner ersten Frage nicht ganz klar rübergekommen: Ich möchte die Duplikate nicht entfernen, ich will die Anzahl der Duplikate herausfinden. Also um bei der Beispiel-Textdatei zu bleiben: Wenn ein Longitude/Latitude Wert mehrmals vorkommt, dann soll geguckt werden, ob es die gleiche ID hat.. Das prüfen der ID könnte zur Not auch manuell erfolgen. Wichtig ist, dass die Zeilen ausgegeben werden, die den gleichen Longitude/Latitude Wert haben.

 

[Harry Kane]

Möchtest du prüfen, ob eine bestimmte ID (wie "HH-GO8425") schin einmal vorgekomen ist, oder bestimmte Koordinaten?
Für den ersten Fall sollte das hier hilfreich sein:

public class WordCounter {

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args) {
        HashMap<String, Coordinates> map = new HashMap<String, Coordinates>();
        String datei = "HH-1;Foo;10.1;53.0#HH-2;Bar;10.2;52.9#HH-3;Foobar;10.0;53.1#HH-2;Barfoo;10.0;53.1";
        String[] lines = datei.split("#");
        for(int i = 0; i < lines.length; i++){
            String s = lines[i];
            String[] coords = s.split(";");
            String id = coords[0];
            Coordinates c = new Coordinates(coords[0], coords[1], Double.parseDouble(coords[2]), Double.parseDouble(coords[3]));
            if(map.get(id) == null){
                map.put(id, c);
            }
            else{
                Coordinates existing = map.get(id);
                if(!existing.equals(c)){
                    System.out.println("Zwei ungleiche Objekte mit gleicher ID gefunden!");
                    System.out.println("Bereits vorhanden: " + existing.toString());
                    System.out.println("Neu gefunden: " + c.toString() + " in Zeile " + i);
                    existing.hit();
                }
            }
        }
    }
}
class Coordinates{
    private String id;
    private String address;
    private double longitude;
    private double latitude;
    private String str;
    private int hits;
    Coordinates(String id, String address,double longitude, double latitude){
        this.id = id;
        this.address = address;
        this.longitude = longitude;
        this.latitude = latitude;
        this.str = "ID = " + id + ", " + "Adresse = " + address + ", Longitude = " + longitude + ", Latitude = " + latitude;
    }
    public boolean equals(Object o){ 
        if(!(o instanceof Coordinates)) return false;
        Coordinates other = (Coordinates)o;
        if(!other.address.equals(this.address)) return false;
        if(!other.id.equals(this.id)) return false;
        if(Math.abs(other.longitude - this.longitude) > 0.0001) return false;
        if(Math.abs(other.latitude - this.latitude) > 0.0001) return false;
        return true;
    }
    public String toString(){
        return str;
    }
    public void hit(){
        hits++;
    }
}

Wenn zweites der Fall ist, müsste die Klasse "Coordinates" etwas umgestrickt werden und die HashMap müsste statts String z. B. Point2D Objekte als Key verwenden..

 

[Gojira]

Hallo Harry Kane,

erst einmal vielen Dank für deine ausführliche Antwort! Bei mir wäre es der zweite Fall,
denn ich will wissen, ob die Koordinaten ein weiteres Mal in dem Textdokument vorkommen und wenn ja, ob sie dann der gleichen ID zugeordnet sind.

In der Textdatei sind jeweils Fahrzeuge mit dem Standort aufgelistet. In dieser Datei wird alle 10min eine neue Liste der Fahrzeuge eingefügt. Nach dem kompletten Tag möchte ich die komplette Liste einmal überprüfen, ob ein Fahrzeug immer wieder am gleichen Standort steht. Ob das für eine bestimmte ID der Fall ist, kann ich vorher nicht wissen, weshalb ich auch keine ID als Parameter übergeben kann.

Einmal an einem Minimalbeispiel:

2014-02-28 09:06:16.902;HH-GO8004;Wolfshagen 3 20535 Hamburg;10.04853;53.55942;
2014-02-28 09:06:16.902;HH-GO8426;Ellernreihe 59, 22179 Hamburg;10.07965;53.60659
2014-02-28 09:06:16.902;HH-GO8433;Reclamstraße 19, 22111 Hamburg;10.11045;53.53961
2014-02-28 09:16:27.902;HH-GO8004;Wolfshagen 3 20535 Hamburg;10.04853;53.55942;
2014-02-28 09:16:27.902;HH-GO8480;Rotenhäuser Damm 27 21107 Hamburg;9.99156;53.51341;
2014-02-28 09:06:16.902;HH-GO8433;Mützendorpsteed 24, 22179 Hamburg;10.08106;53.61479

Hier sieht man, dass um 09:06 Uhr und um 09:16 Uhr das Fahrzeug HH-GO8004 an den gleichen Koordinaten steht (während z.B. HH-GO8433 an einer anderen Stelle steht). Genau das möchte ich ausgeben. Die Liste hat allerdings tausende Zeilen, also kann ich das nicht manuell durchführen.

 

[dcc]

Lese einfach erst mal Koordinaten / Bezeichnung aus und pack es in eine HashMap, Liste oder was auch immer. Dann ließt das nächste aus, und schaust ob es schon drin ist.

 

[turtle]

Den Vorschlag von dcc finde ich gut und würde ihn "etwas" abändern.

Ich würde eine Klasse schreiben, die genau die Attribute enthält, die du testen möchtest, im Beispiel also
HH-GO8004;Wolfshagen 3 20535 Hamburg;10.04853;53.55942;

dann würde ich über alle Werte iterieren und Objekte in einem HashSet speichern. Beim add() bekommst du einen boolean Wert zurück, der angibt, ob der Wert (dein Objekt) bereits im Set vorliegt, also eine Dublette ist.

Dieses funktioniert aber nur, wenn du equals() und hashCode() überschreibst. Eclipse beispielsweise kann diese Methoden für dich automatisch generieren.