Echte Adressen aus Internet

[Johzi]

Ich hoffe der Titel drückt auch das was was ich möchte, nämlich ich möchte ein Programm schreiben, indem es nötig ist, dass ich Personendaten erstelle, dafür muss ich einen Zufälligen Vor- und Nachnamen mit einer real existierenden Adresse verbinden.
Hier ist auch schon das Problem, denn die Adressen sollen immer aktuell gehalten werden und ich hab leider keinen Ansatz wie ich dies umsetzen soll. Die einzige Idee die ich hatte, war, dass ich mir die DAten von den gelben Seiten ziehe, weiß aber nicht wie oder ob es überhaupt geht.

Gruß Johzi

 

[Marcinek]

Wir nutzen den Advanced Klick Tel Server für Adressverifikation.

 

[Johzi]

DAs hätte ich vielleicht im vorraus sagen sollen: Ich will ein Programm schreiben, dass "nur" Testdaten erzeugt und suche deshalb eine kostenlose Lösung.

Trotzdem DAnke.

 

[tröööt]

fiktive namen , echte adressen und gelbe seiten ? das passt nicht zu sammen ...
entweder machst du es anonym das du halt nur die adressen verwendest ... oder das ganze etwas grobmaschiger ... aber irgendwie versteh ich den sinn noch nicht so recht

 

[Johzi]

Es war so gemeint, dass die Testdaten echte Adressen brauchen, also eine PLZ, Stadtname und Straße die es in der konstellation wirklich gibt. Der Vor- bzw Nachname muss aber nicht echt sein. Deshalb wollte ich die Adresse von den gelben Seiten oder ein anderes online Telefonbuch nehmen und diese mit einen zufälligen anderen Namen versehen.

 

[timbeau]

Und wozu?

 

[Johzi]

Um daraus Testdaten zu erstellen mit denen wir unsere firmeninternen Prozesse testen können. Und einer ist eben eine Echtheitsprüfung der Adressen und wenn die nicht stimmt fliegen die alle hier schon raus und werden nicht weiter verarbeitet.

 

[faetzminator]

Machs, wie man es immer macht: von Hand. Man benötigt auch keine 300'000 Daten...

 

[Johzi]

Eben schon

 

[faetzminator]

Wieso das denn?

 

[Johzi]

Sorry, aber darauf möcht ich jetzt nicht genauer drauf eingehn.

Ich hab das https://www.adressexpert.de/api-schnittstelle.html gefunden hat jemand ne ahnung ob das taugt?

 

[Johzi]

OK tuts nicht, der download ist zwar kostenlos allerdings muss man dann anscheinend für den Lizenzschlüssel bezahlen.

 

[timbeau]

Klingt nach ner komischen Geschichte. So nach dem Motto, wir verschicken pseudo-personalisierte Werbungo der sonst irgendwas.

Aber was du hier erzählst ist zumindest teilweise gelogen. Keine Kohle um Adressen zu kaufen?

 

[bygones]

Sorry, aber darauf möcht ich jetzt nicht genauer drauf eingehn.

wenn es wirklich ums testen geht reichen eine Handvoll - bzw solche die moegliche Grenzfaelle abdecken.

ansonsten:

Klingt nach ner komischen Geschichte. So nach dem Motto, wir verschicken pseudo-personalisierte Werbungo der sonst irgendwas.

 

[SlaterB]

na wenn man ein Programm irgendwann auf abertausende Kundendaten losläßt
und irgendwie mit allen Straßen- und Ortsnamen von A-Platz bis 'Z & Z GmbH Sonderweg Oberer Dammabschnitt' oder so zurechtkommen will, wäre ich mit etwas breiterer Beispielbasis auch beruhigter

es geht wohl letztlich um ein Verzeichnis aller Straßen in Deutschland, gewiss mit zugehöriger Stadt/ PLZ,
Hausnummer 1-999 ist sicher egal,
dazu gibts keine großen Geheimnisse, nach 'straßennamen datenbank' usw. kann man suchen

OpenGeoDB kenne ich von früher, im Datenmodell wohl nicht ganz auf Adressen ausgelegt,
OpenStreetMap gibts auch noch

sonst womöglich teuer, ob man die realen Personen dazubekommt und streicht oder nicht

 

[freez]

OpenStreetMap gibts auch noch

Darauf hätte ich jetzt spontan auch getippt. Reele Strassen, Hausnummern und Orte sind dort drin. Welche Daten du dazu generierst ist ja dir überlassen.

 

[tröööt]

wenn es darum geht lediglich zu prüfen ob eine adresse so wie sie gegeben wird auch wirklich real existiert kann man doch Google Maps missbrauchen ... dann braucht man nicht mal ne PLZ sondern nur straße und ort ... rest macht google selbst ... und passt die PLZ nicht oder nutzt man eine hausnummer die es nicht gibt kann man das aus der antwort parsen ... die dann nämlich nur aus dem eingegeben such-begriff besteht ..

das ganze kann man schpn als programm verpacken ... da brauchts keinen browser ...

extra sich da umstände mit sonstwas machen ... pff ... screw gravity ... wenn google solche infos für 0 rausschleudert .. warum nicht nutzen ?

 

[freez]

extra sich da umstände mit sonstwas machen ... pff ... screw gravity ... wenn google solche infos für 0 rausschleudert .. warum nicht nutzen ?

Naja, Google hat da meines Wissens nach schon eine Begrenzung drin, wie oft man da anfragen darf. Mit einer automatisierten Abfrage wird man dann schon lange brauchen, bis man einen 6 stelligen Bereich an Daten erreicht hat.

Da finde ich OpenStreetMap sinnvoller, da man das in eine lokale Datenbank spielen kann und dann schnell mal sich viele Daten holen kann.

 

[Bernd Hohmann]

na wenn man ein Programm irgendwann auf abertausende Kundendaten losläßt
und irgendwie mit allen Straßen- und Ortsnamen von A-Platz bis 'Z & Z GmbH Sonderweg Oberer Dammabschnitt' oder so zurechtkommen will, wäre ich mit etwas breiterer Beispielbasis auch beruhigter

Ich sag nur "Mannheim Innenstadt", das hat schon so manchem Programm das Genick gebrochen

Bernd

 

[JohannisderKaeufer]

Ist ein Mock zum Testen keine alternative?

Also das System, das die Daten überprüft mocken.

Kommt "Existierende Str. 1, 12345 Existierende Stadt" dann liefert der Mock true zurück.
Kommt "Fake Str. 1, ABCDE Fake Stadt" dann liefert der Mock false zurück.



Und im Produktivsystem, nutzt man dann den Service der die Daten prüft mit dann hoffentlich echten Daten.

 

[JohannisderKaeufer]

Ich sag nur "Mannheim Innenstadt", das hat schon so manchem Programm das Genick gebrochen

Bernd

Spart aber den Stadtplan.

 

[Bernd Hohmann]

Ist ein Mock zum Testen keine alternative?

Bei Strassen/PLZ braucht man repräsentative Daten aus der Realität.

Bernd

 

[JohannisderKaeufer]

Warum Bernd?

Es geht ja nicht darum zu testen ob das System zur Adressvalidierung fehl schlägt, sondern ob sich das System nach Eingabe nicht valider Adressdaten konsistent verhält.


Um z.B. Personen anstatt Adressen zu validieren kann man Postident einsetzen. Preis hierfür ab 6,61 Euro. Hier würde man zum Testen auch Mocks verwenden und nicht den Service der Post.

 

[SlaterB]

also worum es geht ist zumindest mir reichlich unklar und den Sinn deines Mocks kann ich auch nur schwer nachvollziehen,
bin aber auf genug Wenn und Abers gekommen, die einen Einsatzzweck rechtfertigen könnten, um selber nichts zu sagen,

ganz schön wackliges Thema

 

[timbeau]

Da der TE sofort bei Annahme, dass hier etwas nicht stimmt, sich nicht mehr gemeldet hat zusätzlich zur vorherigen Weigerung auf den Grund einzugehen, warum wenige Adressen nicht ausreichen, gehe ICH davon aus, dass die Annahme nicht so weit danebenlag.

 

[Bernd Hohmann]

Warum Bernd?
Es geht ja nicht darum zu testen ob das System zur Adressvalidierung fehl schlägt, sondern ob sich das System nach Eingabe nicht valider Adressdaten konsistent verhält.

Ich vermute mal dass dem TO jemand die STRADA und POFADA (Strassen->PLZ und Postfach->PLZ) der Deutschen Post in die Hand gedrückt hat damit er einem Kundenstammprogramm eine Adresskorrektur bzw. Prüfung beibringt. Also zb. prüfen ob "Sonnenweg 11" wirklich in "99999 Sonstwo" oder doch in "99998 Irgendwo" liegt bzw. "Oderstr." korrekt nach "Oderstraße" zu expandieren. Da der Auftraggeber aber die Kundenstammdaten nicht herausrückt, braucht der TO repräsentative (also nicht viele, sondern eine gute Stichprobe) von Adressen um zu schauen ob seine Algorithmen funktionieren.

Ich hab das Drama anno 1993 bei der automatisierten Umstellung von 4 auf 5stellige PLZ mitgemacht - da hat man gesehen, wie verquert manche Adressen erfasst wurden.

Bernd

 

[JohannisderKaeufer]

also worum es geht ist zumindest mir reichlich unklar und den Sinn deines Mocks kann ich auch nur schwer nachvollziehen,

dass die Testdaten echte Adressen brauchen, also eine PLZ, Stadtname und Straße die es in der konstellation wirklich gibt.
...
Um daraus Testdaten zu erstellen mit denen wir unsere firmeninternen Prozesse testen können. Und einer ist eben eine Echtheitsprüfung der Adressen und wenn die nicht stimmt fliegen die alle hier schon raus und werden nicht weiter verarbeitet.

Daraus ergibt sich IMHO folgendes konsistentes Szenario das auf diesen Annahmen beruht:

1. Bestellprozess mit Eingabe der Lieferadresse soll getestet werden.
2. Lieferadresse wird mit einem externen System überprüft.


Um jetzt zu testen ob das System Bestellungen verarbeiten kann, benötigt es natürlich valide Adressdaten bei der Eingabe der Lieferadresse, da ansonsten das externe Validierungssystem eine falsche Adresse meldet.
Daher würde ich das externe Adressvalidierungssystem mocken.

Ich vermute mal dass dem TO jemand die STRADA und POFADA (Strassen->PLZ und Postfach->PLZ) der Deutschen Post in die Hand gedrückt

In dem Fall hätte er ja schon die Daten um sich valide Adressen zusammenzuhacken.

 

[freez]

Oder die GEZ will Ihre neuen Bürgerdaten validieren

 

[SlaterB]

Um jetzt zu testen ob das System Bestellungen verarbeiten kann, benötigt es natürlich valide Adressdaten bei der Eingabe der Lieferadresse, da ansonsten das externe Validierungssystem eine falsche Adresse meldet.
Daher würde ich das externe Adressvalidierungssystem mocken.

ich sehe durchaus den Punkt, deine zitierte Aussage hatte ich zwischenzeitlich auch wieder gelesen
und fast noch etwas Bestätigung nachträglich geschrieben,

um der Diskussion willen dennoch eine weitere Anmerkung :
wenn man sich die externe Validierung sparen will, wie du sagst etwa die 6 Euro pro PostIdent,
dann wäre das ganz gut, aber darum ging es bisher ja praktisch überhaupt nicht,

wenn man nur diesen Programmpunkt rausnehmen will, was mit dem Mock und Dummy-Daten ja quasi erfolgt,
dann könnte man auch wirklich einfach eine richtige reale Adresse sowie eine offensichtlich falsche suchen
und diese verwenden

-> schon würde auch richtiges akzeptiert, falsches abgelehnt werden, ganz ohne Mock,
freilich dann mit der echten Echtheitsprüfung, evtl. Kosten

und meinen Verständnis nach soll gerade die etwas getestet werden, erkennt sie alle/ viele reale Adressen?

wobei natürlich weiter vieles unklar ist, es gibt eine Überprüfung ob Daten korrekt sind, aber die korrekten Daten selber sind nicht vorhanden?