Crawler

[castle]

hallo zusammen

meine praktiche Erfahrung in java is nicht so gut deswegen braüchte ich eure hilfe .
wie kann ich crawler in javaprogramm einsezten damit ich webgraf erstellen kann :bahnhof:
für jede information bin ich bedankbar

mit freundlichen Grüßen

 

[Campino]

mhh...möchtest du in Java einen Crawler schreiben oder von Java aus einen vorhandenen ansteuern?

ersteres: Internetseite per HttpInputStream vom Server laden, nach Links durchsuchen, diese ebenfalls vom Server laden, nach Links durchsuchen usw. (das ist rekusiv). Du musst dir nur überlegen, wie du auf externe Links reagierst, bzw. wie weit du in die Tiefe gehen möchtest, sonst hast du "schnell" mal das ganze Internet gecrawlt...

zweiteres: Wenn der Crawler als Programm vorliegt über Runtime.exec(), dann per InputStream die Rückgabe des Process lesen. Ansonsten z.B. über das JNI. Man müsste wissen, was genau du willst, um dir besser helfen zu können.

für jede information bin ich bedankbar

Schön das man sich bei dir für jede Information bedanken kann...

 

[Wildcard]

Solltest du deinen eigenen Crawler machen wollen ist die Indexierungssuchmaschine Lucene ein guter Ausgangspunkt.