HTTP IP-Spoofing (?)

[Bizarrus]

Hallöchen

Ich bin gerade dabei, einen kleinen Crawler zu schreiben, der diverse Links sammelt und indexiert. Grund hierfür ist das erstellen einer kleinen Suchmaschine.

Da der Crawler zu testzwecken nicht immer über meine Server läuft, würde ich gerne den Host/IP des Crawlers so verändern, dass diese beim Request immer die IP-Adresse des Servers besitzt - Sogesehen das Spoofen einer IP-Adresse.

Der simpleste Grund um die "IP-Adresse" zu verfälschen ist, dass ein Nutzer, der in seinen Logfiles des Webservers schaut, immer auf die Seite der Suchmaschine kommt, um sich dort über den Crawler zu informieren.

Ist dies möglich?

Oder müsste ich da eine Art Proxy nutzen, der die COnnection über meine Server laufen lässt?!

 

[Spoofer]

Crawler laufen in der Regel immer über den Server zu deren Such-Engine diese gehören.
Die Frage ist was du willst : infos über Server und Seiten oder das Server-Admins in ihren Logs die IP des Crawlers lesen können und hoffen beim anwählen Infos über diesen zu bekommen ?

Mal davon abgesehen ist IP-Spoofing mit Java recht schwierig und ohne JNI/JNA überhaupt nicht machbar.
Von daher mal die Gegenfrage : muss es unbesingt Java sein ? Und : kennst du die einschränkungen von Java in Punkto Netzwerkdatenmanipulation ?

 

[ARadauer]

Ich würde den Agent spoofen, wer sich wirklich dafür interessiert was ihn da gecrawled hat, kann sich dadurch informieren...

 

[Bizarrus]

Danke für eure Antwort.

Crawler laufen in der Regel immer über den Server zu deren Such-Engine diese gehören.

Echt? Hätte ich nicht gedacht
Sollte ja bekannt sein. Bloß wie ich bereits sagte ist dies nur für die Entwicklung lokal notwendig - Bzw. ich würde es gerne so haben wollen.

muss es unbesingt Java sein ?

Ja sollte. Natürlich nur, wenn dies gehen sollte.

kennst du die einschränkungen von Java in Punkto Netzwerkdatenmanipulation ?

Nein, deswegen frage ich ja, ob derartiges möglich wäre. Habe zwar mich mit dem Netzwerk, Sockets & Co beschäftigt gehabt, aber genau dieses Thema, eine andere IP vorzugaukeln noch nicht.

Ich würde den Agent spoofen, wer sich wirklich dafür interessiert was ihn da gecrawled hat, kann sich dadurch informieren...

Dies ist bereits schon geschehen.

Gut, wenn die Idee mit der gespooften IP-Adresse/Hostnamen nicht geht, dann bleibt mir wohl nichts anderes übrig als ein Proxy-Script zwischen zu hängen, was die Ressourcen über den Server läd. Dies wäre dann ja eine alternativ-Lösung.