API bespielen Geschwindigkeit optimieren

[OnDemand]

Hi zusammen,

ich importiere grad Produktdaten in einen Shopwareshop. Dabei dauert ein Artikel gut 10 Sekunden weil Shopware da noch Bilder runterrechnet und sonst was. Gesamt sind es 40k Artikel (omg)
Nun hab ich mir überlegt, die Artikel in Threads zu senden, wenigstens immer so 10 parallel. Dabei hab ich aber die Befürchtung das Daten falsch angelegt werden, ID doppelt usw.

Zudem müssten die Kategorien auch geprüft werden, ob vorhanden und ggf angelegt werden, da ist mir das Risiko zu hoch, dass Daten doppelt geschrieben werden o.ä.

Hat noch jemand eine Idee für eine andere ? Das senden per Batch geht auch nicht wirklich schneller, spart vielleicht 2 Sekunden bei nem Batch mit 10 Artikeln. Datenbank ist auch keine Option, das Erstellen von Thumbnails ist auch schon weitestgehend beschnitten.

 

[thecain]

Die Daten vor dem import noch Vorverarbeiten geht nicht? Das sollte ja bei nur 40k kein Problem sein.

 

[OnDemand]

Was genau meinst du damit? Steh grad auf dem Schlauch

 

[thecain]

Duplikate filtern, kategorien zusammenfassen usw.

Dann kannst du ja nicht mehr in mehreren Threads das Selbe importieren

 

[OnDemand]

Achso meinst du. Hmm joa Kategorien könnte ich vorab alle anlegen und die ID abspeichern, stimmt.
Müsste dann nur bei Artikeln mit Varianten schauen, dass ist das nicht so einfach. Ob sich der Aufwand lohnt das umzubauen? Nicht, dass der Server dann mit 10 Artikeln parallel schon überfordert ist, Server darunter ist stark. Werd das mal im SW-Forum erfragen.

 

[mihe7]

10 Sekunden für einen Artikel?!? Bestellt das Ding die Artikel gleich noch in Fernost und bezahlt per Paypal?

 

[OnDemand]

ja so in etwa. Das eiert da noch massig mit Bildern, ohne Bilder sind es <1 sek
Hab schon überlegt die Bilder per FTP nachzuschieben aber die mappen sich dann nicht zu den Produkte. Bissl blöd das Ganze