Tweet
Hallo,
auf meiner Website importiere ich regelmäßig Produktdaten von Affiliate Anbietern und mache das aktuell noch nicht per Cronjob, würde das aber gerne darauf umstellen.
Das Problem hierbei ist, dass es ca. 100 verschiedene Shops sind, von denen manche +50.000 Datensätze haben, die auf Aktualität und vorhanden sein geprüft werden müssen. Aktuell dauert ein Durchlauf mit 50.000 Datensätzen je Shop ca 3 Stunden. Und ich arbeite einen Shop nach einander ab.
Nach dem Importieren prüfe ich noch, welche Datensätze in der Datenbank veraltet sind und entferne diese.
Ich sehe hier große Probleme dies per Cronjob zu realisieren, gerade, wenn ein Prozess so lange läuft und dies bei 100 Shops relgemäßig gemacht werden muss.
Hat jemand bereits Erfahrung mit so großen Datenmengen und wie ich das performant machen kann, ohne dass es meinen Server in die Knie zwingt, weil er 24/7 nur Updates und Inserts macht?
Ach ja, die Datei muss auch noch automatisch runtergeladen und abgespeichert werden, danach erfolgen die Prüfungen. Aktuell mache ich den Down- und Upload auch noch per Hand :/
Ich bin für jede Idee dankbar dies performant zu realisieren.
auf meiner Website importiere ich regelmäßig Produktdaten von Affiliate Anbietern und mache das aktuell noch nicht per Cronjob, würde das aber gerne darauf umstellen.
Das Problem hierbei ist, dass es ca. 100 verschiedene Shops sind, von denen manche +50.000 Datensätze haben, die auf Aktualität und vorhanden sein geprüft werden müssen. Aktuell dauert ein Durchlauf mit 50.000 Datensätzen je Shop ca 3 Stunden. Und ich arbeite einen Shop nach einander ab.
Nach dem Importieren prüfe ich noch, welche Datensätze in der Datenbank veraltet sind und entferne diese.
Ich sehe hier große Probleme dies per Cronjob zu realisieren, gerade, wenn ein Prozess so lange läuft und dies bei 100 Shops relgemäßig gemacht werden muss.
Hat jemand bereits Erfahrung mit so großen Datenmengen und wie ich das performant machen kann, ohne dass es meinen Server in die Knie zwingt, weil er 24/7 nur Updates und Inserts macht?
Ach ja, die Datei muss auch noch automatisch runtergeladen und abgespeichert werden, danach erfolgen die Prüfungen. Aktuell mache ich den Down- und Upload auch noch per Hand :/
Ich bin für jede Idee dankbar dies performant zu realisieren.
Kommentar