Hallo zusammen,
ich sitze hier gerade an einem Problem an dem ich nicht weiterkomme:
Es soll eine XML-Datei in die Datenbank importiert werden. Die Datei enthält ca. 100.000 Artikel und hat so ca. 30 MB.
Mit simplexml klappt das auch alles, nur habe ich ein Performance-Problem:
Beim sequentiellen Abarbeiten laufen in 5 Minuten ca. 5.000 Artikel durch.
Beim Importieren mit "load data infile" schaffe ich knapp 16.000.
Wenn ich den Upload des Files und den eigentlichen Import trenne schaffe ich etwas mehr als 20.000.
An meine 100.000 Datensätze komme ich so nicht wirklich ran. Wo denkt Ihr, sollte ich weiter forschen:
- SQL-server statt mysql 5?
- irgendeine andere Idee?
Entwicklungsumgebung:
PHP5/mySQL 5.0/Windows XP/Apache 2. Die Maschine hat 2.6 GHz und 1,5 GB RAM. Es läuft ausschließlich die Applikation darauf.
Danke im Voraus für Denkanstöße,
Mario
ich sitze hier gerade an einem Problem an dem ich nicht weiterkomme:
Es soll eine XML-Datei in die Datenbank importiert werden. Die Datei enthält ca. 100.000 Artikel und hat so ca. 30 MB.
Mit simplexml klappt das auch alles, nur habe ich ein Performance-Problem:
Beim sequentiellen Abarbeiten laufen in 5 Minuten ca. 5.000 Artikel durch.
Beim Importieren mit "load data infile" schaffe ich knapp 16.000.
Wenn ich den Upload des Files und den eigentlichen Import trenne schaffe ich etwas mehr als 20.000.
An meine 100.000 Datensätze komme ich so nicht wirklich ran. Wo denkt Ihr, sollte ich weiter forschen:
- SQL-server statt mysql 5?
- irgendeine andere Idee?
Entwicklungsumgebung:
PHP5/mySQL 5.0/Windows XP/Apache 2. Die Maschine hat 2.6 GHz und 1,5 GB RAM. Es läuft ausschließlich die Applikation darauf.
Danke im Voraus für Denkanstöße,
Mario
Kommentar