Wie groß darf ein mehrdimensionales Array werden?

[jwe]

Aus mehreren Datenquellen möchte ich Daten in einem mehrdimensionalen Array sammeln.
Also z.B. eine Artikelliste mit Stammdaten, aktuelle Lagerbestände in verschiedenen Filialen, Umsätze in der Filialen in verscheiden Monaten.
Bsp:
$arr[$ArtikelNr]['STAMM']['Name'] = 'PHP-Buch';
$arr[$ArtikelNr]['SaisonAbschlag'][$JahrMonat] = 60%;
$arr[$ArtikelNr]['BESTAND'][$FilialNr]['Stück'] = 43;
$arr[$ArtikelNr]['UMSATZ'][$JahrMonat][$FilialNr]['Stück'] = 7;
usw.

Mit diesen Daten möchte ich dann Berechnungen durchführen und abhängig vom Ergbnis dann eine Ausgabe generieren.

Problem: Die gesammelten Daten können sehr umfangreich werden (50.000 Artikel x 100 Filialen x 24 Monate => 120Mio Datensätze)

Da das Formelwerk sehr umfangreich ist und zu viele unterschiedlichste Datenquellen mit einbezogen werden müssen, ist es quasi unmöglich diese Aufgabe auf die SQL-Server auszulagern.

Eigentlich funktioniert das Ding auch, leider werden aber irgendwann die Daten nicht mehr in den richtigen indizierten Feldern gespeichert und Sortierungen kommen ducheinander.

Nun die Frage: Gibt's eine Obergrenze an Einträgen pro Ebene, oder eine Speicherobergrenze für eine Variable/Array allgemein? Hat einer Erfahrungswerte ähnlicher Art?

Das Memory_Limit vom Script ist auf jeden Fall nicht die Grenze.

Schon mal vielen Dank für eine Antwort.

[AmicaNoctis]

Hallo,

das einzige Limit ist prinzipiell das Speicherlimit. Wenn du indizierte Arrays (also nicht-assoziative) hast, kommt noch PHP_INT_MAX als Maximallänge des Arrays hinzu.

Trotzdem kann ich nicht glauben, dass man solche Auswertungen nicht optimieren und im SQL durchführen kann.

Gruß,

Amica

[jwe]

PHP_MAX_INT ist's leider nicht, da meine Probleme schon bei ca. 800.000 Datenfelder anfangen.


Bei der SQL-Optimierung gäbe es verschiedene Probleme:
1. "unterschiedliche Datenquellen" soll heißen, dass ich eine MySQL-Datenbank habe, und noch 2 weitere, auf die ich per ODBC zugreifen muss.
Die benötigten Daten aus dem ODBC-Bereich erst nach mySQL zu kopieren ist sehr aufwendig, da dies ja auch noch Session-abhängig passieren müsste. (Alles kopieren ist nicht möglich!)

Und selbst wenn würden selbst StoredProcs in MySQL nicht die gewünschten Ergebnisse liefern (außer die schreiben wieder mehrer Temp-Tabellen, die ich wieder auslesen muss ...)
Alles in allem eine Laufzeitfrage.
In meiner Varainte muss ich nur ca. 10 "leichte" SQL-Statements ausführen (die ja sogar teilweise auf unterscheidlichen Maschinen gleichzeitig bearbeitet werden) und könnte die dann relativ schnell im Speicher mit PHP auswerten und ausgeben.

[combie]

Eigentlich funktioniert das Ding auch, leider werden aber irgendwann die Daten nicht mehr in den richtigen indizierten Feldern gespeichert und Sortierungen kommen ducheinander.

Entweder hat dein Script einen Wackelschatten,
oder in den Datenfeldern steht nicht das was du erwartest,
oder, am unwahrscheinlichsten, dein PHP ist kaputt.

Alles in allem, mit deiner Vermutung "obergrenze", liegst du neben der Spur.

[jwe]

Aaarg! Fehler gefunden! Wie es so bei riesigen Datenmengen aus unterschiedlichen Systemen ist:
Ein teil der Daten hat ganz selten hinten noch ein Leerzeichen dran. Womit natürlich "Test " und "Test" nicht zusammen finden können.

Trotzdem Danke für die schnelle Hilfe und Anteilnahme

Kann also geclosed werden ...