Speicherproblem: memory_limit ändern hilft nicht

[Ronny76]

Hallo,

ich habe ein recht speicherintensives script, welches Datensätze aus einer DB ausließt. Mein memory_limit in der php.ini steht bei 512MB (habe 2GB RAM).
Ich habe dann mal nach einer bestimmten Anzahl von DS (100K, 200K etc) debuggen lassen wieviel Speicher (memory_get_usage()) verwendet wird.
-----------------------------------------------------------------------------------
Es ergibt sich folgende Ausgabe:

Speicherauslastung am Anfang: 590.544
Speicherauslastung vor DB Uebertragung: 7.341.368
Speicherauslastung nach 100K DS: 43.906.288
Speicherauslastung nach 200K DS: 80.443.104
Speicherauslastung nach 250K DS: 98.450.744
Speicherauslastung nach 275K DS: 108.502.448

Fatal error: Allowed memory size of 536.870.912 bytes exhausted (tried to allocate 35 bytes) in C:\Programme\Test\DisplayAnalyse.php on line 203

-----------------------------------------------------------------------------------

Die nächste Debug stufe hätte nach 290K DS kommen sollen, davor bricht er aber ab. So recht verstehe ich die Fehlermeldung nicht, denn eigentlich sollte bei 290K DS etwas 120 MB belegt sein und nicht 536MB wie in der Fehlermeldung steht.

Die gleich Fehlermeldung (nur mit angepasster "exhausted" größe kommt auch wenn ich 1024 als memory_limit angebe...
Ist der maximale Wert für memory_limit etwas 128 MB? (weil das in etwas die grenze ist an der, der Fehler entsteht).

Hat da jemand von euch vielleicht eine Idee dazu?

Vielen Dank
--ronny

[penizillin]

... denn eigentlich sollte bei 290K DS etwas 120 MB belegt sein und nicht 536MB wie in der Fehlermeldung steht.

der overhead, der durch deine anwendung erzeugt wird, kann nur dir und php bekannt sein.

am besten optimierst du deine anwendung. brauchst du hilfe dabei?
was tut sie? zeig mal den relevanten code.

[Ronny76]

Danke für deine Antwort. Ich hoffe das mein Anliegen richtig rüber gekommen ist. Mir erscheint, dass PHP nicht wirklich die in memory_limit angegebene Obergrenze ausnutzt, sondern statt dessen immer bei 128MB Speicherauslastung den o.g. Fehler ausgibt.
Selbst wenn hier das ein oder andere zu optimieren ginge, ich muss in der Praxis möglicherweise mit noch deutlich größeren Datenmengen zurecht kommen...

Hier ist mal die relevante Schleife in der die Datensätze von der MySQL DB ausgelesen werden:
(Ich hoffe, dass man den source nach dem senden immernoch mit copy & paste leserlich in einen editor einfügen kann - will sagen, daß die formatierung erhalten bleibt)

--ron

--------------------------------------------------------------------------------------

//--- Alle Datenbank-Zeilen durchlaufen für Analyse ---
echo "Speicherauslastung vor DB Uebertragung: ".memory_get_usage()."<BR>";
while ( $dataRow = mysql_fetch_assoc($dbData) ) {
//echo_d ("DATA ROW: ");
//print_pre( $dataRow );
//echo_d ("cZeit: ". $dataRow['Zeit_CallReq'] );
if ($rowCnt==100000)
echo "Speicherauslastung nach 100K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==200000)
echo "Speicherauslastung nach 200K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==250000)
echo "Speicherauslastung nach 250K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==275000)
echo "Speicherauslastung nach 275K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==290000)
echo "Speicherauslastung nach 290K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==300000)
echo "Speicherauslastung nach 300K DS: ".memory_get_usage()."<BR>";
if ($rowCnt==400000)
echo "Speicherauslastung nach 400K DS: ".memory_get_usage()."<BR>";

for ($fieldCnt=0; $fieldCnt<count($analyse_FeldNamen); $fieldCnt++)
$analyse_Feld[$rowCnt][$analyse_FeldNamen[$fieldCnt]] = $dataRow[$db_FeldNamen[$fieldCnt]];

//Dauer aller Calls aufsummieren und für die Avg CallDauer durch rowCnt teilen
$gesDauer += $analyse_Feld[$rowCnt]['cDauer'];

//--- Call je Sekunde ------------------------------------------------------------------------------
$zeitFeld = explode(':', $analyse_Feld[$rowCnt]['cZeit']);
$zeitInSec = ($zeitFeld[0]*SEC_PER_HRS) + ($zeitFeld[1]*SEC_PER_MIN) + ($zeitFeld[2]);

if ( $zeitFeld[0][0] == '0' )
$zeitFeld[0] = $zeitFeld[0][1]; //Stunden filtern und führende 0 entfernen. Brauche ich um richtig in das Feld $callsInHrs zu speichern

for ($i=0; $i<$analyse_Feld[$rowCnt]['cDauer']; $i++)
$callsInSec[$zeitInSec+$i]++; //Jedes ArrayElement vom Zeitpunkt des Anrufs über seine Dauer, wird inkrementiert


//--- Call je Stunde ------------------------------------------------------------------------------
$callsInHrs[$zeitFeld[0]]++; // zeitFeld[0] sind die Stunden
//--- Call je Minute ------------------------------------------------------------------------------
$callsInMinute[($zeitFeld[0]*MIN_PER_HRS + $zeitFeld[1])]++;

$rowCnt++;

// echo_d ("--- Next While ------------------------------------------------------------------------------");
} //End While: Alle DB Einträge verarbeitet

[penizillin]

benutze die php-tags des forums zur lesbarkeit.

[Ronny76]

Sorry, 2. Versuch...

    //---  Alle Datenbank-Zeilen durchlaufen für Analyse ---
    echo "Speicherauslastung vor DB Uebertragung: ".memory_get_usage()."<BR>";
    while ( $dataRow = mysql_fetch_assoc($dbData) ) {
          //echo_d ("DATA ROW: ");
          //print_pre( $dataRow );
          //echo_d ("cZeit: ". $dataRow['Zeit_CallReq'] );        
        if ($rowCnt==100000) 
            echo "Speicherauslastung nach 100K DS: ".memory_get_usage()."<BR>";
        if ($rowCnt==200000) 
            echo "Speicherauslastung nach 200K DS: ".memory_get_usage()."<BR>";
        if ($rowCnt==250000) 
            echo "Speicherauslastung nach 250K DS: ".memory_get_usage()."<BR>";        
        if ($rowCnt==275000) 
            echo "Speicherauslastung nach 275K DS: ".memory_get_usage()."<BR>";                    
        if ($rowCnt==290000) 
            echo "Speicherauslastung nach 290K DS: ".memory_get_usage()."<BR>";                                
        if ($rowCnt==300000)         
            echo "Speicherauslastung nach 300K DS: ".memory_get_usage()."<BR>";
        if ($rowCnt==400000) 
            echo "Speicherauslastung nach 400K DS: ".memory_get_usage()."<BR>";
            
        for ($fieldCnt=0; $fieldCnt<count($analyse_FeldNamen); $fieldCnt++)
            $analyse_Feld[$rowCnt][$analyse_FeldNamen[$fieldCnt]] = $dataRow[$db_FeldNamen[$fieldCnt]];            
        
        //Dauer aller Calls aufsummieren und für die Avg CallDauer durch rowCnt teilen
        $gesDauer += $analyse_Feld[$rowCnt]['cDauer'];
        
        //--- Call je Sekunde ------------------------------------------------------------------------------
        $zeitFeld  = explode(':', $analyse_Feld[$rowCnt]['cZeit']);
        $zeitInSec = ($zeitFeld[0]*SEC_PER_HRS) + ($zeitFeld[1]*SEC_PER_MIN) + ($zeitFeld[2]);
        
        if ( $zeitFeld[0][0] == '0' )    
            $zeitFeld[0] = $zeitFeld[0][1]; //Stunden filtern und führende 0 entfernen. Brauche ich um richtig in das Feld $callsInHrs zu speichern
                 
        for ($i=0; $i<$analyse_Feld[$rowCnt]['cDauer']; $i++)
            $callsInSec[$zeitInSec+$i]++; //Jedes ArrayElement vom Zeitpunkt des Anrufs über seine Dauer, wird inkrementiert


        //--- Call je Stunde ------------------------------------------------------------------------------
        $callsInHrs[$zeitFeld[0]]++;  // zeitFeld[0] sind die Stunden    
        //--- Call je Minute ------------------------------------------------------------------------------
        $callsInMinute[($zeitFeld[0]*MIN_PER_HRS + $zeitFeld[1])]++;
        
        $rowCnt++;
        
//         echo_d ("--- Next While ------------------------------------------------------------------------------");
    } //End While: Alle DB Einträge verarbeitet 

[tontechniker]

OffTopic:

---

!

---

[Ronny76]

Was willst du mir damit sagen Tontechniker?

[axo]

naja, du holst dir über 400.000 datensätze aus einer datenbank und packst die alle in ein mehrdimensionales array? das kann doch nicht gut gehen.

und selbst wenn du das memory limit auf 2G bekommst - was machst du dann, wenn du mit 800.000 datensätzen arbeitest? eine neue maschine mit 4G RAM ?

neeeee....

wozu hast du denn eine datenbank? du holst die (roh)daten gar nicht erst aus der db, sondern aggregierst das ganze geeignet über temporäre tabellen, COUNT, GROUP BY und UPDATE.

rtfm.

[axo]

Original geschrieben von Ronny76
Was willst du mir damit sagen Tontechniker?

dass du deine eigenen beiträge editieren kannst statt ein neues posting mit selbem inhalt reinzumachen. nur mal so als kleiner hinweis, dass du bitte nachdenken sollst bevor du was machst.

[Ronny76]

OK werde ich tun...