PHP cURL timeout?!

[svr]

hallo liebe gemeinde
ich habe ein kleines problem, wofür mir irgendwie die lösung nicht einleuchten mag.
und zwar:
ich setze jeweils in einer schleife so um die 100 http requests ab, der request übergibt den returned transfer an eine variable, die einigen zeichen entfernt und anschliessend mittels sql in eine datenbank geschrieben wird.

es geht dabei darum, ein system zu entwickeln, womit ich lokal von meinem remote server einige daten auslesen kann und sozusagen ein "backup" wichtiger daten zu erhalten.
klar kann man es anders lösen, darum geht es mir aber nicht.

das problem ist nur, dass irgendwie manche requests einfach so untergehen. falls bei einem request was falsch laeuft sollte ja false zurückgegeben werden, wird aber nicht, das ganze geht einfach unter.
habe je eine ausgabe if(request true) print "request nummer x erfolgreich"

sieht dann meisten so aus: erfolgreich-> 1,2,3,4 plötzlich 8, 9,10,11,12,15

ich denke ihr wisst was gemeint ist
ich habe die manual mal gelesen, allerdings habe ich keine schlüssige antwort.
ich habe als "lösungsversuch" mal probiert, einen sleep einzubauen. nach jedem request wird jetzt 2 sekunden geschlafen.

danke für jede hilfe

[wahsaga]

habe je eine ausgabe if(request true) print "request nummer x erfolgreich"

sieht dann meisten so aus: erfolgreich-> 1,2,3,4 plötzlich 8, 9,10,11,12,15

Wie auch immer diese eher obskure Abfrage in der Realität aussehen mag - wenn du nur den positiv-Fall behandelst und den Fehlerfall nicht, dann brauchst du dich auch nicht wundern, wenn fehlerhaft verlaufene Requests „einfach so untergehen“.

Wie sieht denn deine Fehlerbehandlung aus, was fragst du ab und wie behandelst du es?

[svr]

ich geben voll und ganz zu, dass ich den eintrag hier haette schoener gestalten koennen

das ganze sieht natürlich so aus:

if(curl_request) print "erfolgreich";
if(!curl_request) print "nicht erfogreich"; // php-manual: curl gibt im fehlerfall false zurück

trotzdem wird eben nicht dieses "nicht erfolgreich" ausgegeben, niemals.

[wahsaga]

trotzdem wird eben nicht dieses "nicht erfolgreich" ausgegeben, niemals.

Vielleicht waren alle Requests „erfolgreich“ (im Sinne von HTTP) - aber die Gegenstelle hat nicht das geliefert, was du erwartet hast. Hast du das überprüft ...?


Du wirst schon mehr Infos - brauchbare Infos - liefern müssen, wenn du Hilfe bei deinem Problem bekommen willst.

[svr]

hallo,
also als erstes werde ich mal die curls posten
sieht so aus

            $ch = curl_init(); 
            curl_setopt($ch, CURLOPT_URL, $urlcurrent); 
            curl_setopt($ch, CURLOPT_HEADER, 1);
            curl_setopt($ch, CURLOPT_USERAGENT, $this->user_agent); 
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
            curl_setopt($ch, CURLOPT_TIMEOUT, $this->timeout);
            curl_setopt($ch, CURLOPT_COOKIEJAR,'c.txt');
            curl_setopt($ch, CURLOPT_COOKIEFILE,'c.txt');
            curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1); 
            curl_setopt($ch, CURLOPT_FORBID_REUSE, 1); 
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
             
            $string = curl_exec($ch);

            if(!$string){
                print "false";
                remission();
            } 

als erstes fuehre ich in der schleife jeweils die requests aus, speichere das ganze in $string. danach wird uberprüft, was string zurückgibt, bei false sollte die funktion remission, die das ganze mit derselben url wiederholt, gerufen werden.

im positiven fall wird der string weiterverarbeitet

wie meinst du das mit "im sinne von http"
wenn ein fehler auftritt sollte false zurückgegeben werden, falls alles glatt geht sollt mein stirng daten enthalten, wenigstens irgendwas
ode rnicht?

danke!

[wahsaga]

wenn ein fehler auftritt sollte false zurückgegeben werden,

Prüfst du auf false? Nein.

falls alles glatt geht sollt mein stirng daten enthalten, wenigstens irgendwas ode rnicht?

Genau das herauszufinden, riet ich dir bereits.

[svr]

Prüfst du auf false? Nein.

..!$string...
prüft das etwa nicht?

Genau das herauszufinden, riet ich dir bereits.

falls ein string daten enthält sehe ich es, dnen ich geben curl infos uber datengroesse transferzeit etc aus, plus substring.

auf der kommandozeile natürlich. dann muesste ich doch wenigstens sehen, ob die entsprechende nummer leer ist.
es kommt aber gar kein output!
substring plus das andere zeug habe ich ja nicht zum spass gemacht, es ist also nicht so, dass ich es nicht versucht hätte.

[eagle275]

öhm .-. auch wenn das Amica und die annern hier vielleicht schöner erklären

if (!$String) prüft nicht auf FALSE - , es prüft ob die Variable überhaupt existiert - die funktion antwortet jedoch bei Verbindungsfehler mit FALSE . das dann in der Variablen drinsteht ... sie existiert also

correctamente sollte das wohl eher

if ($String === FALSE ) {
   echo "mecker HTTP-request keine Antwort <br>";
}
else {
....
tu halt was du machen wolltest, wenn die Anfrage erfolgreich war 
}

[AmicaNoctis]

!$var ergibt immer dann true, wenn für $var eine der folgenden Bedingungen zutrifft:

• $var ist undefiniert (vorher kommt eine Notice)
• $var ist null
• $var ist false
• $var ist 0
• $var ist ein leerer String
• $var ist ein String der nur die Ziffer 0 enthält, z. B. '0' oder "0"
• $var ist ein leeres Array

Im Grunde genommen wird der Wert erst zu int und danach zu bool gecastet. Das Ergebnis wird schließlich negiert (vgl. empty()).

[svr]

super erklärung, danke
mache mich ans werk und schaue ob alles klar geht

[svr]

hi,
muss noch einmal fragen

habe jetzt das ganze so gelöst if($string === FALSE){remission();}else{save();}

das funktioniert schon ganz gut, nur leider verschwinden manche requests immernoch.
habe eine statistik gemacht, so in etwa 5-10% sind einfach weg.

hat jemand einen rat?
danke

[onemorenerd]

Wie sieht dein aktueller Code aus?

[svr]

while($int<$absoluteAnzahl){
            $int++;
            // hier wird die url generiert ->$u_curl
        
            $ch = curl_init(); 
            curl_setopt($ch, CURLOPT_URL, $u_cur); 
            curl_setopt($ch, CURLOPT_HEADER, 1);
            curl_setopt($ch, CURLOPT_USERAGENT, $this->user_agent); 
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
            curl_setopt($ch, CURLOPT_TIMEOUT, $this->timeout);
            curl_setopt($ch, CURLOPT_COOKIEJAR,$this->cookie_file);
            curl_setopt($ch, CURLOPT_COOKIEFILE,$this->cookie_file);
            curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1); 
            curl_setopt($ch, CURLOPT_FORBID_REUSE, 1); 
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
            $string = curl_exec($ch);

            if($string === FALSE){
print "error";
             remission(); //die funktion ruft das ganze nochmal auf
            }
            else{
verarbeiten(); // hier wird weiter verarbeitet
                  }
                
               
                usleep($this->sleep);
                
                curl_close($ch); 
            } 

sorry für die schlechte formatierung

[svr]

keiner mehr??

[Kropff]

keiner mehr??

OffTopic:

---

Du weißt, was um 16 Uhr passiert? Schau mal in deine Fehrnsehzeitung.

---

Peter