Die Datei ist zu groß

[RamonaS]

Hallo, ich habe hier
http://ip-to-country.webhosting.info...ountry.csv.zip
diese CSV-Datei runtegeladen und jetzt bekomm ich die nicht in meine MySQL
rein....ich habe die datei auf 25000 einträge gekürzt, so funktioniert es.

Ich erhalte einmal diesen Fehler wenn ich versuche die datei am stück in
ein array zu schaufeln ($arr=file("ip-to-country.csv");
Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to allocate 35 bytes) in C:\XamppLite\htdocs\insert.php on line 34

wenn ich die Datei in mehrere zerlege zu je 50000 einträge, erhalte ich eine Zeitüberschreitung weill php mehr als 60 sek. benötigt.

Frage wie kann ich diese datei am stück einlesen und in die db einfügen? Ohne phpmyadmin zu benutzen?

[AmicaNoctis]

Hallo,

du kannst MySQL und auch PHP jeweils auch über die Kommandozeile aufrufen, wenn du sowieso lokal arbeitest. Dann gelten diese Zeitbeschränkungen ohnehin nicht.

Ansonsten: PHP: set_time_limit - Manual

Gruß,

Amica

[RamonaS]

Naja lokal könnte man das noch hinbekommen, aber was mach ich wenn das ganze online betrieben werden soll?

Das müßte doch irgendwie machbar sein, sonst wäre diese csv-datei ja nicht so riesig!

[AmicaNoctis]

Das müßte doch irgendwie machbar sein, sonst wäre diese csv-datei ja nicht so riesig!

Entweder verstehe ich nicht was du meinst oder du hast den Hinweis mit set_time_limit nicht beachtet.

Edit: Wenn der Server auch Datenbankzugriffe von extern erlaubt (nicht nur localhost), kannst du es trotzdem direkt über die Kommandozeilentools (von deiner Maschine aus) importieren.

[wahsaga]

phpMyAdmin hat auch Optionen für einen partiellen Import.

[RamonaS]

Ok ich habe jetzt die 5MB CSV-Datei in 4 teile zerlegt und die executiontime von php auf 0 gesetzt, jetzt funktioniert das alles.

Ich wollte nur wissen ob das einlesen einer 5MB großen textdatei für php grundsätzlich ein problem ist!

Weil am Stück kann ich diese 5MB nicht in ein array einlesen....gibts dafür keine möglichkeit?
Ich hatte bisher noch keine erfahrungen mit so großen datein.....5MB ist ja nicht wirklich groß...wie sieht das mit 20 oder 100MB aus?

[AmicaNoctis]

Ich wollte nur wissen ob das einlesen einer 5MB großen textdatei für php grundsätzlich ein problem ist!

Das nicht, aber wenn dein Hoster dir nur wenig RAM zuteilt, kannst du auch nur ein begrenztes Maß an Daten verarbeiten. Auf deinem lokalen System kannst du das dagegen in der php.ini selbst festlegen.

[Quetschi]

Hast du den Import selbst geschrieben?

Wenn ja, warum liest du dann die Datei scheinbar komplett auf einmal ein?
Das Problem mit dem Speicherplatz lässt sich umgehen.

Bei der Script-Laufzeit bist halt drauf angewiesen die execution-time hochsetzen zu können oder man muss sich irgendwas mit Selbstaufrufen zusammenbasteln.

[RamonaS]

@Quetschi
>Wenn ja, warum liest du dann die Datei scheinbar komplett auf einmal ein?

Na die datei ist halt nun mal ein stück von über 5MB und 120tausend zeilen :-)
hier ist der lionk nochmal zu diesem oschi:
http://ip-to-country.webhosting.info...ountry.csv.zip
Warum bietet man hier so eine riwesige datei an, wenn man die nicht einlesen kann?


Was macht man mit so einer datei wenn die sich nicht einlesen läßt bzw in ein array kopieren läßt?...ich kann ja nichts damit anfangen solange php nicht den geasmten inhalt kennt.

Ok lokal kann ich meine php.ini bearbeiten, aber online darf ich das nicht. und konsoleanwendung hab ich online auch nicht.

[wahsaga]

Ich habe dich glaube ich in der Vergangenheit schon mehrfach aufgefordert, verflixt noch mal vernünftig zu zitieren!

Wenn ja, warum liest du dann die Datei scheinbar komplett auf einmal ein?

Na die datei ist halt nun mal ein stück von über 5MB und 120tausend zeilen

Das ist keine Antwort auf die Frage!

Warum bietet man hier so eine riwesige datei an, wenn man die nicht einlesen kann?

Soll „man“ lieber nur einen Bruchteil der Daten anbieten - mit dem sich dann zwar nichts anfangen lässt, aber den du wenigstens problemlos einspielen kannst ...?

Was macht man mit so einer datei wenn die sich nicht einlesen läßt bzw in ein array kopieren läßt?

Man liest sie bspw. stückweise/zeilenweise ein - darauf wollte Quetschi ja auch mit seiner Rückfrage hinaus.

Wenn du also über solche Rückfragen mal kurz ernsthaft nachdenken könntest, bevor du reflexartig nur mit einer Wiederholung der Fakten antwortest, die du uns bereits vorher schon mitgeteilt hast, wäre das echt fein.

[AmicaNoctis]

Trotzdem muss man eine Datei nicht immer komplett einlesen, man kann oft auch in Portionen arbeiten, indem man Block für Block liest und gleich verarbeitet.

[RamonaS]

@wahsaga
Du weißt ich liebe dich! Ja ich überspringe öfters mal was...wir sind ja nicht alle perfekt:-(

Ok dann gehen wir das Thema mal gezielter an.

Ich wollte die Datei mit $arr(file("datei.csv")); einlesen und da bricht PHP bereits ab.

So und jetzt weiß ich beim bestenn willen nicht wie man so eine Datei stückweise/zeilenweise einlesen kann.

Um die Datei in Teile zu zerlegen, muß doch php diese einlesen können, oder bis ich auf dem Holzweg?

Das wäre mal insteressant zu wissen, weil ich mal eine datei mit 200MB hatte und die konnte ich auch nicht einlesen.

Ok also Bitte um nachsicht für meine wenigkeit wenn ich das mal nicht ganz kappiere.

[AmicaNoctis]

Es gibt ja noch andere Funktionen außer file:

PHP: fgetc - Manual
PHP: fgetcsv - Manual (!!!)
PHP: fgets - Manual
PHP: fread - Manual
PHP: fscanf - Manual

[wahsaga]

Ja ich überspringe öfters mal was...wir sind ja nicht alle perfekt:-(

Ja - aber wenn „wir“ wiederholte Hinweise auf sowas beständig ignorieren, was von aussen gesehen eigentlich nur damit erklärbar ist, dass „wir“ zu faul sind, uns ein bisschen Mühe zu geben, unsere Postings halbwegs vernünftig zu strukturieren und lesefreundlich zu gestalten, dann dürfen „wir“ uns bitte auch nicht wundern, wenn „wir“ beim nächsten Mal erst mal gebannt werden.
Das ist die letzte Verwarnung, die „wir“ diesbezüglich noch bekommen - haben „wir“ das verstanden?

Ich wollte die Datei mit $arr(file("datei.csv")); einlesen und da bricht PHP bereits ab.

Natürlich, weil file ja den kompletten Dateiinhalt auf einmal in ein Array zu schaufeln versucht.

So und jetzt weiß ich beim bestenn willen nicht wie man so eine Datei stückweise/zeilenweise einlesen kann.

Ja dann informiere dich doch bitte mal!

Wenn du im Manual unter file nachschaust, dann bekommst du links die ganzen Dateisystem-Funktionen aufgelistet; und wenn du oben auf Dateisystem klickst, dann bekommst du sogar eine noch etwas ausführlichere Übersicht über die Dateisystem-Funktionen angezeigt, die auch noch eine Kurzbeschreibung zu allen diesen Funktionen liefert.

Und dass du diese Liste erst mal durchschaust, das darf doch wohl erwartet werden?

Da findest du bspw. Funktionen wie fgets, Beschreibung: „Liest eine Zeile von der Position des Dateizeigers“.
Na, klingt das nicht spannend - nur eine Zeile lesen, statt gleich alles? Könnte das vom Speicherverbrauch her nicht günstiger sein als file (Beschreibung dazu: „Liest eine komplette Datei in ein Array“)?

Ja, fgets alleine tut's nicht, da braucht man auch noch fopen, und vermutlich eine Schleife - aber dazu gibt es Beispiele.

Um die Datei in Teile zu zerlegen, muß doch php diese einlesen können, oder bis ich auf dem Holzweg?

Um ein Buch zu lesen, das in 23 Bänden erschienen ist, musst du auch nicht immer alle 23 Bände mit dir rumschleppen.
Nein, du kannst dir heute den ersten Band in die Bahn/ins Freibad/auf's Klo mitnehmen.
Und nächste Woche dann den zweiten ... usw. usf.

[Gast]

PHP: fgets - Manual

eventuell hilft dir das . .
also nicht das manual sondern genau der kommentar.