Große Dateien entpacken

[Dukeatcoding]

Ich entpacke Dateien zur Zeit mit der Klasse PCLZIP

PclZip Overview

Bisher alles kein Problem da Dateien nur 500 MB groß waren. Mittlerweile gibt es auch eine Datei die entpackt und verarbeitet werden soll die 3 GB groß ist.

Hier scheint php an seine Grenzen zu stoßen. Ich gehe davon aus, dass das Entpacken nicht gelingt, da filesize() Probleme mit Dateien über 2 GB haben kann.

Hat von euch jemand Erfahrung mit dem Entpacken von so großen Dateinen ? Geht es überhaupt mit PHP ? Oder muss ich mir ein shell Skript schreiben ?

[Kropff]

Hier scheint php an seine Grenzen zu stoßen. Ich gehe davon aus, dass das Entpacken nicht gelingt, da filesize() Probleme mit Dateien über 2 GB haben kann.

Wie sieht denn dein error_reporting aus? Was ist mit max_execetution_time? Welches Dateisystem, was für ein Server? Engpässe kann es da viele geben.

Hat von euch jemand Erfahrung mit dem Entpacken von so großen Dateinen ? Geht es überhaupt mit PHP ? Oder muss ich mir ein shell Skript schreiben ?

Meine größten Zip-Dateien waren etwa 2 1/2 GB groß und das funktionierte auch soweit (siehe max_execution_time). Allerdings bevorzuge ich bei so was shell-Scripte.

Peter

[Dukeatcoding]

Execution Time ist kein Problem

1. Wird über phpcli ausgeführt als quasi ohne Beschränkungen
2. Dateisystem sollte kein Problem sein, da ein normales Unzip läuft

Unschön ist ja auch das filesize bei 2-4 GB möglicherweise geht / nicht geht usw. und ab 4 garantiert nicht mehr funktioniert

[onemorenerd]

Welches Dateisystem?

[Dukeatcoding]

Die Kiste auf der das ganze zur Zeit läuft ist ein Strato V-Server

läuft auf vzfs , müsste das FS von Parallels sein

[onemorenerd]

Und drunter?

VZFS kann nur mit so großen Dateien arbeiten wie das Dateisystem der Partition, auf welcher der VZFS-Container liegt.

[Dukeatcoding]

Ich hab ehrlich gesagt keine Vorstellung was darunter ist.

Da ein "normales" unzip auf der Konsole die Datei aber entpacken kann, kann ich mir nicht ganz vorstellen, dass es daran liegt.

[onemorenerd]

Naja, vermutlich ist es ein 32-Bit-Problem. Wenn unzip auf der Konsole zuverlässig funktioniert, solltest du das einfach nutzen. shell_exec('unzip ...')

[Dukeatcoding]

Jo so seh ich das im Moment auch, muss ich ausprobieren ob es da irgendwie rechte Probleme beim Shell Aufruf gibt ansonsten werde ich wohl das erstmal nehmen.

Schade ist natürlich, dass man so nicht wirklich vernünftig Fehlerausgaben bekommt wie bei der Klasse die ich bisher benutzt habe.

[onemorenerd]

Dann nimm exec() und benutze alle Parameter.