Wie krieg ich ne Menge Daten importiert?

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • Wie krieg ich ne Menge Daten importiert?

    Ich hab ein Problem und zwar muss ich sowohl erstmal in DEV lokal, als auch auf einem Shared Webspace die kleine Menge von 1.400.000 Datensätzen reinprügeln.
    Ich habe 10 einzelne Dateien, einmal nur als CSV und einmal 10 Dateien mit INSERTs
    mysql -u root < Pfad liefert mir nach einer Datei und 3 Minuten: Server has gone away.
    PHPMyadmin erlaubt nur das hochladen von 2 MB-Dateien, die Dateien sind alle mindestens 50 MB groß und merke, es muss auch online auf nem shared spaces auch klappen.
    ein PHP Script, was die Inserts der Reihe nach durchprügelt wird ca 4000 Jahre dafür brauchen. (40 Min für 10000 Inserts)
    Load Data Infile liefert mir auch ein Mysql Server has Gone away, das wird online also noch schlimmer werden.
    mysqlimport kann ich online ja nicht nutzen, und er will immer ne Datei, die wie die Tabelle heißt, das wäre dann 500 mb als einzige Datei.
    Ferner hab ich dort in der Datei den autoincrement Index nicht drin, woran er sich scheinbar verschluckt
    SQL Injection kitteh is...

  • #2
    1. Idee: Mit dem Hoster sprechen.
    2. Idee: erweiterte Inserts verwenden.

    Aber direkt über die Komandozeile müsstest du eigentlich erfolgreich werden. Wie "klein" müssen die Dateien denn werden, damit sie abgearbeitet werden? Dann kannst du sie ja ohne Probleme weiter splitten.

    Kommentar


    • #3
      mysqlimport hat sich auch gekillt.
      Mit dem Provider muss ich in der Tat wohl reden, hilft mir aber akkut nicht, die Daten lokal zu laden, auch nicht mit SOURCE und auch nicht mysqlimport.

      Wie klein die sein müssten, damit diese gelesen werden, kann ich nicht sagen, ich weiß nur, dass 2MB eine ganz blöde Idee wäre. 20 MB ist schon eine recht kleine Größe

      Inwiefern können mir erweiterte Inserts helfen?
      SQL Injection kitteh is...

      Kommentar


      • #4
        Lass mysqladmin mal außen vor. Probiers direkt über die Shell.

        Kommentar


        • #5
          Was ist hier die shell? Bin gerade nicht sicher.
          mysql -u root < datei.sql
          Ist das shell genug? Geht ja auch nicht :/, wie erwähnt
          SQL Injection kitteh is...

          Kommentar


          • #6
            Auch nicht mit kleinen Dateien?

            Kommentar

            Lädt...
            X