MYSQL mühe mit so vielen Einträge?

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • MYSQL mühe mit so vielen Einträge?

    Hallo Zusammen


    ich glaube, dass MySql mühe hat mit so vielen Einträge und zu grossen Datenbank (z.B. selects brauchen bis zu stunden, bis der Results bekommt)? Ich hab damit gerechnet, dass es bis zu 2 TB sein wird, daher die Infrastrucktur dementsprechend bereitgestellt.

    Aber MySql ist wohl nicht die richtige Lösung für so grosse Datenmengen. Oder wie sieht ihr das?

    Im Anhang die Statistik (Aufereitungszeit: 35 Minuten).
    Gruss
    Entilan

    ------------------------
    SIE LIEBEN ES - WIR VERSICHERN ES!

  • #2
    Wo ist der Anhang?

    Kommentar


    • #3
      sry.

      Gruss
      Entilan

      ------------------------
      SIE LIEBEN ES - WIR VERSICHERN ES!

      Kommentar


      • #4
        Prinzipiell müsste das laufen, was hast du denn da für einen Rechner hinter? Indizes / etc hast du aber schon gesetzt oder?
        Die Regeln | rtfm | register_globals | strings | SQL-Injections | [COLOR=silver][[/COLOR][COLOR=royalblue]–[/COLOR][COLOR=silver]][/COLOR]

        Kommentar


        • #5
          ich hab soweit alles optmiert. Index erstellt etc. Aber einfache abfragen wie statistik dauert ewig.
          Gruss
          Entilan

          ------------------------
          SIE LIEBEN ES - WIR VERSICHERN ES!

          Kommentar


          • #6
            Eine DB im Terrabyte-Bereich ist schon ziemlich fett.

            Wenn du das DB-Schema als Attachment bereitstellst, kann man genauere Aussagen treffen. Mit den bisher genannten Zahlen kann ich erstmal nicht viel anfangen.

            Kommentar


            • #7
              bitte keine Dumps posten

              php-Entwicklung | ebiz-consult.de
              PHP-Webhosting für PHP Entwickler | ebiz-webhosting.de
              die PHP Marktplatz-Software | ebiz-trader.de

              Kommentar


              • #8
                OffTopic:
                Beim erstellen eines Dumps kann man sich auch auf die Struktur beschränken. [COLOR=silver]Ja, ich weiß, das sollte ein Witz sein...[/COLOR]

                Kommentar


                • #9
                  Original geschrieben von Berni
                  bitte keine Dumps posten
                  Hehe.. ^^ viel spass beim runterladen und wieder hochladen. ^^

                  Ich werde nur mal die Strucktur dumpen.
                  Angehängte Dateien
                  Gruss
                  Entilan

                  ------------------------
                  SIE LIEBEN ES - WIR VERSICHERN ES!

                  Kommentar


                  • #10
                    Also was mir auf die Schnell auffällt:

                    link_keyword1,2,3 ... d,e,f würde ich mal verteufeln. Kann eigentlich nicht gewollt sein.
                    Dann fallen mir beim drüberfliegen viele Tabellen ganz ohne Key auf, einige ohne primary-key

                    Hehe.. ^^ viel spass beim runterladen und wieder hochladen. ^^
                    Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht.

                    Kommentar


                    • #11
                      Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht
                      OffTopic:

                      Irgendwie glaube ich, dass eine Datei im TB-Bereich es gar nicht bis zum Server geschafft hätte. Da hätte wohl der Client als erstes abgeraucht

                      Gutes Tutorial | PHP Manual | MySql Manual | PHP FAQ | Apache | Suchfunktion für eigene Seiten

                      [color=red]"An error does not become truth by reason of multiplied propagation, nor does truth become error because nobody sees it."[/color]
                      Mohandas Karamchand Gandhi (Mahatma Gandhi) (Source)

                      Kommentar


                      • #12
                        Original geschrieben von TobiaZ
                        Also was mir auf die Schnell auffällt:

                        link_keyword1,2,3 ... d,e,f würde ich mal verteufeln. Kann eigentlich nicht gewollt sein.
                        Dann fallen mir beim drüberfliegen viele Tabellen ganz ohne Key auf, einige ohne primary-key

                        Ne ne, der hatte nur Angst, dass der Server diesmal total abraucht.
                        sag jetzt nicht, dass es so ein spassvogel gab und so ein file hochgeladen hat. *grins*

                        es hat einen bestimmten grund, warum link_keywordX.
                        Es werden alle Wörter im Keyword Tabelle gespeichert. Die Tabellen link_keywordX sind sogenannten Verlinkungstabellen zwischen Keyword, Domain und Hyperlink Tabelle.

                        Die Verlinkungstabellen ergeben gesamte Summe von über 90mio rows.
                        Das einige Tabellen ohne Key auskommt, ist auch gewollt. Da zum beispiel die Domaintabelle den Key nicht braucht.
                        Gruss
                        Entilan

                        ------------------------
                        SIE LIEBEN ES - WIR VERSICHERN ES!

                        Kommentar


                        • #13
                          sag jetzt nicht, dass es so ein spassvogel gab und so ein file hochgeladen hat. *grins*
                          Nee, das verhindert das Forum automatisch, aber der Server hustet(e) in letzter Zeit trotzdem gewaltig.

                          Aber zurück zu deinem Problem. (Ist ja schön, dass wir auch noch mal was reinbekommen, was sich nicht über die Suche erledigen lässt...)

                          Leider ist es von Extern aber auch was schwer sich da reinzudenken (zumindest so nebenbei).

                          EDIT:
                          nee, war quatsch. Hatte was übersehen...


                          Naja, soll der ghostgambler sich mal angucken. Sehe da auf anhieb nicht mehr wirklich optimierungspotential, wobei mir natürlich auch die Abfragen unbekannt sind.

                          90mio ist aber auch wirklich ne menge...

                          Kommentar


                          • #14
                            Nee, das verhindert das Forum automatisch, aber der Server hustet(e) in letzter Zeit trotzdem gewaltig.
                            Hehe.. jeder wird mal alt und gebrechig.

                            Aber zurück zu deinem Problem. (Ist ja schön, dass wir auch noch mal was reinbekommen, was sich nicht über die Suche erledigen lässt...)
                            Ich hab die Google gesucht und auch hier im Forum. Leider sind die Antworten für mich nicht ausreichend. Bevor ich weiter an meinem Spider entwickle, möchte ich wissen, ob der mysql den Datenstrom gewachsen ist, oder ich auf Oracle10 umsteige. Die Daten wurden innerhalb von 2 wochen befüllt.

                            EDIT:
                            nee, war quatsch. Hatte was übersehen...
                            Hmm? Was meinst du damit?



                            Naja, soll der ghostgambler sich mal angucken. Sehe da auf anhieb nicht mehr wirklich optimierungspotential, wobei mir natürlich auch die Abfragen unbekannt sind.
                            Jo, das mit der optimierung hab ich auch schon versucht und komme da nicht auf einem Nenner. Dann erhoffe ich mal auf das statment vom Gambler.

                            90mio ist aber auch wirklich ne menge...
                            Jep.. und tendenz sehr stark steigend. hab bereits wieder Platten gekauft.
                            Kaum vorstellbar, dass dies eigendlich nur einen Testlauf ist.


                            Achso, wollte noch anmerken, dass ich die Hilfe hier super finde. Fast so gut wie unser Helpdesk bei der AXA. *grins*
                            Gruss
                            Entilan

                            ------------------------
                            SIE LIEBEN ES - WIR VERSICHERN ES!

                            Kommentar


                            • #15
                              Ui, das wird nen Spider? Ich hatte es für nen internes Verwaltungssystem gehalten... Wenn die Daten noch deutlich mehr werden, dann würde ich definitiv auf was "stärkeres" umsteigen. Oracle hört sich da für mich nicht so falsch an. Wo bei die Größe meine Kenntnisse übertrifft...

                              Was meinen Edit angeht, ich hatte ursprünglich noch ne Stelle gefunden, aber hatte ne "Kleinigkeit" übersehen. Mein Vorschlag war nämlich längst implementiert.

                              Kommentar

                              Lädt...
                              X