Datenbank skalierbar halten

[carapau]

Guten Morgen,

ich habe die Befürchtung, dass mir demnächst meine Datenbank um die Ohren fliegt und möchte deshalb rechtzeitig vorsorgen.

Die meisten Daten sind statisch gecached und belasten die DB kaum. Hauptproblem ist eine einzige Tabelle, die immer voller wird. Der Benutzer kann die Daten dieser Tabelle nach Belieben sortieren und bearbeiten. Die Abfragen können so individuell gestaltet werden, dass es mit dem Caching nicht gerade einfach wird. Vor Allem, wenn man die alten Werte mit den neuen vergleichen möchte oder detaillierte Statistiken errechnet werden, benötigt das jede Menge Performance. Eventuell die Daten der Benutzer auf mehrere Datenbanken verteilen? Den Adminaufwand traue ich mir leider noch nicht zu.

Was für einen Server bräuchte ich, damit die Tabelle (siehe unten) auch bei 4,8 Mio. Einträgen pro Jahr(!) noch einigermaßen fix ist? Ich arbeite mich momentan erst in Linux, Server, etc. ein und mir graust es vor einem Cluster.

Mir fällt momentan nur ein, dass man die Aufgaben (DB, Apache, E-Mail, Multimedia, ...) auf verschiedene Server verteilen sollte und die Datenbank an sich optimieren. Wie würdet ihr das Problem lösen/angehen?

Tabellen-Struktur:
- int(10) [AI, PK]
- int(10)
- decimal(5,0)
- tinyint(3)
- tinyint(3)
- int(11)
- varchar(255)
- int(6)
- int(6)
- int(11)
- int(10)

[mermshaus]

Vor Allem, wenn man die alten Werte mit den neuen vergleichen möchte oder detaillierte Statistiken errechnet werden, benötigt das jede Menge Performance. Eventuell die Daten der Benutzer auf mehrere Datenbanken verteilen?

Diese Aussagen mögen für dich Sinn ergeben, für uns aber nicht, da wir deinen Kontext nicht kennen.

Ein allgemeiner Tipp ist, auf jede Spalte, die als „signifikante“ Spalte in einer WHERE-Bedingung vorkommen kann, einen Index zu legen und LIMIT-Clauses zu nutzen.

[carapau]

@mermshaus: Danke für deine Antwort. Index und LIMIT sind klar, aber stößt das nicht auch irgendwann an seine Grenzen bzw. ab wann sollte man sich Gedanken darüber machen?

Um den Sinn noch mal zu verdeutlichen:
Es ist ein Statistikprogramm. User pflegen ihre Daten ein und können diese dann nach belieben verändern, vergleichen und sich relativ komplexe Statistiken berechnen lassen.

Momentan hole ich alle Datensätze WHERE timestamp > start und timestamp < ende ist. Sortieren und weiteres Filtern passiert mittels JS. Was aber wenn der User das Datum nur um einen Tag erweitert? Momentan wird nicht nur dieser Tag hinzugeladen, sondern alle Datensätze komplett neu geholt.

Eine wirklich gute Cachingmethode habe ich noch nicht gefunden.