MYSQL mühe mit so vielen Einträge?

[Entilan]

Ui, das wird nen Spider? Ich hatte es für nen internes Verwaltungssystem gehalten... Wenn die Daten noch deutlich mehr werden, dann würde ich definitiv auf was "stärkeres" umsteigen. Oracle hört sich da für mich nicht so falsch an. Wo bei die Größe meine Kenntnisse übertrifft...

Jep. Dies wird ein spider. Ich denke, das Oracle schon das richtige ist. Wir (AXA Winterthur) haben hier für unser Asset Management ein DWH (Data Warehouse) auf basis Oracle 8 (inim Einsatz. Die Daten belaufen auf über 60 TB. Da sind 1 TB hingegen ein Mückenstich.

Was meinen Edit angeht, ich hatte ursprünglich noch ne Stelle gefunden, aber hatte ne "Kleinigkeit" übersehen. Mein Vorschlag war nämlich längst implementiert.

Ah ok. Dann ist ja gut. Danke dir nochmals, für deine hilfestellung.

[onemorenerd]

Wenn du eh ein Oracle-Instanz zur Verfügung hast, solltest du diese nutzen. MySQLs Fokus liegt definitiv einen Level unter Oracles was Datenvolumen, Optimierung und Features angeht.

Wofür ist denn die Tabelle query_log? Werden dort die Queries protokolliert, die auf die anderen Tabellen abgesetzt werden? Das ist natürlich keine gute Idee, denn es belastet das DBS zusätzlich und bietet kaum einen Mehrwert gegenüber normalen Logfiles oder syslogd.

Es wurde schon erwähnt, dass einige Tabellen keinen Index haben. pending ist ein Beispiel dafür. Vom Namen her vermute ich, dass es quasi die ToDo-Liste für den Crawler ist. Aber wie zieht er sich den nächsten Datensatz? Welches System steckt dahinter? Wenn es LIFO oder FIFO ist, könnte man das in eine Datei auslagern.

Wofür ist temp? Hat auch keinen Index und sieht so aus, als könnte man die Daten darin direkt im RAM halten.