Festplatten lagern & Datenintegrität

[mcmurphy]

Hi,
habe folgende Frage:
ich arbeite u.a für eine Video Bude und es stellt sich gerade die Frage der Daten Archivierung.
Am besten wäre natürlich die sämtliche Daten redundant auf 2 großen RAIDs zu halten, was aber aufgrund der Datenmengen und der finanziellen Situation nicht möglich ist.
Daher ist angedacht die Daten auf jeweils 2 Festplatten zu speichern - aber wie ließe sich die Qualität der Daten kontrollieren?
Dachte zuerst daran die CRC - Prüfsumme aufzuschreiben und alle 6 Monate zu kontrollieren.
Habe das mit 2 Platten mal gemacht - und siehe, die CRC hat sich nach 6 Monaten geändert - also kein brauchbares Verfahren.
Weiß einer eine zuverlässige Methode mit der ich die Daten Qualität von gelagerten Festplatten überprüfen kann?
Oder wie archiviert ihr größere Datenbestände?

BTW:
mit DLT Bändern habe ich schlechte Erfahrungen gemacht.....

[onemorenerd]

Videodaten kann man i.d.R auch dann noch verwenden, wenn ein paar Bits gekippt sind oder fehlen. Solche Fehler werden entweder bei der Dekompression korrigiert oder es fehlt eben mal ein Frame. Das merkt keiner.
Aber Fehler im Header können fatal sein. Da genügt ein einziges falsches oder fehlendes Bit und die ganze Datei ist unbrauchbar.

Daher erscheint es mir sinnvoll, beim Speichern einer Datei eine Kopie des Headers anzulegen und eine Checksum dessen. Beides natürlich mindestens auf einem anderen Sektor, besser noch auf einem anderen physischen Datenträger. Beim Lesen der Datei musst du dann nur die Checksum des Headers mit der abgelegten ursprünglichen Checksum vergleichen. Stimmen sie nicht überein, prüfst du die Checksum der Kopie des Headers. Stimmt sie, ersetzt du den Header durch die Kopie. Stimmt sie nicht, hast du verloren, denn beide Header sind kaputt.

Soweit zur (platzsparenden) Theorie. Ich würde sowas allerdings nicht selbst* implementieren sondern ein Dateisystem nutzen, das Fehler korrigieren kann. ZFS ist so eins. Es speichert Block-Prüfsummen und kann noch allerhand mehr.
Wenn das nicht geht, gibt es immer noch genügend Alternativen, etwa Parchive (erzeugt Parity Files, mit denen sich die Originaldatei rekonstruieren lässt).

*) Bei Langzeitbackups setze ich auf "Industriestandards". Wegen der höheren Halbwertzeit. Wenn man eine eigene Lösung strickt, muss man sich Gedanken machen, wie man diese Lösung vor Korruption und Verlust schützt, wie man sie auch in vielen Jahren nach vielen OS-Upgrades oder -wechseln noch verwenden kann etc.

[mcmurphy]

THX onemorenerd,
welchen Industriestandard würdest du als sicher bezeichen?

In allgemeinen wird ja die Sicherung auf DLT Bändern als DIE Archivierungsmethode gepriesen.
Hatte aber vor kurzem den Fall das bei einem Kunden von 70 DLT Bändern 8, also 10% defekt waren, sich also nicht mehr lesen ließen.
Zum Glück waren die Bänder doppelt vorhanden.
DLT haben auch den Nachteil das der Zugriff etwas umständlich ist.
lg,
McM

[onemorenerd]

Du möchtest die Daten ja nicht zum Spass archivieren. Du willst ein Backup für den Ernstfall.
Wie kann der Ernstfall aussehen? Na zum Beispiel "Server abgebrannt".
Und dann? Neuen Server einrichten, Backups aufspielen. Sind die Backups auf Band, brauchst du am neuen Server ein Bandlaufwerk.
Heutzutage mag das noch kein Problem sein, aber der Ernstfall tritt ja gewünschter Weise erst in seehr ferner Zukunft ein. Wie leicht wirst du dann an einen Server mit Bandlaufwerk kommen? Und wer trägt die Bänder da hin und nudelt sie alle durch?

Festplatten sind da schon viel "zukunftssicherer". ;-)

Falls du das alles in-house machst, ist das was anderes. Dann kannst du dir heute schon einen zweiten Server mit Bandlaufwerk hinstellen. Falls es mal brennt ...
Jetzt sind wir schon von korrupten Dateien zu Serverbrand gekommen. Aber es ist halt so bei Backups. Was nützt einem ein integerer Datenträger, wenn man den nirgendwo einfach anschließen kann.


Mit Industriestandard meine ich z.B. ZFS.