Gestern am 12.7. ist uns eine Festplatte ausgefallen. SMART Reporting der Festplatte sagte 0 Fehler. Ceph meldete trotzdem plötzlich einen Fehler.
Deep Scrubbing ist die gründlichste Form der Datenprüfung in Ceph. Während ein normales Scrubbing vor allem überprüft, ob alle Replikate eines Objekts vorhanden sind und die Metadaten übereinstimmen, liest ein Deep Scrub zusätzlich den tatsächlichen Inhalt aller Objekte und vergleicht deren Prüfsummen (Checksummen). So können auch stille Datenfehler („Silent Data Corruption“ oder Bit Rot) erkannt werden, die durch normale Zugriffe unbemerkt bleiben. Findet Ceph Abweichungen, markiert es die betroffenen Placement Groups als inconsistent und kann die fehlerhaften Kopien anhand der intakten Replikate wiederherstellen.
Das Problem war also dass eine der drei bestehenden Datenkopien mit den anderen zwei nicht mehr übereinstimmte, obwohl die Festplatte meldete „ich bin gesund“. Die Festplatte wurde getauscht. Danach waren alle 3 Kopien wieder ident. Es wurden keine Daten verloren. Niemand hat von dem Vorfall etwas gemerkt.
3 „Gefällt mir“
Sind diese Checksummen auf Hardware Ebene oder auf Software Dateiebene?
Auf Dateiebene müsste das Filesystem das bereitstellen. Im vollen Umfang kann das meines Wissens nur ZFS. Auf Linux OpenZFS.
ZFS leider nicht Lizenz frei.
Interessant - setzt fast zwingend ECC RAM voraus, und “Bretter“ die das überhaupt beherrschen.
Die Checksummen kommen aus Ceph. Ceph stellt im Normalfall kein Dateisystem zur Verfügung sondern ein Block Device.
Es gibt drauf aufsetzend CephFS - dass ein verteiltes Dateisystem ermöglicht.
1 „Gefällt mir“
Benötigt Ceph und Ceph FS “Serverbretter“ mit Server CPUs und ECC RAM um alle Vorteile voll aus zu spielen?
Ich hab mal gelesen, es gäbe auch andere Möglichkeiten “umgefallene Bits“ zu erkennen, aber das bremst gehörig, mache Dinge müssen mehrfach durchgeführt, Ergebnisse verglichen werden.
Ich vermute nein. Wenn Du kein Serverbrett hat, und ein Bit im Memory umfällt ist das ja ein anderes Problem als auf den Festplatten.
Wir haben aber ausschließlich Serverbretter im Einsatz (HP) weil die Wartbarkeit von Serversystemen dramatisch besser ist, als „ein PC unterm Schreibtisch“.