LVM RAID 6 mit LUKS2 und fscrypt wiederherstellen: automatisch und manuell

Der Verlust eines logischen LVM-Volumes, ein RAID-6-Ausfall oder das versehentliche Löschen von Dateien können dazu führen, dass die Daten eines Linux-Servers nicht mehr zugänglich sind. Die Wiederherstellung wird schwieriger, wenn jedes Volume mit LUKS2 verschlüsselt ist und einzelne Verzeichnisse zusätzlich durch fscrypt geschützt sind. Wir betrachten zwei im Test geprüfte Szenarien: die automatische Wiederherstellung von Dateien aus einem bestehenden LVM RAID 6 und die manuelle Rekonstruktion eines gelöschten logischen RAID-6-Volumes, wenn nur drei der fünf Komponenten verfügbar sind.

LVM RAID 6 mit LUKS2 und fscrypt wiederherstellen: automatisch und manuell

Zur Datenwiederherstellung verwenden wir Hetman RAID Recovery. Das Programm analysiert die LVM-Metadaten auf den Laufwerken, ermittelt die RAID-Konfiguration und kann nach dem Entsperren von LUKS2 und der Eingabe der fscrypt-Zugangsdaten wiederherstellbare Dateien finden und speichern. Wurde die Beschreibung eines logischen Volumes aus den aktuellen Metadaten entfernt, lässt sich anhand früherer Einträge versuchen, die Konfiguration manuell zu rekonstruieren.

Im Test erfolgte die Wiederherstellung auf einem Computer mit Windows 11. Hetman RAID Recovery ist auch für Linux und macOS verfügbar. Zum Entschlüsseln von LUKS2 und fscrypt sind die entsprechenden gültigen Passwörter oder Schlüssel erforderlich. Die Rekonstruktion des RAID hebt die Verschlüsselung nicht auf.

Zur Ansicht gehen
LVM RAID 6 mit LUKS2 und fscrypt wiederherstellen – automatisch und manuell

LVM RAID 6 mit LUKS2 und fscrypt wiederherstellen – automatisch und manuell

LVM-RAID-6-Konfiguration und Szenarien des Datenverlusts

Für unseren Test richteten wir den Speicher auf einem Dell PowerEdge R710 mit Oracle Linux ein. Fünf Laufwerke wurden als physische LVM-Volumes (PV) initialisiert und zu einer Volumegruppe (VG) zusammengefasst. In dieser VG erstellten wir drei separate logische Volumes (LV) vom Typ RAID 6. Jedes LV verfügt über eine eigene RAID-6-Konfiguration auf denselben fünf physischen Volumes.

ParameterTestkonfiguration
ServerDell PowerEdge R710
BetriebssystemOracle Linux
VolumeverwaltungLVM2
Physische Volumes5 Laufwerke in einer gemeinsamen VG
Logische Volumes3 unabhängige LVs vom Typ RAID 6
Verschlüsselung jedes LVLUKS2
Dateisystemext4
Zusätzliche Verschlüsselungfscrypt für ein Verzeichnis im ersten LV
Computer für die WiederherstellungWindows 11
Cockpit unter Oracle Linux: fünf physische LVM-Volumes und drei logische Volumes in vg_raid6

Auf dem ersten Volume erstellten wir ein gewöhnliches Verzeichnis und ein weiteres, zusätzlich mit fscrypt verschlüsseltes Verzeichnis. Einige Dateien wurden aus beiden Verzeichnissen gelöscht, die übrigen blieben verfügbar. Anhand dieses Szenarios prüfen wir die automatische RAID-Erkennung, das Entsperren beider Verschlüsselungsebenen und die Suche nach gelöschten Daten.

Ausgabe von fscrypt status für General-fscrypt: AES_256_XTS und Unlocked Yes

Für das zweite Szenario löschten wir das dritte logische Volume über Cockpit. Der folgende Screenshot zeigt die Auswahl des Befehls Delete für dieses Volume. Dass es in der aktuellen LVM-Konfiguration nicht mehr vorhanden ist, wird in den folgenden Schritten bestätigt. Anschließend standen nur drei der fünf erstellten Laufwerksabbilder für die Analyse zur Verfügung. RAID 6 kann den Ausfall von maximal zwei Komponenten verkraften. Eine Rekonstruktion ist daher weiterhin möglich, wenn genügend Daten erhalten sind und die Parameter korrekt ermittelt werden.

Cockpit-Menü mit dem Befehl Delete für das dritte logische Volume raid6_part3

Stellen Sie nach einem Datenverlust alle Schreibzugriffe auf die Laufwerke des Arrays ein. Erstellen Sie kein neues LV anstelle des gelöschten Volumes, initialisieren Sie die Laufwerke nicht und starten Sie keinen RAID-Rebuild, bevor Sie die Abbilder erstellt und die Konfiguration überprüft haben. Auch bei einem korrekt rekonstruierten RAID ist die Wiederherstellung überschriebener Daten nicht garantiert.

Laufwerke anschließen und Abbilder erstellen

Hetman RAID Recovery kann mit direkt angeschlossenen Laufwerken, vollständigen Laufwerksabbildern oder über SSH zugänglichen Blockgeräten eines Linux-Servers arbeiten. Im Test fuhren wir den Server herunter, entnahmen alle fünf Laufwerke und erstellten vollständige Abbilder. Die weitere Analyse erfolgte anhand dieser Abbilder, ohne die ursprünglichen Laufwerke zu verändern.

Zur Datenwiederherstellung von ausgefallenen RAID-Arrays, NAS-Geräten und anderen Speichersystemen mit mehreren Festplatten.

Fügen Sie die Laufwerksabbilder in Hetman RAID Recovery hinzu. Sie erscheinen anschließend im Bereich Mounted Disks. Wenn der Server noch funktioniert und Zugriff auf die benötigten Blockgeräte gewährt, können Sie alternativ eine Verbindung über SSH herstellen.

Fünf Abbilder physischer Laufwerke im Bereich Mounted Disks von Hetman RAID Recovery

Bei Lesefehlern sollten Sie zunächst ein möglichst vollständiges Abbild der lesbaren Sektoren erstellen und mit der Kopie arbeiten. Dadurch lässt sich die Zahl der wiederholten Zugriffe auf potenziell defekte Hardware verringern.

Automatische Datenwiederherstellung aus LVM RAID 6

Nach dem Hinzufügen der fünf Abbilder analysierte das Programm die LVM-Metadaten, bestimmte die Zugehörigkeit und Reihenfolge der Komponenten und rekonstruierte die Struktur der logischen Volumes. Die erkannten Volumes werden im Bereich RAID Volumes angezeigt.

Automatische Erkennung der logischen LVM-RAID-6-Volumes in Hetman RAID Recovery

Wählen Sie das erste logische Volume aus. Überprüfen Sie im Eigenschaftenbereich das RAID-Level RAID 6, die fünf Komponenten und den Status OK. Das verschlüsselte Volume ist mit LUKS und dem Status Locked gekennzeichnet. Solange der Container gesperrt ist, wird sein Dateisystem nicht als gewöhnliches ext4-Volume erkannt.

Eigenschaften des erkannten RAID 6 mit Kennzeichnung LUKS und Status Locked

LUKS2 und fscrypt entsperren und ext4 scannen

Doppelklicken Sie auf das verschlüsselte Volume. Das Programm fordert Sie auf, das LUKS-Passwort einzugeben oder eine Schlüsseldatei auszuwählen. Geben Sie die gültigen Zugangsdaten an und klicken Sie auf Unlock. Nach dem Entsperren steht die Auswahl der Analysemethode für das Dateisystem zur Verfügung.

Dialog zur Eingabe des LUKS2-Passworts oder einer Schlüsseldatei in Hetman RAID Recovery

Wählen Sie zunächst Fast Scan. Dabei erkennt das Programm die Struktur des ext4-Dateisystems und sucht nach Einträgen zu vorhandenen und gelöschten Dateien. Bei der Analyse des Testvolumes erkannte Hetman RAID Recovery das zusätzlich mit fscrypt verschlüsselte Verzeichnis und forderte dessen separate Passphrase an. Geben Sie die korrekte fscrypt-Passphrase ein, um die Analyse der geschützten Inhalte fortzusetzen.

Anforderung der fscrypt-Passphrase bei der Analyse des ext4-Verzeichnisses

Das LUKS2-Passwort entsperrt das verschlüsselte Volume, entschlüsselt aber nicht automatisch die Dateien im fscrypt-Verzeichnis. Für die zweite Schutzebene sind separate gültige Zugangsdaten erforderlich. Wenn der Schnellscan die benötigten Dateien nicht findet, starten Sie Full Analysis.

Abgeschlossener Fast Scan des ext4-Dateisystems in Hetman RAID Recovery

Gelöschte Dateien finden und wiederhergestellte Daten speichern

Nach Abschluss des Scans zeigte das Programm die ursprüngliche Ordnerstruktur an. Sowohl das gewöhnliche Verzeichnis als auch der Inhalt des mit fscrypt geschützten Verzeichnisses waren zugänglich. Gelöschte Elemente sind mit einem Kreuz markiert, sodass sie von den auf dem Volume verbliebenen Dateien unterschieden werden können.

Vorhandene und gelöschte Dateien auf LVM RAID 6, darunter Dateien im fscrypt-Verzeichnis

Nutzen Sie zur Suche nach einer bestimmten Datei den Befehl Find File und geben Sie den vollständigen Dateinamen oder einen Teil davon ein. Aktivieren Sie bei Bedarf die Beachtung der Groß- und Kleinschreibung oder die Suche nach exakten Übereinstimmungen. Prüfen Sie vor dem Kopieren den Dateiinhalt in der Vorschau.

Vorschau einer gefundenen Datei vor der Wiederherstellung in Hetman RAID Recovery

Markieren Sie die gewünschten Dateien oder Ordner, klicken Sie auf Recovery und wählen Sie die Speichermethode sowie den Zielordner aus. Aktivieren Sie die Wiederherstellung der ursprünglichen Ordnerstruktur. Verwenden Sie für die Wiederherstellung ein separates physisches Laufwerk statt lediglich eines anderen Ordners auf demselben Datenträger.

Recovery-Assistent mit der Option Restore folders structure

Speichern Sie die wiederhergestellten Dateien nicht auf den ursprünglichen RAID-6-Laufwerken. Neue Schreibvorgänge könnten weitere verlorene Daten überschreiben. Ein Dateiname in den Suchergebnissen garantiert noch nicht, dass der Dateiinhalt vollständig wiederhergestellt werden kann. Nutzen Sie die Vorschau und öffnen Sie die wiederhergestellten Kopien zur Kontrolle.

Manuelle Rekonstruktion eines gelöschten LVM RAID 6 mit drei Laufwerken

Im zweiten Szenario wurde das dritte logische Volume über Cockpit gelöscht. In der aktuellen LVM-Struktur blieben nur das erste und das zweite LV erhalten; von den ursprünglich fünf Abbildern waren nur drei verfügbar. Die automatische Erkennung des gelöschten Volumes anhand der aktuellen Metadaten liefert nicht mehr das gewünschte Ergebnis. Deshalb suchen wir nach einem älteren Eintrag zu seiner Konfiguration.

Nach dem Löschen des dritten logischen Volumes sind nur noch zwei LVM-Volumes sichtbar

Die nächsten Schritte erfolgen im HEX-Editor und im RAID Constructor. Ermitteln Sie nacheinander die UUIDs der physischen Volumes, die passende Metadatenversion, die Laufwerksreihenfolge, das RAID-Layout und die Grenzen der rimage-Bereiche.

UUIDs physischer LVM-Volumes im HEX-Editor ermitteln

Wählen Sie das erste Laufwerksabbild aus und öffnen Sie den HEX-Editor im rechten Bereich. Klicken Sie auf das Suchsymbol, wählen Sie Search text, geben Sie LABELONE ein und klicken Sie auf Find.

Die Signatur LABELONE kennzeichnet das Label eines physischen LVM-Volumes. In der Nähe finden Sie die Kennung LVM2 001 und die UUID des entsprechenden PV. Notieren Sie den Namen des Laufwerksabbilds und die UUID und wiederholen Sie die Suche bei allen drei verfügbaren Abbildern. Gehen Sie nicht von einer festen Adresse aus, denn die Position des Labels kann variieren.

Suche nach LABELONE, LVM2 001 und der UUID des physischen Volumes im HEX-Editor

Ältere LVM-Metadaten anhand von seqno finden

Öffnen Sie auf einem der Abbilder erneut den HEX-Editor und suchen Sie nach seqno =. Vergleichen Sie die gefundenen Metadatensätze der Volumegruppe. Der Wert seqno kennzeichnet die Version der LVM-Konfiguration. Im Test hatte die aktuelle Version den Wert seqno = 12, enthielt aber bereits keine Beschreibung des gelöschten dritten LV mehr.

Suchen Sie nach dem Namen des fehlenden logischen Volumes, gefolgt von einem Leerzeichen und einer öffnenden geschweiften Klammer. Dadurch finden Sie den Beginn seines Konfigurationsblocks und nicht etwa eine zufällige Übereinstimmung in einem längeren Namen. Wählen Sie unter den passenden Einträgen den neuesten, der die vollständige Beschreibung des gelöschten Volumes enthält. In unserem Fall war dies seqno = 11.

HEX-Editor: LVM-Metadatensatz mit seqno 11 vor dem Löschen des Volumes

Kopieren Sie den vollständigen Text der ausgewählten Metadatenversion in einen Texteditor. Der gezeigte Datensatz enthält seqno = 11; zuvor wurde auch der Eintrag mit seqno = 12 untersucht. So lassen sich die Parameter anhand des ausgewählten Datensatzes prüfen, ohne erneut im HEX-Editor suchen zu müssen.

Reihenfolge der RAID-6-Komponenten anhand von rimage und stripes bestimmen

Suchen Sie in den kopierten Metadaten den Abschnitt physical_volumes und gleichen Sie die UUIDs der PVs mit den neben den Signaturen LABELONE gefundenen UUIDs ab. So ordnen Sie die Laufwerksabbilder den internen Namen der physischen LVM-Volumes zu.

Untersuchen Sie anschließend die Blöcke rimage_0–rimage_4 (bzw. deren Namen in den Metadaten des jeweiligen Volumes). Das Feld stripes zeigt, auf welchem physischen Volume sich jede RAID-Komponente befindet. Für unser Test-Array ergab sich daraus die folgende Reihenfolge, die auch in den Arbeitsnotizen im Screenshot zusammengefasst ist:

RAID-PositionTestkomponente
1Fehlendes Laufwerk (Empty disk)
2mSATA-Laufwerksabbild
3Abbild des 60-GB-Laufwerks
4Fehlendes Laufwerk (Empty disk)
5Abbild des 64-GB-Laufwerks
Zuordnung von pv0–pv4 zu fünf RAID-6-Positionen mit drei verfügbaren Abbildern

Diese Komponentenreihenfolge gilt nur für unser Test-Array. Laufwerksgröße und Schnittstelle allein reichen nicht aus. Für eine andere Konfiguration müssen Sie die Zuordnung UUID → PV → rimage → stripes erneut ermitteln.

Blockgröße und Grenzen von rimage ermitteln

Im Metadatenblock des gelöschten LV finden wir den Typ RAID 6 und die Komponentenanzahl 5. Anschließend notieren wir die Parameter für die manuelle Rekonstruktion:

MetadatenparameterTestwertZweck
stripe size1024 SektorenBlockgröße der RAID-Komponenten
Sektorgröße512 BytesUmrechnung von Sektoren in Bytes
Beginn von rimagePhysical Extent 8562Beginn des Datenbereichs der Komponente
Länge von rimage4267 ExtentsGröße des Datenbereichs einer Komponente
extent_size8192 SektorenGröße eines physischen LVM-Extent
pe_start2048 SektorenOffset zum Beginn des Extent-Bereichs
Arbeitsnotizen und Berechnungen: stripe size, rimage, extent size und pe_start

Der Screenshot fasst die Parameter in den Arbeitsnotizen zusammen; in den ursprünglichen Metadaten steht stripe_size = 1024. Die Blockgröße für das Feld Block size berechnen wir wie folgt: 1024 × 512 = 524288 bytes = 512 KiB. Größe eines Physical Extent: 8192 × 512 = 4194304 bytes = 4 MiB. Beginn des Extent-Bereichs: 2048 × 512 = 1048576 bytes = 1 MiB.

Offset und Size für RAID Constructor berechnen

In unserem Test belegten die PVs jeweils ein ganzes Laufwerk. Der Offset des rimage-Bereichs vom Beginn des vollständigen Laufwerksabbilds entspricht daher der Summe aus pe_start und dem Produkt aus der Nummer des ersten Physical Extent und der Extent-Größe:

Offset = 8562 × 4194304 + 1048576 = 35912679424 bytes.

Size = 4267 × 4194304 = 17897095168 bytes.

Berechnung von Offset 35912679424 Byte und Size 17897095168 Byte für rimage in LVM RAID 6

Diese Werte gelten für die konkrete Testkonfiguration. Befindet sich ein PV innerhalb einer Partition statt auf einem ganzen Laufwerk, berücksichtigen Sie bei der Berechnung des Offsets vom Beginn des vollständigen Abbilds zusätzlich den Startoffset der Partition. Übertragen Sie die Zahlen nicht ungeprüft auf ein anderes Array.

RAID 6 manuell im Hetman RAID Constructor zusammensetzen

Kehren Sie zum Hauptfenster des Programms zurück, klicken Sie auf RAID Constructor, wählen Sie Manual mode und öffnen Sie die Einstellungen. Geben Sie die aus den LVM-Metadaten ermittelten Parameter ein:

RAID Constructor-FeldWert für unser Array
RAID typeRAID 6
Block orderRight Asynchronous
Block size512 KiB
Number of components5 Positionen
Offset der verfügbaren Abbilder35912679424 Byte
Size der verfügbaren Abbilder17897095168 Byte

In unserem Test entsprach das LVM-RAID-6-Layout der Option Right Asynchronous im RAID Constructor. Prüfen Sie bei anderen Konfigurationen die tatsächliche Paritätsanordnung, statt diese Einstellung als allgemein gültig anzunehmen.

Fügen Sie die drei verfügbaren Abbilder und zwei Einträge Empty disk hinzu. Ordnen Sie sie wie folgt an: Empty disk, mSATA-Abbild, 60-GB-Abbild, Empty disk, 64-GB-Abbild. Tragen Sie für jedes der drei verfügbaren Abbilder die berechneten Werte für Offset und Size ein. Für Empty disk ist kein physischer Offset erforderlich. Klicken Sie auf Add.

Manuelle RAID-6-Rekonstruktion mit drei Laufwerksabbildern und zwei Empty disk-Einträgen im RAID Constructor

Rekonstruiertes LUKS2-Volume überprüfen

Nach dem Hinzufügen der Konfiguration erschien das rekonstruierte RAID im Hauptfenster von Hetman RAID Recovery. Das Programm erkannte darin ein etwa 50 GB großes Volume mit einer LUKS-Signatur. Dies ist ein wichtiger Hinweis darauf, dass Komponentenreihenfolge, RAID-Layout, Blockgröße und Offsets zusammenpassen.

Aus drei Abbildern rekonstruiertes RAID 6 mit erkanntem LUKS-Volume von etwa 50 GB

Als Nächstes entsperren Sie das gefundene LUKS2-Volume mit dem Passwort oder der Schlüsseldatei, scannen das ext4-Dateisystem und prüfen die Dateien vor dem Kopieren. Für das gelöschte dritte logische Volume demonstriert der Test die Erkennung von LUKS nach der manuellen Rekonstruktion; die anschließende Entschlüsselung und Wiederherstellung von Dateien aus diesem LV wurden nicht gesondert gezeigt.

Eine LUKS-Signatur ist ein Hinweis auf die korrekte Rekonstruktion, garantiert aber allein weder die Integrität aller Blöcke noch das erfolgreiche Entsperren des Containers oder die Wiederherstellung jeder Datei. Überprüfen Sie das Ergebnis durch Entsperren, Analyse des Dateisystems und Vorschau der Daten.

Fazit

Auf dem Testserver mit Oracle Linux erkannte Hetman RAID Recovery automatisch das bestehende LVM RAID 6 mit fünf Komponenten, erkannte und entsperrte LUKS2 und gewährte nach Eingabe der fscrypt-Passphrase Zugriff auf das zusätzlich geschützte Verzeichnis. Fast Scan fand sowohl vorhandene als auch gelöschte Dateien.

Im zweiten Szenario konnten wir nach dem Löschen des logischen Volumes und dem Ausfall von zwei der fünf Komponenten eine ältere Version der LVM-Metadaten finden, die rimage-Parameter berechnen und RAID 6 manuell zusammensetzen. Das Programm erkannte darin ein LUKS-Volume. Für die praktische Wiederherstellung ist es wichtig, mit Laufwerksabbildern zu arbeiten, die erforderlichen Schlüssel zur Entschlüsselung bereitzuhalten und die gefundenen Dateien auf einem separaten Laufwerk zu speichern.

Glib Khomenko

Autor: , Technischer Schreiber

Hlib Khomenko ist Übersetzer und IT-Techniker im Unternehmen „Hetman Software“. Der Autor hat eine spezialisierte Hochschulausbildung und hat langjährige Erfahrung in der deutschen Übersetzung.

Alexandr Shafarenko

Editor: , Technischer Schreiber

Olexander Schafarenko hat langjährige Erfahrungen im Schreiben von Artikeln. Seine Artikel auf dem Blog wurden von Millionen von Benutzern gelesen. Der Autor hat eine spezialisierte Hochschulausbildung und teilt sein Wissen im Bereich IT mit den Lesern.

Für dich empfohlen