Jak odzyskać LVM RAID 6 z LUKS2 i fscrypt: automatycznie i ręcznie

Utrata woluminu logicznego LVM, awaria RAID 6 lub przypadkowe usunięcie plików mogą uniemożliwić dostęp do danych na serwerze Linux. Odzyskiwanie jest trudniejsze, gdy każdy wolumin jest szyfrowany za pomocą LUKS2, a niektóre katalogi są dodatkowo chronione przez fscrypt. Omawiamy dwa sprawdzone w laboratorium scenariusze: automatyczne odzyskiwanie plików z istniejącego LVM RAID 6 oraz ręczną rekonstrukcję usuniętego woluminu logicznego RAID 6, gdy dostępne są tylko trzy z pięciu elementów macierzy.

Jak odzyskać LVM RAID 6 z LUKS2 i fscrypt: automatycznie i ręcznie

Do odzyskiwania danych użyjemy programu Hetman RAID Recovery. Analizuje on metadane LVM na dyskach, ustala konfigurację RAID, a po odblokowaniu LUKS2 i wprowadzeniu danych uwierzytelniających fscrypt pozwala odnaleźć oraz zapisać pliki możliwe do odzyskania. Jeśli opis woluminu logicznego usunięto z bieżących metadanych, można spróbować ręcznie odtworzyć konfigurację na podstawie wcześniejszych zapisów.

W teście odzyskiwanie przeprowadzono na komputerze z systemem Windows 11. Hetman RAID Recovery jest również dostępny dla systemów Linux i macOS. Do odszyfrowania danych chronionych przez LUKS2 i fscrypt potrzebne są odpowiednie prawidłowe hasła lub klucze. Rekonstrukcja RAID nie znosi szyfrowania.

Przejdź do widoku
Jak odzyskać LVM RAID 6 z LUKS2 i fscrypt? Automatycznie i ręcznie

Jak odzyskać LVM RAID 6 z LUKS2 i fscrypt? Automatycznie i ręcznie

Konfiguracja LVM RAID 6 i scenariusze utraty danych

Środowisko testowe przygotowaliśmy na serwerze Dell PowerEdge R710 z systemem Oracle Linux. Pięć dysków zainicjowaliśmy jako woluminy fizyczne LVM (PV), a następnie połączyliśmy je w jedną grupę woluminów (VG). Utworzyliśmy w niej trzy osobne woluminy logiczne (LV) typu RAID 6; każdy ma własny układ RAID 6 oparty na tych samych pięciu PV.

ParametrKonfiguracja testowa
SerwerDell PowerEdge R710
System operacyjnyOracle Linux
Zarządzanie woluminamiLVM2
Woluminy fizyczne5 dysków we wspólnej VG
Woluminy logiczne3 niezależne LV typu RAID 6
Szyfrowanie każdego LVLUKS2
System plikówext4
Dodatkowe szyfrowaniefscrypt w katalogu pierwszego LV
Komputer do odzyskiwaniaWindows 11
Cockpit w Oracle Linux: pięć woluminów fizycznych LVM i trzy woluminy logiczne grupy vg_raid6

Na pierwszym woluminie utworzyliśmy zwykły katalog oraz drugi, dodatkowo szyfrowany przez fscrypt. Część plików z obu katalogów usunęliśmy, a pozostałe nadal były dostępne. Ten scenariusz posłuży do sprawdzenia automatycznego wykrywania RAID, odblokowania dwóch warstw szyfrowania i wyszukiwania usuniętych danych.

Wynik fscrypt status dla katalogu General-fscrypt: AES_256_XTS i Unlocked Yes

W drugim scenariuszu usunęliśmy trzeci wolumin logiczny za pomocą Cockpit. Poniższy zrzut ekranu przedstawia wybór polecenia Delete dla tego woluminu; jego brak w bieżącej konfiguracji LVM potwierdzimy w kolejnych krokach. Spośród pięciu utworzonych obrazów dysków pozostawiliśmy do analizy tylko trzy. RAID 6 toleruje utratę najwyżej dwóch elementów, więc rekonstrukcja jest nadal możliwa, jeśli zachowało się wystarczająco dużo danych i prawidłowo określono parametry.

Polecenie Delete dla woluminu raid6_part3 w Cockpit

Po utracie danych przerwij zapis na dyskach macierzy. Nie twórz nowego LV w miejscu usuniętego, nie inicjalizuj nośników i nie rozpoczynaj przebudowy RAID przed wykonaniem obrazów i sprawdzeniem konfiguracji. Nawet poprawna rekonstrukcja RAID nie gwarantuje odzyskania nadpisanych danych.

Podłączanie dysków i tworzenie obrazów

Hetman RAID Recovery może analizować dyski podłączone bezpośrednio, pełne obrazy nośników oraz urządzenia blokowe serwera Linux dostępne przez SSH. W naszym teście wyłączyliśmy serwer, wyjęliśmy pięć dysków i wykonaliśmy ich kompletne obrazy. Pracowaliśmy na kopiach, nie zmieniając zawartości oryginałów.

Do odzyskiwania danych z uszkodzonych macierzy RAID, urządzeń NAS i innych wielodyskowych systemów pamięci masowej.

Dodaj obrazy do programu. Zostaną wyświetlone w sekcji Mounted Disks. Jeśli serwer nadal działa, można także uzyskać dostęp do odpowiednich urządzeń blokowych przez SSH.

Pięć obrazów dysków w sekcji Mounted Disks programu Hetman RAID Recovery

Jeśli dysk ma błędy odczytu, najlepiej najpierw wykonać możliwie pełny obraz czytelnych sektorów i pracować na kopii. Ogranicza to liczbę ponownych odczytów potencjalnie uszkodzonego nośnika.

Automatyczne odzyskiwanie danych z LVM RAID 6

Po dodaniu pięciu obrazów program przeanalizował metadane LVM, ustalił przynależność i kolejność elementów macierzy oraz odtworzył strukturę woluminów logicznych. Wykryte woluminy są wyświetlane w sekcji RAID Volumes.

Automatycznie rozpoznane woluminy logiczne LVM RAID 6

Wybierz pierwszy wolumin logiczny. W panelu właściwości sprawdź poziom RAID 6, obecność pięciu elementów oraz stan OK. Zaszyfrowany wolumin ma oznaczenie LUKS i status Locked. Dopóki kontener jest zablokowany, jego wewnętrzny system plików nie jest rozpoznawany jako zwykły wolumin ext4.

Właściwości RAID 6: pięć składników, LUKS i status Locked

Odblokowanie LUKS2 i fscrypt oraz analiza ext4

Kliknij dwukrotnie zaszyfrowany wolumin. Program poprosi o podanie hasła LUKS lub wybór pliku klucza. Wprowadź prawidłowe dane i kliknij Unlock. Po odblokowaniu można wybrać metodę analizy systemu plików.

Okno podawania hasła lub pliku klucza LUKS2

Najpierw wybierz Fast Scan. Program rozpoznaje strukturę ext4 i wyszukuje wpisy dotyczące plików, także usuniętych. Podczas analizy testowego woluminu Hetman RAID Recovery wykrył katalog dodatkowo szyfrowany za pomocą fscrypt i poprosił o jego osobne hasło. Wprowadź prawidłowe hasło fscrypt, aby kontynuować analizę chronionej zawartości.

Okno osobnego hasła do katalogu szyfrowanego fscrypt

Hasło LUKS2 odblokowuje zaszyfrowany wolumin, ale samo nie odszyfrowuje plików w katalogu fscrypt. Druga warstwa ochrony wymaga osobnych prawidłowych danych uwierzytelniających. Jeśli szybkie skanowanie nie znajdzie potrzebnych plików, uruchom Full Analysis.

Wynik skanowania Fast Scan systemu plików ext4

Wyszukiwanie usuniętych plików i zapisywanie danych

Po zakończeniu analizy program wyświetlił pierwotną strukturę katalogów. Dostępne są zarówno zwykły katalog, jak i zawartość katalogu chronionego przez fscrypt. Usunięte elementy są oznaczone krzyżykiem, dzięki czemu można odróżnić je od plików, które pozostały na woluminie.

Znalezione istniejące i usunięte pliki wraz z katalogiem fscrypt

Funkcja Find File pozwala znaleźć pliki według całej nazwy lub jej fragmentu. Można włączyć rozróżnianie wielkości liter lub dopasowanie dokładne. Przed odzyskiwaniem sprawdź zawartość plików w oknie podglądu.

Podgląd zawartości znalezionego pliku przed odzyskaniem

Zaznacz pliki lub foldery, kliknij Recovery, wybierz sposób i miejsce zapisu, a następnie zaznacz przywracanie oryginalnej struktury folderów. Zapisz wyniki na innym dysku fizycznym, nie tylko w innym katalogu dysku źródłowego.

Kreator Recovery z opcją Restore folders structure

Nie zapisuj odzyskanych plików na dyskach źródłowej macierzy RAID 6: nowe operacje zapisu mogą nadpisać inne utracone dane. Sama obecność nazwy pliku w wynikach skanowania nie gwarantuje, że można odzyskać całą jego zawartość. Korzystaj z podglądu i otwieraj odzyskane kopie, aby sprawdzić je po zapisaniu.

Ręczna rekonstrukcja usuniętego woluminu LVM RAID 6 z trzech dysków

W drugim scenariuszu trzeci wolumin logiczny usunięto za pomocą Cockpit. W bieżącej konfiguracji LVM pozostały tylko pierwszy i drugi LV, a spośród pięciu początkowych obrazów dostępne są tylko trzy. Automatyczne wykrywanie usuniętego woluminu na podstawie bieżących metadanych nie przynosi już oczekiwanego rezultatu. Odszukamy więc wcześniejszy zapis jego konfiguracji.

Po usunięciu trzeciego woluminu wyświetlane są tylko dwa woluminy LVM

Kolejne czynności wykonamy w narzędziach HEX-Editor i RAID Constructor. Należy kolejno ustalić UUID woluminów fizycznych, odpowiednią wersję metadanych, kolejność dysków, układ RAID oraz granice obszarów rimage.

Jak znaleźć UUID woluminów fizycznych LVM w HEX-Editor

Wybierz pierwszy obraz dysku i otwórz HEX-Editor w prawym panelu. Kliknij ikonę wyszukiwania, wybierz Search text, wpisz LABELONE i kliknij Find.

Sygnatura LABELONE wskazuje etykietę woluminu fizycznego LVM. W pobliżu można znaleźć oznaczenie LVM2 001 i UUID odpowiedniego PV. Zapisz nazwę obrazu i UUID, a następnie powtórz wyszukiwanie na wszystkich trzech dostępnych obrazach. Nie zakładaj stałego adresu, ponieważ położenie etykiety może się różnić.

Sygnatury LABELONE i LVM2 001 oraz UUID woluminu fizycznego

Wyszukiwanie starszych metadanych LVM według seqno

Na jednym z obrazów ponownie otwórz HEX-Editor i wyszukaj tekst seqno =. Porównaj znalezione zapisy metadanych grupy woluminów. Wartość seqno oznacza wersję konfiguracji LVM. W teście bieżąca wersja miała seqno = 12, ale nie zawierała już opisu usuniętego trzeciego LV.

Wyszukaj nazwę brakującego woluminu logicznego, dodając do zapytania spację i otwierający nawias klamrowy. Pozwoli to znaleźć początek jego bloku konfiguracji, a nie przypadkowe dopasowanie w dłuższej nazwie. Spośród odpowiednich zapisów wybierz najnowszy zawierający pełny opis usuniętego woluminu. U nas był to seqno = 11.

Poprzednia wersja metadanych LVM o numerze seqno 11

Skopiuj pełny tekst wybranej wersji metadanych do edytora tekstu. Główny zrzut przedstawia seqno = 11; podczas testu sprawdzono również zapis seqno = 12. Można w ten sposób porównywać parametry na podstawie wybranego zapisu bez ponownego wyszukiwania w HEX-Editor.

Ustalanie kolejności dysków za pomocą rimage i stripes

W skopiowanych metadanych znajdź sekcję physical_volumes i zestaw UUID każdego PV z UUID znalezionymi przy sygnaturach LABELONE. W ten sposób powiążesz obrazy dysków z wewnętrznymi nazwami woluminów fizycznych LVM.

Następnie sprawdź bloki rimage_0–rimage_4 (lub odpowiadające im nazwy w metadanych konkretnego woluminu). Pole stripes wskazuje, na którym woluminie fizycznym znajduje się każdy element RAID. W naszym teście ustaliliśmy poniższą kolejność, podsumowaną również na zrzucie notatek roboczych:

Pozycja RAIDSkładnik w teście
1Brakujący dysk (Empty disk)
2Obraz dysku mSATA
3Obraz dysku 60 GB
4Brakujący dysk (Empty disk)
5Obraz dysku 64 GB
Powiązanie pv0–pv4 z pięcioma pozycjami RAID 6 i trzema dostępnymi obrazami

Ta kolejność dotyczy wyłącznie naszej macierzy testowej. Rozmiar dysku lub rodzaj interfejsu nie wystarczą do określenia pozycji w innej macierzy. Dla innej konfiguracji ustal własne powiązanie UUID → PV → rimage → stripes.

Ustalanie rozmiaru bloku i granic obszarów rimage

W bloku metadanych usuniętego LV znaleźliśmy typ RAID 6 i liczbę elementów — 5. Następnie zapisaliśmy parametry potrzebne do ręcznej rekonstrukcji:

Parametr metadanychWartość testowaPrzeznaczenie
stripe size1024 sektoryRozmiar bloku elementu RAID
Rozmiar sektora512 bajtówPrzeliczenie sektorów na bajty
Początek rimageEkstent fizyczny 8562Początek obszaru danych elementu
Długość rimage4267 ekstentówRozmiar obszaru jednego elementu
extent_size8192 sektoryRozmiar ekstentu fizycznego LVM
pe_start2048 sektorówPrzesunięcie początku obszaru ekstentów
Parametry stripe size, rimage, extent_size i pe_start

Zrzut przedstawia parametry zebrane w notatkach roboczych; w metadanych źródłowych widnieje stripe_size = 1024. Rozmiar bloku dla pola Block size obliczamy następująco: 1024 × 512 = 524288 bajtów = 512 KiB. Rozmiar ekstentu fizycznego: 8192 × 512 = 4194304 bajty = 4 MiB. Początek obszaru ekstentów: 2048 × 512 = 1048576 bajtów = 1 MiB.

Obliczanie Offset i Size w RAID Constructor

W teście wszystkie PV zajmowały całe dyski. Przesunięcie obszaru rimage od początku pełnego obrazu dysku jest zatem sumą pe_start i iloczynu numeru początkowego ekstentu fizycznego oraz rozmiaru ekstentu:

Offset = 8562 × 4194304 + 1048576 = 35912679424 bajty.

Size = 4267 × 4194304 = 17897095168 bajtów.

Obliczenie Offset 35912679424 i Size 17897095168 bajtów

Te wartości dotyczą wyłącznie konfiguracji testowej. Jeśli PV znajduje się na partycji, a nie zajmuje całego dysku, przy obliczaniu przesunięcia względem początku pełnego obrazu uwzględnij również początek partycji. Nie stosuj podanych liczb do innej macierzy bez weryfikacji jej metadanych.

Ręczne składanie RAID 6 w Hetman RAID Constructor

Wróć do głównego okna programu, kliknij RAID Constructor, wybierz Manual mode i przejdź do ustawień. Wprowadź parametry ustalone na podstawie metadanych LVM:

Pole RAID ConstructorWartość dla naszej macierzy
RAID typeRAID 6
Block orderRight Asynchronous
Block size512 KiB
Number of components5 pozycji
Offset dostępnych obrazów35912679424 bajty
Size dostępnych obrazów17897095168 bajtów

W naszym teście układowi LVM RAID 6 odpowiadała opcja Right Asynchronous w RAID Constructor. W innych konfiguracjach należy sprawdzić rzeczywisty schemat rozmieszczenia bloków parzystości, zamiast zakładać, że ta opcja pasuje zawsze.

Dodaj trzy dostępne obrazy i dwa elementy Empty disk. Ustaw je w kolejności ustalonej na podstawie metadanych: Empty disk, obraz mSATA, obraz dysku 60 GB, Empty disk, obraz dysku 64 GB. We właściwościach każdego z trzech dostępnych obrazów wprowadź obliczone wartości Offset i Size. Dla Empty disk nie trzeba określać fizycznego przesunięcia. Kliknij Add.

Ręczna konfiguracja RAID 6 z trzema obrazami i dwoma Empty disk

Weryfikacja zrekonstruowanego woluminu LUKS2

Po dodaniu konfiguracji zrekonstruowana macierz RAID pojawiła się w głównym oknie Hetman RAID Recovery. Program wykrył w jej wnętrzu wolumin o rozmiarze około 50 GB z sygnaturą LUKS. Jest to ważna wskazówka, że kolejność elementów, układ RAID, rozmiar bloku i przesunięcia zostały dobrane spójnie.

Zrekonstruowany RAID 6 z wykrytym woluminem LUKS o wielkości około 50 GB

Następnie należy odblokować znaleziony wolumin LUKS2 za pomocą prawidłowego hasła lub pliku klucza, przeskanować ext4 i sprawdzić pliki przed ich skopiowaniem. W przypadku usuniętego trzeciego woluminu logicznego test pokazuje wykrycie LUKS po ręcznej rekonstrukcji; wyników późniejszego odszyfrowania i odzyskiwania plików z tego LV nie przedstawiono oddzielnie.

Sygnatura LUKS jest oznaką prawidłowej rekonstrukcji, ale sama nie gwarantuje integralności wszystkich bloków, możliwości odblokowania kontenera ani odzyskania każdego pliku. Sprawdź rezultat przez odblokowanie woluminu, analizę systemu plików i podgląd danych.

Podsumowanie

Na serwerze testowym z Oracle Linux program Hetman RAID Recovery automatycznie rozpoznał istniejący LVM RAID 6 z pięcioma elementami, rozpoznał i odblokował LUKS2, a po wprowadzeniu hasła fscrypt udostępnił dodatkowo chroniony katalog. Fast Scan znalazł pliki istniejące i usunięte.

W drugim scenariuszu po usunięciu woluminu logicznego i utracie dwóch z pięciu elementów odszukaliśmy starszą wersję metadanych LVM, obliczyliśmy parametry rimage i ręcznie zrekonstruowaliśmy RAID 6. Program wykrył w macierzy wolumin LUKS. W praktyce pracuj na obrazach dysków, miej dostęp do potrzebnych kluczy odszyfrowujących i zapisuj znalezione pliki na innym fizycznym nośniku.

Oksana Volyniuk

Autor: , Pisarz techniczny

Oksana Volyniuk jest autorem pracującym w Hetman Software. Ma prawie trzyletnie doświadczenie w zakresie technologii IT, a wcześniej pracowała jako HR menedżer w IT kompanii. Oksana kocha technologię i jest zapalona tworzeniem każdego aktykułu, który może pomóć ludziom.

Michał Mirosznyczenko

Redaktor: , Pisarz techniczny

Michał Mirosznyczenko jest jednym z czołowych programistów firmy Hetman Software. Bazując na piętnastoletnim doświadczeniu w tworzeniu oprogramowania, dzieli się swoją wiedzą z czytelnikami naszego bloga. Oprócz programowania Michał jest ekspertem w dziedzinie odzyskiwania danych, systemów plików, urządzeń do przechowywania danych i macierzy RAID.

Rekomendujemy