Odzyskiwanie dysków wirtualnych OLVM/oVirt i migawek oraz danych LUN iSCSI
Co należy zrobić, jeśli maszyna wirtualna OLVM lub oVirt przestaje się uruchamiać, jej dyski znikają z magazynu danych albo wewnątrz gościnnego systemu operacyjnego przypadkowo zostaną usunięte ważne pliki? W tym artykule pokażemy, jak użyć Hetman RAID Recovery do odzyskania usuniętych kopii dysków maszyny wirtualnej z zaszyfrowanego woluminu LVM RAID 6. Podłączymy te dyski w ich bieżącym stanie oraz w stanie zapisanym w migawce utworzonej w OLVM. Porównamy ich zawartość i zapiszemy wymagane pliki bez uruchamiania maszyny wirtualnej.

- KROK 1. Przygotowanie środowiska testowego
- KROK 2. Podłączanie dysków
- KROK 3. Odszyfrowywanie LUKS2 i analiza systemu plików
- KROK 4. Wyszukiwanie i odzyskiwanie dysków OLVM
- KROK 5. Podłączanie odzyskanych dysków jako obrazów
- KROK 6. Analiza dysków i ich migawek
- KROK 7. Podłączanie Synology i wyszukiwanie plików LUN
- KROK 8. Analiza obrazów LUN i odzyskiwanie usuniętych plików
- Wnioski
- Najczęściej zadawane pytania
- Komentarze
OLVM (Oracle Linux Virtualization Manager) oraz oVirt wykorzystują złożoną infrastrukturę pamięci masowej, obejmującą dyski wirtualne, migawki, domeny magazynowe oraz sieciową pamięć masową iSCSI. Awaria serwera, uszkodzenie systemu plików, błędy podczas pracy z pamięcią masową lub awaria fizycznych dysków mogą spowodować utratę dostępu do maszyn wirtualnych i krytycznych danych.
W tym artykule omówimy, jak odzyskać dyski wirtualne, migawki oraz LUN-y iSCSI maszyn wirtualnych OLVM/oVirt po awarii pamięci masowej lub jej uszkodzeniu. Przeanalizujemy strukturę domen magazynowych, relacje między obrazami bazowymi i migawkami oraz metody lokalizowania i przywracania dysków wirtualnych. Szczególną uwagę poświęcimy pracy z LUN-ami iSCSI, podłączaniu uszkodzonej pamięci masowej oraz odzyskiwaniu danych bez ryzyka nadpisania oryginalnych informacji.
Jak odzyskać dyski maszyn wirtualnych OLVM/oVirt, migawki i jednostki iSCSI LUN
KROK 1. Przygotowanie środowiska testowego
Na potrzeby demonstracji przygotowaliśmy środowisko testowe na serwerze Dell PowerEdge R710 z systemem Oracle Linux 9.8.
| Komponent | Specyfikacja i przeznaczenie |
|---|---|
| Serwer | Dell PowerEdge R710 |
| Format obudowy | serwer rack 2U |
| Procesory | Do dwóch procesorów Intel Xeon serii 5500 lub 5600 |
| Architektura CPU | Intel 64, x86-64 |
| Pamięć RAM | Do 288 GB DDR3 ECC Registered (w zależności od konfiguracji) |
| Gniazda pamięci | 18 DIMM |
| Kontroler RAID | Dell PERC 6/i lub H700 (w zależności od konfiguracji) |
| Obsługiwane poziomy RAID | RAID 0, 1, 5, 6, 10, 50, 60 (w zależności od kontrolera) |
| Dyski | Dyski HDD/SSD SAS lub SATA, w zależności od konfiguracji podsystemu dyskowego |
| Interfejsy sieciowe | Wbudowane porty Gigabit Ethernet |
| Gniazda rozszerzeń | PCI Express |
| System operacyjny | Oracle Linux 9.8 |
| Jądro Linux | UEK lub RHCK, w zależności od wybranego jądra |
| Systemy plików | XFS, ext4 oraz inne systemy plików obsługiwane przez Oracle Linux |
| Wirtualizacja | KVM/QEMU |
| Zarządzanie serwerem | Dell iDRAC 6 |
| Przeznaczenie | Wirtualizacja serwerów, przechowywanie danych, praca z maszynami wirtualnymi i pamięcią masową sieciową |
Do serwera podłączono pięć fizycznych dysków. Za pomocą LVM utworzono na nich trzy woluminy logiczne typu RAID 6. Każdy z nich jest rozłożony na wszystkich pięciu dyskach, szyfrowany oddzielnie przy użyciu LUKS2 i sformatowany systemem plików ext4.

Drugi wolumin zawiera pamięć masową OLVM NFS z trzema dyskami maszyny wirtualnej Windows 10: dyskiem systemowym o pojemności 20 GB oraz dwoma dodatkowymi dyskami o pojemności 2 GB (thin i thick).

Po zapełnieniu dysków plikami testowymi utworzyliśmy migawkę maszyny wirtualnej, która zachowała stan wszystkich trzech dysków. Następnie usunęliśmy niektóre pliki z obu dodatkowych dysków 2 GB wewnątrz gościa Windows. Pozwoli to porównać bieżącą zawartość tych dysków ze stanem zapisanym w migawce.
Oddzielnie, w celu weryfikacji odzyskiwania, skopiowaliśmy folder pamięci masowej NFS wraz z plikami dysków, migawką i powiązanymi metadanymi na trzeci zaszyfrowany wolumin, a następnie usunęliśmy tę kopię.

Do systemu Windows 10 podłączono również dwa Direct LUN-y z Synology o pojemności 1 GB i 2 GB. W systemie gościa były widoczne jako oddzielne dyski, z których także usunięto niektóre pliki.
Ich dane nie zostały uwzględnione w migawce maszyny wirtualnej, dlatego te LUN-y zostaną przeanalizowane oddzielnie.
KROK 2. Podłączanie dysków
Przejdź do komputera, na którym zainstalowano Hetman RAID Recovery.
Najpierw odzyskamy kopie dysków maszyny wirtualnej OLVM. W tym celu użyjemy obrazów sektor-po-sektorze pięciu fizycznych dysków serwera. Zawierają one pełną kopię dysków na poziomie sektorów, łącznie z obszarami, w których mogą pozostać usunięte dane, i umożliwiają analizę bez wielokrotnego dostępu do oryginalnych dysków.

Jeśli dyski są sprawne, można je podłączyć bezpośrednio do komputera za pośrednictwem odpowiedniego kontrolera lub zgodnego adaptera. Jednak jeśli dyski są uszkodzone lub niestabilne, lepiej najpierw utworzyć ich pełne obrazy i wykonywać dalszą analizę na ich podstawie.

KROK 3. Odszyfrowywanie LUKS2 i analiza systemu plików
Po podłączeniu dysków Hetman RAID Recovery analizuje metadane LVM i automatycznie wykrywa trzy woluminy logiczne typu RAID 6. Pojawiają się one na ekranie głównym w sekcji RAID Volumes.

Obok woluminów widoczna jest etykieta LUKS, co oznacza, że ich zawartość jest zaszyfrowana. Wybieramy trzeci wolumin, z którego usunięto kopię folderu z pamięcią masową OLVM, i otwieramy go, klikając dwukrotnie. W oknie Odblokuj dysk wprowadzamy hasło lub wskazujemy plik klucza, aby odblokować wolumin.

Po odblokowaniu program wykrywa system plików ext4 i otwiera kreator wyboru typu analizy. Pozostawiamy zaznaczoną opcję Szybkie skanowanie, klikamy Dalej i czekamy na zakończenie skanowania.

W naszym przypadku ten tryb jest wystarczający do odnalezienia usuniętych folderów. Jeśli wymagane dane nie zostaną znalezione w wynikach, można powtórzyć analizę, wybierając Pełna analiza oraz system plików Ext2/3/4. To wyszukiwanie jest dokładniejsze i trwa dłużej.
Po zakończeniu procesu klikamy Zakończ i przechodzimy do odnalezionej struktury katalogów.

KROK 4. Wyszukiwanie i odzyskiwanie dysków OLVM
W wynikach analizy otwieramy odnaleziony folder vm-storage. W jego wnętrzu przechodzimy do folderu domeny magazynowej o nazwie UUID, a następnie do images.

Tutaj widać foldery i pliki z długimi identyfikatorami UUID. W ten sposób OLVM przechowuje dyski wirtualne i ich stany. Obok plików dysków znajdują się powiązane pliki metadanych, które pomagają określić ich parametry i zależności.

Aby później podłączyć dyski wraz z migawką, należy zapisać cały folder vm-storage, wraz z podfolderami i metadanymi. Umożliwi to programowi odnalezienie powiązanych plików i wyświetlenie dostępnych stanów każdego dysku.
Wróć do folderu nadrzędnego, zaznacz vm-storage i kliknij Odzyskiwanie. W kreatorze wybierz zapis na dysk twardy i wskaż folder docelowy na innym fizycznym dysku.

Nie zapisuj odzyskanych plików na dyskach, z których wykonywane jest odzyskiwanie: może to nadpisać dane, które nadal wymagają przywrócenia.
Rozpocznij zapis i poczekaj na jego zakończenie. Następnie podłączymy odzyskany folder pamięci masowej do programu, aby przeanalizować dyski maszyny wirtualnej i jej migawkę.
KROK 5. Podłączanie odzyskanych dysków jako obrazów
Folder pamięci masowej został zapisany. Teraz podłączymy dyski maszyny wirtualnej wraz z migawką, aby uzyskać dostęp do znajdujących się w nich plików.
Kliknij Podłącz dysk. W sekcji Obrazy dysków maszyny wirtualnej wybierz QEMU i kliknij Dalej.

W oknie wyboru wskaż cały odzyskany folder vm-storage, który w naszym środowisku był używany jako pamięć masowa OLVM NFS, i kliknij Wybierz folder. Program sprawdza jego zawartość, odnajduje pliki dysków wirtualnych i określa relacje między ich stanami.

W następnym oknie widoczne są trzy grupy:
- dwa dodatkowe dyski 2 GB;
- thin i thick;
- dysk systemowy 20 GB.
Dla każdego z nich pokazany jest stan migawki oznaczony jako Snapshot #1 oraz stan bieżący oznaczony jako Active. Dla porównania wybieramy oba stany dwóch dodatkowych dysków i klikamy Dalej.

Po zamontowaniu pojawiają się na ekranie głównym jako cztery oddzielne dyski. Program wykrywa na nich partycje NTFS z etykietami THIN-2GB i THICK-2GB. Każda etykieta występuje dwukrotnie, ponieważ zamontowaliśmy dwa stany odpowiedniego dysku.
Teraz każdy z tych stanów można otworzyć i analizować jak zwykły dysk, aby wyświetlić i zapisać wymagane pliki.

KROK 6. Analiza dysków i ich migawek
Zaczniemy od bieżącego stanu jednego z dodatkowych dysków. Otwórz jego partycję NTFS, klikając ją dwukrotnie. W kreatorze analizy wybierz Szybkie skanowanie, kliknij Dalej, a po zakończeniu kliknij Zakończ.

Przejdź do folderu General z danymi testowymi. Widzisz tutaj zarówno istniejące pliki, jak i pliki usunięte podczas pracy w systemie Windows. Program oznacza usunięte elementy czerwonym krzyżykiem.

Teraz otwórz stan migawki tego samego dysku i również uruchom Szybkie skanowanie. Po zakończeniu przejdź do tego samego folderu.
W zapisanym stanie pliki, które zostały później usunięte, są wyświetlane bez czerwonych krzyżyków. W chwili utworzenia migawki nadal znajdowały się one na dysku, dlatego można tutaj odzyskać ich wcześniejsze wersje.
Analiza bieżącego stanu i migawki drugiego dodatkowego dysku przebiega w ten sam sposób.
Sprawdź zawartość wymaganych plików w oknie podglądu. Program umożliwia podgląd dokumentów, obrazów, zawartości archiwów oraz plików wideo.
Wybierz wymagane pliki z bieżącego stanu lub z migawki, kliknij Odzyskiwanie i zapisz je na innym fizycznym dysku.

KROK 7. Podłączanie Synology i wyszukiwanie plików LUN
Przeanalizowaliśmy już dyski OLVM i ich migawkę. Teraz przejdziemy do dwóch Direct LUN-ów z pamięci masowej Synology, z których również usunięto niektóre pliki w systemie Windows.
Łączymy Synology z Hetman RAID Recovery przez SSH.

Po nawiązaniu połączenia program wyświetla dostępne na NAS dyski fizyczne i woluminy. Na liście wybieramy główny wolumin Synology, zaznaczamy go i klikamy Dalej. Program sprawdza jego strukturę i dodaje wolumin do listy dysków.

Otwórz go, klikając dwukrotnie, i uruchom szybkie skanowanie.

W naszym Synology dane iSCSI LUN są przechowywane w katalogu @iSCSI. W zagnieżdżonym katalogu LUN znajdują się foldery FILE i THIN: pierwszy LUN znajduje się w FILE, a drugi w THIN.

Otwórz katalog o nazwie UUID w każdym folderze. W tym środowisku testowym każdy LUN jest reprezentowany przez pojedynczy plik zawierający dane blokowe dysku wcześniej podłączonego do Windows 10. Zaznacz oba pliki, kliknij Odzyskiwanie i zapisz je na innym fizycznym dysku.

KROK 8. Analiza obrazów LUN i odzyskiwanie usuniętych plików
Po zapisaniu LUN 1 i LUN 2 podłącz je do Hetman RAID Recovery jako obrazy dysków. Kliknij Podłącz dysk, wybierz Obrazy dysków RAW i przejdź do następnego kroku.

Ponieważ pliki LUN nie mają standardowego rozszerzenia pliku obrazu, w oknie wyboru zmień filtr na Wszystkie pliki i dodawaj oba pliki po jednym.

Zamontowane obrazy pojawiają się na liście dysków. Program wykrywa ich partycje NTFS.

Otwórz pierwszą partycję LUN, uruchom szybkie skanowanie, a następnie powtórz te kroki dla drugiej. W wynikach można zobaczyć zarówno istniejące pliki, jak i dane usunięte podczas pracy w systemie Windows 10. Program oznacza takie elementy czerwonym krzyżykiem.

Znajdź wymagane dokumenty, zdjęcia, archiwa i nagrania wideo oraz sprawdź ich zawartość w oknie podglądu.
Zaznacz pliki, które chcesz odzyskać, kliknij Odzyskiwanie i zapisz je na dysku fizycznym.
Wnioski
W tym artykule, korzystając z Hetman RAID Recovery, odzyskaliśmy usuniętą kopię pamięci masowej OLVM z zaszyfrowanego woluminu LVM RAID 6. Program automatycznie wykrył strukturę woluminu, a po wprowadzeniu hasła zapewnił dostęp do jego zawartości.
Podłączyliśmy odzyskane dyski wraz z migawką maszyny wirtualnej i porównaliśmy ich stany. W bieżącym stanie odnaleźliśmy usunięte pliki, a w migawce te same pliki były dostępne przed usunięciem. Wymagane dane zostały wyświetlone i zapisane bez uruchamiania Windows ani cofania maszyny wirtualnej.
Oddzielnie podłączyliśmy Synology przez SSH, zapisaliśmy pliki dwóch Direct LUN-ów i przeanalizowaliśmy je jako obrazy dysków. Umożliwiło to odzyskanie danych usuniętych z nich w systemie gościa.







