Jak odzyskać dane bhyve we FreeBSD: IMG, ZVOL i migawki ZFS

Jak odzyskać pliki maszyny wirtualnej bhyve we FreeBSD, jeśli jej dyski IMG i ZVOL stały się niedostępne po usunięciu puli ZFS? Co zrobić, gdy pliki zostały usunięte z systemu gościa Windows, ale zachowała się migawka? Na przykładzie pięciodyskowej macierzy ZFS RAIDZ2 pokażemy, jak Hetman RAID Recovery odnajduje zniszczoną pulę na podstawie trzech dostępnych dysków, otwiera obrazy IMG oraz zwykłe i rzadkie woluminy ZVOL, a także odzyskuje dane ze starszego stanu dysków wirtualnych bez uruchamiania maszyny.

Jak odzyskać dane bhyve we FreeBSD: IMG, ZVOL i migawki ZFS

Odzyskiwanie danych bhyve obejmuje dwie warstwy: najpierw trzeba uzyskać dostęp do magazynu FreeBSD, a następnie do systemu plików wewnątrz dysku wirtualnego. Utrata puli ZFS i usunięcie plików w systemie gościa to różne problemy, dlatego omówimy je osobno.

W pierwszym scenariuszu zniszczono pulę pool3 i usunięto jej partycje GPT, ale plików znajdujących się w kopiach dysków wirtualnych nie kasowano. W drugim scenariuszu pula pool2 pozostała dostępna, jednak pliki testowe w Windows 10 usunięto przez Shift+Delete. Ich poprzedni stan zachował się w migawce ZFS.

Do analizy używamy Hetman RAID Recovery na komputerze z Windows. Program jest również dostępny na Linux i macOS.

Przejdź do widoku
Jak odzyskać dane VM bhyve we FreeBSD: IMG, ZVOL i usunięte pliki

Jak odzyskać dane VM bhyve we FreeBSD: IMG, ZVOL i usunięte pliki

Środowisko testowe: FreeBSD, bhyve i ZFS RAIDZ2

Na serwerze FreeBSD skonfigurowaliśmy hiperwizor bhyve i maszynę wirtualną z Windows 10. Zarządzanie jej dyskami przedstawiono w interfejsie bhyvemgr. Magazyn obejmuje pięć dysków fizycznych; na każdym utworzono osobne partycje GPT dla trzech niezależnych pul ZFS RAIDZ2. Każda pula składa się z jednego pięciodyskowego vdev RAIDZ2.

bhyvemgr: konfiguracja maszyny Windows 10 i obraz systemowy 20 GB

W oknie tworzenia maszyny w bhyvemgr widać nazwę windows10, typ gościa Windows 10.x i obraz dysku systemowego o rozmiarze 20 GB. Po dodaniu pozostałych dysków Zarządzanie dyskami Windows wyświetlało cztery dyski, co pozwala porównać konfigurację VM z obiektami później wyszukiwanymi w ZFS.

Zarządzanie dyskami Windows: cztery dyski maszyny bhyve
ParametrWartość w teście
System serweraFreeBSD
Hiperwizor i system gościabhyve, Windows 10
Dyski fizyczne5 dysków; 3 wykorzystane do odzyskiwania
Topologia ZFS3 pule; każda na partycjach GPT 5 dysków i z jednym vdev RAIDZ2
Scenariusz pool3Pula i partycje GPT usunięte; kopie dysków wirtualnych zawierają pliki testowe
Scenariusz pool2Migawka rekurencyjna wykonana przed usunięciem plików w Windows

Do maszyny podłączono cztery dyski: dwa obrazy IMG i dwa ZVOL, z których jeden był rzadkim woluminem sparse ZVOL. IMG jest przechowywany jako plik obrazu, natomiast ZVOL to wolumin blokowy ZFS. Typ i wielkość mają znaczenie, ponieważ program pokazuje IMG jako pliki, a ZVOL jako osobne woluminy, których zawartość można otworzyć i zamontować.

Dysk bhyveFormatRozmiarPrzeznaczenie
disk0.imgIMG20 GBDysk systemowy Windows 10
disk1.imgIMG1 GBDodatkowy dysk z plikami testowymi
disk0Sparse ZVOL1 GBDodatkowy rzadki wolumin blokowy
disk1ZVOL2 GBDodatkowy zwykły wolumin blokowy
FreeBSD Control Panel: partycje GPT pool1_d1, pool2_d1 i pool3_d1

Na jednym dysku w FreeBSD Control Panel widać trzy partycje typu freebsd-zfs o nazwach pool1_d1, pool2_d1 i pool3_d1. Są to części trzech osobnych pul, a nie trzy niezależne macierze RAID na jednym dysku. Odpowiednie partycje pozostałych dysków tworzyły pięciodyskowe vdev RAIDZ2.

Pierwszy scenariusz: usunięta pula pool3

Wcześniej umieściliśmy w pool3 kopie dysków maszyny z plikami testowymi. Katalog /pool3/bhyvemgr/windows10/ zawierał disk0.img, disk1.img oraz pliki konfiguracyjne bhyve; blokowe woluminy ZVOL były zapisane w strukturach ZFS. Dlatego w Hetman RAID Recovery będziemy szukać zarówno plików IMG, jak i obiektów ZVOL.

FreeBSD: kopie disk0.img, disk1.img i konfiguracja bhyve w pool3

Następnie w środowisku testowym wykonaliśmy zpool destroy pool3 i usunęliśmy odpowiednie partycje GPT ze wszystkich pięciu dysków. FreeBSD Control Panel pokazuje na przykład potwierdzenie polecenia gpart delete -i 3 mfid1 dla trzeciej partycji jednego dysku. Po tych operacjach FreeBSD utracił standardowy dostęp do kopii dysków wirtualnych.

Konsola FreeBSD: zniszczenie pool3 poleceniem zpool destroy
FreeBSD: potwierdzenie gpart delete dla partycji GPT pool3

Polecenia zpool destroy i gpart delete zostały użyte wyłącznie do zasymulowania utraty danych. Nie należy ich wykonywać na nośnikach, z których zamierzamy odzyskiwać informacje.

W tym scenariuszu plików znajdujących się w kopiach IMG i ZVOL nie usunięto. Naszym celem jest odnalezienie dawnej puli, odzyskanie obrazów dysków wirtualnych i odczytanie ich zawartości.

Drugi scenariusz: usunięte pliki i migawka pool2

W pool2 utworzyliśmy rekurencyjną migawkę ZFS o nazwie snapshot_0, obejmującą główny zestaw danych i jego potomne datasety, w tym ZVOL. Elementy migawki sprawdziliśmy poleceniem zfs list -t snapshot -r pool2. Na liście znalazły się między innymi pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 i pool2/bhyvemgr/windows10/disk1@snapshot_0. Zapisy te utrwalają stan dysków wirtualnych sprzed późniejszego usunięcia plików.

Terminal FreeBSD: rekurencyjna migawka snapshot_0, datasety i ZVOL

Po utworzeniu migawki uruchomiliśmy Windows 10 z dyskami z pool2, usunęliśmy pliki testowe przez Shift+Delete i poprawnie wyłączyliśmy maszynę. Bieżące IMG i ZVOL pozostały w puli, a ich poprzedni stan przechowywała migawka.

Gość Windows 10: usuwanie plików testowych przez Shift+Delete

Podłączenie trzech dysków i automatyczne wykrycie RAIDZ2

Do odzyskiwania wykorzystujemy trzy z pięciu fizycznych dysków serwera. Podłączamy je do komputera z Windows i uruchamiamy Hetman RAID Recovery. Zależnie od interfejsu można je podłączyć bezpośrednio lub przez odpowiedni adapter albo stację dokującą.

Do odzyskiwania danych z uszkodzonych macierzy RAID, urządzeń NAS i innych wielodyskowych systemów pamięci masowej.

Jeśli Windows proponuje zainicjowanie lub sformatowanie dysków, odrzucamy tę propozycję. Nie należy tworzyć nowych partycji ani zapisywać danych na nośnikach, z których mają zostać odzyskane pliki.

Po uruchomieniu program automatycznie rozpoznał konfiguracje ZFS RAIDZ2, w tym usuniętą pulę pool3. Wybieramy ją w oknie głównym.

Hetman RAID Recovery: automatyczne wykrycie usuniętej puli RAIDZ2 pool3

W panelu po prawej widoczne są File system — ZFS i RAID type — RAIDZ2, a na liście RAID Disks trzy dostępne dyski i dwie pozycje Empty disk. Znaleziony pool3 jest pokazany jako wolumin RAID o pojemności około 90 GB. Rozmiar danego członka oznacza obszar przydzielony dla pool3, nie pojemność całego SSD.

Właściwości RAIDZ2: trzy dostępne dyski i dwa wpisy Empty disk

RAIDZ2 wykorzystuje podwójną parzystość i toleruje brak dwóch członków jednego vdev. W naszym teście z pięcioma dyskami trzy dostępne nośniki oraz zachowane metadane wystarczyły do rozpoznania konfiguracji bez ręcznego wprowadzania parametrów.

Jest to wynik konkretnego testu, a nie gwarancja odtworzenia każdej zniszczonej puli ZFS. Jeśli istotne metadane zostały nadpisane lub brakuje zbyt wielu dysków, wynik może być inny.

Odzyskiwanie dysków IMG i ZVOL z usuniętej puli pool3

KROK 1. Analiza pool3 i wyszukiwanie dysków bhyve

Klikamy dwukrotnie znaleziony pool3, wybieramy Fast scan w kreatorze i uruchamiamy analizę. Program korzysta z zachowanych metadanych ZFS, aby odtworzyć dostępne drzewo katalogów. W naszym teście szybkie skanowanie wystarczyło do znalezienia dysków maszyny.

Hetman RAID Recovery: Fast scan usuniętej puli ZFS pool3

W wynikach otwieramy bhyvemgr → windows10. Znajdujemy disk0.img, disk1.img oraz dwa ZVOL o nazwach disk0 i disk1. Po otwarciu odpowiedniego woluminu program pokazuje obiekt z rozszerzeniem .zvol.

Wyniki pool3: obrazy IMG i ZVOL w katalogu bhyvemgr/windows10

Aby przejrzeć zawartość woluminu blokowego, otwieramy disk0 w tym samym drzewie. Program prezentuje disk0.zvol jako osobny obiekt o wielkości około 1 GB. Podobnie w disk1 znajduje się disk1.zvol o wielkości 2 GB. Nie należy mylić tych obiektów z plikami disk0.img i disk1.img.

Wyniki pool3: rzadki ZVOL disk0 o rozmiarze około 1 GB

KROK 2. Zapisywanie IMG i zwykłego ZVOL

Aby zapisać kilka dysków z różnych poziomów drzewa w jednej operacji, klikamy prawym przyciskiem disk1.img i wybieramy Add For Recovery. Obraz trafia do panelu Recovery list po prawej stronie. Następnie otwieramy zwykły wolumin disk1 i przeciągamy disk1.zvol do tej samej listy.

Recovery list zawiera disk1.img i disk1.zvol

Sprawdzamy listę, klikamy Recover, a w kreatorze wybieramy Save to hard disk. Wskazujemy folder na innym dysku z wystarczającą ilością wolnego miejsca. IMG zostaje zapisany jako plik obrazu, a zawartość ZVOL jako plik możliwy do późniejszego zamontowania i analizy.

Kreator Recover: zapis IMG i ZVOL na innym dysku

Nie zapisuj odzyskanych obrazów ani plików na źródłowych dyskach fizycznych ZFS RAIDZ2. Nowy zapis może nadpisać dane, których jeszcze nie odczytano.

KROK 3. Montowanie IMG i odzyskiwanie plików Windows

Po zapisaniu obrazu klikamy Mount Disk, wybieramy format RAW i wskazujemy disk1.img. W Mounted Disks pojawia się osobny dysk z partycjami. W naszym teście program wykrył partycję NTFS. Otwieramy ją i wykonujemy Fast scan.

Mount Disk: wybór zapisanego obrazu disk1.img w formacie RAW
Mounted Disks: zamontowany disk1.img z partycją NTFS

Po analizie przeglądamy strukturę folderów NTFS, między innymi Lost and Found oraz General level 1, i odnajdujemy testowe dokumenty, zdjęcia i filmy. Wybieramy plik i sprawdzamy go w Preview. Zrzuty ekranu pokazują podgląd obrazu, co pozwala ocenić jego zawartość przed zapisaniem.

Wyniki analizy IMG: foldery NTFS Lost and Found i General level 1
Preview pliku graficznego z zamontowanego IMG

Do wyszukiwania według nazwy służy Find File. W Advanced można określić zakres rozmiaru lub dat, uwzględnić pliki ukryte i systemowe, rozróżniać wielkość liter albo wyszukiwać wyłącznie całe wyrazy.

Find File i Advanced: filtry nazwy, wielkości i daty

Zaznaczamy potrzebne pliki, klikamy Recovery, wybieramy Save to hard disk i wskazujemy inny dysk fizyczny. Po zakończeniu otwieramy folder docelowy i sprawdzamy wyniki.

Kreator Recovery: zapis wybranych plików z IMG

W Eksploratorze plików Windows kontrolujemy folder wynikowy na oddzielnym dysku. Odzyskane pliki znajdują się w wybranej lokalizacji. Stanowi to dodatkowe potwierdzenie obok podglądu w programie.

Eksplorator Windows: odzyskane pliki IMG w katalogu docelowym

Przypomnijmy: disk1.img w tym przykładzie pochodził z kopii na usuniętym pool3. Pliki były niedostępne wskutek utraty magazynu, a nie dlatego, że skasowano je w Windows. Faktycznie usunięte pliki omówimy osobno na przykładzie migawki pool2.

KROK 4. Otwieranie zwykłych i rzadkich woluminów ZVOL

Zapisany zwykły ZVOL disk1.zvol można otworzyć przez Mount Disk i analizować podobnie do IMG. Jeżeli plik z rozszerzeniem .zvol nie jest widoczny w oknie wyboru, zmieniamy filtr na All files i wskazujemy go ręcznie.

Mount Disk: wybór disk1.zvol przez filtr All files

Jeśli brakuje miejsca na pełną kopię, dysk można zamontować bez wcześniejszego zapisywania, bezpośrednio z wyników analizy puli. Wracamy do pool3 → bhyvemgr → windows10 → disk0, klikamy prawym przyciskiem disk0.zvol i wybieramy Mount File as Disk.

Wyniki pool3: Mount File as Disk dla rzadkiego ZVOL disk0.zvol

Otwieramy partycję zamontowanego ZVOL, uruchamiamy analizę i sprawdzamy pliki. Dane są czytane bezpośrednio z odtworzonego RAIDZ2, dlatego operacja może potrwać dłużej niż przy obrazie lokalnym. Nie potrzeba miejsca na pełną kopię dysku wirtualnego, ale nadal trzeba mieć miejsce na zapis odzyskanych plików.

Zamontowany rzadki ZVOL: wyniki skanowania i pliki

Po zaznaczeniu potrzebnych plików uruchamiamy Recovery i zapisujemy wyniki na innym nośniku. Zrzut ekranu przedstawia kreator odzyskiwania plików z ZVOL zamontowanego bez uprzedniego eksportowania całego woluminu.

Kreator Recovery plików z ZVOL bez eksportowania całego woluminu

Odzyskiwanie usuniętych plików bhyve z migawki ZFS

W odróżnieniu od pool3 dyski wirtualne w pool2 pozostały dostępne. Pliki testowe w Windows 10 usunięto jednak po utworzeniu migawki rekurencyjnej. Wykorzystamy zapisane stany datasetu i ZVOL, aby odzyskać wcześniejsze wersje plików.

KROK 1. Wyszukiwanie migawek IMG i ZVOL w pool2

W oknie głównym Hetman RAID Recovery wybieramy pool2, uruchamiamy Fast scan i otwieramy folder Snapshots. Zawiera on osobne wpisy windows10, disk0, disk1 i inne elementy rekurencyjnego snapshot_0. Nie są to niezgodne punkty odzyskiwania: program pokazuje stany różnych datasetów i ZVOL wchodzących w skład tej samej migawki.

Folder Snapshots w pool2: windows10, disk0, disk1 i snapshot_0

KROK 2. Odzyskiwanie IMG z migawki windows10

Otwieramy migawkę datasetu windows10, zawierającego disk0.img i disk1.img. Wybieramy disk1.img i zapisujemy go w oddzielnym folderze, aby nie pomylić z obrazem odzyskanym z pool3.

Za pomocą Mount Disk → RAW montujemy plik z migawki, otwieramy partycję i wykonujemy Fast scan. Wyniki zawierają pliki testowe obecne w chwili wykonania migawki. Sprawdzamy je w Preview i zapisujemy przez Recovery.

Migawka windows10: znaleziono disk0.img i disk1.img

Po zamontowaniu disk1.img z migawki otwieramy partycję NTFS. Stan zachowany przed Shift+Delete obejmuje testowe zdjęcia i dokumenty, które można wybrać i zapisać niezależnie od plików z pool3.

IMG z migawki: pliki Windows z okresu przed usunięciem

KROK 3. Bezpośrednie montowanie ZVOL z migawki

Wracamy do Snapshots i otwieramy osobny wpis woluminu disk0. Dla obiektu disk0.zvol wybieramy Mount File as Disk. Program montuje stan ZVOL zapisany w migawce, a nie jego bieżącą zawartość.

Migawka ZVOL w pool2: Mount File as Disk dla disk0.zvol
Zamontowany ZVOL z migawki z partycją NTFS

Otwieramy partycję zamontowanego dysku, uruchamiamy Fast scan, odnajdujemy dane, sprawdzamy je w Preview i przywracamy na inny dysk przez Recovery. Pozwala to odzyskać pliki sprzed usunięcia bez uruchamiania Windows 10 i bez cofania całej puli pool2.

Skan ZVOL z migawki: pliki Windows do odzyskania

Na co uważać przed odzyskiwaniem RAIDZ2 i dysków wirtualnych

Wynik zależy od stanu dysków fizycznych, metadanych ZFS i obrazów wirtualnych. W teście trzy człony pięciodyskowego RAIDZ2 oraz zachowane metadane wystarczyły do znalezienia usuniętej pool3. Nadpisanie potrzebnych bloków może spowodować niepełne odzyskanie danych.

Migawka przechowuje wyłącznie stan z chwili jej wykonania. Jeśli została utworzona po usunięciu potrzebnego pliku lub nie obejmuje właściwego datasetu albo ZVOL, tą metodą nie odzyskamy jego wcześniejszej wersji.

Nie inicjalizuj ani nie formatuj dysków serwera w Windows, nie twórz nowej puli na utraconej i nie zapisuj wyników na nośnikach źródłowych. Jeśli dysk fizyczny działa niestabilnie, warto pracować na jego kopii sektorowej, o ile można ją bezpiecznie wykonać.

Więcej o strukturze puli i migawkach przeczytasz w artykule poradniku odzyskiwania usuniętej puli ZFS RAIDZ2 we FreeBSD.

Wyniki odzyskiwania danych bhyve we FreeBSD

W pierwszym scenariuszu Hetman RAID Recovery znalazł pool3 po wykonaniu zpool destroy i usunięciu partycji GPT. Do odtworzenia testowego RAIDZ2 wystarczyły trzy z pięciu dysków. Uzyskaliśmy dostęp do obrazów IMG oraz zwykłych i rzadkich ZVOL, zamontowaliśmy dyski wirtualne i zapisaliśmy pliki testowe.

W drugim scenariuszu program wykrył migawki pool2 i odzyskał pliki Windows 10 ze stanu sprzed usunięcia, osobno z IMG i ZVOL. Nie trzeba było uruchamiać maszyny ani przywracać całej puli do poprzedniego stanu.

Dyski wirtualne można najpierw zapisać na innym nośniku albo, jeśli jest to obsługiwane dla znalezionego obiektu, użyć Mount File as Disk i przeanalizować je bez pełnej kopii. Wybór zależy od kondycji dysków, wolnego miejsca i ilości danych.

Oksana Volyniuk

Autor: , Pisarz techniczny

Oksana Volyniuk jest autorem pracującym w Hetman Software. Ma prawie trzyletnie doświadczenie w zakresie technologii IT, a wcześniej pracowała jako HR menedżer w IT kompanii. Oksana kocha technologię i jest zapalona tworzeniem każdego aktykułu, który może pomóć ludziom.

Michał Mirosznyczenko

Redaktor: , Pisarz techniczny

Michał Mirosznyczenko jest jednym z czołowych programistów firmy Hetman Software. Bazując na piętnastoletnim doświadczeniu w tworzeniu oprogramowania, dzieli się swoją wiedzą z czytelnikami naszego bloga. Oprócz programowania Michał jest ekspertem w dziedzinie odzyskiwania danych, systemów plików, urządzeń do przechowywania danych i macierzy RAID.

Rekomendujemy