Jak odzyskać dane bhyve we FreeBSD: IMG, ZVOL i migawki ZFS
Jak odzyskać pliki maszyny wirtualnej bhyve we FreeBSD, jeśli jej dyski IMG i ZVOL stały się niedostępne po usunięciu puli ZFS? Co zrobić, gdy pliki zostały usunięte z systemu gościa Windows, ale zachowała się migawka? Na przykładzie pięciodyskowej macierzy ZFS RAIDZ2 pokażemy, jak Hetman RAID Recovery odnajduje zniszczoną pulę na podstawie trzech dostępnych dysków, otwiera obrazy IMG oraz zwykłe i rzadkie woluminy ZVOL, a także odzyskuje dane ze starszego stanu dysków wirtualnych bez uruchamiania maszyny.

- Środowisko testowe: FreeBSD, bhyve i ZFS RAIDZ2
- Podłączenie trzech dysków i automatyczne wykrycie RAIDZ2
- Odzyskiwanie dysków IMG i ZVOL z usuniętej puli pool3
- Odzyskiwanie usuniętych plików bhyve z migawki ZFS
- Na co uważać przed odzyskiwaniem RAIDZ2 i dysków wirtualnych
- Wyniki odzyskiwania danych bhyve we FreeBSD
- Najczęściej zadawane pytania
- Komentarze
Odzyskiwanie danych bhyve obejmuje dwie warstwy: najpierw trzeba uzyskać dostęp do magazynu FreeBSD, a następnie do systemu plików wewnątrz dysku wirtualnego. Utrata puli ZFS i usunięcie plików w systemie gościa to różne problemy, dlatego omówimy je osobno.
W pierwszym scenariuszu zniszczono pulę pool3 i usunięto jej partycje GPT, ale plików znajdujących się w kopiach dysków wirtualnych nie kasowano. W drugim scenariuszu pula pool2 pozostała dostępna, jednak pliki testowe w Windows 10 usunięto przez Shift+Delete. Ich poprzedni stan zachował się w migawce ZFS.
Do analizy używamy Hetman RAID Recovery na komputerze z Windows. Program jest również dostępny na Linux i macOS.
Jak odzyskać dane VM bhyve we FreeBSD: IMG, ZVOL i usunięte pliki
Środowisko testowe: FreeBSD, bhyve i ZFS RAIDZ2
Na serwerze FreeBSD skonfigurowaliśmy hiperwizor bhyve i maszynę wirtualną z Windows 10. Zarządzanie jej dyskami przedstawiono w interfejsie bhyvemgr. Magazyn obejmuje pięć dysków fizycznych; na każdym utworzono osobne partycje GPT dla trzech niezależnych pul ZFS RAIDZ2. Każda pula składa się z jednego pięciodyskowego vdev RAIDZ2.

W oknie tworzenia maszyny w bhyvemgr widać nazwę windows10, typ gościa Windows 10.x i obraz dysku systemowego o rozmiarze 20 GB. Po dodaniu pozostałych dysków Zarządzanie dyskami Windows wyświetlało cztery dyski, co pozwala porównać konfigurację VM z obiektami później wyszukiwanymi w ZFS.

| Parametr | Wartość w teście |
|---|---|
| System serwera | FreeBSD |
| Hiperwizor i system gościa | bhyve, Windows 10 |
| Dyski fizyczne | 5 dysków; 3 wykorzystane do odzyskiwania |
| Topologia ZFS | 3 pule; każda na partycjach GPT 5 dysków i z jednym vdev RAIDZ2 |
| Scenariusz pool3 | Pula i partycje GPT usunięte; kopie dysków wirtualnych zawierają pliki testowe |
| Scenariusz pool2 | Migawka rekurencyjna wykonana przed usunięciem plików w Windows |
Do maszyny podłączono cztery dyski: dwa obrazy IMG i dwa ZVOL, z których jeden był rzadkim woluminem sparse ZVOL. IMG jest przechowywany jako plik obrazu, natomiast ZVOL to wolumin blokowy ZFS. Typ i wielkość mają znaczenie, ponieważ program pokazuje IMG jako pliki, a ZVOL jako osobne woluminy, których zawartość można otworzyć i zamontować.
| Dysk bhyve | Format | Rozmiar | Przeznaczenie |
|---|---|---|---|
| disk0.img | IMG | 20 GB | Dysk systemowy Windows 10 |
| disk1.img | IMG | 1 GB | Dodatkowy dysk z plikami testowymi |
| disk0 | Sparse ZVOL | 1 GB | Dodatkowy rzadki wolumin blokowy |
| disk1 | ZVOL | 2 GB | Dodatkowy zwykły wolumin blokowy |

Na jednym dysku w FreeBSD Control Panel widać trzy partycje typu freebsd-zfs o nazwach pool1_d1, pool2_d1 i pool3_d1. Są to części trzech osobnych pul, a nie trzy niezależne macierze RAID na jednym dysku. Odpowiednie partycje pozostałych dysków tworzyły pięciodyskowe vdev RAIDZ2.
Pierwszy scenariusz: usunięta pula pool3
Wcześniej umieściliśmy w pool3 kopie dysków maszyny z plikami testowymi. Katalog /pool3/bhyvemgr/windows10/ zawierał disk0.img, disk1.img oraz pliki konfiguracyjne bhyve; blokowe woluminy ZVOL były zapisane w strukturach ZFS. Dlatego w Hetman RAID Recovery będziemy szukać zarówno plików IMG, jak i obiektów ZVOL.

Następnie w środowisku testowym wykonaliśmy zpool destroy pool3 i usunęliśmy odpowiednie partycje GPT ze wszystkich pięciu dysków. FreeBSD Control Panel pokazuje na przykład potwierdzenie polecenia gpart delete -i 3 mfid1 dla trzeciej partycji jednego dysku. Po tych operacjach FreeBSD utracił standardowy dostęp do kopii dysków wirtualnych.


Polecenia zpool destroy i gpart delete zostały użyte wyłącznie do zasymulowania utraty danych. Nie należy ich wykonywać na nośnikach, z których zamierzamy odzyskiwać informacje.
W tym scenariuszu plików znajdujących się w kopiach IMG i ZVOL nie usunięto. Naszym celem jest odnalezienie dawnej puli, odzyskanie obrazów dysków wirtualnych i odczytanie ich zawartości.
Drugi scenariusz: usunięte pliki i migawka pool2
W pool2 utworzyliśmy rekurencyjną migawkę ZFS o nazwie snapshot_0, obejmującą główny zestaw danych i jego potomne datasety, w tym ZVOL. Elementy migawki sprawdziliśmy poleceniem zfs list -t snapshot -r pool2. Na liście znalazły się między innymi pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 i pool2/bhyvemgr/windows10/disk1@snapshot_0. Zapisy te utrwalają stan dysków wirtualnych sprzed późniejszego usunięcia plików.

Po utworzeniu migawki uruchomiliśmy Windows 10 z dyskami z pool2, usunęliśmy pliki testowe przez Shift+Delete i poprawnie wyłączyliśmy maszynę. Bieżące IMG i ZVOL pozostały w puli, a ich poprzedni stan przechowywała migawka.

Podłączenie trzech dysków i automatyczne wykrycie RAIDZ2
Do odzyskiwania wykorzystujemy trzy z pięciu fizycznych dysków serwera. Podłączamy je do komputera z Windows i uruchamiamy Hetman RAID Recovery. Zależnie od interfejsu można je podłączyć bezpośrednio lub przez odpowiedni adapter albo stację dokującą.
Jeśli Windows proponuje zainicjowanie lub sformatowanie dysków, odrzucamy tę propozycję. Nie należy tworzyć nowych partycji ani zapisywać danych na nośnikach, z których mają zostać odzyskane pliki.
Po uruchomieniu program automatycznie rozpoznał konfiguracje ZFS RAIDZ2, w tym usuniętą pulę pool3. Wybieramy ją w oknie głównym.

W panelu po prawej widoczne są File system — ZFS i RAID type — RAIDZ2, a na liście RAID Disks trzy dostępne dyski i dwie pozycje Empty disk. Znaleziony pool3 jest pokazany jako wolumin RAID o pojemności około 90 GB. Rozmiar danego członka oznacza obszar przydzielony dla pool3, nie pojemność całego SSD.

RAIDZ2 wykorzystuje podwójną parzystość i toleruje brak dwóch członków jednego vdev. W naszym teście z pięcioma dyskami trzy dostępne nośniki oraz zachowane metadane wystarczyły do rozpoznania konfiguracji bez ręcznego wprowadzania parametrów.
Jest to wynik konkretnego testu, a nie gwarancja odtworzenia każdej zniszczonej puli ZFS. Jeśli istotne metadane zostały nadpisane lub brakuje zbyt wielu dysków, wynik może być inny.
Odzyskiwanie dysków IMG i ZVOL z usuniętej puli pool3
KROK 1. Analiza pool3 i wyszukiwanie dysków bhyve
Klikamy dwukrotnie znaleziony pool3, wybieramy Fast scan w kreatorze i uruchamiamy analizę. Program korzysta z zachowanych metadanych ZFS, aby odtworzyć dostępne drzewo katalogów. W naszym teście szybkie skanowanie wystarczyło do znalezienia dysków maszyny.

W wynikach otwieramy bhyvemgr → windows10. Znajdujemy disk0.img, disk1.img oraz dwa ZVOL o nazwach disk0 i disk1. Po otwarciu odpowiedniego woluminu program pokazuje obiekt z rozszerzeniem .zvol.

Aby przejrzeć zawartość woluminu blokowego, otwieramy disk0 w tym samym drzewie. Program prezentuje disk0.zvol jako osobny obiekt o wielkości około 1 GB. Podobnie w disk1 znajduje się disk1.zvol o wielkości 2 GB. Nie należy mylić tych obiektów z plikami disk0.img i disk1.img.

KROK 2. Zapisywanie IMG i zwykłego ZVOL
Aby zapisać kilka dysków z różnych poziomów drzewa w jednej operacji, klikamy prawym przyciskiem disk1.img i wybieramy Add For Recovery. Obraz trafia do panelu Recovery list po prawej stronie. Następnie otwieramy zwykły wolumin disk1 i przeciągamy disk1.zvol do tej samej listy.

Sprawdzamy listę, klikamy Recover, a w kreatorze wybieramy Save to hard disk. Wskazujemy folder na innym dysku z wystarczającą ilością wolnego miejsca. IMG zostaje zapisany jako plik obrazu, a zawartość ZVOL jako plik możliwy do późniejszego zamontowania i analizy.

Nie zapisuj odzyskanych obrazów ani plików na źródłowych dyskach fizycznych ZFS RAIDZ2. Nowy zapis może nadpisać dane, których jeszcze nie odczytano.
KROK 3. Montowanie IMG i odzyskiwanie plików Windows
Po zapisaniu obrazu klikamy Mount Disk, wybieramy format RAW i wskazujemy disk1.img. W Mounted Disks pojawia się osobny dysk z partycjami. W naszym teście program wykrył partycję NTFS. Otwieramy ją i wykonujemy Fast scan.


Po analizie przeglądamy strukturę folderów NTFS, między innymi Lost and Found oraz General level 1, i odnajdujemy testowe dokumenty, zdjęcia i filmy. Wybieramy plik i sprawdzamy go w Preview. Zrzuty ekranu pokazują podgląd obrazu, co pozwala ocenić jego zawartość przed zapisaniem.


Do wyszukiwania według nazwy służy Find File. W Advanced można określić zakres rozmiaru lub dat, uwzględnić pliki ukryte i systemowe, rozróżniać wielkość liter albo wyszukiwać wyłącznie całe wyrazy.

Zaznaczamy potrzebne pliki, klikamy Recovery, wybieramy Save to hard disk i wskazujemy inny dysk fizyczny. Po zakończeniu otwieramy folder docelowy i sprawdzamy wyniki.

W Eksploratorze plików Windows kontrolujemy folder wynikowy na oddzielnym dysku. Odzyskane pliki znajdują się w wybranej lokalizacji. Stanowi to dodatkowe potwierdzenie obok podglądu w programie.

Przypomnijmy: disk1.img w tym przykładzie pochodził z kopii na usuniętym pool3. Pliki były niedostępne wskutek utraty magazynu, a nie dlatego, że skasowano je w Windows. Faktycznie usunięte pliki omówimy osobno na przykładzie migawki pool2.
KROK 4. Otwieranie zwykłych i rzadkich woluminów ZVOL
Zapisany zwykły ZVOL disk1.zvol można otworzyć przez Mount Disk i analizować podobnie do IMG. Jeżeli plik z rozszerzeniem .zvol nie jest widoczny w oknie wyboru, zmieniamy filtr na All files i wskazujemy go ręcznie.

Jeśli brakuje miejsca na pełną kopię, dysk można zamontować bez wcześniejszego zapisywania, bezpośrednio z wyników analizy puli. Wracamy do pool3 → bhyvemgr → windows10 → disk0, klikamy prawym przyciskiem disk0.zvol i wybieramy Mount File as Disk.

Otwieramy partycję zamontowanego ZVOL, uruchamiamy analizę i sprawdzamy pliki. Dane są czytane bezpośrednio z odtworzonego RAIDZ2, dlatego operacja może potrwać dłużej niż przy obrazie lokalnym. Nie potrzeba miejsca na pełną kopię dysku wirtualnego, ale nadal trzeba mieć miejsce na zapis odzyskanych plików.

Po zaznaczeniu potrzebnych plików uruchamiamy Recovery i zapisujemy wyniki na innym nośniku. Zrzut ekranu przedstawia kreator odzyskiwania plików z ZVOL zamontowanego bez uprzedniego eksportowania całego woluminu.

Odzyskiwanie usuniętych plików bhyve z migawki ZFS
W odróżnieniu od pool3 dyski wirtualne w pool2 pozostały dostępne. Pliki testowe w Windows 10 usunięto jednak po utworzeniu migawki rekurencyjnej. Wykorzystamy zapisane stany datasetu i ZVOL, aby odzyskać wcześniejsze wersje plików.
KROK 1. Wyszukiwanie migawek IMG i ZVOL w pool2
W oknie głównym Hetman RAID Recovery wybieramy pool2, uruchamiamy Fast scan i otwieramy folder Snapshots. Zawiera on osobne wpisy windows10, disk0, disk1 i inne elementy rekurencyjnego snapshot_0. Nie są to niezgodne punkty odzyskiwania: program pokazuje stany różnych datasetów i ZVOL wchodzących w skład tej samej migawki.

KROK 2. Odzyskiwanie IMG z migawki windows10
Otwieramy migawkę datasetu windows10, zawierającego disk0.img i disk1.img. Wybieramy disk1.img i zapisujemy go w oddzielnym folderze, aby nie pomylić z obrazem odzyskanym z pool3.
Za pomocą Mount Disk → RAW montujemy plik z migawki, otwieramy partycję i wykonujemy Fast scan. Wyniki zawierają pliki testowe obecne w chwili wykonania migawki. Sprawdzamy je w Preview i zapisujemy przez Recovery.

Po zamontowaniu disk1.img z migawki otwieramy partycję NTFS. Stan zachowany przed Shift+Delete obejmuje testowe zdjęcia i dokumenty, które można wybrać i zapisać niezależnie od plików z pool3.

KROK 3. Bezpośrednie montowanie ZVOL z migawki
Wracamy do Snapshots i otwieramy osobny wpis woluminu disk0. Dla obiektu disk0.zvol wybieramy Mount File as Disk. Program montuje stan ZVOL zapisany w migawce, a nie jego bieżącą zawartość.


Otwieramy partycję zamontowanego dysku, uruchamiamy Fast scan, odnajdujemy dane, sprawdzamy je w Preview i przywracamy na inny dysk przez Recovery. Pozwala to odzyskać pliki sprzed usunięcia bez uruchamiania Windows 10 i bez cofania całej puli pool2.

Na co uważać przed odzyskiwaniem RAIDZ2 i dysków wirtualnych
Wynik zależy od stanu dysków fizycznych, metadanych ZFS i obrazów wirtualnych. W teście trzy człony pięciodyskowego RAIDZ2 oraz zachowane metadane wystarczyły do znalezienia usuniętej pool3. Nadpisanie potrzebnych bloków może spowodować niepełne odzyskanie danych.
Migawka przechowuje wyłącznie stan z chwili jej wykonania. Jeśli została utworzona po usunięciu potrzebnego pliku lub nie obejmuje właściwego datasetu albo ZVOL, tą metodą nie odzyskamy jego wcześniejszej wersji.
Nie inicjalizuj ani nie formatuj dysków serwera w Windows, nie twórz nowej puli na utraconej i nie zapisuj wyników na nośnikach źródłowych. Jeśli dysk fizyczny działa niestabilnie, warto pracować na jego kopii sektorowej, o ile można ją bezpiecznie wykonać.
Więcej o strukturze puli i migawkach przeczytasz w artykule poradniku odzyskiwania usuniętej puli ZFS RAIDZ2 we FreeBSD.
Wyniki odzyskiwania danych bhyve we FreeBSD
W pierwszym scenariuszu Hetman RAID Recovery znalazł pool3 po wykonaniu zpool destroy i usunięciu partycji GPT. Do odtworzenia testowego RAIDZ2 wystarczyły trzy z pięciu dysków. Uzyskaliśmy dostęp do obrazów IMG oraz zwykłych i rzadkich ZVOL, zamontowaliśmy dyski wirtualne i zapisaliśmy pliki testowe.
W drugim scenariuszu program wykrył migawki pool2 i odzyskał pliki Windows 10 ze stanu sprzed usunięcia, osobno z IMG i ZVOL. Nie trzeba było uruchamiać maszyny ani przywracać całej puli do poprzedniego stanu.
Dyski wirtualne można najpierw zapisać na innym nośniku albo, jeśli jest to obsługiwane dla znalezionego obiektu, użyć Mount File as Disk i przeanalizować je bez pełnej kopii. Wybór zależy od kondycji dysków, wolnego miejsca i ilości danych.






