bhyve-VM-Daten unter FreeBSD retten: IMG, ZVOL und ZFS-Snapshots
Wie lassen sich Dateien einer bhyve-VM unter FreeBSD wiederherstellen, wenn ihre IMG- und ZVOL-Datenträger nach dem Löschen eines ZFS-Pools nicht mehr erreichbar sind? Und was geschieht, wenn Dateien innerhalb des Windows-Gasts gelöscht wurden, aber ein Snapshot existiert? An einem ZFS RAIDZ2 mit fünf Laufwerken zeigen wir, wie Hetman RAID Recovery einen zerstörten Pool mit drei verfügbaren Laufwerken findet, IMG-Dateien sowie reguläre und Sparse-ZVOLs öffnet und Daten aus früheren Zuständen virtueller Datenträger ohne VM-Start wiederherstellt.

- Testumgebung: FreeBSD, bhyve und ZFS RAIDZ2
- Drei Laufwerke anschließen und RAIDZ2 automatisch erkennen
- IMG- und ZVOL-Datenträger aus dem gelöschten pool3 wiederherstellen
- Gelöschte bhyve-Dateien aus einem ZFS-Snapshot wiederherstellen
- Wichtige Hinweise zur Rettung von RAIDZ2 und virtuellen Datenträgern
- Ergebnisse der bhyve-Datenrettung unter FreeBSD
- Häufig gestellte Fragen
- Bemerkungen
Die Datenrettung bei bhyve umfasst zwei Ebenen: Zuerst muss der Zugriff auf den FreeBSD-Speicher wiederhergestellt werden, danach auf das Dateisystem im virtuellen Datenträger. Ein verlorener ZFS-Pool und innerhalb des Gastbetriebssystems gelöschte Dateien sind unterschiedliche Probleme, die wir getrennt behandeln.
Im ersten Szenario wurden pool3 und seine GPT-Partitionen gelöscht, die Dateien in den Kopien der virtuellen Datenträger jedoch nicht. Im zweiten Szenario blieb pool2 erreichbar, während Testdateien unter Windows 10 mit Shift+Delete gelöscht wurden. Ihr vorheriger Zustand wurde in einem ZFS-Snapshot bewahrt.
Für die Analyse verwenden wir Hetman RAID Recovery auf einem Windows-PC. Das Programm ist auch für Linux und macOS verfügbar.
FreeBSD bhyve: Daten aus VMs wiederherstellen – IMG, ZVOL und gelöschte Dateien
Testumgebung: FreeBSD, bhyve und ZFS RAIDZ2
Auf einem FreeBSD-Server richteten wir den Hypervisor bhyve und eine virtuelle Maschine mit Windows 10 ein. Die Datenträgerverwaltung ist in bhyvemgr zu sehen. Der Speicher besteht aus fünf physischen Laufwerken, deren GPT-Partitionen drei voneinander unabhängige ZFS-RAIDZ2-Pools bilden. Jeder Pool besitzt einen RAIDZ2-vdev mit fünf Laufwerken.

Im Dialog zur VM-Erstellung in bhyvemgr sind der Name windows10, der Gasttyp Windows 10.x und ein 20-GB-Systemabbild zu sehen. Nachdem die weiteren Datenträger verbunden waren, zeigte die Windows-Datenträgerverwaltung vier Datenträger an. So lässt sich ihre Konfiguration mit den später in ZFS gesuchten Objekten abgleichen.

| Eigenschaft | Wert im Test |
|---|---|
| Server-Betriebssystem | FreeBSD |
| Hypervisor und Gastbetriebssystem | bhyve, Windows 10 |
| Physische Laufwerke | 5 Laufwerke; 3 für die Datenrettung verwendet |
| ZFS-Topologie | 3 Pools; jeder auf GPT-Partitionen von 5 Laufwerken mit einem RAIDZ2-vdev |
| Szenario pool3 | Pool und GPT-Partitionen gelöscht; virtuelle Datenträgerkopien enthalten Testdateien |
| Szenario pool2 | Rekursiver Snapshot vor dem Löschen von Dateien in Windows erstellt |
Die VM besitzt vier Datenträger: zwei IMG-Abbilder und zwei ZVOLs, darunter ein Sparse-ZVOL. IMG ist eine Datei mit einem Datenträgerabbild, ZVOL hingegen ein ZFS-Block-Volume. Typ und Größe sind wichtig, da die Software IMG-Dateien als Dateien und ZVOLs als separate Volumes anzeigt, deren Inhalt zum Einbinden geöffnet werden kann.
| bhyve-Datenträger | Format | Größe | Verwendung |
|---|---|---|---|
| disk0.img | IMG | 20 GB | Windows-10-Systemdatenträger |
| disk1.img | IMG | 1 GB | Zusätzlicher Datenträger mit Testdateien |
| disk0 | Sparse ZVOL | 1 GB | Zusätzliches Sparse-Block-Volume |
| disk1 | ZVOL | 2 GB | Zusätzliches reguläres Block-Volume |

Die FreeBSD Control Panel zeigt auf einem Laufwerk drei Partitionen vom Typ freebsd-zfs mit den Bezeichnungen pool1_d1, pool2_d1 und pool3_d1. Es handelt sich um Bestandteile dreier Pools, nicht um drei eigenständige RAID-Arrays auf einem einzelnen Laufwerk. Die entsprechenden Partitionen der übrigen Laufwerke bilden jeweils einen RAIDZ2-vdev mit fünf Mitgliedern.
Szenario eins: gelöschter Pool pool3
Auf pool3 legten wir zuvor Kopien der VM-Datenträger mit Testdateien ab. Unter /pool3/bhyvemgr/windows10/ befanden sich disk0.img, disk1.img und die Konfigurationsdateien von bhyve; die ZVOL-Block-Volumes wurden in den ZFS-Strukturen verwaltet. Daher suchen wir mit Hetman RAID Recovery nach IMG-Dateien und ZVOL-Objekten.

Anschließend führten wir im Testsystem zpool destroy pool3 aus und entfernten die zugehörigen GPT-Partitionen von allen fünf Laufwerken. In FreeBSD Control Panel ist beispielsweise die Bestätigung von gpart delete -i 3 mfid1 für die dritte Partition eines Laufwerks zu sehen. Danach war der reguläre Zugriff von FreeBSD auf die VM-Datenträgerkopien nicht mehr möglich.


Die Befehle zpool destroy und gpart delete dienten ausschließlich dazu, einen Datenverlust zu simulieren. Führen Sie sie keinesfalls auf einem Speicher aus, dessen Daten Sie retten möchten.
Die Dateien innerhalb der IMG- und ZVOL-Kopien wurden in diesem Szenario nicht gelöscht. Wir müssen den früheren Pool finden, die virtuellen Datenträger wieder zugänglich machen und ihre Inhalte lesen.
Szenario zwei: gelöschte Dateien und Snapshot von pool2
Auf pool2 erstellten wir einen rekursiven ZFS-Snapshot namens snapshot_0, der das Root-Dataset und seine untergeordneten Datasets einschließlich der ZVOLs umfasste. Die enthaltenen Snapshots prüften wir mit zfs list -t snapshot -r pool2. Die Ausgabe enthält unter anderem pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 und pool2/bhyvemgr/windows10/disk1@snapshot_0. Damit wurde der Zustand der virtuellen Datenträger vor dem anschließenden Löschen der Dateien festgehalten.

Nach der Snapshot-Erstellung starteten wir Windows 10 mit den Datenträgern auf pool2, löschten die Testdateien per Shift+Delete und fuhren die VM regulär herunter. Die aktuellen IMG- und ZVOL-Objekte blieben im Pool; ihr früherer Zustand blieb im Snapshot erhalten.

Drei Laufwerke anschließen und RAIDZ2 automatisch erkennen
Für die Wiederherstellung verwenden wir drei der fünf physischen Serverlaufwerke. Wir verbinden sie mit einem Windows-PC und starten Hetman RAID Recovery. Je nach Schnittstelle können Laufwerke direkt oder mit einem geeigneten Adapter beziehungsweise einer Dockingstation angeschlossen werden.
Wenn Windows anbietet, die Laufwerke zu initialisieren oder zu formatieren, lehnen Sie dies ab. Legen Sie keine neuen Partitionen an und schreiben Sie keine Daten auf die Laufwerke, von denen Daten gerettet werden sollen.
Beim Start erkannte die Software automatisch die ZFS-RAIDZ2-Konfigurationen einschließlich des gelöschten pool3. Wählen Sie diesen Pool im Hauptfenster aus.

Rechts stehen File system — ZFS und RAID type — RAIDZ2. Unter RAID Disks werden drei verfügbare Mitglieder und zwei Einträge Empty disk angezeigt. Der gefundene pool3 erscheint als RAID-Volume mit ungefähr 90 GB. Die Größe der einzelnen Mitglieder bezieht sich auf den für pool3 reservierten Bereich, nicht auf die Gesamtkapazität der SSD.

RAIDZ2 verwendet doppelte Parität und toleriert den Ausfall von zwei Mitgliedern eines vdev. In unserem Test mit fünf Laufwerken reichten drei verfügbare Mitglieder und die erhaltenen Metadaten aus, um die Konfiguration ohne manuelle Parametereingabe zu erkennen.
Dies ist das Ergebnis dieses konkreten Tests und keine Garantie für jeden zerstörten ZFS-Pool. Sind wichtige Metadaten überschrieben oder zu wenige Mitglieder verfügbar, kann das Ergebnis abweichen.
IMG- und ZVOL-Datenträger aus dem gelöschten pool3 wiederherstellen
SCHRITT 1. pool3 analysieren und bhyve-Datenträger finden
Doppelklicken Sie auf den gefundenen pool3, wählen Sie im Assistenten Fast scan und starten Sie die Analyse. Mithilfe erhaltener ZFS-Metadaten rekonstruiert das Programm den zugänglichen Verzeichnisbaum. In unserem Test genügte der Schnellscan, um die VM-Datenträger zu finden.

Öffnen Sie in den Ergebnissen bhyvemgr → windows10. Dort finden sich disk0.img, disk1.img sowie die beiden ZVOLs disk0 und disk1. Beim Öffnen des betreffenden Volumes erscheint ein Objekt mit der Erweiterung .zvol.

Um den Inhalt eines Block-Volumes zu sehen, öffnen Sie disk0 im selben Verzeichnisbaum. Das Programm zeigt disk0.zvol als eigenes Objekt von etwa 1 GB an. Im Volume disk1 befindet sich entsprechend disk1.zvol mit 2 GB. Verwechseln Sie diese Objekte nicht mit den Dateien disk0.img und disk1.img.

SCHRITT 2. Ein IMG und ein reguläres ZVOL speichern
Um mehrere Datenträger aus verschiedenen Verzeichnisebenen gemeinsam zu speichern, klicken Sie mit der rechten Maustaste auf disk1.img und wählen Add For Recovery. Das Abbild erscheint rechts in Recovery list. Öffnen Sie anschließend das reguläre Volume disk1 und ziehen Sie disk1.zvol in dieselbe Liste.

Prüfen Sie die Liste, klicken Sie auf Recover und wählen Sie im Assistenten Save to hard disk. Geben Sie einen Ordner auf einem anderen Laufwerk mit ausreichend freiem Speicherplatz an. IMG wird als Abbilddatei gespeichert; der Inhalt von ZVOL wird ebenfalls als Datei gesichert und kann danach zur Analyse eingebunden werden.

Speichern Sie gerettete Abbilder und Dateien niemals auf den ursprünglichen physischen Laufwerken des ZFS RAIDZ2. Neue Schreibvorgänge könnten noch nicht gelesene Daten überschreiben.
SCHRITT 3. IMG einbinden und Windows-Dateien wiederherstellen
Nach dem Speichern klicken Sie auf Mount Disk, wählen RAW und geben disk1.img an. Unter Mounted Disks erscheint ein separater Datenträger mit seinen Partitionen. In unserem Test erkannte das Programm eine NTFS-Partition. Öffnen Sie diese und führen Sie Fast scan aus.


Durchsuchen Sie nach dem Scan die NTFS-Ordnerstruktur, darunter Lost and Found und General level 1, nach Testdokumenten, Bildern und Videos. Markieren Sie eine Datei und prüfen Sie sie in Preview. Die Screenshots zeigen die Vorschau einer Bilddatei, sodass sich deren Inhalt vor dem Speichern beurteilen lässt.


Mit Find File suchen Sie nach Dateinamen. Unter Advanced können Sie Größen- und Datumsbereiche festlegen, versteckte oder Systemdateien einbeziehen sowie Groß-/Kleinschreibung oder die Suche nach ganzen Wörtern berücksichtigen.

Markieren Sie die gewünschten Dateien, klicken Sie auf Recovery, wählen Sie Save to hard disk und geben Sie ein anderes physisches Laufwerk an. Öffnen Sie anschließend den Zielordner und überprüfen Sie die Ergebnisse.

Kontrollieren Sie den Ergebnisordner auf dem separaten Laufwerk im Windows-Explorer. Die wiederhergestellten Dateien sind dort vorhanden. Dies ist eine zusätzliche Kontrolle zur Vorschau im Programm.

Wichtig: disk1.img stammte in diesem Beispiel aus der Kopie auf dem gelöschten pool3. Die Dateien waren wegen des Verlusts des Speichers nicht erreichbar, nicht weil sie in Windows gelöscht worden waren. Tatsächlich gelöschte Dateien behandeln wir im Szenario mit dem Snapshot von pool2.
SCHRITT 4. Reguläre und Sparse-ZVOLs öffnen
Ein gespeichertes reguläres ZVOL namens disk1.zvol lässt sich über Mount Disk öffnen und wie ein IMG untersuchen. Wird die Datei mit der Erweiterung .zvol im Auswahldialog nicht angezeigt, wechseln Sie zum Filter All files und wählen Sie sie manuell.

Wenn kein Platz für eine vollständige Kopie vorhanden ist, lässt sich der Datenträger direkt aus den Scanergebnissen des Pools einbinden. Wechseln Sie zu pool3 → bhyvemgr → windows10 → disk0, klicken Sie mit der rechten Maustaste auf disk0.zvol und wählen Sie Mount File as Disk.

Öffnen Sie die Partition des eingebundenen ZVOL, starten Sie die Analyse und prüfen Sie die Dateien. Die Daten werden direkt vom rekonstruierten RAIDZ2 gelesen; die Untersuchung kann daher länger dauern als bei einem lokalen Abbild. Speicherplatz für eine komplette virtuelle Datenträgerkopie ist nicht nötig, wohl aber zum Speichern der geretteten Dateien.

Wählen Sie die benötigten Dateien aus, starten Sie Recovery und speichern Sie die Ergebnisse auf einem anderen Laufwerk. Im Screenshot ist der Assistent zur Dateirettung aus einem ZVOL zu sehen, das ohne vorherigen vollständigen Export eingebunden wurde.

Gelöschte bhyve-Dateien aus einem ZFS-Snapshot wiederherstellen
Anders als bei pool3 blieben die virtuellen Datenträger auf pool2 erreichbar. Allerdings wurden Testdateien in Windows 10 nach der Erstellung des rekursiven Snapshots gelöscht. Wir verwenden den gespeicherten Zustand des Datasets und der ZVOLs, um frühere Dateiversionen zurückzuholen.
SCHRITT 1. IMG- und ZVOL-Snapshots auf pool2 finden
Wählen Sie im Hauptfenster von Hetman RAID Recovery pool2, starten Sie Fast scan und öffnen Sie den Ordner Snapshots. Er enthält separate Einträge für windows10, disk0, disk1 und weitere Bestandteile des rekursiven snapshot_0. Dabei handelt es sich nicht um voneinander unabhängige Wiederherstellungspunkte: Die Software zeigt die Zustände der Datasets und ZVOLs an, die zum selben rekursiven Snapshot gehören.

SCHRITT 2. Ein IMG aus dem windows10-Snapshot wiederherstellen
Öffnen Sie den Snapshot des Datasets windows10, das disk0.img und disk1.img enthält. Wählen Sie disk1.img und speichern Sie es in einem eigenen Ordner, damit es nicht mit dem Abbild aus pool3 verwechselt wird.
Binden Sie die Datei aus dem Snapshot über Mount Disk → RAW ein, öffnen Sie ihre Partition und führen Sie Fast scan aus. Die Ergebnisse enthalten Testdateien, die bei der Snapshot-Erstellung noch vorhanden waren. Kontrollieren Sie sie in Preview und speichern Sie sie über Recovery.

Nach dem Einbinden von disk1.img aus dem Snapshot öffnen Sie dessen NTFS-Partition. Der vor Shift+Delete gespeicherte Zustand enthält Testbilder und Dokumente, die Sie unabhängig von den Daten aus pool3 auswählen und sichern können.

SCHRITT 3. Ein ZVOL direkt aus einem Snapshot einbinden
Kehren Sie zu Snapshots zurück und öffnen Sie den separaten Eintrag für das Volume disk0. Wählen Sie für disk0.zvol den Befehl Mount File as Disk. Das Programm bindet den im Snapshot gespeicherten Zustand des ZVOL ein, nicht dessen aktuellen Inhalt.


Öffnen Sie die Partition des eingebundenen Datenträgers, führen Sie Fast scan aus, prüfen Sie die gewünschten Dateien in Preview und retten Sie sie über Recovery auf ein anderes Laufwerk. So erhalten Sie Dateien aus dem Zustand vor dem Löschen, ohne Windows 10 zu starten oder den gesamten pool2 zurückzusetzen.

Wichtige Hinweise zur Rettung von RAIDZ2 und virtuellen Datenträgern
Das Ergebnis hängt vom Zustand der physischen Laufwerke, der ZFS-Metadaten und der virtuellen Abbilder ab. In unserem Test reichten drei Mitglieder des fünf Laufwerke umfassenden RAIDZ2 und erhaltene Metadaten, um pool3 zu finden. Wurden benötigte Blöcke überschrieben, kann die Wiederherstellung unvollständig sein.
Ein Snapshot enthält ausschließlich den Datenzustand zum Zeitpunkt seiner Erstellung. Wurde er erst nach dem Löschen der betreffenden Datei angelegt oder fehlt darin das relevante Dataset beziehungsweise ZVOL, lässt sich die frühere Datei mit dieser Methode nicht daraus wiederherstellen.
Initialisieren oder formatieren Sie die Serverlaufwerke nicht unter Windows. Erstellen Sie keinen neuen Pool über dem verlorenen Speicher und speichern Sie Ergebnisse nicht auf den Quelldatenträgern. Bei instabilen Laufwerken sollten Sie nach Möglichkeit zunächst eine sektorweise Kopie erstellen, sofern dies sicher möglich ist.
Ausführlichere Informationen zu Poolstrukturen und Snapshots finden Sie in dem Leitfaden zur Rettung eines gelöschten ZFS-RAIDZ2-Pools unter FreeBSD.
Ergebnisse der bhyve-Datenrettung unter FreeBSD
Im ersten Szenario erkannte Hetman RAID Recovery pool3 nach zpool destroy und dem Löschen der GPT-Partitionen. Drei von fünf Laufwerken genügten zur Rekonstruktion des RAIDZ2 im Test. Wir konnten auf IMG-Abbilder sowie reguläre und Sparse-ZVOLs zugreifen, virtuelle Datenträger einbinden und Testdateien sichern.
Im zweiten Szenario fand die Software die Snapshots von pool2 und stellte Windows-10-Dateien aus dem Zustand vor dem Löschen wieder her, sowohl aus IMG als auch aus ZVOL. Weder die VM musste gestartet noch der gesamte Pool zurückgesetzt werden.
Virtuelle Datenträger lassen sich zunächst auf ein anderes Laufwerk speichern. Falls es für das gefundene Objekt unterstützt wird, können sie alternativ mit Mount File as Disk ohne vollständige Kopie analysiert werden. Entscheidend sind Laufwerkszustand, freier Speicherplatz und Datenmenge.







