bhyve-VM-Daten unter FreeBSD retten: IMG, ZVOL und ZFS-Snapshots

Wie lassen sich Dateien einer bhyve-VM unter FreeBSD wiederherstellen, wenn ihre IMG- und ZVOL-Datenträger nach dem Löschen eines ZFS-Pools nicht mehr erreichbar sind? Und was geschieht, wenn Dateien innerhalb des Windows-Gasts gelöscht wurden, aber ein Snapshot existiert? An einem ZFS RAIDZ2 mit fünf Laufwerken zeigen wir, wie Hetman RAID Recovery einen zerstörten Pool mit drei verfügbaren Laufwerken findet, IMG-Dateien sowie reguläre und Sparse-ZVOLs öffnet und Daten aus früheren Zuständen virtueller Datenträger ohne VM-Start wiederherstellt.

bhyve-VM-Daten unter FreeBSD retten: IMG, ZVOL und ZFS-Snapshots

Die Datenrettung bei bhyve umfasst zwei Ebenen: Zuerst muss der Zugriff auf den FreeBSD-Speicher wiederhergestellt werden, danach auf das Dateisystem im virtuellen Datenträger. Ein verlorener ZFS-Pool und innerhalb des Gastbetriebssystems gelöschte Dateien sind unterschiedliche Probleme, die wir getrennt behandeln.

Im ersten Szenario wurden pool3 und seine GPT-Partitionen gelöscht, die Dateien in den Kopien der virtuellen Datenträger jedoch nicht. Im zweiten Szenario blieb pool2 erreichbar, während Testdateien unter Windows 10 mit Shift+Delete gelöscht wurden. Ihr vorheriger Zustand wurde in einem ZFS-Snapshot bewahrt.

Für die Analyse verwenden wir Hetman RAID Recovery auf einem Windows-PC. Das Programm ist auch für Linux und macOS verfügbar.

Zur Ansicht gehen
FreeBSD bhyve: Daten aus VMs wiederherstellen – IMG, ZVOL und gelöschte Dateien

FreeBSD bhyve: Daten aus VMs wiederherstellen – IMG, ZVOL und gelöschte Dateien

Testumgebung: FreeBSD, bhyve und ZFS RAIDZ2

Auf einem FreeBSD-Server richteten wir den Hypervisor bhyve und eine virtuelle Maschine mit Windows 10 ein. Die Datenträgerverwaltung ist in bhyvemgr zu sehen. Der Speicher besteht aus fünf physischen Laufwerken, deren GPT-Partitionen drei voneinander unabhängige ZFS-RAIDZ2-Pools bilden. Jeder Pool besitzt einen RAIDZ2-vdev mit fünf Laufwerken.

bhyvemgr: Konfiguration der Windows-10-VM und 20-GB-Systemabbild

Im Dialog zur VM-Erstellung in bhyvemgr sind der Name windows10, der Gasttyp Windows 10.x und ein 20-GB-Systemabbild zu sehen. Nachdem die weiteren Datenträger verbunden waren, zeigte die Windows-Datenträgerverwaltung vier Datenträger an. So lässt sich ihre Konfiguration mit den später in ZFS gesuchten Objekten abgleichen.

Windows-Datenträgerverwaltung mit vier Datenträgern der bhyve-VM
EigenschaftWert im Test
Server-BetriebssystemFreeBSD
Hypervisor und Gastbetriebssystembhyve, Windows 10
Physische Laufwerke5 Laufwerke; 3 für die Datenrettung verwendet
ZFS-Topologie3 Pools; jeder auf GPT-Partitionen von 5 Laufwerken mit einem RAIDZ2-vdev
Szenario pool3Pool und GPT-Partitionen gelöscht; virtuelle Datenträgerkopien enthalten Testdateien
Szenario pool2Rekursiver Snapshot vor dem Löschen von Dateien in Windows erstellt

Die VM besitzt vier Datenträger: zwei IMG-Abbilder und zwei ZVOLs, darunter ein Sparse-ZVOL. IMG ist eine Datei mit einem Datenträgerabbild, ZVOL hingegen ein ZFS-Block-Volume. Typ und Größe sind wichtig, da die Software IMG-Dateien als Dateien und ZVOLs als separate Volumes anzeigt, deren Inhalt zum Einbinden geöffnet werden kann.

bhyve-DatenträgerFormatGrößeVerwendung
disk0.imgIMG20 GBWindows-10-Systemdatenträger
disk1.imgIMG1 GBZusätzlicher Datenträger mit Testdateien
disk0Sparse ZVOL1 GBZusätzliches Sparse-Block-Volume
disk1ZVOL2 GBZusätzliches reguläres Block-Volume
FreeBSD Control Panel: GPT-Partitionen pool1_d1, pool2_d1 und pool3_d1

Die FreeBSD Control Panel zeigt auf einem Laufwerk drei Partitionen vom Typ freebsd-zfs mit den Bezeichnungen pool1_d1, pool2_d1 und pool3_d1. Es handelt sich um Bestandteile dreier Pools, nicht um drei eigenständige RAID-Arrays auf einem einzelnen Laufwerk. Die entsprechenden Partitionen der übrigen Laufwerke bilden jeweils einen RAIDZ2-vdev mit fünf Mitgliedern.

Szenario eins: gelöschter Pool pool3

Auf pool3 legten wir zuvor Kopien der VM-Datenträger mit Testdateien ab. Unter /pool3/bhyvemgr/windows10/ befanden sich disk0.img, disk1.img und die Konfigurationsdateien von bhyve; die ZVOL-Block-Volumes wurden in den ZFS-Strukturen verwaltet. Daher suchen wir mit Hetman RAID Recovery nach IMG-Dateien und ZVOL-Objekten.

FreeBSD: Kopien von disk0.img, disk1.img und bhyve-Konfiguration auf pool3

Anschließend führten wir im Testsystem zpool destroy pool3 aus und entfernten die zugehörigen GPT-Partitionen von allen fünf Laufwerken. In FreeBSD Control Panel ist beispielsweise die Bestätigung von gpart delete -i 3 mfid1 für die dritte Partition eines Laufwerks zu sehen. Danach war der reguläre Zugriff von FreeBSD auf die VM-Datenträgerkopien nicht mehr möglich.

FreeBSD-Konsole: pool3 mit zpool destroy löschen
FreeBSD: Bestätigung von gpart delete für eine GPT-Partition von pool3

Die Befehle zpool destroy und gpart delete dienten ausschließlich dazu, einen Datenverlust zu simulieren. Führen Sie sie keinesfalls auf einem Speicher aus, dessen Daten Sie retten möchten.

Die Dateien innerhalb der IMG- und ZVOL-Kopien wurden in diesem Szenario nicht gelöscht. Wir müssen den früheren Pool finden, die virtuellen Datenträger wieder zugänglich machen und ihre Inhalte lesen.

Szenario zwei: gelöschte Dateien und Snapshot von pool2

Auf pool2 erstellten wir einen rekursiven ZFS-Snapshot namens snapshot_0, der das Root-Dataset und seine untergeordneten Datasets einschließlich der ZVOLs umfasste. Die enthaltenen Snapshots prüften wir mit zfs list -t snapshot -r pool2. Die Ausgabe enthält unter anderem pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 und pool2/bhyvemgr/windows10/disk1@snapshot_0. Damit wurde der Zustand der virtuellen Datenträger vor dem anschließenden Löschen der Dateien festgehalten.

FreeBSD-Terminal: rekursiver snapshot_0 und enthaltene Datasets und ZVOLs

Nach der Snapshot-Erstellung starteten wir Windows 10 mit den Datenträgern auf pool2, löschten die Testdateien per Shift+Delete und fuhren die VM regulär herunter. Die aktuellen IMG- und ZVOL-Objekte blieben im Pool; ihr früherer Zustand blieb im Snapshot erhalten.

Windows-10-Gast: Testdateien mit Shift+Delete löschen

Drei Laufwerke anschließen und RAIDZ2 automatisch erkennen

Für die Wiederherstellung verwenden wir drei der fünf physischen Serverlaufwerke. Wir verbinden sie mit einem Windows-PC und starten Hetman RAID Recovery. Je nach Schnittstelle können Laufwerke direkt oder mit einem geeigneten Adapter beziehungsweise einer Dockingstation angeschlossen werden.

Zur Datenwiederherstellung von ausgefallenen RAID-Arrays, NAS-Geräten und anderen Speichersystemen mit mehreren Festplatten.

Wenn Windows anbietet, die Laufwerke zu initialisieren oder zu formatieren, lehnen Sie dies ab. Legen Sie keine neuen Partitionen an und schreiben Sie keine Daten auf die Laufwerke, von denen Daten gerettet werden sollen.

Beim Start erkannte die Software automatisch die ZFS-RAIDZ2-Konfigurationen einschließlich des gelöschten pool3. Wählen Sie diesen Pool im Hauptfenster aus.

Hetman RAID Recovery: gelöschten ZFS-RAIDZ2-Pool pool3 automatisch erkennen

Rechts stehen File system — ZFS und RAID type — RAIDZ2. Unter RAID Disks werden drei verfügbare Mitglieder und zwei Einträge Empty disk angezeigt. Der gefundene pool3 erscheint als RAID-Volume mit ungefähr 90 GB. Die Größe der einzelnen Mitglieder bezieht sich auf den für pool3 reservierten Bereich, nicht auf die Gesamtkapazität der SSD.

RAIDZ2-Eigenschaften: drei Mitglieder und zwei Empty disk

RAIDZ2 verwendet doppelte Parität und toleriert den Ausfall von zwei Mitgliedern eines vdev. In unserem Test mit fünf Laufwerken reichten drei verfügbare Mitglieder und die erhaltenen Metadaten aus, um die Konfiguration ohne manuelle Parametereingabe zu erkennen.

Dies ist das Ergebnis dieses konkreten Tests und keine Garantie für jeden zerstörten ZFS-Pool. Sind wichtige Metadaten überschrieben oder zu wenige Mitglieder verfügbar, kann das Ergebnis abweichen.

IMG- und ZVOL-Datenträger aus dem gelöschten pool3 wiederherstellen

SCHRITT 1. pool3 analysieren und bhyve-Datenträger finden

Doppelklicken Sie auf den gefundenen pool3, wählen Sie im Assistenten Fast scan und starten Sie die Analyse. Mithilfe erhaltener ZFS-Metadaten rekonstruiert das Programm den zugänglichen Verzeichnisbaum. In unserem Test genügte der Schnellscan, um die VM-Datenträger zu finden.

Hetman RAID Recovery: Fast scan des gelöschten ZFS-Pools pool3

Öffnen Sie in den Ergebnissen bhyvemgr → windows10. Dort finden sich disk0.img, disk1.img sowie die beiden ZVOLs disk0 und disk1. Beim Öffnen des betreffenden Volumes erscheint ein Objekt mit der Erweiterung .zvol.

Scanergebnisse von pool3: IMG-Dateien und ZVOLs unter bhyvemgr/windows10

Um den Inhalt eines Block-Volumes zu sehen, öffnen Sie disk0 im selben Verzeichnisbaum. Das Programm zeigt disk0.zvol als eigenes Objekt von etwa 1 GB an. Im Volume disk1 befindet sich entsprechend disk1.zvol mit 2 GB. Verwechseln Sie diese Objekte nicht mit den Dateien disk0.img und disk1.img.

pool3: Sparse-ZVOL-Objekt disk0 mit etwa 1 GB

SCHRITT 2. Ein IMG und ein reguläres ZVOL speichern

Um mehrere Datenträger aus verschiedenen Verzeichnisebenen gemeinsam zu speichern, klicken Sie mit der rechten Maustaste auf disk1.img und wählen Add For Recovery. Das Abbild erscheint rechts in Recovery list. Öffnen Sie anschließend das reguläre Volume disk1 und ziehen Sie disk1.zvol in dieselbe Liste.

Recovery list mit disk1.img und disk1.zvol

Prüfen Sie die Liste, klicken Sie auf Recover und wählen Sie im Assistenten Save to hard disk. Geben Sie einen Ordner auf einem anderen Laufwerk mit ausreichend freiem Speicherplatz an. IMG wird als Abbilddatei gespeichert; der Inhalt von ZVOL wird ebenfalls als Datei gesichert und kann danach zur Analyse eingebunden werden.

Recover-Assistent: IMG und ZVOL auf einem anderen Laufwerk speichern

Speichern Sie gerettete Abbilder und Dateien niemals auf den ursprünglichen physischen Laufwerken des ZFS RAIDZ2. Neue Schreibvorgänge könnten noch nicht gelesene Daten überschreiben.

SCHRITT 3. IMG einbinden und Windows-Dateien wiederherstellen

Nach dem Speichern klicken Sie auf Mount Disk, wählen RAW und geben disk1.img an. Unter Mounted Disks erscheint ein separater Datenträger mit seinen Partitionen. In unserem Test erkannte das Programm eine NTFS-Partition. Öffnen Sie diese und führen Sie Fast scan aus.

Mount Disk: gespeichertes disk1.img als RAW-Abbild auswählen
Mounted Disks: eingebundenes disk1.img mit NTFS-Partition

Durchsuchen Sie nach dem Scan die NTFS-Ordnerstruktur, darunter Lost and Found und General level 1, nach Testdokumenten, Bildern und Videos. Markieren Sie eine Datei und prüfen Sie sie in Preview. Die Screenshots zeigen die Vorschau einer Bilddatei, sodass sich deren Inhalt vor dem Speichern beurteilen lässt.

IMG-Scanergebnisse: NTFS-Ordner Lost and Found und General level 1
Preview einer Bilddatei aus dem eingebundenen IMG

Mit Find File suchen Sie nach Dateinamen. Unter Advanced können Sie Größen- und Datumsbereiche festlegen, versteckte oder Systemdateien einbeziehen sowie Groß-/Kleinschreibung oder die Suche nach ganzen Wörtern berücksichtigen.

Find File und Advanced: Filter für Namen, Größe und Datum

Markieren Sie die gewünschten Dateien, klicken Sie auf Recovery, wählen Sie Save to hard disk und geben Sie ein anderes physisches Laufwerk an. Öffnen Sie anschließend den Zielordner und überprüfen Sie die Ergebnisse.

Recovery-Assistent: ausgewählte Dateien aus IMG speichern

Kontrollieren Sie den Ergebnisordner auf dem separaten Laufwerk im Windows-Explorer. Die wiederhergestellten Dateien sind dort vorhanden. Dies ist eine zusätzliche Kontrolle zur Vorschau im Programm.

Windows-Explorer: wiederhergestellte IMG-Dateien im Zielordner

Wichtig: disk1.img stammte in diesem Beispiel aus der Kopie auf dem gelöschten pool3. Die Dateien waren wegen des Verlusts des Speichers nicht erreichbar, nicht weil sie in Windows gelöscht worden waren. Tatsächlich gelöschte Dateien behandeln wir im Szenario mit dem Snapshot von pool2.

SCHRITT 4. Reguläre und Sparse-ZVOLs öffnen

Ein gespeichertes reguläres ZVOL namens disk1.zvol lässt sich über Mount Disk öffnen und wie ein IMG untersuchen. Wird die Datei mit der Erweiterung .zvol im Auswahldialog nicht angezeigt, wechseln Sie zum Filter All files und wählen Sie sie manuell.

Mount Disk: disk1.zvol über den Filter All files auswählen

Wenn kein Platz für eine vollständige Kopie vorhanden ist, lässt sich der Datenträger direkt aus den Scanergebnissen des Pools einbinden. Wechseln Sie zu pool3 → bhyvemgr → windows10 → disk0, klicken Sie mit der rechten Maustaste auf disk0.zvol und wählen Sie Mount File as Disk.

pool3-Ergebnisse: Mount File as Disk für Sparse-ZVOL disk0.zvol

Öffnen Sie die Partition des eingebundenen ZVOL, starten Sie die Analyse und prüfen Sie die Dateien. Die Daten werden direkt vom rekonstruierten RAIDZ2 gelesen; die Untersuchung kann daher länger dauern als bei einem lokalen Abbild. Speicherplatz für eine komplette virtuelle Datenträgerkopie ist nicht nötig, wohl aber zum Speichern der geretteten Dateien.

Eingebundenes Sparse-ZVOL: Scanergebnisse und Dateien

Wählen Sie die benötigten Dateien aus, starten Sie Recovery und speichern Sie die Ergebnisse auf einem anderen Laufwerk. Im Screenshot ist der Assistent zur Dateirettung aus einem ZVOL zu sehen, das ohne vorherigen vollständigen Export eingebunden wurde.

Recovery-Assistent für Dateien aus direkt eingebundenem Sparse-ZVOL

Gelöschte bhyve-Dateien aus einem ZFS-Snapshot wiederherstellen

Anders als bei pool3 blieben die virtuellen Datenträger auf pool2 erreichbar. Allerdings wurden Testdateien in Windows 10 nach der Erstellung des rekursiven Snapshots gelöscht. Wir verwenden den gespeicherten Zustand des Datasets und der ZVOLs, um frühere Dateiversionen zurückzuholen.

SCHRITT 1. IMG- und ZVOL-Snapshots auf pool2 finden

Wählen Sie im Hauptfenster von Hetman RAID Recovery pool2, starten Sie Fast scan und öffnen Sie den Ordner Snapshots. Er enthält separate Einträge für windows10, disk0, disk1 und weitere Bestandteile des rekursiven snapshot_0. Dabei handelt es sich nicht um voneinander unabhängige Wiederherstellungspunkte: Die Software zeigt die Zustände der Datasets und ZVOLs an, die zum selben rekursiven Snapshot gehören.

pool2 unter Snapshots: windows10, disk0, disk1 und snapshot_0

SCHRITT 2. Ein IMG aus dem windows10-Snapshot wiederherstellen

Öffnen Sie den Snapshot des Datasets windows10, das disk0.img und disk1.img enthält. Wählen Sie disk1.img und speichern Sie es in einem eigenen Ordner, damit es nicht mit dem Abbild aus pool3 verwechselt wird.

Binden Sie die Datei aus dem Snapshot über Mount Disk → RAW ein, öffnen Sie ihre Partition und führen Sie Fast scan aus. Die Ergebnisse enthalten Testdateien, die bei der Snapshot-Erstellung noch vorhanden waren. Kontrollieren Sie sie in Preview und speichern Sie sie über Recovery.

windows10-Snapshot: disk0.img und disk1.img gefunden

Nach dem Einbinden von disk1.img aus dem Snapshot öffnen Sie dessen NTFS-Partition. Der vor Shift+Delete gespeicherte Zustand enthält Testbilder und Dokumente, die Sie unabhängig von den Daten aus pool3 auswählen und sichern können.

IMG aus Snapshot: Windows-Testdateien vor der Löschung

SCHRITT 3. Ein ZVOL direkt aus einem Snapshot einbinden

Kehren Sie zu Snapshots zurück und öffnen Sie den separaten Eintrag für das Volume disk0. Wählen Sie für disk0.zvol den Befehl Mount File as Disk. Das Programm bindet den im Snapshot gespeicherten Zustand des ZVOL ein, nicht dessen aktuellen Inhalt.

ZVOL-Snapshot von pool2: Mount File as Disk für disk0.zvol
Eingebundenes ZVOL aus Snapshot mit NTFS-Partition

Öffnen Sie die Partition des eingebundenen Datenträgers, führen Sie Fast scan aus, prüfen Sie die gewünschten Dateien in Preview und retten Sie sie über Recovery auf ein anderes Laufwerk. So erhalten Sie Dateien aus dem Zustand vor dem Löschen, ohne Windows 10 zu starten oder den gesamten pool2 zurückzusetzen.

ZVOL-Snapshot-Scan: Windows-Dateien zur Wiederherstellung

Wichtige Hinweise zur Rettung von RAIDZ2 und virtuellen Datenträgern

Das Ergebnis hängt vom Zustand der physischen Laufwerke, der ZFS-Metadaten und der virtuellen Abbilder ab. In unserem Test reichten drei Mitglieder des fünf Laufwerke umfassenden RAIDZ2 und erhaltene Metadaten, um pool3 zu finden. Wurden benötigte Blöcke überschrieben, kann die Wiederherstellung unvollständig sein.

Ein Snapshot enthält ausschließlich den Datenzustand zum Zeitpunkt seiner Erstellung. Wurde er erst nach dem Löschen der betreffenden Datei angelegt oder fehlt darin das relevante Dataset beziehungsweise ZVOL, lässt sich die frühere Datei mit dieser Methode nicht daraus wiederherstellen.

Initialisieren oder formatieren Sie die Serverlaufwerke nicht unter Windows. Erstellen Sie keinen neuen Pool über dem verlorenen Speicher und speichern Sie Ergebnisse nicht auf den Quelldatenträgern. Bei instabilen Laufwerken sollten Sie nach Möglichkeit zunächst eine sektorweise Kopie erstellen, sofern dies sicher möglich ist.

Ausführlichere Informationen zu Poolstrukturen und Snapshots finden Sie in dem Leitfaden zur Rettung eines gelöschten ZFS-RAIDZ2-Pools unter FreeBSD.

Ergebnisse der bhyve-Datenrettung unter FreeBSD

Im ersten Szenario erkannte Hetman RAID Recovery pool3 nach zpool destroy und dem Löschen der GPT-Partitionen. Drei von fünf Laufwerken genügten zur Rekonstruktion des RAIDZ2 im Test. Wir konnten auf IMG-Abbilder sowie reguläre und Sparse-ZVOLs zugreifen, virtuelle Datenträger einbinden und Testdateien sichern.

Im zweiten Szenario fand die Software die Snapshots von pool2 und stellte Windows-10-Dateien aus dem Zustand vor dem Löschen wieder her, sowohl aus IMG als auch aus ZVOL. Weder die VM musste gestartet noch der gesamte Pool zurückgesetzt werden.

Virtuelle Datenträger lassen sich zunächst auf ein anderes Laufwerk speichern. Falls es für das gefundene Objekt unterstützt wird, können sie alternativ mit Mount File as Disk ohne vollständige Kopie analysiert werden. Entscheidend sind Laufwerkszustand, freier Speicherplatz und Datenmenge.

Glib Khomenko

Autor: , Technischer Schreiber

Hlib Khomenko ist Übersetzer und IT-Techniker im Unternehmen „Hetman Software“. Der Autor hat eine spezialisierte Hochschulausbildung und hat langjährige Erfahrung in der deutschen Übersetzung.

Alexandr Shafarenko

Editor: , Technischer Schreiber

Olexander Schafarenko hat langjährige Erfahrungen im Schreiben von Artikeln. Seine Artikel auf dem Blog wurden von Millionen von Benutzern gelesen. Der Autor hat eine spezialisierte Hochschulausbildung und teilt sein Wissen im Bereich IT mit den Lesern.

Für dich empfohlen