Récupérer les données d’une VM bhyve sous FreeBSD : IMG, ZVOL et snapshots ZFS

Comment récupérer les fichiers d’une machine virtuelle bhyve sous FreeBSD lorsque ses disques IMG et ZVOL deviennent inaccessibles après la suppression d’un pool ZFS ? Et si des fichiers ont été supprimés dans Windows, mais qu’un instantané existe encore ? À partir d’un ZFS RAIDZ2 à cinq disques, nous montrons comment Hetman RAID Recovery retrouve un pool détruit grâce à trois disques disponibles, ouvre les images IMG et les volumes ZVOL classiques ou sparse, puis récupère les données d’un état antérieur des disques virtuels sans démarrer la VM.

Récupérer les données d’une VM bhyve sous FreeBSD : IMG, ZVOL et snapshots ZFS

La récupération de données bhyve comporte deux niveaux : il faut d’abord accéder au stockage FreeBSD, puis au système de fichiers situé dans chaque disque virtuel. La disparition d’un pool ZFS et la suppression de fichiers dans le système invité sont deux problèmes distincts que nous traiterons séparément.

Dans le premier scénario, pool3 et ses partitions GPT ont été supprimés, mais les fichiers présents dans les copies des disques virtuels n’ont pas été effacés. Dans le second, pool2 est resté accessible, alors que des fichiers de test ont été supprimés dans Windows 10 avec Shift+Delete. Leur état précédent subsistait dans un instantané ZFS.

Pour l’analyse, nous utilisons Hetman RAID Recovery sur un ordinateur Windows. Le logiciel existe également pour Linux et macOS.

Visualisation
Récupérer les données d’une VM bhyve sous FreeBSD : IMG, ZVOL et fichiers supprimés

Récupérer les données d’une VM bhyve sous FreeBSD : IMG, ZVOL et fichiers supprimés

Environnement de test : FreeBSD, bhyve et ZFS RAIDZ2

Sur un serveur FreeBSD, nous avons configuré l’hyperviseur bhyve et une VM Windows 10. La gestion des disques est illustrée dans bhyvemgr. Le stockage repose sur cinq disques physiques, chacun comportant des partitions GPT destinées à trois pools ZFS RAIDZ2 indépendants. Chaque pool comprend un vdev RAIDZ2 de cinq disques.

bhyvemgr : configuration de la VM Windows 10 et image système de 20 Go

La fenêtre de création dans bhyvemgr affiche le nom windows10, le type Windows 10.x et une image système de 20 Go. Une fois les autres disques ajoutés, la Gestion des disques de Windows affichait quatre disques. Cela permet de faire correspondre la configuration de la VM aux objets recherchés ensuite dans ZFS.

Gestion des disques Windows : quatre disques de la VM bhyve
CaractéristiqueValeur du test
Système du serveurFreeBSD
Hyperviseur et système invitébhyve, Windows 10
Disques physiques5 disques, dont 3 utilisés pour la récupération
Topologie ZFS3 pools ; chacun sur des partitions GPT de 5 disques, avec un vdev RAIDZ2
Scénario pool3Pool et partitions GPT supprimés ; les copies des disques virtuels contiennent les fichiers de test
Scénario pool2Instantané récursif créé avant la suppression des fichiers dans Windows

La VM dispose de quatre disques : deux images IMG et deux volumes ZVOL, dont un ZVOL sparse. Une image IMG est enregistrée sous forme de fichier, tandis qu’un ZVOL est un volume bloc ZFS. Leur type et leur capacité comptent : le logiciel présente les IMG comme des fichiers et les ZVOL comme des volumes distincts dont le contenu peut être ouvert et monté.

Disque bhyveFormatTailleRôle
disk0.imgIMG20 GoDisque système de Windows 10
disk1.imgIMG1 GoDisque supplémentaire avec fichiers de test
disk0Sparse ZVOL1 GoVolume bloc sparse supplémentaire
disk1ZVOL2 GoVolume bloc classique supplémentaire
FreeBSD Control Panel : partitions GPT pool1_d1, pool2_d1 et pool3_d1

Sur un des disques, FreeBSD Control Panel présente trois partitions de type freebsd-zfs nommées pool1_d1, pool2_d1 et pool3_d1. Ce sont des parties de trois pools distincts, et non trois matrices RAID autonomes sur un seul disque. Les partitions correspondantes des autres disques constituent leurs vdev RAIDZ2 à cinq membres.

Premier scénario : pool3 supprimé

Nous avions placé dans pool3 des copies des disques de la VM contenant des fichiers de test. Le répertoire /pool3/bhyvemgr/windows10/ contenait disk0.img, disk1.img et les fichiers de configuration bhyve ; les volumes bloc ZVOL résidaient dans les structures ZFS. Dans Hetman RAID Recovery, nous allons donc rechercher à la fois des fichiers IMG et des objets ZVOL.

FreeBSD : copies de disk0.img, disk1.img et fichiers de configuration bhyve dans pool3

Nous avons ensuite exécuté zpool destroy pool3 dans cet environnement de test, puis supprimé les partitions GPT correspondantes sur les cinq disques. FreeBSD Control Panel affiche notamment la confirmation de gpart delete -i 3 mfid1 pour la troisième partition d’un disque. FreeBSD ne pouvait alors plus accéder normalement aux copies des disques de la VM.

Console FreeBSD : suppression de pool3 avec zpool destroy
FreeBSD : confirmation de gpart delete pour une partition GPT de pool3

Les commandes zpool destroy et gpart delete servent ici uniquement à simuler une perte de données. Ne les exécutez jamais sur un stockage dont vous souhaitez récupérer les fichiers.

Dans ce scénario, les fichiers contenus dans les copies IMG et ZVOL n’ont pas été supprimés. L’objectif est de retrouver l’ancien pool, récupérer les images des disques virtuels et lire leur contenu.

Deuxième scénario : fichiers supprimés et instantané de pool2

Sur pool2, nous avons créé un instantané ZFS récursif appelé snapshot_0, comprenant le dataset racine et ses datasets enfants, y compris les ZVOL. La commande zfs list -t snapshot -r pool2 permet d’en voir les composants, notamment pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 et pool2/bhyvemgr/windows10/disk1@snapshot_0. Ces entrées enregistrent l’état des disques virtuels avant la suppression ultérieure des fichiers.

Terminal FreeBSD : instantané récursif snapshot_0, datasets et ZVOL

Après la création de l’instantané, nous avons démarré Windows 10 avec les disques de pool2, supprimé les fichiers de test à l’aide de Shift+Delete et arrêté normalement la VM. Les IMG et ZVOL actuels sont restés dans le pool, tandis que leur état antérieur était conservé par l’instantané.

Windows 10 invité : suppression des fichiers de test avec Shift+Delete

Connecter trois disques et détecter RAIDZ2 automatiquement

Pour la récupération, nous utilisons trois des cinq disques physiques du serveur. Nous les connectons à un PC Windows et lançons Hetman RAID Recovery. Selon leur interface, les disques peuvent être raccordés directement ou au moyen d’un adaptateur ou d’une station d’accueil adaptée.

Pour récupérer les données de matrices RAID défaillantes, de périphériques NAS et d’autres systèmes de stockage multidisques.

Si Windows propose d’initialiser ou de formater ces disques, refusez. Ne créez aucune partition et n’écrivez rien sur les supports contenant les données à récupérer.

Au démarrage, le logiciel a automatiquement détecté les configurations ZFS RAIDZ2, notamment le pool3 supprimé. Sélectionnez ce pool dans la fenêtre principale.

Hetman RAID Recovery : détection automatique du pool ZFS RAIDZ2 pool3 supprimé

Le volet de droite indique File system — ZFS et RAID type — RAIDZ2. Sous RAID Disks, il présente trois membres accessibles et deux lignes Empty disk. Le pool3 retrouvé apparaît comme un volume RAID d’environ 90 Go. La capacité indiquée pour chaque membre correspond à l’espace réservé à pool3 et non à la capacité totale du SSD.

Propriétés RAIDZ2 : trois membres disponibles et deux entrées Empty disk

RAIDZ2 utilise une double parité et tolère l’absence de deux membres d’un même vdev. Lors de notre essai à cinq disques, les trois supports disponibles et les métadonnées conservées ont suffi pour retrouver la configuration sans saisir les paramètres manuellement.

Il s’agit du résultat de cet essai précis, et non d’une garantie de récupération pour tout pool ZFS détruit. Si les métadonnées nécessaires ont été écrasées ou si trop de disques manquent, l’issue peut être différente.

Récupérer les disques IMG et ZVOL du pool3 supprimé

ÉTAPE 1. Analyser pool3 et retrouver les disques bhyve

Double-cliquez sur pool3, choisissez Fast scan dans l’assistant et lancez l’analyse. Le programme exploite les métadonnées ZFS encore présentes pour reconstituer l’arborescence accessible. Dans notre essai, cette analyse rapide a suffi pour retrouver les disques de la VM.

Hetman RAID Recovery : Fast scan du pool ZFS pool3 supprimé

Dans les résultats, ouvrez bhyvemgr → windows10. Vous trouverez disk0.img, disk1.img, ainsi que les deux ZVOL nommés disk0 et disk1. L’ouverture du volume concerné fait apparaître un objet portant l’extension .zvol.

Résultats de pool3 : images IMG et volumes ZVOL dans bhyvemgr/windows10

Pour examiner le volume bloc, ouvrez disk0 dans la même arborescence. Le logiciel affiche disk0.zvol comme un objet distinct d’environ 1 Go. Le volume disk1 contient de même disk1.zvol de 2 Go. Ne confondez pas ces objets avec les fichiers disk0.img et disk1.img.

Résultats de pool3 : ZVOL sparse disk0 d’environ 1 Go

ÉTAPE 2. Enregistrer une image IMG et un ZVOL classique

Pour enregistrer plusieurs disques situés à différents niveaux de l’arborescence en une opération, faites un clic droit sur disk1.img et choisissez Add For Recovery. L’image apparaît dans le panneau Recovery list à droite. Ouvrez ensuite le volume classique disk1 et faites glisser disk1.zvol dans cette même liste.

Recovery list contenant disk1.img et disk1.zvol

Vérifiez la liste, cliquez sur Recover et choisissez Save to hard disk dans l’assistant. Indiquez un dossier sur un autre disque disposant de suffisamment d’espace. IMG est enregistré comme un fichier image ; le contenu du ZVOL est également sauvegardé dans un fichier qui pourra ensuite être monté pour analyse.

Assistant Recover : sauvegarde des IMG et ZVOL sur un autre disque

N’enregistrez jamais les images ou fichiers récupérés sur les disques physiques d’origine du ZFS RAIDZ2. Toute nouvelle écriture pourrait écraser des données qu’il reste à lire.

ÉTAPE 3. Monter une image IMG et récupérer les fichiers Windows

Une fois l’image enregistrée, cliquez sur Mount Disk, sélectionnez le format RAW et indiquez disk1.img. Un disque distinct et ses partitions apparaissent dans Mounted Disks. Lors de notre essai, le programme a reconnu une partition NTFS. Ouvrez-la et lancez Fast scan.

Mount Disk : sélection de disk1.img enregistré au format RAW
Mounted Disks : disk1.img monté avec sa partition NTFS

Après l’analyse, parcourez les dossiers NTFS, notamment Lost and Found et General level 1, pour retrouver les documents, images et vidéos de test. Sélectionnez un fichier et examinez-le dans Preview. Les captures illustrent l’aperçu d’une image, utile pour vérifier son contenu avant son enregistrement.

Analyse IMG : dossiers NTFS Lost and Found et General level 1
Preview d’une image retrouvée dans le disque IMG monté

Pour rechercher un nom, utilisez Find File. Les options Advanced permettent de filtrer par taille ou date, d’inclure les fichiers masqués et système, de respecter la casse ou de rechercher uniquement des mots entiers.

Find File et Advanced : filtres par nom, taille et date

Sélectionnez les fichiers souhaités, cliquez sur Recovery, choisissez Save to hard disk et indiquez un autre disque physique. Une fois l’opération terminée, ouvrez le dossier de destination et vérifiez les résultats.

Assistant Recovery : enregistrement des fichiers choisis dans IMG

Dans l’Explorateur de fichiers Windows, contrôlez le dossier de résultats sur le disque distinct. Les fichiers récupérés sont présents à l’emplacement indiqué. Cette vérification complète l’aperçu proposé par Preview.

Explorateur Windows : fichiers IMG récupérés dans le dossier cible

Rappelons que, dans cet exemple, disk1.img provenait de la copie du pool3 supprimé. Les fichiers étaient inaccessibles à cause de la perte du stockage, et non parce qu’ils avaient été effacés dans Windows. Nous aborderons les fichiers réellement supprimés avec l’instantané de pool2.

ÉTAPE 4. Ouvrir les ZVOL classiques et sparse

Le ZVOL classique enregistré, disk1.zvol, peut être ouvert via Mount Disk et analysé comme une image IMG. Si l’extension .zvol n’apparaît pas dans la boîte de sélection, passez au filtre All files et choisissez le fichier manuellement.

Mount Disk : sélection de disk1.zvol avec le filtre All files

Si l’espace disponible ne permet pas une copie complète, le disque peut être monté directement à partir des résultats d’analyse du pool. Revenez à pool3 → bhyvemgr → windows10 → disk0, faites un clic droit sur disk0.zvol et choisissez Mount File as Disk.

Résultats pool3 : Mount File as Disk pour le ZVOL sparse disk0.zvol

Ouvrez la partition du ZVOL monté, lancez l’analyse et examinez les fichiers. Les données sont lues directement depuis le RAIDZ2 reconstitué : l’opération peut donc prendre plus de temps qu’avec une image locale. Il n’est pas nécessaire de disposer de l’espace pour une copie intégrale, mais un espace libre reste indispensable pour enregistrer les fichiers récupérés.

ZVOL sparse monté : analyse et fichiers retrouvés

Sélectionnez les fichiers voulus, lancez Recovery et enregistrez-les sur un autre disque. La capture montre l’assistant de récupération des fichiers d’un ZVOL monté sans export préalable du volume entier.

Assistant Recovery pour fichiers d’un ZVOL sparse sans export préalable

Récupérer les fichiers bhyve supprimés avec un instantané ZFS

Contrairement à pool3, les disques virtuels de pool2 sont restés accessibles. En revanche, les fichiers de test de Windows 10 ont été supprimés après la création de l’instantané récursif. Nous allons utiliser les états enregistrés du dataset et des ZVOL pour retrouver leurs anciennes versions.

ÉTAPE 1. Localiser les instantanés IMG et ZVOL dans pool2

Dans la fenêtre principale de Hetman RAID Recovery, sélectionnez pool2, lancez Fast scan et ouvrez le dossier Snapshots. Il contient des entrées distinctes pour windows10, disk0, disk1 et les autres composants de snapshot_0. Ce ne sont pas des points de restauration incompatibles : le programme présente les états des différents datasets et ZVOL inclus dans le même instantané récursif.

Dossier Snapshots de pool2 avec windows10, disk0, disk1 et snapshot_0

ÉTAPE 2. Récupérer une image IMG depuis l’instantané windows10

Ouvrez l’instantané du dataset windows10 qui contient disk0.img et disk1.img. Sélectionnez disk1.img et enregistrez-le dans un dossier séparé, afin de ne pas le confondre avec l’image récupérée de pool3.

Montez le fichier issu de l’instantané via Mount Disk → RAW, ouvrez sa partition et lancez Fast scan. Les résultats comprennent les fichiers de test encore présents au moment de la capture. Vérifiez-les dans Preview, puis enregistrez-les avec Recovery.

Instantané windows10 : images disk0.img et disk1.img retrouvées

Après avoir monté disk1.img issu de l’instantané, ouvrez sa partition NTFS. Cet état antérieur à Shift+Delete contient des images et documents de test que vous pouvez sélectionner et sauvegarder séparément des fichiers provenant de pool3.

IMG depuis instantané : fichiers Windows présents avant suppression

ÉTAPE 3. Monter un ZVOL directement depuis un instantané

Revenez à Snapshots et ouvrez l’entrée réservée au volume disk0. Sur l’objet disk0.zvol, choisissez Mount File as Disk. Le logiciel monte l’état du ZVOL enregistré dans l’instantané, et non son contenu actuel.

Instantané ZVOL de pool2 : Mount File as Disk pour disk0.zvol
ZVOL monté depuis un instantané avec sa partition NTFS

Ouvrez la partition de ce disque, exécutez Fast scan, recherchez les données, vérifiez-les dans Preview et récupérez-les sur un autre support à l’aide de Recovery. Vous retrouvez ainsi les fichiers de l’état antérieur à leur suppression, sans démarrer Windows 10 ni restaurer tout pool2 à une date précédente.

Analyse du ZVOL instantané : fichiers Windows à récupérer

Précautions avant de récupérer RAIDZ2 et les disques virtuels

Le résultat dépend de l’état des disques physiques, des métadonnées ZFS et des images virtuelles. Dans notre essai, trois membres du RAIDZ2 à cinq disques et les métadonnées subsistantes ont permis de retrouver pool3. Si certains blocs indispensables ont été écrasés, la récupération peut être partielle.

Un instantané ne contient que l’état enregistré lors de sa création. S’il a été créé après la suppression du fichier recherché, ou s’il ne comprend pas le dataset ou le ZVOL concerné, cette méthode ne peut pas retrouver le fichier dans un état antérieur.

N’initialisez pas et ne formatez pas les disques du serveur sous Windows, ne recréez pas de pool sur le stockage perdu et n’enregistrez pas les résultats sur les supports sources. Si un disque physique fonctionne de manière instable, travaillez de préférence sur une copie secteur par secteur lorsqu’il est possible d’en créer une sans danger.

Pour en savoir plus sur la structure du pool et les instantanés, consultez le guide de récupération d’un pool ZFS RAIDZ2 supprimé sous FreeBSD.

Résultats de la récupération bhyve sous FreeBSD

Dans le premier scénario, Hetman RAID Recovery a retrouvé pool3 après zpool destroy et la suppression des partitions GPT. Trois disques sur cinq ont suffi pour reconstituer le RAIDZ2 de test. Nous avons accédé aux IMG, à un ZVOL classique et à un ZVOL sparse, monté les disques virtuels et sauvegardé les fichiers de test.

Dans le second, le logiciel a identifié les instantanés de pool2 et récupéré des fichiers Windows 10 dans leur état antérieur à la suppression, à partir d’IMG et de ZVOL. Il n’a fallu ni démarrer la VM ni restaurer l’intégralité du pool.

Il est possible d’enregistrer d’abord les disques virtuels sur un autre support ou, lorsque l’objet retrouvé le permet, d’utiliser Mount File as Disk pour les analyser sans copie complète. Le choix dépend de l’état des supports, de l’espace disponible et du volume de données.

Abdelhamid Balti

Auteur: , Rédacteur technique

AbdelHamid Balti est un rédacteur technique chez Hetman Software. Il gère les tutoriels, les procédures et les revues détaillées concernant le fonctionnement des outils de l'entreprise avec toutes sortes de périphériques de stockage de données.

Mykhailo Miroshnychenko

Éditeur: , Rédacteur technique

Mykhailo Miroshnychenko est l'un des principaux programmeurs de la société Hetman Software. S'appuyant sur quinze années d'expérience en développement logiciel, il partage ses connaissances avec les lecteurs de notre blog. En plus de la programmation, Mykhailo est un expert dans le domaine de la récupération de données, des systèmes de fichiers, des périphériques de stockage de données et des matrices RAID.

Recommandé pour vous