Recuperare dati bhyve su FreeBSD: IMG, ZVOL e snapshot ZFS

Come recuperare i file di una macchina virtuale bhyve su FreeBSD quando i dischi IMG e ZVOL diventano inaccessibili dopo l’eliminazione di un pool ZFS? E se i file vengono cancellati all’interno di Windows, ma esiste ancora uno snapshot? Su un ZFS RAIDZ2 a cinque unità mostriamo come Hetman RAID Recovery ritrova un pool distrutto usando tre dischi disponibili, apre immagini IMG e volumi ZVOL normali o sparse e recupera i dati dagli stati precedenti dei dischi virtuali senza avviare la VM.

Recuperare dati bhyve su FreeBSD: IMG, ZVOL e snapshot ZFS

Il recupero dei dati di bhyve coinvolge due livelli: prima occorre accedere allo storage FreeBSD, poi al file system presente all’interno del disco virtuale. La perdita di un pool ZFS e la cancellazione di file nel sistema guest sono problemi differenti, che esamineremo separatamente.

Nel primo scenario abbiamo distrutto pool3 ed eliminato le sue partizioni GPT, senza cancellare i file contenuti nelle copie dei dischi virtuali. Nel secondo pool2 è rimasto accessibile, ma i file di prova in Windows 10 sono stati eliminati con Shift+Delete. Il loro stato precedente era conservato in uno snapshot ZFS.

Per l’analisi usiamo Hetman RAID Recovery su un computer Windows. Il software è disponibile anche per Linux e macOS.

Vai a vedere
Come recuperare dati dalle VM bhyve su FreeBSD: IMG, ZVOL e file eliminati

Come recuperare dati dalle VM bhyve su FreeBSD: IMG, ZVOL e file eliminati

Ambiente di prova: FreeBSD, bhyve e ZFS RAIDZ2

Su un server FreeBSD abbiamo configurato l’hypervisor bhyve e una macchina virtuale Windows 10. La gestione dei dischi è mostrata nell’interfaccia bhyvemgr. Lo storage comprende cinque unità fisiche, ognuna con partizioni GPT dedicate a tre pool ZFS RAIDZ2 indipendenti. Ogni pool dispone di un solo vdev RAIDZ2 a cinque dischi.

bhyvemgr: configurazione VM Windows 10 e immagine di sistema da 20 GB

Nella finestra di creazione della VM di bhyvemgr sono visibili il nome windows10, il tipo Windows 10.x e un’immagine del disco di sistema da 20 GB. Dopo aver aggiunto le altre unità, Gestione disco di Windows mostrava quattro dischi: possiamo così confrontare la configurazione della VM con gli oggetti che cercheremo in ZFS.

Gestione disco Windows: quattro dischi della VM bhyve
CaratteristicaValore nel test
Sistema del serverFreeBSD
Hypervisor e sistema guestbhyve, Windows 10
Dischi fisici5 dischi; 3 usati per il recupero
Topologia ZFS3 pool; ciascuno su partizioni GPT di 5 dischi e con un vdev RAIDZ2
Scenario pool3Pool e partizioni GPT eliminati; le copie dei dischi virtuali contengono file di prova
Scenario pool2Snapshot ricorsivo creato prima dell’eliminazione dei file in Windows

Alla VM sono collegati quattro dischi: due immagini IMG e due volumi ZVOL, uno dei quali è uno sparse ZVOL. Un IMG è memorizzato come file immagine, mentre uno ZVOL è un volume a blocchi ZFS. Tipo e dimensioni sono importanti: il programma presenta gli IMG come file e gli ZVOL come volumi distinti, il cui contenuto può essere aperto e montato.

Disco bhyveFormatoDimensioneFunzione
disk0.imgIMG20 GBDisco di sistema Windows 10
disk1.imgIMG1 GBDisco aggiuntivo con file di prova
disk0Sparse ZVOL1 GBVolume a blocchi sparse aggiuntivo
disk1ZVOL2 GBVolume a blocchi normale aggiuntivo
FreeBSD Control Panel: partizioni GPT pool1_d1, pool2_d1 e pool3_d1

Su uno dei dischi, FreeBSD Control Panel mostra tre partizioni di tipo freebsd-zfs denominate pool1_d1, pool2_d1 e pool3_d1. Sono parti di tre pool diversi, non tre array RAID indipendenti su un singolo disco. Le partizioni corrispondenti sulle altre unità formavano i vdev RAIDZ2 a cinque membri.

Primo scenario: pool3 eliminato

Avevamo copiato su pool3 i dischi della VM contenenti file di prova. Nella directory /pool3/bhyvemgr/windows10/ si trovavano disk0.img, disk1.img e i file di configurazione di bhyve; i volumi a blocchi ZVOL erano registrati nelle strutture ZFS. Cercheremo quindi sia file IMG sia oggetti ZVOL con Hetman RAID Recovery.

FreeBSD: copie disk0.img, disk1.img e configurazione bhyve in pool3

Successivamente, nell’ambiente di prova, abbiamo eseguito zpool destroy pool3 ed eliminato le partizioni GPT corrispondenti da tutte e cinque le unità. In FreeBSD Control Panel si vede, ad esempio, la conferma di gpart delete -i 3 mfid1 per la terza partizione di uno dei dischi. Da quel momento FreeBSD non ha più potuto accedere normalmente alle copie dei dischi virtuali.

Console FreeBSD: eliminazione di pool3 con zpool destroy
FreeBSD: conferma gpart delete per una partizione GPT di pool3

I comandi zpool destroy e gpart delete sono stati usati esclusivamente per simulare la perdita di dati. Non eseguirli mai su uno storage dal quale intendi recuperare informazioni.

In questo scenario i file all’interno delle copie IMG e ZVOL non sono stati eliminati. L’obiettivo è trovare il pool precedente, recuperare le immagini dei dischi virtuali e leggerne il contenuto.

Secondo scenario: file eliminati e snapshot di pool2

Su pool2 abbiamo creato uno snapshot ZFS ricorsivo chiamato snapshot_0, che comprendeva il dataset radice e quelli figli, inclusi gli ZVOL. Abbiamo verificato i suoi componenti con zfs list -t snapshot -r pool2. L’output include pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 e pool2/bhyvemgr/windows10/disk1@snapshot_0. Queste voci conservano lo stato dei dischi virtuali prima della successiva eliminazione dei file.

Terminale FreeBSD: snapshot ricorsivo snapshot_0, dataset e ZVOL

Dopo la creazione dello snapshot abbiamo avviato Windows 10 usando i dischi di pool2, eliminato i file di prova con Shift+Delete e spento regolarmente la VM. Gli IMG e gli ZVOL correnti sono rimasti nel pool, mentre lo stato precedente è rimasto nello snapshot.

Windows 10 guest: eliminazione dei file di test con Shift+Delete

Collegare tre dischi e rilevare RAIDZ2 automaticamente

Per il recupero usiamo tre dei cinque dischi fisici del server. Li colleghiamo a un computer Windows e avviamo Hetman RAID Recovery. A seconda dell’interfaccia è possibile collegarli direttamente oppure tramite un adattatore o una docking station adatta.

Per recuperare dati da array RAID guasti, dispositivi NAS e altri sistemi di archiviazione multidisco.

Se Windows propone di inizializzare o formattare i dischi, rifiuta. Non creare nuove partizioni né scrivere dati sulle unità dalle quali devi recuperare informazioni.

All’avvio il software ha rilevato automaticamente le configurazioni ZFS RAIDZ2, incluso il pool3 eliminato. Selezioniamo quest’ultimo nella finestra principale.

Hetman RAID Recovery: riconoscimento del pool ZFS RAIDZ2 pool3 eliminato

Nel riquadro a destra compaiono File system — ZFS e RAID type — RAIDZ2. L’elenco RAID Disks mostra tre membri disponibili e due voci Empty disk. Il pool3 trovato appare come un volume RAID di circa 90 GB. La dimensione riportata per ciascun membro si riferisce all’area destinata a pool3, non alla capacità totale dell’SSD.

Proprietà RAIDZ2: tre dischi disponibili e due Empty disk

RAIDZ2 utilizza doppia parità e tollera l’assenza di due membri di un singolo vdev. Nel test a cinque dischi, tre unità disponibili e i metadati conservati sono stati sufficienti per riconoscere la configurazione senza inserire parametri manualmente.

Questo è il risultato del nostro test specifico, non una garanzia di recupero per qualsiasi pool ZFS distrutto. Se i metadati necessari sono stati sovrascritti o rimangono disponibili troppo pochi dischi, l’esito può essere diverso.

Recuperare dischi IMG e ZVOL dal pool3 eliminato

PASSO 1. Analizzare pool3 e trovare i dischi bhyve

Facciamo doppio clic sul pool3 individuato, selezioniamo Fast scan nella procedura guidata e avviamo l’analisi. Il programma usa i metadati ZFS rimasti per ricostruire la struttura di directory accessibile. Nel nostro test è bastata la scansione rapida per trovare i dischi della VM.

Hetman RAID Recovery: Fast scan del pool ZFS pool3 eliminato

Nei risultati apriamo bhyvemgr → windows10. Troviamo disk0.img, disk1.img e i due volumi ZVOL denominati disk0 e disk1. Aprendo il volume corrispondente il programma mostra un oggetto con estensione .zvol.

Risultati pool3: file IMG e volumi ZVOL in bhyvemgr/windows10

Per esaminare il contenuto di un volume a blocchi apriamo disk0 nello stesso albero. Il software mostra disk0.zvol come oggetto separato di circa 1 GB. Analogamente disk1 contiene disk1.zvol da 2 GB. Non confondere questi oggetti con i file disk0.img e disk1.img.

Risultati pool3: ZVOL sparse disk0 di circa 1 GB

PASSO 2. Salvare un IMG e uno ZVOL normale

Per salvare più dischi situati a livelli diversi della struttura in un’unica operazione, facciamo clic destro su disk1.img e selezioniamo Add For Recovery. L’immagine viene aggiunta al pannello Recovery list sulla destra. Apriamo poi il volume normale disk1 e trasciniamo disk1.zvol nello stesso elenco.

Recovery list con disk1.img e disk1.zvol

Controlliamo l’elenco, facciamo clic su Recover e selezioniamo Save to hard disk nella procedura guidata. Indichiamo una cartella su un’altra unità, con spazio libero sufficiente. L’IMG viene salvato come file immagine e i dati dello ZVOL come file che potrà essere montato in seguito per l’analisi.

Procedura Recover: salvataggio di IMG e ZVOL su altra unità

Non salvare immagini o file recuperati sui dischi fisici ZFS RAIDZ2 originali. Una nuova scrittura potrebbe sovrascrivere dati che devono ancora essere letti.

PASSO 3. Montare un IMG e recuperare file Windows

Una volta salvata l’immagine, facciamo clic su Mount Disk, selezioniamo RAW e indichiamo disk1.img. In Mounted Disks compare un disco separato con le proprie partizioni. Nel nostro test il programma ha riconosciuto una partizione NTFS. La apriamo ed eseguiamo Fast scan.

Mount Disk: selezione di disk1.img salvato in formato RAW
Mounted Disks: disk1.img montato e relativa partizione NTFS

Dopo la scansione esaminiamo le cartelle NTFS, tra cui Lost and Found e General level 1, e troviamo documenti, immagini e video di prova. Selezioniamo un file e lo controlliamo in Preview. Le schermate mostrano l’anteprima di un’immagine, utile per verificarne il contenuto prima di salvarla.

Scansione IMG: cartelle NTFS Lost and Found e General level 1
Preview dell'immagine trovata sul disco IMG montato

Per cercare un nome usiamo Find File. Nelle opzioni Advanced possiamo impostare intervalli di dimensione o data, includere i file nascosti e di sistema, distinguere maiuscole e minuscole oppure cercare solo parole intere.

Find File e Advanced: filtri per nome, dimensioni e data

Selezioniamo i file necessari, facciamo clic su Recovery, scegliamo Save to hard disk e indichiamo un altro disco fisico. Al termine apriamo la cartella di destinazione e verifichiamo i risultati.

Procedura Recovery: salvataggio dei file selezionati da IMG

In Esplora file di Windows controlliamo la cartella dei risultati sull’altra unità. I file recuperati sono presenti nel percorso selezionato. Questa verifica si aggiunge all’anteprima mostrata da Preview.

Esplora file Windows: file IMG recuperati nella cartella di destinazione

Ricordiamo che disk1.img, in questo esempio, proveniva dalla copia del pool3 eliminato. I file erano inaccessibili per la perdita dello storage, non perché fossero stati cancellati in Windows. Esamineremo i file effettivamente eliminati nello scenario con lo snapshot di pool2.

PASSO 4. Aprire ZVOL normali e sparse

Uno ZVOL normale salvato come disk1.zvol può essere aperto con Mount Disk e analizzato come un IMG. Se nel selettore non compare il file con estensione .zvol, imposta il filtro All files e selezionalo manualmente.

Mount Disk: selezione di disk1.zvol usando All files

Quando non c’è spazio per una copia completa, il disco può essere montato direttamente dai risultati della scansione del pool. Torniamo a pool3 → bhyvemgr → windows10 → disk0, facciamo clic destro su disk0.zvol e selezioniamo Mount File as Disk.

Risultati pool3: Mount File as Disk per ZVOL sparse disk0.zvol

Apriamo la partizione dello ZVOL montato, avviamo l’analisi e controlliamo i file. I dati vengono letti direttamente dal RAIDZ2 ricostruito, quindi l’operazione può richiedere più tempo rispetto a un’immagine locale. Non serve spazio per una copia completa del disco virtuale, ma occorre comunque spazio per salvare i file recuperati.

ZVOL sparse montato: risultati della scansione e file

Dopo aver selezionato i file desiderati, avviamo Recovery e salviamo i risultati su un’altra unità. Lo screenshot mostra la procedura guidata di recupero dei file da uno ZVOL montato senza esportare prima l’intero volume.

Procedura Recovery per file ZVOL senza esportazione completa

Recuperare file bhyve eliminati tramite uno snapshot ZFS

A differenza di pool3, i dischi virtuali presenti su pool2 sono rimasti accessibili. Tuttavia, i file di prova di Windows 10 sono stati eliminati dopo la creazione dello snapshot ricorsivo. Useremo lo stato salvato del dataset e degli ZVOL per recuperarne le versioni precedenti.

PASSO 1. Trovare gli snapshot IMG e ZVOL in pool2

Nella finestra principale di Hetman RAID Recovery selezioniamo pool2, eseguiamo Fast scan e apriamo la cartella Snapshots. Contiene voci separate per windows10, disk0, disk1 e gli altri componenti di snapshot_0. Non sono punti di recupero incompatibili: il programma mostra gli stati dei diversi dataset e ZVOL che appartengono allo stesso snapshot ricorsivo.

Cartella Snapshots di pool2 con windows10, disk0, disk1 e snapshot_0

PASSO 2. Recuperare un IMG dallo snapshot windows10

Apriamo lo snapshot del dataset windows10 che contiene disk0.img e disk1.img. Selezioniamo disk1.img e lo salviamo in una cartella separata per non confonderlo con l’immagine recuperata da pool3.

Montiamo il file dello snapshot tramite Mount Disk → RAW, apriamo la sua partizione ed eseguiamo Fast scan. I risultati comprendono i file di prova che esistevano ancora al momento dello snapshot. Li controlliamo in Preview e li salviamo con Recovery.

Snapshot windows10: trovati disk0.img e disk1.img

Dopo aver montato disk1.img dallo snapshot, apriamo la sua partizione NTFS. Lo stato conservato prima di Shift+Delete contiene immagini e documenti di prova che possiamo selezionare e salvare separatamente dai file ottenuti da pool3.

IMG dello snapshot: file Windows esistenti prima dell'eliminazione

PASSO 3. Montare uno ZVOL direttamente da uno snapshot

Torniamo a Snapshots e apriamo la voce separata relativa al volume disk0. Sull’oggetto disk0.zvol selezioniamo Mount File as Disk. Il programma monta lo stato dello ZVOL acquisito nello snapshot, non il suo contenuto attuale.

Snapshot ZVOL di pool2: Mount File as Disk per disk0.zvol
ZVOL montato dallo snapshot con partizione NTFS

Apriamo la partizione del disco montato, eseguiamo Fast scan, troviamo i dati, li controlliamo in Preview e li recuperiamo su un’altra unità tramite Recovery. Otteniamo così i file dallo stato precedente all’eliminazione senza avviare Windows 10 né ripristinare l’intero pool2 a uno stato passato.

Analisi dello snapshot ZVOL: file Windows recuperabili

Precauzioni prima del recupero di RAIDZ2 e dischi virtuali

Il risultato dipende dalle condizioni dei dischi fisici, dei metadati ZFS e delle immagini virtuali. Nel nostro test, tre membri del RAIDZ2 a cinque dischi e i metadati rimasti hanno permesso di trovare il pool3 eliminato. Se alcuni blocchi necessari sono stati sovrascritti, il recupero può risultare parziale.

Uno snapshot conserva soltanto lo stato dei dati al momento della creazione. Se è stato acquisito dopo l’eliminazione del file desiderato o non include il dataset o lo ZVOL interessato, il metodo descritto non può recuperare il file da uno stato precedente.

Non inizializzare o formattare i dischi del server in Windows, non creare un nuovo pool sopra quello perso e non salvare i risultati sui dischi di origine. Se un’unità fisica è instabile, è preferibile lavorare su una copia settore per settore, quando è possibile crearla in sicurezza.

Per maggiori dettagli sulle strutture dei pool e sugli snapshot, consulta la guida al recupero di un pool ZFS RAIDZ2 eliminato su FreeBSD.

Risultati del recupero bhyve su FreeBSD

Nel primo scenario, Hetman RAID Recovery ha trovato pool3 dopo zpool destroy e l’eliminazione delle partizioni GPT. Tre dei cinque dischi sono bastati per ricostruire il RAIDZ2 di prova. Abbiamo avuto accesso alle immagini IMG, a uno ZVOL normale e a uno sparse ZVOL, montato i dischi virtuali e salvato i file di test.

Nel secondo scenario il programma ha trovato gli snapshot di pool2 e recuperato file di Windows 10 dallo stato precedente all’eliminazione, sia da IMG sia da ZVOL. Non è stato necessario avviare la VM né ripristinare l’intero pool.

Possiamo salvare prima i dischi virtuali su un’altra unità oppure, quando l’oggetto rilevato lo consente, utilizzare Mount File as Disk per analizzarli senza una copia completa. La scelta dipende dalle condizioni delle unità, dallo spazio disponibile e dalla quantità di dati.

Anton Kryvoruchko

Autore: , Scrittore tecnico

Anton Kryvoruchko è traduttore dall'italiano, dall'inglese, dal francese e dal polacco. Ha molti anni di esperienza e lavora con testi di vario argomento: dalla narrativa e testi tecnici alle riviste scientifiche popolari. Lavora costantemente per migliorare le sue conoscenze e competenze, perciò nel tempo libero impara anche il tedesco e lo spagnolo.

Mykhailo Miroshnichenko

Editore: , Scrittore tecnico

Mykhaylo Miroshnychenko è uno dei programmatori principali di Hetman Software. Avendo già quindici anni di esperienza nello sviluppo di software condivide le sue conoscenze con i lettori del nostro blog. Oltre alla programmazione, Mykhaylo è anche un esperto di recupero di dati, di file system, di dispositivi di archiviazione e di array RAID.

Consigliamo per voi