Recuperar dados bhyve no FreeBSD: IMG, ZVOL e snapshots ZFS

Como recuperar os ficheiros de uma máquina virtual bhyve no FreeBSD quando os respetivos discos IMG e ZVOL ficam inacessíveis após a eliminação de uma pool ZFS? E se os ficheiros forem apagados no Windows convidado, mas existir um snapshot? Com uma configuração ZFS RAIDZ2 de cinco discos, mostramos como o Hetman RAID Recovery encontra uma pool destruída com três discos disponíveis, abre imagens IMG e volumes ZVOL normais ou esparsos e recupera dados de estados anteriores dos discos virtuais sem iniciar a VM.

Recuperar dados bhyve no FreeBSD: IMG, ZVOL e snapshots ZFS

A recuperação de dados em bhyve envolve dois níveis: primeiro é necessário aceder ao armazenamento FreeBSD e depois ao sistema de ficheiros dentro do disco virtual. A perda de uma pool ZFS e a eliminação de ficheiros no sistema convidado são problemas diferentes, que analisaremos separadamente.

No primeiro cenário, destruímos pool3 e eliminámos as respetivas partições GPT, mas não apagámos os ficheiros existentes nas cópias dos discos virtuais. No segundo, pool2 permaneceu acessível, porém os ficheiros de teste no Windows 10 foram eliminados com Shift+Delete. O estado anterior permaneceu guardado num snapshot ZFS.

Para a análise, utilizamos o Hetman RAID Recovery num computador Windows. O programa também está disponível para Linux e macOS.

Vá para ver
Cómo recuperar datos de VM bhyve en FreeBSD: IMG, ZVOL y archivos eliminados

Cómo recuperar datos de VM bhyve en FreeBSD: IMG, ZVOL y archivos eliminados

Ambiente de teste: FreeBSD, bhyve e ZFS RAIDZ2

Num servidor FreeBSD configurámos o hipervisor bhyve e uma máquina virtual Windows 10. A gestão dos respetivos discos é apresentada no bhyvemgr. O armazenamento inclui cinco unidades físicas, cada uma com partições GPT destinadas a três pools ZFS RAIDZ2 independentes. Cada pool contém um único vdev RAIDZ2 de cinco discos.

bhyvemgr: configuração da VM Windows 10 e imagem do sistema com 20 GB

Na janela de criação da VM no bhyvemgr é possível ver o nome windows10, o tipo Windows 10.x e uma imagem do disco de sistema com 20 GB. Depois de ligar os outros discos, a Gestão de Discos do Windows mostrava quatro unidades, permitindo relacionar a configuração da VM com os objetos que procuraremos no ZFS.

Gestão de Discos do Windows: quatro discos da VM bhyve
CaracterísticaValor no teste
Sistema do servidorFreeBSD
Hipervisor e sistema convidadobhyve, Windows 10
Discos físicos5 discos; 3 utilizados para a recuperação
Topologia ZFS3 pools; cada uma usa partições GPT em 5 discos e tem um vdev RAIDZ2
Cenário pool3Pool e partições GPT eliminadas; as cópias dos discos virtuais contêm ficheiros de teste
Cenário pool2Snapshot recursivo criado antes de eliminar ficheiros no Windows

A VM tem quatro discos: duas imagens IMG e dois volumes ZVOL, um dos quais é um ZVOL esparso (sparse). Uma imagem IMG é guardada num ficheiro, enquanto um ZVOL é um volume de blocos ZFS. Os tipos e tamanhos são importantes: o programa apresenta os IMG como ficheiros e os ZVOL como volumes distintos cujo conteúdo pode ser aberto e montado.

Disco bhyveFormatoTamanhoFinalidade
disk0.imgIMG20 GBDisco de sistema do Windows 10
disk1.imgIMG1 GBDisco adicional com ficheiros de teste
disk0Sparse ZVOL1 GBVolume de blocos esparso adicional
disk1ZVOL2 GBVolume de blocos normal adicional
FreeBSD Control Panel: partições GPT pool1_d1, pool2_d1 e pool3_d1

Numa das unidades, o FreeBSD Control Panel mostra três partições do tipo freebsd-zfs com os nomes pool1_d1, pool2_d1 e pool3_d1. São partes de três pools diferentes, não três arrays RAID independentes no mesmo disco. As partições correspondentes das restantes unidades formam os vdev RAIDZ2 de cinco membros.

Primeiro cenário: pool3 eliminada

Antes do teste, colocámos em pool3 cópias dos discos da VM com ficheiros de teste. A pasta /pool3/bhyvemgr/windows10/ continha disk0.img, disk1.img e ficheiros de configuração do bhyve; os volumes de blocos ZVOL eram armazenados nas estruturas ZFS. Por isso, no Hetman RAID Recovery iremos procurar ficheiros IMG e objetos ZVOL.

FreeBSD: cópias de disk0.img, disk1.img e configuração bhyve em pool3

Em seguida, no ambiente de teste, executámos zpool destroy pool3 e eliminámos as partições GPT correspondentes nos cinco discos. O FreeBSD Control Panel mostra, por exemplo, a confirmação do comando gpart delete -i 3 mfid1 para a terceira partição de uma das unidades. Depois disso, o FreeBSD deixou de conseguir aceder normalmente às cópias dos discos virtuais.

Consola FreeBSD: eliminação de pool3 com zpool destroy
FreeBSD: confirmação de gpart delete para uma partição GPT de pool3

Os comandos zpool destroy e gpart delete foram usados apenas para simular uma perda de dados. Nunca os execute num armazenamento de onde pretende recuperar informação.

Neste cenário, os ficheiros dentro das cópias IMG e ZVOL não foram eliminados. O objetivo é encontrar a antiga pool, obter as imagens dos discos virtuais e ler o seu conteúdo.

Segundo cenário: ficheiros eliminados e snapshot de pool2

Em pool2 criámos um snapshot ZFS recursivo denominado snapshot_0, que incluía o dataset de raiz e os datasets descendentes, incluindo os ZVOL. Verificámos os seus componentes com zfs list -t snapshot -r pool2. O resultado inclui pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 e pool2/bhyvemgr/windows10/disk1@snapshot_0. Estes registos preservam o estado dos discos virtuais antes da eliminação posterior dos ficheiros.

Terminal FreeBSD: snapshot_0 recursivo, datasets e ZVOL

Após criar o snapshot, iniciámos o Windows 10 com os discos de pool2, apagámos os ficheiros de teste usando Shift+Delete e desligámos a VM normalmente. Os IMG e ZVOL atuais permaneceram na pool, enquanto o estado anterior ficou guardado no snapshot.

Windows 10 convidado: eliminação de ficheiros de teste com Shift+Delete

Ligar três discos e detetar RAIDZ2 automaticamente

Para a recuperação utilizamos três dos cinco discos físicos do servidor. Ligamo-los a um PC Windows e abrimos o Hetman RAID Recovery. Conforme a interface, os discos podem ser ligados diretamente ou através de um adaptador ou de uma estação de acoplamento adequada.

Para recuperar dados de matrizes RAID com falha, dispositivos NAS e outros sistemas de armazenamento com vários discos.

Se o Windows sugerir inicializar ou formatar os discos, recuse. Não crie partições nem escreva dados nas unidades de onde precisa de recuperar informação.

Ao iniciar, o software detetou automaticamente as configurações ZFS RAIDZ2, incluindo a pool3 eliminada. Selecionamo-la na janela principal.

Hetman RAID Recovery: deteção automática da pool ZFS RAIDZ2 pool3 eliminada

À direita aparecem File system — ZFS e RAID type — RAIDZ2. Na lista RAID Disks surgem três membros disponíveis e duas entradas Empty disk. A pool3 encontrada é apresentada como um volume RAID com cerca de 90 GB. O tamanho de cada membro refere-se à área atribuída a pool3, não à capacidade total do SSD.

Propriedades RAIDZ2: três membros disponíveis e dois Empty disk

O RAIDZ2 usa dupla paridade e tolera a ausência de dois membros de um mesmo vdev. No nosso teste com cinco discos, os três disponíveis e os metadados preservados foram suficientes para reconhecer a configuração sem indicar parâmetros manualmente.

Este é o resultado de um teste específico, não uma garantia de recuperação de qualquer pool ZFS destruída. Se os metadados essenciais tiverem sido substituídos ou houver discos disponíveis a menos, o resultado pode ser diferente.

Recuperar discos virtuais IMG e ZVOL da pool3 eliminada

PASSO 1. Analisar pool3 e localizar os discos bhyve

Fazemos duplo clique em pool3, escolhemos Fast scan no assistente e iniciamos a análise. O programa utiliza os metadados ZFS preservados para reconstruir a árvore de pastas acessível. Neste teste, a análise rápida foi suficiente para localizar os discos da VM.

Hetman RAID Recovery: Fast scan da pool ZFS pool3 eliminada

Nos resultados, abrimos bhyvemgr → windows10. Encontramos disk0.img, disk1.img e dois volumes ZVOL chamados disk0 e disk1. Ao abrir o volume correspondente, o programa apresenta um objeto com a extensão .zvol.

Resultados de pool3: ficheiros IMG e volumes ZVOL em bhyvemgr/windows10

Para consultar um volume de blocos, abrimos disk0 na mesma árvore de pastas. O programa mostra disk0.zvol como objeto separado com cerca de 1 GB. Da mesma forma, disk1 contém disk1.zvol com 2 GB. Não confunda estes objetos com os ficheiros disk0.img e disk1.img.

Resultados de pool3: ZVOL esparso disk0 com cerca de 1 GB

PASSO 2. Guardar um IMG e um ZVOL normal

Para guardar vários discos de níveis diferentes da árvore numa única operação, clicamos com o botão direito em disk1.img e escolhemos Add For Recovery. A imagem surge no painel Recovery list, à direita. Depois abrimos o volume normal disk1 e arrastamos disk1.zvol para essa lista.

Recovery list com disk1.img e disk1.zvol

Verificamos a lista, clicamos em Recover e escolhemos Save to hard disk no assistente. Indicamos uma pasta noutra unidade com espaço livre suficiente. O IMG é guardado como ficheiro de imagem, enquanto os dados do ZVOL são guardados num ficheiro que posteriormente pode ser montado para análise.

Assistente Recover: guardar IMG e ZVOL noutra unidade

Não guarde imagens ou ficheiros recuperados nos discos físicos originais do ZFS RAIDZ2. Qualquer gravação nova pode substituir dados que ainda não foram lidos.

PASSO 3. Montar um IMG e recuperar ficheiros do Windows

Depois de guardar a imagem, clicamos em Mount Disk, selecionamos RAW e indicamos disk1.img. Em Mounted Disks aparece um disco separado com as respetivas partições. No nosso teste, o programa reconheceu uma partição NTFS. Abrimo-la e executamos Fast scan.

Mount Disk: seleção de disk1.img guardado no formato RAW
Mounted Disks: disk1.img montado e a respetiva partição NTFS

Após a análise, percorremos as pastas NTFS, incluindo Lost and Found e General level 1, e encontramos documentos, imagens e vídeos de teste. Selecionamos um elemento e verificamo-lo em Preview. As capturas mostram a pré-visualização de uma imagem, permitindo avaliar o conteúdo antes de guardar o ficheiro.

Análise IMG: pastas NTFS Lost and Found e General level 1
Preview de imagem encontrada no IMG montado

Para procurar pelo nome, utilizamos Find File. Nas opções Advanced podemos definir intervalos de tamanho ou data, incluir ficheiros ocultos e de sistema, distinguir maiúsculas de minúsculas ou procurar apenas palavras completas.

Find File e Advanced: filtros por nome, tamanho e data

Selecionamos os ficheiros pretendidos, clicamos em Recovery, escolhemos Save to hard disk e indicamos outro disco físico. Quando a operação termina, abrimos a pasta de destino e verificamos os resultados.

Assistente Recovery: guardar os ficheiros selecionados do IMG

No Explorador de Ficheiros do Windows confirmamos a pasta de resultados na unidade separada. Os ficheiros recuperados encontram-se no destino escolhido. É uma verificação adicional à pré-visualização apresentada pelo programa.

Explorador de Ficheiros Windows: resultados IMG na pasta de destino

Recorde que disk1.img, neste exemplo, era uma cópia da pool3 eliminada. Os ficheiros ficaram inacessíveis por se ter perdido o armazenamento, e não por terem sido apagados no Windows. O caso dos ficheiros realmente eliminados será tratado com o snapshot de pool2.

PASSO 4. Abrir ZVOL normais e esparsos

Um ZVOL normal guardado como disk1.zvol pode ser aberto com Mount Disk e analisado como um IMG. Se a extensão .zvol não aparecer na janela de seleção, altere o filtro para All files e escolha o ficheiro manualmente.

Mount Disk: selecionar disk1.zvol com o filtro All files

Se não houver espaço para uma cópia completa, podemos montar o disco sem o guardar primeiro, diretamente a partir dos resultados da análise da pool. Voltamos a pool3 → bhyvemgr → windows10 → disk0, clicamos com o botão direito em disk0.zvol e selecionamos Mount File as Disk.

Resultados de pool3: Mount File as Disk para ZVOL esparso disk0.zvol

Abrimos a partição do ZVOL montado, iniciamos a análise e verificamos os ficheiros. Os dados são lidos diretamente do RAIDZ2 reconstruído, pelo que a operação pode demorar mais do que com uma imagem local. Não precisamos de espaço para uma cópia integral do disco virtual, mas continuamos a precisar de espaço para guardar os ficheiros recuperados.

ZVOL esparso montado: análise e ficheiros encontrados

Depois de selecionar os ficheiros pretendidos, executamos Recovery e guardamos os resultados noutra unidade. A captura mostra o assistente de recuperação de ficheiros de um ZVOL montado sem exportação prévia do volume inteiro.

Assistente Recovery para ficheiros ZVOL sem exportar o volume

Recuperar ficheiros bhyve eliminados a partir de um snapshot ZFS

Ao contrário de pool3, os discos virtuais de pool2 continuaram acessíveis. No entanto, os ficheiros de teste no Windows 10 foram apagados após a criação do snapshot recursivo. Usaremos o estado guardado do dataset e dos ZVOL para obter as versões anteriores desses ficheiros.

PASSO 1. Localizar snapshots IMG e ZVOL em pool2

Na janela principal do Hetman RAID Recovery selecionamos pool2, executamos Fast scan e abrimos a pasta Snapshots. Contém entradas separadas para windows10, disk0, disk1 e outros componentes de snapshot_0. Não se trata de pontos de recuperação incompatíveis: o programa mostra os estados dos diferentes datasets e ZVOL abrangidos pelo mesmo snapshot recursivo.

Pasta Snapshots de pool2 com windows10, disk0, disk1 e snapshot_0

PASSO 2. Recuperar um IMG do snapshot windows10

Abrimos o snapshot do dataset windows10, onde estão disk0.img e disk1.img. Selecionamos disk1.img e guardamo-lo numa pasta separada, para não o confundir com a imagem recuperada de pool3.

Montamos o ficheiro do snapshot através de Mount Disk → RAW, abrimos a sua partição e executamos Fast scan. Os resultados incluem os ficheiros de teste que ainda existiam quando o snapshot foi criado. Verificamo-los em Preview e guardamo-los através de Recovery.

Snapshot windows10: imagens disk0.img e disk1.img encontradas

Depois de montar disk1.img a partir do snapshot, abrimos a partição NTFS. O estado anterior a Shift+Delete contém imagens e documentos de teste que podem ser selecionados e guardados separadamente dos ficheiros de pool3.

IMG de snapshot: ficheiros Windows existentes antes da eliminação

PASSO 3. Montar um ZVOL diretamente a partir de um snapshot

Voltamos a Snapshots, encontramos a entrada separada do volume disk0 e abrimo-la. No objeto disk0.zvol escolhemos Mount File as Disk. O programa monta o estado do ZVOL guardado no snapshot, e não o respetivo conteúdo atual.

Snapshot ZVOL de pool2: Mount File as Disk para disk0.zvol
ZVOL montado a partir do snapshot com partição NTFS

Abrimos a partição do disco montado, executamos Fast scan, localizamos os dados, consultamo-los em Preview e recuperamo-los para outra unidade através de Recovery. Assim obtemos os ficheiros anteriores à eliminação sem iniciar o Windows 10 nem reverter toda a pool2.

Análise de ZVOL do snapshot: ficheiros Windows para recuperar

Precauções antes de recuperar RAIDZ2 e discos virtuais

O resultado depende do estado dos discos físicos, dos metadados ZFS e das imagens virtuais. No nosso teste, três membros do RAIDZ2 de cinco discos e os metadados preservados permitiram encontrar pool3. Se blocos necessários tiverem sido substituídos, a recuperação poderá ser parcial.

Um snapshot guarda apenas o estado dos dados no momento da sua criação. Se tiver sido criado depois da eliminação do ficheiro pretendido ou não incluir o dataset ou ZVOL relevante, este método não conseguirá recuperá-lo a partir de um estado anterior.

Não inicialize nem formate os discos do servidor no Windows, não crie uma nova pool sobre a que foi perdida e não guarde os resultados nas unidades de origem. Se um disco físico estiver instável, considere trabalhar com uma cópia setor a setor, quando for possível criá-la em segurança.

Para aprofundar a estrutura das pools e a utilização de snapshots, consulte o guia de recuperação de uma pool ZFS RAIDZ2 eliminada no FreeBSD.

Resultados da recuperação bhyve no FreeBSD

No primeiro cenário, o Hetman RAID Recovery encontrou pool3 após zpool destroy e a eliminação das partições GPT. Três dos cinco discos bastaram para reconstruir o RAIDZ2 do teste. Acedemos às imagens IMG, a um ZVOL normal e a um ZVOL esparso, montámos os discos virtuais e guardámos os ficheiros de teste.

No segundo cenário, o programa encontrou os snapshots de pool2 e recuperou ficheiros do Windows 10 a partir do estado anterior à sua eliminação, tanto em IMG como em ZVOL. Não foi necessário iniciar a VM nem reverter a pool inteira.

É possível guardar primeiro os discos virtuais noutra unidade ou, quando o objeto encontrado o permite, usar Mount File as Disk e analisá-los sem cópia completa. A escolha depende do estado dos discos, do espaço disponível e do volume de dados.

Raidel Becerra

Autor: , Escritor técnico

Raidel Arbelay Becerra é um escritor técnico para a Hetman Software e a voz e rosto do Hetman Software: Canal YouTube de recuperação de dados. Escreve artigos aprofundados, tutoriais e resenhas sobre como funciona o software da empresa com todos os tipos de dispositivos de armazenamento.

Mykhailo Miroshnichenko

Editor: , Escritor técnico

Mykhailo Miroshnychenko é um dos principais programadores da Hetman Software. Com base em quinze anos de experiência em desenvolvimento de software, partilha os seus conhecimentos com os leitores do nosso blogue. Para além da programação, Mikhail é um especialista em recuperação de dados, sistemas de ficheiros, dispositivos de armazenamento e matrizes RAID.

Recomendado para você