Как восстановить данные виртуальной машины bhyve во FreeBSD: IMG, ZVOL и снимки ZFS
Как восстановить файлы виртуальной машины bhyve во FreeBSD, если диски IMG и ZVOL стали недоступны после удаления пула ZFS? Что делать, если файлы удалены непосредственно в гостевой Windows, но сохранился снимок? На примере массива ZFS RAIDZ2 из пяти накопителей покажем, как Hetman RAID Recovery находит уничтоженный пул по трём доступным дискам, открывает образы IMG, обычные и разреженные тома ZVOL и извлекает данные из предыдущего состояния виртуальных дисков без запуска ВМ.

- Тестовая среда: FreeBSD, bhyve и ZFS RAIDZ2
- Подключение трёх накопителей и автоматическое определение RAIDZ2
- Восстановление дисков IMG и ZVOL из удалённого pool3
- Восстановление удалённых файлов bhyve из снимка ZFS
- Что учесть перед восстановлением RAIDZ2 и виртуальных дисков
- Результаты восстановления bhyve во FreeBSD
- Часто задаваемые вопросы
- Комментарии
Восстановление данных bhyve состоит из двух уровней: сначала нужно получить доступ к хранилищу FreeBSD, затем — к файловой системе внутри виртуального диска. Потеря пула ZFS и удаление файлов в гостевой ОС — разные ситуации, поэтому разберём их отдельно.
В первом сценарии уничтожили пул pool3 и удалили его разделы GPT, однако файлы внутри копий виртуальных дисков не удаляли. Во втором сценарии пул pool2 остался доступен, но тестовые файлы в Windows 10 удалили сочетанием Shift+Delete. Их предыдущее состояние сохранилось в снимке ZFS.
Для анализа используем Hetman RAID Recovery на компьютере под Windows. Программа также доступна для Linux и macOS.
Как восстановить данные ВМ bhyve во FreeBSD: IMG, ZVOL и удалённые файлы
Тестовая среда: FreeBSD, bhyve и ZFS RAIDZ2
На сервере FreeBSD настроили гипервизор bhyve и виртуальную машину с Windows 10. Управление её дисками показано в интерфейсе bhyvemgr. Хранилище состоит из пяти физических накопителей. На каждом созданы отдельные разделы GPT для трёх независимых пулов ZFS RAIDZ2. Каждый пул содержит один vdev RAIDZ2 из пяти дисков.

В окне создания виртуальной машины bhyvemgr видны имя windows10, тип Windows 10.x и образ системного диска размером 20 ГБ. После подключения остальных накопителей гостевая Windows показывала четыре диска в Disk Management, что позволяет сопоставить конфигурацию ВМ с дисками, которые мы затем найдём в ZFS.

| Характеристика | Значение в тесте |
|---|---|
| ОС сервера | FreeBSD |
| Гипервизор и гостевая ОС | bhyve, Windows 10 |
| Физические накопители | 5 дисков; 3 использованы для восстановления |
| Топология ZFS | 3 пула; каждый занимает GPT-разделы на 5 дисках и содержит один vdev RAIDZ2 |
| Сценарий pool3 | Пул и его GPT-разделы удалены; копии виртуальных дисков содержат тестовые файлы |
| Сценарий pool2 | Рекурсивный снимок создан до удаления файлов в Windows |
К ВМ подключены четыре диска: два IMG и два ZVOL, причём один том ZVOL создан как разреженный (sparse). IMG хранится как файл образа, а ZVOL представляет собой блочный том ZFS. Тип и размер важны: при анализе программа показывает IMG как файлы, а ZVOL как отдельные тома, содержимое которых можно открыть для подключения.
| Диск bhyve | Формат | Размер | Назначение |
|---|---|---|---|
| disk0.img | IMG | 20 ГБ | Системный диск Windows 10 |
| disk1.img | IMG | 1 ГБ | Дополнительный диск с тестовыми файлами |
| disk0 | Sparse ZVOL | 1 ГБ | Дополнительный разреженный блочный том |
| disk1 | ZVOL | 2 ГБ | Дополнительный обычный блочный том |

На одном из физических дисков в FreeBSD Control Panel видны три раздела типа freebsd-zfs с метками pool1_d1, pool2_d1 и pool3_d1. Это части трёх отдельных пулов, а не три самостоятельных RAID-массива на одном диске. Соответствующие разделы остальных накопителей образуют пятидисковые vdev RAIDZ2.
Первый сценарий: удалённый пул pool3
В pool3 заранее разместили копии дисков ВМ с тестовыми файлами. В каталоге /pool3/bhyvemgr/windows10/ находились disk0.img, disk1.img и конфигурационные файлы bhyve; блочные тома ZVOL хранились в структурах ZFS. Поэтому в Hetman RAID Recovery будем искать как файлы IMG, так и объекты ZVOL.

Затем в тестовой среде выполнили zpool destroy pool3 и удалили соответствующие разделы GPT на всех пяти накопителях. Например, в FreeBSD Control Panel видно подтверждение команды gpart delete -i 3 mfid1 для третьего раздела одного из дисков. После этого штатный доступ FreeBSD к копиям виртуальных дисков пропал.


Команды zpool destroy и gpart delete использовались исключительно для моделирования потери данных. Не выполняйте их на хранилище, информацию с которого собираетесь восстанавливать.
В этом сценарии файлы внутри копий IMG и ZVOL не удалялись. Наша задача — найти прежний пул, извлечь образы виртуальных дисков и прочитать их содержимое.
Второй сценарий: удалённые файлы и снимок pool2
На pool2 создали рекурсивный снимок ZFS с именем snapshot_0, охватывающий корневой и дочерние датасеты, включая ZVOL. Состав снимка просмотрели командой zfs list -t snapshot -r pool2. В выводе присутствуют pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 и pool2/bhyvemgr/windows10/disk1@snapshot_0. Эти записи сохраняют состояние виртуальных дисков до дальнейшего удаления файлов.

После создания снимка запустили Windows 10 с дисками из pool2, удалили тестовые файлы через Shift+Delete и штатно выключили ВМ. Текущие IMG и ZVOL остались в пуле, а предыдущий вариант их содержимого — в снимке.

Подключение трёх накопителей и автоматическое определение RAIDZ2
Для восстановления используем три из пяти физических дисков сервера. Подключаем их к компьютеру с Windows и запускаем Hetman RAID Recovery. В зависимости от интерфейса носители можно подключить напрямую, через подходящий адаптер или док-станцию.
Если Windows предлагает инициализировать или отформатировать диски, откажитесь. Не создавайте разделы и не записывайте данные на накопители, с которых нужно восстановить информацию.
После запуска программа автоматически определила конфигурации ZFS RAIDZ2, включая удалённый pool3. Выбираем этот пул в главном окне.

Справа указаны File system — ZFS и RAID type — RAIDZ2; список RAID Disks содержит три доступных накопителя и две позиции Empty disk. Найденный pool3 отображается как RAID-том объёмом около 90 ГБ. Размер каждого участника здесь означает выделенную под pool3 область, а не полную ёмкость SSD.

RAIDZ2 использует двойную чётность и допускает отсутствие двух участников одного vdev. В нашем тесте с пятью дисками трёх доступных накопителей и уцелевших метаданных хватило для определения конфигурации без ручного ввода параметров.
Это результат конкретного теста, а не гарантия восстановления любого уничтоженного пула ZFS. Если необходимые метаданные перезаписаны или доступных дисков недостаточно, результат может отличаться.
Восстановление дисков IMG и ZVOL из удалённого pool3
ШАГ 1. Анализ pool3 и поиск дисков bhyve
Дважды щёлкаем найденный pool3, выбираем Fast scan в мастере и запускаем анализ. Программа использует сохранившиеся метаданные ZFS для восстановления доступного дерева каталогов. В нашем тесте быстрого сканирования хватило для поиска дисков ВМ.

В результатах открываем bhyvemgr → windows10. Здесь обнаружены disk0.img, disk1.img и два тома ZVOL с именами disk0 и disk1. При открытии соответствующего тома программа показывает объект с расширением .zvol.

Чтобы посмотреть содержимое блочного тома, открываем disk0 в том же дереве. Внутри отображается disk0.zvol размером около 1 ГБ. Аналогично в disk1 находится disk1.zvol на 2 ГБ. Не путайте эти объекты с файлами disk0.img и disk1.img.

ШАГ 2. Сохранение IMG и обычного ZVOL
Чтобы сохранить несколько дисков с разных уровней дерева за одну операцию, щёлкаем правой кнопкой по disk1.img и выбираем Add For Recovery. Образ добавляется в панель Recovery list справа. Затем открываем обычный том disk1 и перетаскиваем disk1.zvol в тот же список.

Проверяем список, нажимаем Recover и в мастере выбираем Save to hard disk. Указываем каталог на другом накопителе, где достаточно свободного места. IMG сохраняется как файл образа, а содержимое ZVOL — как файл, который затем можно подключить для анализа.

Не сохраняйте восстановленные образы или файлы на исходные физические диски ZFS RAIDZ2. Новая запись может перезаписать данные, которые ещё предстоит прочитать.
ШАГ 3. Подключение IMG и восстановление файлов Windows
После сохранения образа нажимаем Mount Disk, выбираем формат RAW и файл disk1.img. В Mounted Disks появляется отдельный диск с его разделами. В нашем тесте программа распознала раздел NTFS. Открываем его и запускаем Fast scan.


После анализа просматриваем папки NTFS, включая Lost and Found и General level 1, и находим тестовые документы, изображения и видео. Выбираем нужный объект и проверяем его в Preview. На скриншотах показан предварительный просмотр изображения, позволяющий оценить содержимое файла до сохранения.


Для поиска по имени используем Find File. В разделе Advanced можно задать диапазон размеров или дат, включить скрытые и системные файлы, учитывать регистр либо искать только целые слова.

Отмечаем нужные файлы, нажимаем Recovery, выбираем Save to hard disk и указываем другой физический диск. По завершении открываем папку назначения и проверяем файлы.

В Проводнике Windows проверяем папку с результатами на отдельном диске. Восстановленные файлы находятся в выбранном каталоге — это дополнительная проверка после просмотра в Preview.

Напомним: disk1.img в этом примере был копией с удалённого pool3. Файлы стали недоступны из-за потери хранилища, а не из-за удаления в Windows. Действительно удалённые файлы рассмотрим отдельно на примере снимка pool2.
ШАГ 4. Открытие обычного и разреженного ZVOL
Сохранённый обычный ZVOL disk1.zvol можно открыть через Mount Disk и анализировать так же, как IMG. Если расширение .zvol не отображается в окне выбора, переключаем фильтр на All files и выбираем файл вручную.

Если места для полной копии недостаточно, диск можно подключить без предварительного сохранения непосредственно из результатов сканирования пула. Возвращаемся в pool3 → bhyvemgr → windows10 → disk0, щёлкаем правой кнопкой по disk0.zvol и выбираем Mount File as Disk.

Открываем раздел подключённого ZVOL, запускаем анализ и проверяем файлы. Данные считываются непосредственно с реконструированного RAIDZ2, поэтому процесс может идти дольше, чем с локальным образом. Полная копия виртуального диска не требуется, но для сохранения восстановленных файлов всё равно нужно свободное место.

Выбираем нужные файлы, запускаем Recovery и сохраняем результаты на другой накопитель. На скриншоте показан мастер сохранения файлов из ZVOL, подключённого без предварительного экспорта всего тома.

Восстановление удалённых файлов bhyve из снимка ZFS
В отличие от pool3, виртуальные диски в pool2 оставались доступны. Однако тестовые файлы в гостевой Windows 10 удалили после создания рекурсивного снимка. Используем сохранённое состояние датасета и ZVOL, чтобы получить предыдущие версии файлов.
ШАГ 1. Поиск снимков IMG и ZVOL в pool2
В главном окне Hetman RAID Recovery выбираем pool2, запускаем Fast scan и открываем папку Snapshots. В ней есть отдельные записи windows10, disk0, disk1 и остальные части рекурсивного snapshot_0. Это не разные несовместимые точки восстановления: программа показывает состояния датасетов и ZVOL, вошедших в один рекурсивный снимок.

ШАГ 2. Восстановление IMG из снимка windows10
Открываем снимок датасета windows10, содержащий disk0.img и disk1.img. Выбираем disk1.img и сохраняем его в отдельную папку, чтобы не перепутать с образом, извлечённым из pool3.
Через Mount Disk → RAW подключаем файл из снимка, открываем его раздел и выполняем Fast scan. В результатах находятся тестовые файлы, существовавшие на момент создания снимка. Проверяем их в Preview и сохраняем через Recovery.

После подключения disk1.img из снимка открываем его раздел NTFS. В состоянии, сохранённом до Shift+Delete, находятся тестовые изображения и документы; их можно выбрать и сохранить отдельно от данных из pool3.

ШАГ 3. Прямое подключение ZVOL из снимка
Возвращаемся в Snapshots, находим отдельную запись для тома disk0 и открываем её. Для объекта disk0.zvol выбираем Mount File as Disk. Программа подключает состояние ZVOL из снимка, а не его текущее содержимое.


Открываем раздел подключённого диска, запускаем Fast scan, находим нужные данные, просматриваем их в Preview и восстанавливаем через Recovery на отдельный накопитель. Так получаем файлы из состояния до удаления без запуска Windows 10 и без отката всего pool2.

Что учесть перед восстановлением RAIDZ2 и виртуальных дисков
Результат зависит от состояния физических носителей, метаданных ZFS и образов виртуальных дисков. В нашем тесте три участника пятидискового RAIDZ2 и сохранённые метаданные позволили найти удалённый pool3. Если нужные блоки перезаписаны, восстановление может быть неполным.
Снимок содержит только то состояние данных, которое он зафиксировал. Если снимок создан после удаления файла либо не включает нужный датасет или ZVOL, описанный метод не вернёт файл из предыдущего состояния.
Не инициализируйте и не форматируйте диски сервера в Windows, не создавайте новый пул поверх утраченного и не сохраняйте результаты на исходные накопители. Если физический диск нестабилен, по возможности сначала создайте его посекторную копию, когда это можно сделать безопасно.
Подробнее о структурах пула и работе со снимками читайте в материале руководстве по восстановлению удалённого пула ZFS RAIDZ2 во FreeBSD.
Результаты восстановления bhyve во FreeBSD
В первом сценарии Hetman RAID Recovery обнаружила pool3 после zpool destroy и удаления GPT-разделов. Для реконструкции тестового RAIDZ2 хватило трёх из пяти дисков. Мы получили доступ к IMG, обычному и разреженному ZVOL, подключили виртуальные диски и сохранили тестовые файлы.
Во втором сценарии программа нашла снимки pool2 и восстановила файлы Windows 10 из состояния до удаления — отдельно из IMG и ZVOL. Не понадобилось запускать виртуальную машину или откатывать весь пул.
Виртуальные диски можно сначала сохранить на другой накопитель либо, если это поддерживается для найденного объекта, использовать Mount File as Disk и анализировать их без полной копии. Выбор зависит от состояния дисков, свободного места и объёма данных.







