Как восстановить данные виртуальной машины bhyve во FreeBSD: IMG, ZVOL и снимки ZFS

Как восстановить файлы виртуальной машины bhyve во FreeBSD, если диски IMG и ZVOL стали недоступны после удаления пула ZFS? Что делать, если файлы удалены непосредственно в гостевой Windows, но сохранился снимок? На примере массива ZFS RAIDZ2 из пяти накопителей покажем, как Hetman RAID Recovery находит уничтоженный пул по трём доступным дискам, открывает образы IMG, обычные и разреженные тома ZVOL и извлекает данные из предыдущего состояния виртуальных дисков без запуска ВМ.

Как восстановить данные виртуальной машины bhyve во FreeBSD: IMG, ZVOL и снимки ZFS

Восстановление данных bhyve состоит из двух уровней: сначала нужно получить доступ к хранилищу FreeBSD, затем — к файловой системе внутри виртуального диска. Потеря пула ZFS и удаление файлов в гостевой ОС — разные ситуации, поэтому разберём их отдельно.

В первом сценарии уничтожили пул pool3 и удалили его разделы GPT, однако файлы внутри копий виртуальных дисков не удаляли. Во втором сценарии пул pool2 остался доступен, но тестовые файлы в Windows 10 удалили сочетанием Shift+Delete. Их предыдущее состояние сохранилось в снимке ZFS.

Для анализа используем Hetman RAID Recovery на компьютере под Windows. Программа также доступна для Linux и macOS.

Перейти к просмотру
Как восстановить данные ВМ bhyve во FreeBSD: IMG, ZVOL и удалённые файлы

Как восстановить данные ВМ bhyve во FreeBSD: IMG, ZVOL и удалённые файлы

Тестовая среда: FreeBSD, bhyve и ZFS RAIDZ2

На сервере FreeBSD настроили гипервизор bhyve и виртуальную машину с Windows 10. Управление её дисками показано в интерфейсе bhyvemgr. Хранилище состоит из пяти физических накопителей. На каждом созданы отдельные разделы GPT для трёх независимых пулов ZFS RAIDZ2. Каждый пул содержит один vdev RAIDZ2 из пяти дисков.

bhyvemgr: конфигурация Windows 10 и системный образ 20 ГБ

В окне создания виртуальной машины bhyvemgr видны имя windows10, тип Windows 10.x и образ системного диска размером 20 ГБ. После подключения остальных накопителей гостевая Windows показывала четыре диска в Disk Management, что позволяет сопоставить конфигурацию ВМ с дисками, которые мы затем найдём в ZFS.

Управление дисками Windows: четыре диска виртуальной машины bhyve
ХарактеристикаЗначение в тесте
ОС сервераFreeBSD
Гипервизор и гостевая ОСbhyve, Windows 10
Физические накопители5 дисков; 3 использованы для восстановления
Топология ZFS3 пула; каждый занимает GPT-разделы на 5 дисках и содержит один vdev RAIDZ2
Сценарий pool3Пул и его GPT-разделы удалены; копии виртуальных дисков содержат тестовые файлы
Сценарий pool2Рекурсивный снимок создан до удаления файлов в Windows

К ВМ подключены четыре диска: два IMG и два ZVOL, причём один том ZVOL создан как разреженный (sparse). IMG хранится как файл образа, а ZVOL представляет собой блочный том ZFS. Тип и размер важны: при анализе программа показывает IMG как файлы, а ZVOL как отдельные тома, содержимое которых можно открыть для подключения.

Диск bhyveФорматРазмерНазначение
disk0.imgIMG20 ГБСистемный диск Windows 10
disk1.imgIMG1 ГБДополнительный диск с тестовыми файлами
disk0Sparse ZVOL1 ГБДополнительный разреженный блочный том
disk1ZVOL2 ГБДополнительный обычный блочный том
FreeBSD Control Panel: разделы GPT pool1_d1, pool2_d1 и pool3_d1

На одном из физических дисков в FreeBSD Control Panel видны три раздела типа freebsd-zfs с метками pool1_d1, pool2_d1 и pool3_d1. Это части трёх отдельных пулов, а не три самостоятельных RAID-массива на одном диске. Соответствующие разделы остальных накопителей образуют пятидисковые vdev RAIDZ2.

Первый сценарий: удалённый пул pool3

В pool3 заранее разместили копии дисков ВМ с тестовыми файлами. В каталоге /pool3/bhyvemgr/windows10/ находились disk0.img, disk1.img и конфигурационные файлы bhyve; блочные тома ZVOL хранились в структурах ZFS. Поэтому в Hetman RAID Recovery будем искать как файлы IMG, так и объекты ZVOL.

FreeBSD: копии disk0.img, disk1.img и конфигурационные файлы bhyve в pool3

Затем в тестовой среде выполнили zpool destroy pool3 и удалили соответствующие разделы GPT на всех пяти накопителях. Например, в FreeBSD Control Panel видно подтверждение команды gpart delete -i 3 mfid1 для третьего раздела одного из дисков. После этого штатный доступ FreeBSD к копиям виртуальных дисков пропал.

Консоль FreeBSD: удаление pool3 командой zpool destroy
FreeBSD: подтверждение gpart delete для раздела GPT пула pool3

Команды zpool destroy и gpart delete использовались исключительно для моделирования потери данных. Не выполняйте их на хранилище, информацию с которого собираетесь восстанавливать.

В этом сценарии файлы внутри копий IMG и ZVOL не удалялись. Наша задача — найти прежний пул, извлечь образы виртуальных дисков и прочитать их содержимое.

Второй сценарий: удалённые файлы и снимок pool2

На pool2 создали рекурсивный снимок ZFS с именем snapshot_0, охватывающий корневой и дочерние датасеты, включая ZVOL. Состав снимка просмотрели командой zfs list -t snapshot -r pool2. В выводе присутствуют pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 и pool2/bhyvemgr/windows10/disk1@snapshot_0. Эти записи сохраняют состояние виртуальных дисков до дальнейшего удаления файлов.

Терминал FreeBSD: рекурсивный snapshot_0, датасеты и ZVOL

После создания снимка запустили Windows 10 с дисками из pool2, удалили тестовые файлы через Shift+Delete и штатно выключили ВМ. Текущие IMG и ZVOL остались в пуле, а предыдущий вариант их содержимого — в снимке.

Гостевая Windows 10: удаление тестовых файлов через Shift+Delete

Подключение трёх накопителей и автоматическое определение RAIDZ2

Для восстановления используем три из пяти физических дисков сервера. Подключаем их к компьютеру с Windows и запускаем Hetman RAID Recovery. В зависимости от интерфейса носители можно подключить напрямую, через подходящий адаптер или док-станцию.

Для восстановления данных с повреждённых RAID-массивов, NAS-устройств и других многодисковых систем хранения.

Если Windows предлагает инициализировать или отформатировать диски, откажитесь. Не создавайте разделы и не записывайте данные на накопители, с которых нужно восстановить информацию.

После запуска программа автоматически определила конфигурации ZFS RAIDZ2, включая удалённый pool3. Выбираем этот пул в главном окне.

Hetman RAID Recovery: автоматически найден удалённый ZFS RAIDZ2 pool3

Справа указаны File system — ZFS и RAID type — RAIDZ2; список RAID Disks содержит три доступных накопителя и две позиции Empty disk. Найденный pool3 отображается как RAID-том объёмом около 90 ГБ. Размер каждого участника здесь означает выделенную под pool3 область, а не полную ёмкость SSD.

Свойства RAIDZ2: три доступных участника и два Empty disk

RAIDZ2 использует двойную чётность и допускает отсутствие двух участников одного vdev. В нашем тесте с пятью дисками трёх доступных накопителей и уцелевших метаданных хватило для определения конфигурации без ручного ввода параметров.

Это результат конкретного теста, а не гарантия восстановления любого уничтоженного пула ZFS. Если необходимые метаданные перезаписаны или доступных дисков недостаточно, результат может отличаться.

Восстановление дисков IMG и ZVOL из удалённого pool3

ШАГ 1. Анализ pool3 и поиск дисков bhyve

Дважды щёлкаем найденный pool3, выбираем Fast scan в мастере и запускаем анализ. Программа использует сохранившиеся метаданные ZFS для восстановления доступного дерева каталогов. В нашем тесте быстрого сканирования хватило для поиска дисков ВМ.

Hetman RAID Recovery: Fast scan удалённого пула ZFS pool3

В результатах открываем bhyvemgr → windows10. Здесь обнаружены disk0.img, disk1.img и два тома ZVOL с именами disk0 и disk1. При открытии соответствующего тома программа показывает объект с расширением .zvol.

Результаты pool3: образы IMG и тома ZVOL в bhyvemgr/windows10

Чтобы посмотреть содержимое блочного тома, открываем disk0 в том же дереве. Внутри отображается disk0.zvol размером около 1 ГБ. Аналогично в disk1 находится disk1.zvol на 2 ГБ. Не путайте эти объекты с файлами disk0.img и disk1.img.

Результаты pool3: разреженный ZVOL disk0 размером около 1 ГБ

ШАГ 2. Сохранение IMG и обычного ZVOL

Чтобы сохранить несколько дисков с разных уровней дерева за одну операцию, щёлкаем правой кнопкой по disk1.img и выбираем Add For Recovery. Образ добавляется в панель Recovery list справа. Затем открываем обычный том disk1 и перетаскиваем disk1.zvol в тот же список.

Recovery list с добавленными disk1.img и disk1.zvol

Проверяем список, нажимаем Recover и в мастере выбираем Save to hard disk. Указываем каталог на другом накопителе, где достаточно свободного места. IMG сохраняется как файл образа, а содержимое ZVOL — как файл, который затем можно подключить для анализа.

Мастер Recover: сохранение IMG и ZVOL на отдельный диск

Не сохраняйте восстановленные образы или файлы на исходные физические диски ZFS RAIDZ2. Новая запись может перезаписать данные, которые ещё предстоит прочитать.

ШАГ 3. Подключение IMG и восстановление файлов Windows

После сохранения образа нажимаем Mount Disk, выбираем формат RAW и файл disk1.img. В Mounted Disks появляется отдельный диск с его разделами. В нашем тесте программа распознала раздел NTFS. Открываем его и запускаем Fast scan.

Mount Disk: выбор сохранённого образа disk1.img в формате RAW
Mounted Disks: подключённый disk1.img с разделом NTFS

После анализа просматриваем папки NTFS, включая Lost and Found и General level 1, и находим тестовые документы, изображения и видео. Выбираем нужный объект и проверяем его в Preview. На скриншотах показан предварительный просмотр изображения, позволяющий оценить содержимое файла до сохранения.

Сканирование IMG: папки NTFS Lost and Found и General level 1
Preview изображения, найденного на подключённом IMG

Для поиска по имени используем Find File. В разделе Advanced можно задать диапазон размеров или дат, включить скрытые и системные файлы, учитывать регистр либо искать только целые слова.

Find File и Advanced: фильтры имени, размера и даты

Отмечаем нужные файлы, нажимаем Recovery, выбираем Save to hard disk и указываем другой физический диск. По завершении открываем папку назначения и проверяем файлы.

Мастер Recovery: сохранение выбранных файлов из IMG

В Проводнике Windows проверяем папку с результатами на отдельном диске. Восстановленные файлы находятся в выбранном каталоге — это дополнительная проверка после просмотра в Preview.

Проводник Windows: восстановленные файлы IMG в целевой папке

Напомним: disk1.img в этом примере был копией с удалённого pool3. Файлы стали недоступны из-за потери хранилища, а не из-за удаления в Windows. Действительно удалённые файлы рассмотрим отдельно на примере снимка pool2.

ШАГ 4. Открытие обычного и разреженного ZVOL

Сохранённый обычный ZVOL disk1.zvol можно открыть через Mount Disk и анализировать так же, как IMG. Если расширение .zvol не отображается в окне выбора, переключаем фильтр на All files и выбираем файл вручную.

Mount Disk: выбор disk1.zvol через фильтр All files

Если места для полной копии недостаточно, диск можно подключить без предварительного сохранения непосредственно из результатов сканирования пула. Возвращаемся в pool3 → bhyvemgr → windows10 → disk0, щёлкаем правой кнопкой по disk0.zvol и выбираем Mount File as Disk.

Результаты pool3: Mount File as Disk для sparse disk0.zvol

Открываем раздел подключённого ZVOL, запускаем анализ и проверяем файлы. Данные считываются непосредственно с реконструированного RAIDZ2, поэтому процесс может идти дольше, чем с локальным образом. Полная копия виртуального диска не требуется, но для сохранения восстановленных файлов всё равно нужно свободное место.

Подключённый разреженный ZVOL: анализ и найденные файлы

Выбираем нужные файлы, запускаем Recovery и сохраняем результаты на другой накопитель. На скриншоте показан мастер сохранения файлов из ZVOL, подключённого без предварительного экспорта всего тома.

Мастер Recovery для файлов из ZVOL без предварительного экспорта

Восстановление удалённых файлов bhyve из снимка ZFS

В отличие от pool3, виртуальные диски в pool2 оставались доступны. Однако тестовые файлы в гостевой Windows 10 удалили после создания рекурсивного снимка. Используем сохранённое состояние датасета и ZVOL, чтобы получить предыдущие версии файлов.

ШАГ 1. Поиск снимков IMG и ZVOL в pool2

В главном окне Hetman RAID Recovery выбираем pool2, запускаем Fast scan и открываем папку Snapshots. В ней есть отдельные записи windows10, disk0, disk1 и остальные части рекурсивного snapshot_0. Это не разные несовместимые точки восстановления: программа показывает состояния датасетов и ZVOL, вошедших в один рекурсивный снимок.

Папка Snapshots в pool2: windows10, disk0, disk1 и snapshot_0

ШАГ 2. Восстановление IMG из снимка windows10

Открываем снимок датасета windows10, содержащий disk0.img и disk1.img. Выбираем disk1.img и сохраняем его в отдельную папку, чтобы не перепутать с образом, извлечённым из pool3.

Через Mount Disk → RAW подключаем файл из снимка, открываем его раздел и выполняем Fast scan. В результатах находятся тестовые файлы, существовавшие на момент создания снимка. Проверяем их в Preview и сохраняем через Recovery.

Снимок windows10: обнаружены disk0.img и disk1.img

После подключения disk1.img из снимка открываем его раздел NTFS. В состоянии, сохранённом до Shift+Delete, находятся тестовые изображения и документы; их можно выбрать и сохранить отдельно от данных из pool3.

IMG из снимка: тестовые файлы Windows до удаления

ШАГ 3. Прямое подключение ZVOL из снимка

Возвращаемся в Snapshots, находим отдельную запись для тома disk0 и открываем её. Для объекта disk0.zvol выбираем Mount File as Disk. Программа подключает состояние ZVOL из снимка, а не его текущее содержимое.

Снимок ZVOL pool2: Mount File as Disk для disk0.zvol
Подключённый ZVOL из снимка с разделом NTFS

Открываем раздел подключённого диска, запускаем Fast scan, находим нужные данные, просматриваем их в Preview и восстанавливаем через Recovery на отдельный накопитель. Так получаем файлы из состояния до удаления без запуска Windows 10 и без отката всего pool2.

Анализ ZVOL из снимка: файлы Windows для Recovery

Что учесть перед восстановлением RAIDZ2 и виртуальных дисков

Результат зависит от состояния физических носителей, метаданных ZFS и образов виртуальных дисков. В нашем тесте три участника пятидискового RAIDZ2 и сохранённые метаданные позволили найти удалённый pool3. Если нужные блоки перезаписаны, восстановление может быть неполным.

Снимок содержит только то состояние данных, которое он зафиксировал. Если снимок создан после удаления файла либо не включает нужный датасет или ZVOL, описанный метод не вернёт файл из предыдущего состояния.

Не инициализируйте и не форматируйте диски сервера в Windows, не создавайте новый пул поверх утраченного и не сохраняйте результаты на исходные накопители. Если физический диск нестабилен, по возможности сначала создайте его посекторную копию, когда это можно сделать безопасно.

Подробнее о структурах пула и работе со снимками читайте в материале руководстве по восстановлению удалённого пула ZFS RAIDZ2 во FreeBSD.

Результаты восстановления bhyve во FreeBSD

В первом сценарии Hetman RAID Recovery обнаружила pool3 после zpool destroy и удаления GPT-разделов. Для реконструкции тестового RAIDZ2 хватило трёх из пяти дисков. Мы получили доступ к IMG, обычному и разреженному ZVOL, подключили виртуальные диски и сохранили тестовые файлы.

Во втором сценарии программа нашла снимки pool2 и восстановила файлы Windows 10 из состояния до удаления — отдельно из IMG и ZVOL. Не понадобилось запускать виртуальную машину или откатывать весь пул.

Виртуальные диски можно сначала сохранить на другой накопитель либо, если это поддерживается для найденного объекта, использовать Mount File as Disk и анализировать их без полной копии. Выбор зависит от состояния дисков, свободного места и объёма данных.

Dmytriy Zhura

Автор: , Технический писатель

Дмитрий Жура – автор и один из IT-инженеров компании Hetman Software. Имеет почти 10 летний опыт работы в IT-сфере: администрирование и настройка серверов, установка операционных систем и различного программного обеспечения, настройка сети, информационная безопасность, внедрения и консультация по использованию специализированного ПО. Является экспертом в области восстановления данных, файловых систем, устройств хранения данных и RAID массивов.

Andrey Mareev

Редактор: , Технический писатель

В далеком 2005 году, я получил диплом по специальности «Прикладная математика» в Восточноукраинском национальном университете. А уже в 2006 году, я создал свой первый проект по восстановлению данных. С 2012 года, начал работать в компании «Hetman Software», отвечая за раскрутку сайта, продвижение программного обеспечения компании, и как специалист по работе с клиентами.

Рекомендуем для вас